Spickzettel - S-Inf

1
2. Seien B ⊂ Ω und A eine σ-Algebra
übern Ω, dann gilt: B∩A := {B∩A|A ∈
A} ist eine σ-Algebra über B (Spur-σAlgebra)
Diskrete Wahrscheinlichkeitstheorie
Definition 1.1. Sei Ω eine höchstens abzählbare Menge, A := p(Ω) := {A|A ⊆ Ω} und
p:Ω → [0, 1] eine Abbildung mit
X
p(ω) = 1.
Die durch
P(A) =
Permutation
Bemerkung 1.7. Pot(Ω) ist σ-Algebra über
Ω; Pot(Ω) ist die feinste, A = {∅, Ω} ist die
gröbste σ-Algebra.
ω∈Ω
X
3. Sei Ω 6= ∅, A = {A ⊂ Ω|A oder AC ist
höchstens abzählbar über Ω} ist eine σAlgebra über Ω
k-mal
ziehen
aus n
Kugeln
mit
Reihenfolge
Kombi- ohne
naReitionen henfolge
p(ω)
mit
ohne
Zurück- Zurücklegen
legen
LaplaceRaum
|Ω1 | =
nk
LaplaceRaum
|Ω2 | =
(n)k =
unterscheidbare
Murn!
meln
(n−k)!
kein
Laplace- ununterLaplace- Raum scheidRaum |Ω3 | = bare
Mur|Ω4 | = nk
n+k−1
meln
k
mit
ohne
k
Mehr- Mehr- Murfachfachmeln
belebelevergung
gung
teilt
auf n
Urnen
Bemerkung 1.8. Man kann zeigen: Es gibt
stets eine kleinste σ-Algebra, die ein vorgedefinierte
Abbildung
heißt
(diskrete) gebenes System
von einfachen“ Mengen
”
Wahrscheinlichkeitsverteilung
(WV) enthält.
über Ω. Die Funktion p heißt Zähldichte.
Das Tripel (Ω, A, P) heißt (diskreter) Satz 1.9. Seien Ω 6= ∅, F ⊂ Pot(Ω)
Wahrscheinlichkeitsraum, (Ω, A) heißt die kleinste σ-Algebra, die F enthält, diediskreter messbarer Raum.
se ist gegeben durch: A(F ) := {A ∈
Pot(Ω)|für jede σ − AlgebraA mit F ⊂
Bezeichnung 1.2. Ω heißt Grundmenge,
A
gilt: A ∈ A} A(F ) heißt die von F erErgebnisraum, Stichprobenraum; A ⊂
zegte σ-Algebra.
Ω heißt Ereignis und speziell ElementaDefinition 2.2 (Hypergeometrische Verteirereignis falls |A| = 1; Kurzschreibweise: Definition 1.10 (Wahrscheinlichkeitsverteilung). Betrachte eine Urne mit S schwarzen
Abk.
P ({ω}) = P (ω) = p(ω), ω ∈ Ω
lung). Sei A eine σ-Algebra über Ω 6= ∅ eine und W weißen Kugeln, n = W + S, Ziehe
Abbildung P : A → [0, 1] mit
k(≤ n) Kugeln ohne Zurücklegen. Gesucht
Lemma 1.3.
1. Gegeben sei die Situatiist die Wahrscheinlichkeit, dass die Stichproon aus (Def. 1.1). Dann gilt:
1. P(A) ≥ 0, ∀A ∈ A
be genau s schwarze und k − s = w weiße
2. P(Ω) = 1
(a) P(A) ≤ 1 für alle A ∈ p(Ω)
Kugeln enthält.
S∞
P∞
(b) P(Ω) = 1
3. P n=1 An =
n=1 P(An ) für alle
n−S S
· k−s
paarweise disjunkten A1 , A2 , ... ∈ A(σ(c) P ist σ-Additiv, d.h. für paars
h( |{z}
s ; k, n, S ) =
,0 ≤ s ≤ k
n
Additivität)
weise disjunkte A1 , A2 , ... ∈ p(Ω)
| {z }
k
V ariable P arameter
(d.h. Ai ∩ Aj = ∅ für i 6= j) gilt: heißt
Wahrscheinlichkeitsverteilung
ω∈A
F
P
∞
[
!
Ai
=
∞
X
P(Ai )
i=1
i=1
S
insbesondere ist P n
=
i=1 Ai
Pn
P(A
i ), ∀n ∈ N und P(Ω) =
i=1
P
ω∈Ω
p(ω) = 1
2. Sei P : Pot(Ω) → R eine Abbildung
mit obigen Eigenschaften, dann gibt es
genau eine
Funktion p : Ω → [0, 1] mit
P
P(A) = ω∈A p(ω), ∀A ∈ Ω
Bezeichnung 1.4 (Laplace-Verteilung).
Sei Ω = {1, ..., n}, p(ω) = n1 , ∀ω ∈ Ω, so
heißt P diskrete Gleichverteilung oder
Laplace-Verteilung. Es gilt P(A) = |A|
=
|Ω|
1
|A|,
∀A
⊆
Ω
n
Definition 1.5 (σ-Algebra). Sei Ω 6= ∅ und
A ⊆ Pot(Ω) (System von Teilmengen von Ω).
A heißt σ-Algebra (von Ereignissen) über
Ω, falls gilt:
1. Ω ∈ A
2. A ∈ A → AC ∈ A für alle A ∈ A
3. (An )n∈N ⊂ A ⇒
S∞
n=1
An ∈ A
oder Wahrscheinlichkeitsmaß auf A.
(Ω, A, P) heißt Wahrscheinlichkeitsraum, Die durch h bestimmte Zähldichte (h(0) +
h(1) + ... + h(k) = 1) definiert die hyper(Ω, A) heißt messbarer Raum.
geometrische Verteilung.
Definition 1.11 (Dirac-Verteilung). Sei Ω 6=
∅
abzählbar, ω ∈ Ω fest. Die durch εω (A) = Definition 2.3 (Binomialverteilung). Ge1, falls ω ∈ A
die s
(A ∈ p(Ω) fest- sucht ist die Anzahl der Stichproben,
0, sonst (falls ω 6∈ A)
defekte Teile enthalten. b s; k, Sn = n1k ·
a
k−1
gelegte Wahrscheinlichkeitsverteilung εω : k s
S (n − k)k−s = ks Sn · 1 − Sn
=
p(Ω) → R heißt Dirac-Verteilung oder ks s
k−s
S
(Schlechtanteil).
p
(1−p)
wobei
p
:=
n
Einpunktverteilung im Punkt ω. εω ist s
Die durch b bestimmte Zähldichte (als FunkWahrscheinlichkeitsverteilung.
tion von s) definiert die sogenannte BinomiDefinition 1.12 (Träger von P). Sei alverteilung; kurz b(s; k, p) oder b(k, p). In(Ω, A, P) ein diskreter Wahrscheinlichkeits- tuitiv folgt, dass für große n kaum ein Unterschied zwischen Ziehen mit und ohne Rückleraum.
gen besteht.
T := supp(P) := {ω ∈ Ω|P(ω) > 0}
Lemma 2.4. Sei (Sn )n∈N mit lim Snn =
n→∞
heißt Träger von P.
p ∈ (0, 1). Dann gilt: limn→∞ h(s; k, n, Sn ) =
Lemma 1.13. Sei (Ω, A, P) ein diskreter b(s; k, p)
Wahrscheinlichkeitsraum und T Träger von
Lemma 2.5. Gegeben sei Folge von BinoP. Dann gilt:
mialverteilungen b(s; k, pk ); k ∈ N mit k ·
X
pk = λ > 0 für alle k ∈ N. Dann gilt:
P(A) =
P(ω)εω (A), A ∈ A
s
limk→∞ b(s; k, pk ) = λs! e−λ für alle s ∈ N0 .
ω∈T
d.h. Eine σ-Algebra ist abgeschlossen geλs −λ
eine
genüber der Bildung von Komplementen und d.h. P ist darstellbar als gewichtete Summe Offensichtlich definiert p(s) := s! e
Zähldichte
auf
Ω
=
N
0
abzählbaren Vereinigungen.
von Einpunktverteilungen.
∞
X
P
λs
−λ
Sei λ > 0 beliebig: ∞
=
Lemma 1.6.
1. Sei A eine σ-Algebra.
s=1 p(s) = e
s!
s=0
Dann gilt:
| {z }
(a) ∅ ∈ A(∅ = ΩC ∈ A)
(b) A, B ∈ A ⇒ A ∩ B ∈ Ω(A ∩ B =
(|{z}
AC ∪ |{z}
B C )C ∈ A)
A {z ∈A}
∈A
T
(An )n∈N ∈ A ⇒ ∞
n=1 An ∈ A
∈
|
(c)
2
Grundformeln
Kombinatorik
der
eλ
1
Merkregel: Die Anzahl der k-elemetigen Bezeichnung 2.6. Die Wahrscheinlichkeits-
0 definiert durch die ZählTeilmengen
einer n-elementigen Menge ist verteilung auf N
s
n
dichte p(s) = λs! e−λ , s ∈ N0 , λ > 0 heißt
.
k
Poissonverteilung mit Parameter λ. Kurz:
po(s; λ) bzw. po(λ)
Satz 2.1.
3
Eigenschaften
Wahrscheinlichkeitsräumen
von
S
∞
iv) P
n=1 An
Additivität)
≤
P∞
n=1
i) P (A|B) = P (B|A) ·
P (An ) (Sub-σ-
Tn
P (A)
P (B)
= P (A1 ) · P (A2 |A1 ) ·
ii) P
i=1 Ai
T
Lemma 3.5. Für Ereignisse (An )n∈N
P (A3 |A1 ∩ A2 ) · ... · P An | n−1
i=1 Ai
in
einem
Wahrscheinlichkeitsraum
Sn
)n ⊂
= Lemma 4.3. Gegeben A ∈ A, (B
(Ω,
A
,
P
)
gilt:
P
Sn
k=1 Ak
P
P
∞
Lemma 3.1. Es gelten für A, B ∈ A:
n
Bn
A
,
B
n paarweise disjunkt und A ⊂
P
(A
)
−
P
(A
∩
A
)
+
i
i
k
n=1
1
2
S
1≤i1 <i2 ≤n
Pk=1
(häufig Bn = Ω, d.h. disjunkte Zerlegung
1≤i1 <i2 <i3 ≤n P (Ai1 ∩ Ai2 ∩ Ai3 ) ± ... +
Tn
i) P (A∪B) = P (A)+P (B), falls A∩B = ∅
von Ω). Dann gilt:
(−1)n+1 P
k=1 Ak
ii) P (B\A) = P (B) − P (A), falls A ⊂ B Korrolar 3.6. Aus der Sylvester-Pointcaré-
∞
X
P (A|Bn ) · P (Bn )
Siebformel:
Seien
A1 , ..., An
Ereignisn=1
se aus A im Wahrscheinlichkeitsraum
(Ω,
A, P), dann gilt: Pnk=1SnP (Ak ) − (Ist P (Bk ) = 0, so ist zunächst P (A|Bk ) nicht
iii) P (AC ) = 1 − P (A)
P
k=1 Ak ≤ definiert; setze dann P (Bk ) · P (A|Bk ) = 0)
1≤i1 <i2 ≤n P (Ai1 ∩ Ai2 ) ≤ P
Pn
P
(A
)
k
k=1
iv) A ⊂ B ⇒ P (A) ≤ P (B) (Monotonie
Satz 4.4. Seien
A, (Bn )n ⊂ A, Bn paarweise
S
von P )
Bemerkung 3.7 (Zusammenfassung).
disjunkt, A ⊂ ∞ Bn und P (A) > 0. Dann
P (A) =
(Subtraktivität von P )
n=1
v) P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
vi) P
Sn
i=1 Ai ≤
Pn
i=1 P (Ai ); Ai ∈ A
Definition
3.2. Sei
(An )n∈N
⊆
sei σ-Algebra über Ω
6=
∅.
(A
)
heißt
monoton
n
n∈N
wachsend , falls An ⊆ An+1 ∀n ∈ N
fallend
, falls An ⊇ An+1 ∀n ∈ N
(kurz: (An )n∈N ↑ bzw. (An )n∈N &)
Für monoton wachsende bzw. fallende Ereignisfolgen heißt jeweils
A, A
∞
[
lim An =
n→∞
An
n=1
bzw.
∞
\
lim An =
n→∞
An
n=1
der Limes von (An )n∈N . Für eine beliebige Ereignisfolge (An )n∈N heißen
lim sup An = lim
n→∞
n→∞
!
∞
[
Ak
=
∞ [
∞
\
Ak
n=1 k=n
k=n
| {z }
fallend
der Limes superior und
lim inf An = lim
n→∞
n→∞
∞
\
Ak
!
=
∞ \
∞
[
Ak
n=1 k=n
k=n
| {z }
wachsend
der limes inferior von (An )n∈N .
Mathematisches Interpretation
Objekt
Ω
Grundraum
(Ereignisraum)
ω∈Ω
(mögliches) Ergebnis
A∈A
Ereignis
A
Menge der (möglichen)
Ereignisse
Ω
sicheres Ereignis
∅
unmögliches Ereignis
ω∈A
Ereignis A tritt ein
ω ∈ AC
Ereignis A tritt nicht ein
ω ∈A∪B
Ereignis A oder B tritt
ein
ω ∈A∩B
Ereignis A und B tritten
ein
A⊆B
Eintreten von Ereignis A
impliziert das Eintreten
von Ereignis B
A∩B =∅
Ereignisse A und B
schließen einander aus
S
ω ∈ i∈I Ai
mindestens ein Ereignis
Ai , i ∈ I tritt ein
T
ω ∈ i∈I Ai
alle Ereignis Ai , i ∈ I
tretten ein
ω
∈ unendlich viele Ereignisse
lim supi∈I Ai
Ai , i ∈ I treten ein
ω
∈ alle bis auf endlich viele
lim inf i∈I Ai
Ereignisse Ai , i ∈ I treten
ein (fast alle)
P (A)
Wahrscheinlichkeit, dass
das Ereignis A ∈ A eintritt (Wahrscheinlichkeit
für A)
P (A) = 1
A tritt (fast) sicher ein
P (A) = 0
A tritt sicher nicht ein
P (A) > P (B) A ist wahrscheinlicher als
B
gilt:
P (Bk )P (A|Bk )
P (Bk |A) = P∞
, ∀k ∈ N
n=1 P (A|Bn )P (Bn )
5
Stochastische
abhängigkeit
Un-
Definition 5.1. Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum, A, B ∈ A heißen stochastisch unabhängig, falls P (A ∩ B) =
P (A) · P (B)
Lemma 5.2. Mit A, B sind auch A, B C
und AC , B C stochastisch unabhängig.
i) Ist P (B) > 0, so gilt: A, B stochastisch
unabhängig ⇔ P (A|B) = P (A)
ii) Ist A eine Nullmenge, d.h. P (A) = 0, so
sind A, B stochastisch unabhängig für alle B ∈ A.
Definition 5.3. Eine Familie (Ai )i∈I ⊂ A, I
belibige Indexmenge, heißt paarweise stochastisch unabhängig, falls gilt:
P (Ai ∩ Aj ) = P (Ai ) · P (Aj ), ∀i, j ∈ I, i 6= j.
Definition 5.4. Eine Familie (AI )i∈I heißt
(vollständig) stochastisch unabhängig,
falls für jede endliche Auswahl von Ereignissen gilt:
P
\
!
Aj
=
Y
P (Aj )∀0 6= J ⊆ I, |J| < ∞.
j∈J
j∈J
Bemerkung 3.3. Es ist mit (An )n∈N ⊂ A:
lim supn→∞ An ∈ A, lim inf n→∞ An ∈
Bemerkung 5.5.
1. (Ai )i∈I
stochasA nach Definition der σ-Algebra
tisch unabhängig ⇒ (AI )i∈I paarweise
und
lim supn→∞ An
=
{ω
∈
stochastisch unabhängig. Umkehrung
∼
Ω|ω liegt in unendlich vielen der An 0 s}
=
gilt nicht!
unendlich
viele
der
An ’s
treten
2. jede Teilfamilie einer stochastisch unein;
lim inf n→∞ An
=
{ω
∈
abhängigen Familie ist stochastisch unΩ|ω liegt in allen der An ’s, bis auf endlich viele} ∼
=
abhängig.
alle, bis auf endlich viele der A0n s treten ein
(fast alle Ai ’s treten ein).
3. Beachte, dass die Definition ein System
Definition 4.1. Sei (Ω, A, P ) ein Wahrvon Gleichungen leifert!
scheinlichkeitsraum. Für jedes B ∈ A mit
Lemma 3.4. (Ω, A, P ) WahrscheinlichkeitsP (B) > 0 wird durch
raum, (An )n∈N ⊆ A, dann gilt:
Satz 5.6.
1. Seien (Ai )i∈I Familien sto
S∞
P (A ∩ B)
chastisch
unabhängiger Ereignisse, k ∈
/
=
P
(lim
sup
A
)
=
i) P
A
n
n
P
(A|B)
=
,
A
∈
A
n→∞
n=1
P (B)
I und P(Ak ) ∈ {0, 1} ⇒ (Ai )i∈I∪{k}
limn→∞ P (An ), falls (An )n∈N ↑ (Stetigstochastisch unabhängig.
keit von P von unten)
eine Wahrscheinlichkeitsverteilung P (·|B) auf
4
T
Bedingte Wahrscheinlichkeiten
∞
ii) P
= P (lim inf n→∞ An ) = A definiert, die sogenannte bedingte Vern=1 An
limn→∞ P (An ), falls (An )n∈N & (Stetig- teilung unter (der Hypothese) B.
P (A|B) heißt elementar bedingte Wahrkeit von P von oben)
scheinlichkeit
von A unter B.
iii) P (lim sup
A )=
n→∞
S
n
∞
limn→∞ P
k=n Ak
P (lim inf n→∞
A )=
T∞ n limn→∞ P
k=n Ak
Lemma 4.2. Sei A, B, AT
A,
1 , A2 , ... ∈
n−1
P (A) > 0, P (B) > 0, P
A
>
0.
i
i=1
Dann:
2. (Ai )i∈I stochastisch unabhängig und
Bi ∈ {Ai , AC
i , ∅, Ω}∀i ∈ I ⇒ (Bi )i∈I
stochastisch unabhängig.
3. Sei I = {1, ..., n}, n ∈ N fest gewählt:
(AiT
)i∈I stochastisch
unabhängig ⇔
Qn
P( n
=
∈
i=1 Bi )
i=1 P (Bi ), ∀Bi
{Ai , AC
},
∀i
∈
I
i
Bemerkung
5.7. Sei
die
Familie
(Ai )i∈{1,...,n} stochastisch unabhängig oder
kurz A1 , ..., A
stochastisch
unabhängig,
Tn
Snn
C
A
=
1
−
P
=
dann gilt: P
i
i=1 Ai
i=1
Q
Qn
n
(1
−
P
(A
))
1 − i=1 P (AC
i
i ) = 1−
i=1
Bemerkung 5.8. Relation
stochasti”
sche Unabhängigkeit“ ist nicht transitiv,
d.h. aus A1 , A2 stochastisch unabhängig
und A2 , A3 stochastisch unabhängig folgt
nicht notwendig A1 , A3 stochastisch unabhängig.
Definition
5.9. Sei
(An )n∈N
(An )n heißt Konvergent
lim supn→∞ An = lim inf n→∞ An
A.
⊂
⇔
Bemerkung
5.10. Es
gilt
stets:
lim inf n→∞ An ⊂ lim supn→∞ An .
Weiterhin:
(lim supn→∞ An )C
=
C
S ∞ T∞
T∞ S ∞
C
=
=
k=n Ak
n=1
k=n Ak
n=1
lim inf n→∞ AC
n
Lemma 5.11. Sei Ω, A, P ) ein Wahrscheinlichkeitsraum und (An )n∈N ⊂ A, dann gilt:
i)
P∞
<
n=1 P (An )
P (lim supn→∞ An ) = 0
∞
⇒
ii) Ist zusätzlich
(A )
stochastisch unP∞ n n∈N
= ∞ ⇒
abhängig,
n=1 P (An )
P (lim supn→∞ An ) = 1
Definition 6.1. Sei T
:
Ω
→
0
eine Abbildung, so heißt T −1
:
p(Ω0 ) →
p(Ω)
A0
7→ T −1 (A0 ) : {ω ∈ Ω|T (ω) ∈ A0 }
die zu T gehörige Urbildfunktion oder Umkehrabbildung/ Pseudoinverse
Definition 6.9. Sei X1 , .., Xm Zufallsverteilungen. Die Verteilung von X =
(X1 , ..., Xm ) heißt die gemeinsame Verteilung der Zufallsvariablen X1 , ..., Xm .
Schreibweise: P X = P (X1 ,...,Xm ) Die Verteilung von (Xi1 , ..., Xil , 1 ≤ i1 < ... < il ≤
m, l < m heißt l-dimensionale RandverLemma 6.2 ((Eigenschafte der Urbildfunkteilung (Marginalverteilung) zu (i1 , ..., il ).
0
0
0
0
tion)). Seien A , B , Ai ∈ Pot(Ω ), so gilt:
Die Verteilung von Xi heißt i-te Randveri) T −1 (∅) = ∅, T −1 (Ω0 ) = Ω
teilung (Marginalverteilung) 1 ≤ i ≤ m.
ii) T −1 (A0 \B 0 ) = T −1 (A0 )\T −1 (B 0 )
Bemerkung 6.10. Die gemeinsame Verteispeziell: T −1 (B 0C ) = (T −1 (B 0 ))C
lung
ist durch die Angabe aller WahrscheinT
T
iii) T −1 ( i∈I A0i ) = i∈I T −1 (A0i )
lichkeiten P (X1 ∈ A1 , ..., Xm ∈ Am ), Ai ∈ Ai
S
S
iv) T −1 ( i∈I A0i ) = i∈I T −1 (A0i )
bestimmt.
0
Spezielle
disjunkte
B
:
(mit
Symi
P
bol P für disjunkte
Vereinigung) Bemerkung 6.11. Die eindimensionale
P
−1
0
−1
0
Randverteilungen legen die gemeinsame VerT
B
=
T
(B
i
i)
i∈I
i∈I
teilung nicht eindeutig fest.
0
0
−1
0
−1
0
v) A ⊂ B ⇒ T (A ) ⊂ T (B )
vi) Ist S : Ω0 → Ω00 eine beliebige Abildung, Definition 6.12. Eine Familie von Zufallsvariablen Xi : (Ω, A, P ) → (Ωi , Ai , P Xi ), i ∈ I
dann gilt (S ◦ T )−1 = T −1 ◦ S −1
heißt stochastisch unabhängig (oder die
Lemma 6.3. Sei (Ω, A, P ) ein diskreter Zufallsvariablen Xi , i ∈ I heißen stochasWahrscheinlichkeitsraum und X : Ω → R, tisch unabhängig), falls die Mengensysteme
dann ist PX : Pot(R) → [0, 1] mit P X = X −1 (A) stochastisch unabhängig sind, d.h. jei
P(X −1 (A)) = P({ω ∈ Ω|X(ω) ∈ A}) eine des Repräsentantensystem Bi ∈ X −1 (Ai ), i ∈
i
diskrete Wahrscheinlichkeitsverteilung über I bildet eine unabhängige Familie von Ereig(einer abzählbaren Teilmenge von) R, bzw. nissen.
über X(Ω). Kurz: Verteilung von X unter P.
Bemerkung 6.13. Die Zufallsvariablen
Definition 6.4. Eine Abbildung X : Ω → Ω0 Xi , i ∈ I sind stochastisch unabhängig ge0
1
von einem messbaren Raum (Ω, A) in einen
0
0
anderen messbaren Raum (Ω , A ) heißt messBT
C
∈ Ai }C
nau dann, wenn P B
=
bar, wenn ∀A0 ∈ A0 : X −1 (A0 ) ∈ A.
@ i∈J |{Xi {z
}A
Ω
Bemerkung 5.12.P 1. Analog gilt (mit
∞
C
deMorgan)
< ∞ ⇒
n=1 P (An )
P (lim inf n→∞ An ) = P
1; (An )n stoC
chastisch unabhaengig, ∞
n=1 P (An ) =
Xi−1 (Ai )
∞ ⇒ P (lim inf n→∞ An ) = 0
Definition 6.5. Eine messbare Funktion im Q
i∈J P (Xi ∈ Ai )∀J ⊆ I, |J| < ∞, ∀Ai ∈
2. Für stochastsich unabhängige Ereignis- obigen Sinne von einem WahrscheinlichkeitsA
i, i ∈ J
raum
in
einen
anderen
heißt
Zufallsvariase (Ai )i gilt stets P (lim supn→∞ An ) ,
ble (ZV), bzw. Zufallsvektor, falls Ω0 ⊂ Satz 6.14. Sind die Zufallsvariablen X :
P (lim inf n→∞ An ) ∈ {0, 1}
i
n
Ω → Ωi , i ∈ I, stochastisch unabhängig und
3. Sei (An )n ⊂ A; falls eine unabhängi- R (auch Zufallsgröße).
ge Teilfolge
(Ank )k von (An )n existiert Bemerkung 6.6. i) Ist A = Pot(Ω) sind die Abbildungen fi : Ωi → Ω0i messbar,
P∞
mit
P
(Ank )k = ∞, dann folgt
wie beim diskreten Wahrscheinlichkeits- so sind die Zufallsvariablen fi ◦ Xi , i ∈ I stok=1
P (lim supn→∞ An ) = 1
raum, so ist jede Abbildung X : Ω → Ω0 castisch unabhängig.
Weiterhin: Seien Ij ⊂ I für j ∈ J disjunkte
messbar.
Definition 5.13. Für diskrete WahrscheinTeilmengen und Gi : Xi∈Ij Ωi → Ω00i messii) Kurzschreibweise: {X
∈
A}
:=
lichkeitsräume (Ωi , Ai , PQ
i ), 1 ≤ i ≤ n heißt
bar ⇒ gj ◦ (Xi , i ∈ Ij )j ∈ J, stochastisch unn
X −1 (A) = {ω ∈ Ω|X(ω) ∈ A}, dann
(Ω, A, P ) mit Ω =
= {ω =
i=1 Ωi
abhängig (messbare Funktionen von Zufallsauch kurz P (X ∈ A) = ...
(ω1 , ..., ωn )|ωi ∈ Ω, 1 ≤ i ≤ n} :=
variablen mit disjunkten Indexmengen)
n
×
Ωi und P definiert durch P (ω) = iii) Die Komposition messbarer Funktionen
Qi=1
n
n
Lemma 6.15. Sei (Ω, A, P ) ein diskreter
ist messbar.
i=1 Pi (ωi ) (P := ×i=1 Pi ) A ist Potenzmenge über Ω)
Wahrscheinlichkeitsraum. Dann gilt: Xi , i ∈
6.7. Das Wahrscheinlich- I, stochastisch unabhängig ⇔ P (Xj = xj , j ∈
Produkt
der
Wahrscheinlich- Definition
X
definiert durch P X (A) = J) = Q P (Xj = xj ), ∀xj ∈ Xj (Ω), ∀j ∈
keitsräume (Ωi , Ai , Pi ), 1 ≤ i ≤ n (Pro- keitsmaß P
j∈J
−1
P (X (A)), A ⊆ R heißt Verteilung von J, ∀J ⊆ I, |J| < ∞
duktraum)
X
X unter P (kurz P
oder P) oder X
Bezeichnung 5.14.
hat Verteilung P X , X ist verteilt wie P X , Satz 6.16. Seien X, Y seien stochastisch
p : Erfolgswahrscheinlichkeit
unabhängige Zufallsvariablen auf Z mit den
X ∼ P X, X ∼ P .
ωi = 1 : Erfolg im i-ten Teilexperiment
Zähldichten f bzw. g (d.h. P (X = n) =
in n sogenannten Bernoulli-Experimenten mit Bezeichnung 6.8. i) Zufallsvariable X f (n), P (Y = m) = g(m); n, m ∈ Z) Dann
ist binomialverteilt,
falls P X (k) = hat X + Y die Zähldichte h gegeben durch
Erfolgswahrscheinlichkeit p.
Pn
n k
P
P (X = k) = k p (1 − p)n−k
Die durch Ek := {ω ∈ Ωi | i=1 ωi =
P (X + Y = k) = h(k) = j∈Z f (j)g(k − j) =
P
k} ≡ Genau k Erfolge mit k ≤ n; P (Ek ) = ii) Zufallsvariable X ist poisson-verteilt,
j∈Z f (k − j)g(j), h ∈ Z
n k
p (1 − p)n−k (Ej0 s sind disjunkt
k
falls für λ > 0 gilt P X (k) = P (X = k) =
Bezeichnung 6.17. h ist die Faltung der
definierte Wahrscheinlichkeitsverteilung auf
λk
· e−λ , k ∈ N0
k!
Dichten f und g : h = f ? g.
{0, 1, ..., n} heißt Binomialverteilung.
iii) Seien Ω 6= ∅, P eine diskrete Wahrscheinlichkeitsverteilung über Ω, A ⊆ Ω. Definition 6.18. Seien (Ω, A, P ) ein Wahrscheinlichkeitsraum und X eine ZufallsvariaDie Funktion
IA : Ω → R definiert durch
ble mit Wahrscheinlichkeitsverteilung
P X.
1 ,ω ∈ A
1
IA (ω) =
heißt Indika1
R
→
R
Zufallsvorgänge werden beschrieben durch
0 , sonst
Die Funktion: F X
x 7→ P X ((−∞, x])
einen Wahrscheinlichkeitsraum (Ω, A, P). Datorfunktion von A und ist eine ZufallsX
bei ist häufig nicht ω ∈ Ω von Interesse,
variable.
heißt die zu P
gehörige Verteilungssondern eine Funktion X von ω. Diese beDabei gilt IA ∼ b(1, p): P (IA = 0) = funktion (kurz: Verteilungsfunktion von X,
zeichnet man als Zufallsvariable. Die zu1 − p, P (IA = 1) = p, zusätzlich gilt F Verteilungsfunktion von X, X verteilt nach
gehörige Wahrscheinlichkeitsverteilung wird
noch: IA∪B = max(IA , IB ), IA∪B = F ,..., X ∼ F )
durch P X (B) = P ({ω ∈ Ω|X(ω) ∈ B}) =
IA + IB (falls A ∩ B = ∅), IA∩B =
P (Xi ≤ x) = Fi (x)
P (X −1 (B)), B ∈ Pot(Ω) angegeben.
min(IA , IB ) = IA · IB , IAC = 1 − IA
6
Zufallsvariablen
Bemerkung 6.19. i) Sei pX die Zähl- Lemma
7.3. Sei (an )n∈NP
eine FolgeP
aus R+ ,
2. V ar(X) = E(X 2 ) − (EX)2 (Häufig zur
P∞
∞
∞
X
n·
b
=
a
,
dann
gilt:
dichte von P X , dann
ist
F
(x)
=
b
:=
Berechnung von V ar(X))
j
n=1
j=1 j
n=j n
P
X
a
P X ((−∞, x])
=
p
(ω)
=
n
ω≤X
3. V ar(X) = 0 ⇔ P (X 6= EX) = 0
P
X
ω≤x,ω∈suppP X p (ω), x ∈ R (Träger)
4. V ar(X) = mina∈R E((X − a)2 )
Korrolar 7.4. Sei (Ω, A, P) ein diskreter
ii) Für P X ((−∞, x]) = P (X ≤ x) d.h. Wahrscheinlichkeitsraum, X : Ω → N0 ,
P∞
Bezeichnung 7.14. Eine Zufallsvariable X
F X (x) ist die Wahrscheinlichkeit dafür, dann gilt: E(X) =
n · P X (n) =
Pn=1
P∞
mit EX = 0 und V ar(X) = 1 heißt Stan∞
X
dass die Zufallvariable X Werte ≤ x an≥ n)
=
n=1 P(X
n=1 P ([n, ∞))
dardisiert.
X
nimmt.
(P(X ≥ n) = 1 − F (n − 1))
Weiterhin: Sei Y Zufallsvariable mit EY =
Lemma 6.20. Sei F X die zu P X gehörige Bezeichnung 7.5. Die Wahrscheinlichkeits- µ < ∞ und 0 < V ar(Y ) =: σ 2 , dann gilt:
Y −EY
= Y σ−µ erfüllt gerade EX = 0
Verteilungsfunktion. Dann gilt:
verteilung P X (n) = (1−p)n−1 ·p, n ∈ N nennt X := √
V ar(Y )
1.
(a) F X ist monoton wachsend
man Geometrische Verteilung.
Satz 7.6. Sei (Ω, A, P) ein diskreter Wahr1, scheinlichkeitsraum, X : Ω → Rk ein Zufallsvektor und f : Rk → R eine mesbare Abbil2. P X ist durch F X eindeutig betsimmt. dung. Ferner existiert der Erwartungswert der
Zufallsvariablen
f ◦ X. Dann
gilt: E(f ◦ X) =
P
P
Definition 6.21. Sei X = (X1 , ..., Xn ) ein
(f ◦X)(ω)·P(ω) = x∈R x·P f ◦X (x) =
ω∈Ω
P
X
Zufallsvektor mit der Wahrscheinlichkeitsvert∈Rk f (t) · P (t) = EP X (f ).
X
X
X
teilung P . Die durch F := P ((−∞, x1 ]×
... × (−∞, xn ]), (x1 , ..., xn ) ∈ Rn definier- Lemma 7.7. Seien X, Y Zufallsvariablen mit
te Funktion heißt Multiplikative Vertei- endlichen Erwartungswerten, a ∈ R, dann
gilt:
lungsfunktion.
(b) F X ist rechtsseitig stetig
(c) limx→∞ F X (x)
=
limx→−∞ F X (x) = 0
Bemerkung 6.22. Sind X1 , X2 stochastischt unabhängig, so gilt: F (X1 ,X2 ) (x1 , x2 ) =
F X1 (x1 ) · F X2 (x2 ), (x1 , x2 ) ∈ R2 ; Insbesondere ist bei stochastisch unabhängigen Zufallsvariablen die gemeinsame Verteilungsfunktion eindeutig durch die Verteilungsfunktionen
der eindimensionalen Randwerte bestimmt.
7
Erwartungswerte
(a) E(a) = a
(b) E(aX) = a · E(X)
(c) E(|X + Y |) ≤ E(|X|) + E(|Y |)
und V ar(X) = 1.
Satz 7.15. Seien X, Y Zufallsvariablen mit
V ar(X), V ar(Y ) < ∞, da gilt V ar(X + Y ) =
V ar(X) + V ar(Y ) + 2 · Cov(X, Y ) wobei
Cov(X, Y ) = E((X − EX) · (Y − EY )) =
E(XY ) − EX · EY
Bemerkung 7.16. Der Varianzoperator ist
nicht lienar sondern benötigt den Korrekturterm Cov(X, Y ).
Satz 7.17. Seien X, Y Zufallsvariablen mit
EX 2 , EY 2 < ∞, dann gilt: (E(X · Y ))2 ≤
EX 2 · EY 2 , wobei Gleichheit genau dann gilt,
wenn ∃a ∈ R P (aX = Y ) = 1 gilt, d.h. X ein
Vielfaches von Y ist.
1. Cov(X, Y ) = E(X ·
(d) E(X + Y ) = E(X) + E(Y ) (zusammen Lemma 7.18.
Y
)
−
EX
·
EY
mit (b) ergibt sich die Linearität)
2. Cov(X, X) = V ar(X)
(e) X ≤ Y ⇒ E(X) ≤ E(Y ) (speziell:
3. Coc(X, Y ) = Cov(Y, X)
Y ≥ 0 ⇒ E(Y ) ≥ 0, E(X) ≤ E(|X|))
(dabei X < Y : X(ω) ≤ Y (ω)∀ω ∈ Ω)
4. Cov(aX + b, Y ) = a · Cov(X, Y )
5. Cov 2 (X, Y ) ≤ V ar(X) · V ar(Y )
(f) E(|X|) = 0 ⇔ P (X 6= 0) = 0
Definition 7.1. Sei (Ω, P) ein diskreter
Lemma 7.8. Seien (Xi )i∈I Zufallsvariablen
Wahrscheinlichkeitsraum.
mit endlichen Erwartungswerten, dann gilt:
1. Sei X(Ω) ⊂ R+ Poder X(Ω) ⊂ R− :
1. E(supi∈I Xi ) ≥ supi∈I E(Xi )
EX := E(X) := ω∈Ω X(ω) · P ({ω})
2. E(inf i∈I Xi ) ≤ inf i∈I E(Xi )
heißt Erwartungswert von X unter
P.
Satz 7.9. Seien X, Y stochastisch un2. Sei X eine allgemeine Zufallsvaria- abhängige Zufallsvariablen und E(|X|) <
ble mit E(max(X, 0)) < ∞ oder ∞ > E(|Y |), dann gilt: E(X · Y ) < ∞ und
E(max(X, 0)) >P −∞, dann heißt E(X · Y ) = E(X) · E(Y )
EX := E(X) := ω∈Ω X(ω) · P ({ω})
der Erwartungswert von X unter P. Definition 7.10. Seien X, Y Zufallsvaria(Definition verhindert −∞+∞“ in der blen und c ∈ R, k ∈ N:
”
Summe)
1. E((X − c)k ) heißtk-tes Moment von
X und c (nichtzentrales Moment, c =
Bemerkung 7.2.
1. Für nicht-negative
0 (zentrales) Moment ⇒ 1.Moment
Zufallsvariablen ist E immer wohldefi= E(X), V ar(X) = 2. Momentniert. E(X) = ∞ ist erlaubt.
(1.Moment)2 )
2. Für Zufallsvariablen mit positiven und
2. E((X − EX)2 ) heißt Varianz oder
negativen Werten mussP die WohlStreuung von X, kurz: V ar(X) oder
definiertheit der Reihe
ω∈Ω X(ω) ·
V arX = E(X 2 ) − E 2 (X) = E(X(X −
P(ω) gewährleistet werden. Werden
1)) + E(X) − E 2 (X)
nur die endlichen Erwartungswerte betrachtet,
kann absoluete Konvergenz
3. E((X − EX)(Y − EY )) heißt KovariP
ω∈Ω |X(ω)|·P(ω) < ∞ gefordert weranz von X und Y , kurz: Cov(X, Y ) =
den, d.h. die Änderung der SummatiE(XY )−E(X)·E(Y ) (Maß für linearen
onsreihenfolge ist erlaubt.
Zusammenhang zwische X und Y )
3. Im Folgenden wird stets die Wohldefiniertheit der auftretenden Erwartungs- Satz 7.11. Sei X eine Zufallsvariable, f :
R → R eine konvexe Funktion, so dass
werte vorausgesetzt.
E(f ◦ X) und E(X) existieren, dann gilt:
4. E(X) hängt von der Verteilung von X E(f ◦X) ≥ f (EX). Speiziell E(X 2 ) ≥ (EX)2
ab: Sei x1 , x2 , ... eine Abzählung
von
P∞
X(Ω), dann gilt: E(X) =
i=1 xi · Korrolar 7.12. Sei X eine reelwertige ZuP X (xi ), P X (x) = 0 falls x ∈
/ supp(P ), fallsvariable, E(|X|r ) < ∞ für ein r ∈ (0, ∞).
d.h.P
E(X) kann ebenso über die Sum- Dann existiert auch E(|X|s )∀0 < s ≤ r und
1
1
me
xi · P X (xi ) erklärt werden.
(E(|X|r )) r ≥ (E(|X|s ) s
5. der Erwartungswert (als mögliche
Kenngröße) dient dem Vergleich von Lemma 7.13. Sei X < ∞; a, b ∈ R
Verteilungen.
1. V ar(aX + b) = a2 V ar(X)
6. X, Y stochastisch unabhängig ⇒
Cov(X, Y ) = 0 Umkehrung gilt nicht!
7. Cov(X + Y, Z)
Cov(Y, Z)
=
Cov(X, Z) +
Bemerkung 7.19.
1. Die Kovarianz ist
symmetrische Bilinearform
2. X, Y stochastisch unabhängig
V ar(X + Y ) = V ar(X) + V ar(Y )
3. X, Y heißen unkorreliert,
Cov(X, Y ) = 0
⇒
wenn
4. Der
Korrelationskoeffizient
ist definiert durch Korr(X, Y ) :=
√ Cov(X,Y )
∈ [−1, 1]
V ar(X)·V ar(Y )
5. Aus der Unkorreliertheit folgt im Allgemeinen nicht die Unabhängigkeit!
8
Das schwache Gesetzt
großer Zahlen
Definition 8.1.
1. Eine Folge (Xn )n von
Zufallsvariablen über (Ω, A, P) heißt
stochastisch konvergent gegen 0,
falls limn→∞ P (|Xn | > ε) = 0, ∀ε > 0
(Schreibweise P − limn→∞ Xn = 0)
2. Eine Folge (Xn )n heißt stochastisch
konvergent gegen c ∈ R bzw.
gegen Zufallsvariable X, falls P −
limn→∞ (Xn − c) = 0 bzw. P −
limn→∞ (Xn − X) = 0
Satz
8.2.
Der
Grenzwert
einer
P −stochastisch konvergenten Folge ist im
P
folgenden Sinne eindeutig definiert: Xn → X
P
und Xn → Y ⇒ P (X = Y ) = 1 aber nicht
zwangsläufig X = Y !
P
P
Satz 8.3.
1. Xn → X, Yn → Y, g : R ×
P
R → R stetig ⇒ g(Xn , Yn ) → g(X, Y )
2. Xn → X (punktweise Konvergenz) ⇒
Ist µ(Ω) < ∞, so
X(ω) = limn→∞ Xn (ω), ∀ω ∈ Ω ⇒ vii) Komplementarität:
gilt: µ(AC ) = µ(Ω) − µ(A)
P
Xn → X
viii) Stetigkeit von unten: Ist die Folge
Satz 8.4 (Markov’sche Ungleichung). Sei X
(An )n∈NSisoton (monoton
wachsend), so
Zufallsvariable, g : R+ → R+ monoton wachgilt: µ ∞
n=1 An = limn→∞ µ(An )
send, dann gilt: P (|X| > ε) ≤ P (|X| ≥ ε) ≤ ix) Stetigkeit von oben: Ist die Folge
1
· E(g(|X|)), ∀ε > 0, g(ε) > 0
g(ε)
(A )
antiton (monoton fallend), so
T
n n∈N
∞
n=1 An = limn→∞ µ(An )
Satz 8.5. Seien (Xi )i∈N paarweise unkorrex)
Sub-Additivität:
Für
lierte Zufallsvariablen mit EXI =: µ∀i ∈
PEreignisse
Sn
A
≤ n
A
,
..,
A
gilt:
µ
i
1
n
N und
ar(Xi ) ≤
∞, dann gilt:
i=1 µ(Ai )
i=1
1 PV
M ≤ M
n→∞
n
>ε ≤
P n i=1 Xi −
µ
−→
0
⇒
xi) Subσ-Additivität: Für Seine Ereign·ε2
P
P − limn→∞ n1 n
≤
nisfolge (Ai )i∈N gilt: µ n
i=1 Xi = µ, d.h. das arithi=1 Ai
Pn
metische Mittel von Einzelversuchen“ (beµ(A
)
i
i=1
”
schrieben durch X1 , X2 , ...) konvergiert stochastisch gegen den (unbekannten) Erwar- Satz 9.6. Sei G : R → R eine monoton wachsende, rechtsseitig stetige Funktion.
tungswert µ.
Dann existiert genau ein Maß µ auf (R, B)
mit µ((a, b]) = G(b) − G(a), ∀a, b ∈ R, a < b
gilt: µ
9
Borelmengen und Maße
Lemma 9.1. Ist E ⊂ Pot(Ω), so existiert eine kleinste σ-Algebra A(E), die E enthält, d.h.
• f (x) ≥ 0, ∀x ∈ Rn
vi) Subtraktivität: Sind A ⊂ B und
µ(Ω) < ∞, so gilt: µ(B\A) = µ(B) −
µ(A)
• f ist Riemann-integrierbar mit
•
a
ii) Ist E σ-Algebra ⇒ A(E) = E
iii) E = {A} ⇒ A(E) = {∅, A, AC , Ω}
Bezeichnung 9.3. Seien k ∈ N und E n :=
{(a, b]|a, b ∈ R} (für n = 1 : F X (b) −
F X (a) = P (X ∈ (a, b]))) so heißt Bn :=
A(E n )(B1 = B) Borel’sche σ-Algebra
oder σ-Algebra der Borelmenge über Rn .
Jedes B ∈ Bn heißt Borelmenge
Definition 9.4. Sei (Ω, A) ein messbarer
Raum. Eine Abbildung µ : A → [0, ∞] heißt
Mass über (Ω, A), falls gilt:
1. µ(∅) = 0
2. Für alle Familien (Ai )i∈I von paarweise disjunkten Ai ∈ A mitP
abzählhba
rer
Indexmenge
I
gilt:
µ
=
i∈I Ai
P
i∈I µ(Ai )
R +∞
−∞
f (x1 , ...xn )dx1 ...dxn = 1
Bemerkung 10.9. Es gelten (weiterhin)
nach dem Ersetzen von Summen durch Integrale:
R +∞
• E(g ◦ X) = −∞ g(x)f (x)dx, z.B.
g(x) := (XR − EX)2 ⇒ E(g ◦ X) =
+∞
V ar(X) = −∞ (X − EX)2 f (x)dx
• Eigenschaften der Erwartungswerte,
Varianz, Kovarianz
• Ungleichungen von Jensen, Ljapunoff,
Cauchy-Schwarz und Markov und Techebyscheff
i)
erzeugte σ-Algebra
...
Bezeichnung 10.8. Sei f die RiemannR +∞
Dichte von X, so heißt EX := −∞ x ·
f (x)dx Erwartungswert von X (falls wohldefiniert).
f (x)dx = 1 (Riemann-Integral)
A(E) ist eine σ-Algebra
10 Wahrscheinlichkeitsii) E ⊂ A(E)
maße mit Riemanniii) Ist A0 eine σ-Algebra mit E ⊂ A0 ⇒
0
A(E) ⊆ A
Dichten über R
Bemerkung 9.2. i) A(E) heißt die von E Beispiel 10.1 (Rechteckverteilung (stetige
−∞
Satz 10.7. Ist f eine Dichte über
n
R
F (x1 , ..., xn )
=
Rsox1 definiert
R xn,
f (y1 , ..., yn )dy1 ...dyn , (x1 , ..., xn ) ∈
... −∞
−∞
Rn eine stetige Verteilungsfunktion über
Rn . Ist P das zugehörige Wahrscheinlichkeitsmaß über (Rn , Bn ) heißt f eine
Dichte von P. Dann ist P (×n
i=1 [ai , bi ]) =
R bn R b1
...
f
(y
,
...,
y
)dy
...dy
,
∀a
1
n
1
n
i ≤ bi ∈ R.
an
a1
Lemma 9.7. Sei f : R → R+ und I =
(a, b) ⊂ R, −∞ ≤ a < b ≤ ∞,
R ∞mit f (x) =
0∀x ∈ I C , f stetig auf I und −∞ f (x)dx =
Rb
R +∞
Beispiel 10.10.
X∼
E(X)
b(n, p)
n·p
po(λ)
λ
b+a
2
R(a, b)
E(X 2 )
Var(X)
np(1 − p)
λ
1 2
(b +
3
(a−b)2
12
Gleichverteilung)).
(a, b), a, b ∈ R f (x) =
ab +
auf
1
, x ∈ [a, b]
a2 )
1
b−a
· I[a,b] (x) =
,x ∈ R
1
1
b−a
0 , sonst
Exp(λ)
λ
λ2
2
−β
Die durch Dichtefunktion definierte Wahr- W ei(α, β) α− β1 ·
α
·
scheinlichkeitsverteilung über (a, b) heißt steΓ β1 + 1
Γ β2 + 1 −
tige Gleichverteilung.
Verteilungsfunkti
8
Γ2 β1 + 1
0 ,x < a
<
x−a
p
p
, a ≤ x ≤ b Zum Be- Γ(b, p)
on: F (x) =
b
b2
: b−a
1 ,x > b
N (µ, σ 2 ) µ
σ2
rechnen der Wahrscheinlichkeiten: P (X ∈
Rd
10.11
(Ausfallrate).
(c, d)) = c f (x)dx = F (d) − F (c), (c, d) ⊂ Bemerkung
f (x)
h(x) =
(X ∼ Exp(λ) ⇒
(a, b)
1−F (x)
h(x) = λ; X ∼ W ei(α, β) ⇒ h(x) =
Beispiel 10.2
(Exponentialverteilung). 8
↑
, β > 1 ≡ Abnutzung
<
λ · e−λx x > 0
)
f (x) =
, x ∈ R, λ > 0 : konst. , β = 1 ≡ keine Alterung
0
,x ≤ 0
↓
, β < 1 ≡ System wird stabiler
0
x≤0
F (X) =
Schreibweise: Bezeichnung 10.12. Verteilungsfunktion
1 − e−λx , x > 0
wurde eingeführt als Integral mit oberer
Exp(λ)
Grenze als Argument. Die so eingeführte VerBeispiel ( 10.3
(Weibull-Verteilung). teilungsfunktion hat (sogar) die Eigenschaft
β
αβxβ−1 e−αx
, x > 0 , x ∈ der absoluten Stetigkeit, 0 d.h. die Dichte
f (x) =
f von X ist gegeben durch F (x) = f (x).
0
,x ≤ 0
(Ω, A, µ) heißt Massraum. Ein Maß µ mit
µ(Ω) = 1 heißt Wahrscheinlichkeitsmass
P und (Ω, A, P heißt WahrscheinlichkeitsR, α, β
raum.
> (0, u.a. für die Lebensdauer:
0
x≤0
F (X) =
Schreibβ
Satz 9.5. Seien (Ω, A, µ) ein Maßraum und
1 − e−αx
,x > 0
A, B, A1 , A2 , ... ∈ A. Das Maß µ bestitzt fol- weise: W ei(α, β)
gende Eigenschaften:
Beispiel 10.4 (Gammaverteilung). f (x) =
i) Nulltreue: µ(∅) = 0
pb
·e−bx ·xp−1 ·I(0,∞) (x), x ∈ R, a, p > 0 (Für
Γ(p)
ii) Positivität: µ(A) ≥ 0, ∀A ∈ A (µ(A) =
b = λ, p = 1 ergibt sich Exp(λ)) ⇒ Problem
∞ ist möglich!)
bei der Angabe von F , da dies geschlossen nur
iii) Additivität: Ist A ∩ B = ∞, so gitl für p ∈ N möglich ist.
µ(A ∪ B) = µ(A) + µ(B)
Beispiel 10.5 (Gauß’sche
Normalvertei
2
iv) Additivität: Aus iii) folgt für paar1
lung). f (x) = √2π·σ
· exp − (x−µ)
, µ, x ∈
2
2σ
weise
disjunkte
Mengen
A
,
...,
A
:
1
n
Pn
Pn
R,
σ
>
0
Schreibweise:
N
(µ,
σ)
µ
i=1 AI =
i=1 µ(Ai )
Bemerkung
10.13. Die Zufallsvariablen X1 , ..., Xn : (Ω, A, P) → (R, B)
sind
stochastisch
unabhängig
⇐⇒
F (X1 ,...,Xn ) (x1 , ..., xn ) = F X (x) = F X1 (x1 ) ·
... · F Xn (xn ), ∀(x1 , ...,
x ) ∈ Rn , d.h. P(X1 ≤
Qn n
x1 , ..., Xn ≤ xn ) = i=1 P (Xi ≤ xi ), ∀xi ∈ R
ist notwendig und hinreichend für die stochastische Unabhängigkeit von X1 , ..., Xn
Lemma 10.14. Sei X = (X1 , ..., Xn )
ein absolut stetiger Zufallsvektor mit
Dichtefunktion f X . Dann gilt für die
i-te Randdichte F Xi (x) = f Xi (x) =
Z
Z
+∞
+∞
f X (x1 , ..., xi−1 , x, xi+1 , ..., xn )
...
|
−∞
{z
−∞
}
v) Isotonie: Ist A ⊂ B, so gilt: µ(A) ≤ Definition 10.6. Eine Funktion f : Rn → R n−1 Integrale
µ(B)
heißt (Riemann-)Dichte auf Rn , falls gilt:
dx1 ...dxi−1 dxi+1 ...dxn , x ∈ R.
Ferner
gilt:
f X (x1 , ..., xn )
= iii) Ist m durch 4 teilbar, so muss auch a − 1
Xi
durch 4 teilbar sein
d
(x
),
∀x
∈
R ⇐⇒ X1 , ..., Xn
i
i
i=1
stochastisch
unabhängig
mit
Dichten
Bemerkung 11.5 (Regel). Auch bei maxif X1 , ..., f Xn .
maler Periodenlänge dürfen nicht alle mögliKorrolar 10.15. Sei (X1 , X2 ) ein absolut chen Pseudozufallszahlen für eine Simulatistetiger Zufallsvektor mit der Dichtefunktion on ”verbraucht“ werden. Etwa wäre stets die
f (X1 ,X2 ) dann ist Y = X1 + X2 absolut ste- letzte Zahl vorhersagbar.
Qn
tig mit der Dichte f Y (y) =
z)dt, y ∈ R
R +∞
−∞
∞
X
(λ · t)k
n=0
n
X
i=1
n
X
12
Einführung
Statistik
in
die
= eλt
n(n + 1)(2n + 1)
6
i2 =
f X (t, y −
Bemerkung
10.16. Sind
X1
und
X2 stochastisch unabhängig, dann ist
f (X1 ,X2 ) (x1 , x2 ) = f X1 (x1 )·f X2 R(x), ∀x1 , x2 ∈ Definition
12.1. Die
Menge
aller
+∞
R und damit f X1 +X2 (y) = −∞ f X1 (t) · möglichen Realisationen ist Xn
=
n
f X2 (y − t)dt, y ∈ R
(X(Ω))
.
Jede
messbare
Abbidlung
δ
:
n
X
→D
heißt statistiBezeichnung 10.17. Die Verteilung X1 +
x = (x1 , ..., xn ) 7→ d
X2 heißt Faltung von X1 und X2 .
sche Entscheidungsfunktion (SEF).
Bezeichnung 10.18. X1 + X2 besitzt eine Bezeichnung 12.2. Eine Klasse P von
Dreiecksverteilung.
Wahrscheinlichkeitsverteilungen heißt para-
k!
i=
i=1
n(n + 1)
2
!
n
k
!
=
∞
X
(1 − p)i =
i=0
n
X
n
n−k
1
1
=
1 − (1 − p)
p
a · qk = a ·
i=0
q n+1 − 1
q−1
!
n
metrisch, falls ∃Θ ⊂ Rl , Abbildung h :
X
n i n−i
Bezeichnung 10.19. Die Klasse der Γ- ab
= (a + b)n
Θ →P
Verteilungen (bei festem Parameter) ist Fali
, h bijektiv (Identifizierbari=1
θ 7→ Pθ
tungstabil, d.h. die Faltung führt nicht aus
keit).
X λk −λ
der Klasse der Verteilungen heraus.
e =1
Bezeichnung 12.3. Gegeben sei eine pak!
Definition 10.20. Sei (Xi )i∈N eine Folge von rametrische Klasse P = {Pθ |θ ∈ Θ} von
k=0
stochastisch unabhängig iid. nicht-negativen Wahrscheinlichkeiten. Eine SEF (statistische
∞
X
1
1
Zufallsvariablen.
Die Folge der Partiasummen Entscheidungsfunktion) δ : Xn → Θ heißt
0
1
=
1
j
2
1
−
Schätzfunktion.
(Parameterschätzung,
2
j=0
B n
C
BX C
Punktschätzung)
B
C
Xi C
mit S0 = 0 heißt Erneuen!
B
lim
=1
n √
Definition 12.4. Gegeben sei eine paramtri@ i=1
A
n→∞ n
| {z }
2πn
e
sche Klasse P von Wahrscheinlichkeitsvertei=:Sn
n
n∈N
!
rungsprozess. Für jedes t ≥ 0 wird die Zu- lungen, ein Stichprobenraum X , ein Pam
m!
rameterraum
Θ
=
D
⊂
R
und
eine
Men=
fallsvariable Nt P
definiert durch Nt := sup{n ∈
n
m1 , ..., mn
m1 ! · ... · mn !
∞
ge
∆
=
{δ|δ
:
X
→
Θ}
von
SchätzN, Sn ≤ t}(=
i=1 I{Si ≤t} ). (Nt )t≥0 heißt
funktionen. δ ∈ ∆ nennt man erwartungsErneuerungsprozess.
treu,
R falls gilt: Eθ (δ(X)) =
θ∀θ ∈ Θ = Lemma 13.1 (Regeln der Mengenlehre).
δ(x)
·
f
stetig
Lemma 10.21. Sei Xi die Lebensdauer von
θ (x)dx
P
(Im Mittel lie1. A ∪ B = B ∪ A, A ∩ B = B ∩ A
δ(xi ) · pθ (xi ) diskret
Komponenten und Sn die Gesamtlebensdauer, so ist Nt die Anzahl der ausgefallenen fert die Schätzfunktion den wahren Wert)
2. (A∪B)∪C = A∪(B ∪C), (A∩B)∩C =
Komponenten bis zum Zeitpunkt t. Es gilt: Bezeichnung 12.5. Gegeben sei P =
A ∩ (B ∩ C)
Sn ≤ t ⇔ Nt ≥ n∀t > 0∀n ∈ N
{Pθ |θ ∈ Θ} auf Xn mit Riemann- bzw.
3. (A ∪ B) ∩ C = (A ∩ C) ∪ (B ∩ C),
Dann gilt: Xi ∼ Exp(λ)∀i ∈ N gilt Nt ∼ Lebesque-Dichten f , θ ∈ Θ oder diskrete
θ
(A ∩ B) ∪ C = (A ∪ C) ∩ (B ∪ C)
po(λ · t)∀t > 0
Wahrscheinlichkeitsverteilung, so heißt L =
8
< (
Xn , Θ)
11
Grundlagen der Simulation
→ [0,
1]
fθ (x) kontinu. Fall
(x, θ) 7→
:
Pθ (X = x) diskreter Fall
Likelihood-Funktion zur Realisation X.
(Funktion des Parameters θ bei festem x)
Lemma 11.1. Für [u, v] ⊂ [0, 1] gilt: Bezeichnung 12.6. Fehler 1. Art: p ∈ P 0
1
|Pm ({ω ∈ Ωm |u ≤ ω ≤ v}) − (v − u)| ≤ m
ablehnen, obwohl richtig; Fehler 2. Art: p ∈
Wobei (v −u) die Wahrscheinlichkeit nach der P 0 annehnen, obwohl falsch;
Rechteckverteilung für das Intervall [u, v] ist.
P0
P1
0
kein Fehler
Fehler 2. Art
Lemma 11.2. Sind r1 , ..., rn , s1 , ..., sn ∈ P
1
P
Fehler
1.
Art
kein Fehler
[0, 1] mit rj − sj ≤ ε, ∀j ∈ {1, ..., n}, so folgt
Q
Qn
n
j=1 rj − j=1 sj ≤ n · ε
4. (A ∪ B)C = AC ∩ B C , (A ∩ B)C =
AC ∪ B C
5. A\B = A ∩ B C
Lemma 13.2 (Bernoulli). (1 + p)n > 1 +
np, (1 − p)n > 1 − np für 0 < p < 1, n > 1
Lemma 13.3 (Logarithmen). loga (b · c) =
loga b + loga c, loga (b : c) = loga b −
loba c, loga (br ) = r · loga b
p
q
Bemerkung 12.7. Im Allgemeinen ist es Lemma 13.4 (Potenzgesetze). a · a =
p+q
p
r
p−r
p r
p·r
,a : a = a
, (a ) = a
nicht möglich beide Fehlerwahrscheinlichkei- a
Bezeichnung 11.3. Sei m ∈ N (Modul), ten simultan zu minimieren.
Lemma 13.5 (Ableitungsregeln). (f ±
a ∈ N0 (Faktor), b ∈ N0 (Inkrement), z0 ∈ N0 ,
Bemerkung 12.8. Durch statistischen Test
g)0 = f 0 ± g 0 , (f · g)0 = f0 · g + f ·
z0 ≤ m − 1 (Anfangsglied). Kongruenzschekann immer nur die Aussage in der Alterna- 0 f 0
0
0
0
0
·g
ma: zj+1 = (a · zj + b)(modm), j ∈ N0 ;
g, g
= f ·g−f
, g1
= gg2 , (g ◦
tiven Hypothese belegt werden.
g2
Rb
Klar ist: 0 ≤ zj ≤ m − 1, ∀j ∈ N0 ; Norf )0 = (g 0 ◦ f ) · f 0 , a (f ◦ g)(x) · g 0 (x)dx =
mierung: xj := zmk , j ∈ N0 liefert die Folge
R g(b)
Rb 0
f (z)dz, a f (x)·g(x)dx = f (x)·g(x)|ba −
(xn )n∈N ⊂ [0, 1].
Rg(a)
b
f (x)ġ 0 (x)dx
a
Satz 11.4. Für b ≥ 1 wird die maximal
mögliche Periodenlänge genau dann erreicht,
Lemma 13.6 (Ableitungen). f (x) = x1 ⇒
√
wenn:
F (x) = ln|x|, f (x) =
x ⇒ F (x) =
3
i) b ist teilerfremd zu m
iid = stochastisch unabhängig, identisch ver- 23 x 2 , f (x) = ln(x) ⇒ F (x) = x(ln(x) −
ii) Jede Primzahl, die m teilt, teilt auch a−1 teilt
1), f (x) = ln(a) · ax ⇒ F (x) = ax
13
Formeln (aus anderen Bereichen der
Mathematik