Stochastik I Vorlesungsmitschrift

Stochastik I
Vorlesungsmitschrift
Ulrich Horst
Institut für Mathematik
Humboldt-Universität zu Berlin
Inhaltsverzeichnis
1 Wahrscheinlichkeitsräume
1
2 Diskrete Modelle
3
3 Transformation von Wahrscheinlichkeitsräumen
4
4 Zufallsvariable, Erwartungswert
6
5 Ungleichungen
9
6 Varianz und Kovarianz
9
7 Schwaches und starkes Gesetz der großen Zahlen
11
8 Vergleich von Konvergenzbegriffen, gleichmäßige Integrierbarkeit
12
i
1
Wahrscheinlichkeitsräume
a) Was kann alles passieren?
b) Mit welchen Wahrscheinlichkeiten treten diese oder jene Ereignisse auf?
a) → Menge Ω 6= ∅ der möglichen Ereignisse
Beispiel 1.1.
a) Ein Münzwurf: Ω = {0, 1}
b) n Münzwürfe: Ω = {(X1 , . . . , Xn ) : Xi ∈ {0, 1}}
c) unendlich viele Münzwürfe: Ω = (Xi )i∈N : Xi ∈ {0, 1}
d) Zufallszahl zwischen 0 und 1: Ω = [0, 1]
e) Stetige stochastische Prozesse, z.B. Brownsche Bewegung auf R:
Ω = C ([0, 1]) oder Ω = C ( [0, ∞) )
Ereignis A ⊂ Ω, A tritt ein“, falls auftretendes ω in A liegt
”
elementares Ereignis: A = {ω}, ω ∈ Ω
unmögliches Ereignis: A = ∅
sicheres Ereignis:
A=Ω
A tritt nicht ein“:
Ac
”
Kombination von Ereignissen
S
A1 ∪ A2
mindestens eins der Ai tritt ein“, i Ai
T
”
A ∩A
jedes der Ai tritt ein“, i Ai
T1 S 2
”
A
unendlich
viele der Ai treten ein“
Sn Tm≥n m ”
bis auf endlich viele treten alle Ai auf“
n
m≥n Am
”
T S
S T
lim sup An = n m≥n Am , lim inf An = n m≥n Am
Beispiel 1.2.
zu a) “1 tritt ein“: A = {1}
Pn
zu b) Genau k Einsen treten auf: A = {(X1 , . . . , Xn ) ∈ Ω :
i=1 Xi = k}
Pn
zu c) Relative Häufigkeit von 1 ist p: A = (X1 , . . . , Xn ) ∈ Ω : lim n1 i=1 Xi = p
zu d) Zahl zwischen a und b: A = [a, b]
zu e) Niveau c wird überschritten (bis zur Zeit 1): A = {ω ∈ C ([0, 1]) : max0≤t≤1 ω (t) ≥ c}
Kollektion A der im Modell zugelassenen Ereignisse soll abgeschlossen sein unter abzählbaren
Mengenoperationen.
Definition 1.3. A ⊆ P (Ω) heißt σ-Algebra, falls
1. Ω ∈ A,
1
2. A ∈ A impliziert Ac ∈ A,
3. A1 , A2 , . . . ∈ A impliziert
S∞
n=1
An ∈ A.
Bemerkung 1.4.
1. Sei A eine σ-Algebra. Dann gilt:
• ∅∈A
• A1 , A2 , . . . ∈ A impliziert
T∞
n=1
S∞
c
An = ( n=1 An ) ∈ A.
2. P (Ω) ist eine σ-Algebra.
3. Seien Ai σ-Algebren, i ∈ I, dann ist
T
i∈I
Ai wieder eine σ-Algebra.
4. Typische Konstruktion einer σ-Algebra A: Sei A0 Klasse von Ereignissen die jedenfalls dazugehören sollen. Definieren
\
B
A=
B σ-Algebra
A0 ⊂B
= die kleinste σ-Algebra, die A0 enthält
=: σ (A0 ) ,
σ (A0 ) heißt die von A0 erzeugt σ-Algebra.
Beispiel 1.5. Sei Ω ein topologischer Raum und A0 die Familie der offenen Teilmengen auf Ω.
B (Ω) = σ (A0 ) heißt Borelsche σ-Algebra auf Ω oder σ-Algebra der Borelschen Teilmengen von Ω.
B (Ω) enthält im Allgemeinen nicht alle Mengen.
Definition 1.6. Sei Ω 6= ∅ und A eine σ-Algebra auf Ω. Eine Abbildung P : A → [0, ∞] heißt Maß auf
S∞
P∞
(Ω, A), falls P (∅) = 0 und P ( i=1 Ai ) = i=1 P (Ai ) für A1 , A2 , . . . ∈ A, die paarweise disjunkt sind
(σ-Additivität). P heißt Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsmaß, falls P (Ω) = 1,
(Ω, A, P) heißt dann Wahrscheinlichkeitsraum. (Axiome von Kolmogorov)
Beispiel 1.7.
zu a) Ω = {0, 1}, A = {∅, {0} , {1} , {0, 1}} = P (Ω), faire Münze: P (0) = P (1) = 21
zu c) X̄1 , . . . , X̄n ∈ {0, 1}, P (Xi )i ∈ Ω : X1 = X̄1 , X2 = X̄2 , . . . , Xn = X̄n = 2−n
A0 = {B ⊂ Ω : B hängt nur von endlich vielen Würfen ab}
n
= {A × {0, 1} × {0, 1} × . . . : A ⊂ P ({0, 1} ) , n = 1, 2, . . .}
P ist fortsetzbar auf σ (A0 )
zu e) A = B (R), P ({ω ∈ C ([ 0, ∞) ) : ω (t) ∈ [a, b]}) =
√1
2πt
Rb
a
e−
x2
2
dx
Einfache Rechenregeln 1.8. Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und seien A1 , . . . , An paarSn
Pn
weise disjunkt. Dann gilt P ( i=1 Ai ) = i=1 P (Ai ).
Insbesondere gilt P (Ac ) = 1 − P (A).
Sind A, B ∈ A mit A ⊂ B, so folgt P (B) = P (A) + P (B\A).
A, B ∈ A impliziert P (A ∪ B) = P (A) + P (B\A ∩ B) = P (A) +P (B) − P(A ∩ B).
P
S
T
|J|+1
Mit vollständiger Induktion: P i∈I Ai = ∅6=J⊂I (−1)
P
j∈J Aj mit J endliche Menge.
T
Pn
S
P
k+1
k
Für I = {1, . . . , n} gilt: P i∈I Ai = k=1 (−1)
P
A
.
i
j
1≤i1 ≤...≤ik ≤n
j=1
2
Satz 1.9. Sei A eine σ-Algebra auf Ω und P : A → R eine Abbildung mit P (Ω) = 1. Dann sind die
folgenden Aussagen äquivalent:
1) P ist eine Wahrscheinlichkeitsverteilung.
2) P ist additiv (d.h. A∩B = ∅ impliziert P (A ∪ B) = P (A)+P (B)) und isoton stetig, d.h. An ∈ A,
An % A impliziert P (An ) → P (A).
3) P ist additiv und antiton stetig.
Korollar 1.10. Seien A1 , A2 , . . . ∈ A. Dann gilt P (
S
i
Ai ) ≤
P∞
n=1
P (An ).
Lemma 1.11. [Borel-Cantelli] Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und seien A1 , A2 , . . . ∈ A
P∞
mit i=1 P (Ai ) < ∞. Dann gilt
P lim sup An = 0.
n
Beispiel 1.12.
1. Ω = [0, 1], A Borelsche
σ-Algebra = σ ({[a, b] : 0 ≤ a ≤ b ≤ 1}),
P = Lebesgue Maß[0,1] , P ([a, b]) = b − a (Existenz und Eindeutigkeit vorausgesetzt) Gleichverteilung auf [a, b]
(
1, ω ∈ A
2. Ω 6= ∅, ω ∈ Ω, δω (A) = εω (A) =
= 1A (ω) Dirac Maß
0, ω ∈
/A
P∞
P
3. Ω 6= ∅, I abzählbar, αi ∈ R, i=1 αi = 1, ωi ∈ Ω, P = αi δωi
2
Diskrete Modelle
Sei Ω 6= ∅ eine (höchstens) abzählbare Menge und A = P (Ω).
P
P
Satz 2.1. Sei p : Ω → [0, 1], ω∈Ω p (ω) = 1 (p Gewichtung der Fälle). P (A) := ω∈A p (ω), A ⊂ Ω
definiert ein Wahrscheinlichkeitsmaß auf Ω. Jedes Maß auf Ω ist von dieser Form.
Beispiel 2.2.
1. 0 < |Ω| < ∞, p (ω) = const. =
1
|Ω|
Laplace Modell: Für A ⊂ Ω dann P (A) = |A|
|Ω| . P ist Gleichverteilung auf Ω.
Zufällige Permutationen
M = {1, . . . , n}, Ω Menge aller Permutationen von M , d.h. aller Bijektionen ω : M → M .
Dann |Ω| = n!. P sei Gleichverteilung auf Ω.
Frage z.B.: P ( mindestens ein Fixpunkt“), Ai = {ω : ω (i) = i}
”
!
n
[
P ( mindestens ein Fixpunkt“) =P
Ai
”
i=1
=
n
X
k=1
3
k+1
(−1)
X
1≤i1 ≤...≤n
P (Ai1 ∩ . . . ∩ Aik )
(n−k)!
n! ,
Mit P (Ai1 ∩ Ai2 . . . ∩ An ) =
P
n
[
!
Ai
=
i=1
⇒ P ( kein Fixpunkt“) =
”
n
k
gegeben
n
X
(−1)
k+1
k=0
P ( genau k Fixpunkte“) =
”
(−1)
Summanden, gilt:
n
X
n (n − k)!
k 1
=−
(−1)
n!
k!
k
k=1
k=1
Pn
k 1
k!
→ e−1
1
n!
|{z}
n
k
| {z }
·
n−k
X
· (n − k)! ·
mögliche Fälle Fixpunkte werden festgelegt
(−1)
j=0
|
{z
j
1
j!
}
obige Forml für n−k
n−k
1 X
1
j
=
(−1) j!−1 → e−1
k! j=0
k!
Poisson-Verteilung mit Parameter λ = 1.
2. n Experimente mit Zustandsraum S:
n
0 < |S| < ∞, Ω = {(X1 , . . . , Xn ) : Xi ∈ S}, |Ω| = |S| , S0 ⊂ S Erfolg, falls S0 auftritt.
|S0 |
p := |S| , Ak := genau k Erfolge,
|Ak |
|Ω|
k
n−k
n
k |S0 | |S\S0 |
=
n
|S|
n k
n−k
=
p (1 − p)
k
p (Ak ) =
Binomialverteilung mit Parametern n, p.
1
Für p = nλ konvergiert die Binomialverteilung für festes k gegen die Poisson-Verteilung λk e−k · k!
.
3. Meinungsumfragen, ...
N Kugeln, K rote, N − K schwarze, Stichprobe von n Kugeln (ohne Zurücklegen), davon k rote
Modell:
•) Ω Gesamtheit aller Teilmengen von {1, . . . , N } mit genau n Elementen, d.h.
Ω = {ω ∈ P ({1, . . . , N }) : |ω| = n} ,
|Ω| =
N
n
.
•) P Gleichverteilung auf Ω,
Ak := genau k rote ⇒ P (Ak ) =
|Ak |
|Ω|
=
−K
(Kk )(Nn−k
)
hypergeometrische Verteilung
N
(n)
Für K
konvergiert die hypergeometrische Verteilung für N → ∞ gegen die BinomialN =: p fest
n−k
n k
verteilung k p (1 − p)
.
3
Transformation von Wahrscheinlichkeitsräumen
(Ω, A), Ω̃, Ã seien messbare Räume (jeweils Menge mit σ-Algebra)
4
Definition 3.1. Eine Abbildung T : Ω → Ω̃ heißt messbar (A − Ã-messbar), falls
n
o
T −1 Ã ∈ A =: T ∈ Ã
für alle à ∈ Ã.
Bemerkung 3.2.
0. Wenn A = P (Ω), dann ist T messbar für alle Ã.
1. Sei à = σ Ã0 mit Ã0 ⊂ P (Ω). T : Ω → Ω̃ ist messbar genau dann, wenn T −1 à ∈ A für
alle à ∈ Ã0 .
Definition 3.3. Seien Ω, Ω̃ Mengen, Ã eine σ-Algebra auf Ω̃ und T : Ω → Ω̃ gegeben. Dann heißt
n
o
σ (T ) := T −1 Ã : Ã ∈ Ã
die von T erzeugte σ-Algebra (es ist eine!).
Satz 3.4. Sei P eine Wahrscheinlichkeitsverteilung auf (Ω, A), Ω̃, Ã ein messbarer Raum und
h
i
T : Ω → Ω̃ messbar. Dann ist durch P̃ Ã := P T −1 Ã = P T ∈ Ã , Ã ∈ Ã eine Wahrschein
lichkeitsverteilung auf Ω̃, Ã definiert, genannt das Bildmaß von P unter der Abbildung T , oder Verteilung von T unter P.
Schreibweise: T (P), PT
Bemerkung 3.5.
1. Nimmt T nur abzählbar viele Werte ω̃1 , ω̃n , . . . an, so ist P̃ = T (P) =
P
i
P [T = ω̃i ] δω̃i .
2. Satz 3.4 löst manche Existenzprobleme:
Beispiel 3.6. Existenz des Lebesgue-Maßes auf [0, 1] vorausgesetzt, existiert
exaktes Modell für unendlich viele faire Münzwürfe: Ω = [0, 1], A = B ([0, 1]), P = Lebesgue-Maß[0,1] ,
Ω̃ =
n
o
X̃1 , X̃2 , . . . : X̃i ∈ {0, 1} ,
Xi : Ω̃ → {0, 1}
Projektion auf i-te Koordinate,
à := σ
nn
o
o
X̃i = 1 : i = 1, 2, . . . .
Die binäre Darstellung von ω ∈ [0, 1] liefert Abbildung
T : Ω → Ω̃, ω 7→ (T1 ω1 , T2 ω2 , . . .) ,
X̃i ◦ T = Ti .
Bei Zahlen, deren Darstellung nicht eindeutig ist, z.B. 0, 5, allgemein 2−i , wählen wir die unendliche
Reihe, d.h.
X
0, 5 =
2−i .
i≥2
5
T ist messbar: T −1
n
o
X̃i = 1
= {Ti = 1} ist Vereinigung von 2i Intervallen.
Sei P̃ das Bild von P unter T . Dann für x1 , . . . , xn ∈ {0, 1}
h
i
P̃ X̃1 = x1 , . . . , X̃n = xn =P [T1 = x1 , . . . , Tn = xn ]
=T −1 (X1 = x1 )
=T −1 X̃1−1 (x1 )
−1
= X̃1 ◦ T
({x1 })
=T −1 ({x1 })
=2−n ,
da T1 = x1 , . . . , Tn = xn Intervall der Länge 2−n .
4
Zufallsvariable, Erwartungswert
Sei (Ω, A, P) Wahrscheinlichkeitsraum.
Definition 4.1. X : Ω → R (oder R) heißt Zufallsvariable, falls X messbar ist, d.h. X −1 (B) ∈ A
für alle Borelschen B ⊂ R.
Bemerkung 4.2.
1. X : Ω → R ist eine Zufallsvariable genau dann, wenn {X ≤ c} ∈ A für alle c ∈ R, da
σ ({[ −∞, c ) : c ∈ R}) = B (R)
2. Wenn A = P (Ω), dann ist jedes X : Ω → R eine Zufallsvariable.
3. X sei eine Zufallsvariable und h : R → R messbar. Dann ist h ◦ X = h (X) eine Zufallsvariable.
p
Insbesondere ist |X|, X 2 , |X| und eX eine Zufallsvariable.
4. Die Menge der Zufallsvariablen ist abgeschlossen unter abzählbaren Operationen. D.h. für ZuP
fallsvariablen X1 , X2 , . . . ist auch
αi Xi Zufallsvariable (soweit sinnvoll) oder sup Xi , inf Xi ,
lim inf Xi , lim sup Xi .
Wichtige Spezialfälle 4.3.
1) Indikator (charakteristische) Funktion von A ∈ A: 1A


für c < 0

∅,
{1A ≤ c} =
Ac ,


Ω,
für 0 ≤ c ≤ 1
∈A
1≤c
Pn
2) Elementare Zufallsvariable: X = i=1 αi 1Ai , αi ∈ R
P
Sei X eine Zufallsvariable mit X (Ω) endlich. Dann gilt X = α∈X(Ω) α1X=α .
Satz 4.4.
6
1. Jede Zufallsvariable ist von der Form X = X + − X − mit
X + = max (X, 0) , X − = max (−X, 0) = − min (X, 0) .
Insbesondere sind X + , X − Zufallsvariablen.
2. Zu jeder Zufallsvariable X ≥ 0 existiert eine isotone Folge (Xn ) von positiven Zufallsvariablen
mit sup Xn = X.
Pn
Definition 4.5. [Normaldarstellung einer elementaren Zufallsvariablen]Sei X ≥ 0, X = i=1 αi 1Ai
S
mit αi ∈ R, Ai ∈ A, Ai ∩ Aj = ∅ für alle i 6= j und Ai = Ω. Diese Darstellung ist nicht eindeutig,
P
jede elementare Zufallsvariable besitzt eine solche Darstellung, z.B. X = α∈X(Ω) α1{X=α} .
Pn
Pm
Lemma 4.6. Sei X = i=1 αi 1Ai = j=1 βj 1Bj eine Normaldarstellung für eine elementare ZuPm
Pn
fallsvariable ≥ 0. Dann gilt i=1 P (Ai ) = j=1 P (Aj ).
P
Definition 4.7. Ist
αi 1Ai Normaldarstellung für elementare Zufallsvariable X ≥ 0, so definieren
wir
Z
n
X
E (X) := XdP :=
αi P (Ai ) .
i=1
Dies ist unabhängig von der Darstellung.
Eigenschaften 4.8.
0) E (1A ) = P (A)
1) E (αX) = αE (X), α ∈ R+
2) E (X + Y ) = E (X) + E (Y )
3) X ≤ Y ⇒ E (X) ≤ E (Y )
P
Pn
+
4) E (X) =
[X = α]. Für X =
α∈X(Ω) α · PP
i=1 αi 1Ai , αi ∈ R , Ai ∈ A nicht notwendig
Partition folgt E (X) = αi P (Ai )
Lemma 4.9. Seien Xn , X ≥ 0 elementare Zufallsvariablen, Xn ≤ Xn+1 und X ≤ sup Xn . Dann gilt
E (X) ≤ sup E (Xn ).
Korollar 4.10. Seien Xn , Yn elementare Zufallsvariablen ≥ 0, Xn ≤ Xn+1 , Yn ≤ Yn+1 und sup Xn =
sup Yn . Dann gilt sup E (Xn ) = sup E (Yn ).
Definition 4.11. Sei X ≥ 0 eine Zufallsvariable auf Ω und Xn ≥ 0 elementare Zufallsvariablen mit
Xn % X. Dann heißt E (X) = sup E (Xn ) Erwartungswert von X unabhängig von der Folge (Xn )n
wegen 4.10.
Eigenschaften 4.12.
0) X = 0 P-f.s. (d.h. P [X = 0] = 1) ⇒ E (X) = 0
1) E (αX) = αE (X), α ∈ R+
2) E (X + Y ) = E (X) + E (Y )
3) X ≤ Y impliziert E (X) ≤ E (Y )
7
4) Ist X (Ω) abzählbar, so ist E (X) =
P
α∈X(Ω)
αP [X = α].
Beispiel 4.13. Fairer Münzwurf
T (ω) := min {k : ω (k) = 1}, Zeitpunkt des ersten Auftretens von 1“. T ({0, 0, 0, . . .}) = ∞.
”
P [T = k] = P [X1 = 0, X2 = 0, . . . , Xk−1 = 0, Xk = 1] = 2−k
P [T = ∞] ≤ 2−k ∀k ∈ N ⇒ P [T = ∞] = 0. Also, da X (Ω) abzählbar:
E (T ) =
∞
X
kP [T = k] =
k=1
n
X
k2−k = 2
k=1
Satz 4.14. [von der monotonen Konvergenz] Seien Xn ≥ 0 Zufallsvariablen und Xn % X. Dann gilt
E (Xn ) % E (X).
P∞
P∞
Korollar 4.15. Seien Xn Zufallsvariablen und Xn ≥ 0. Dann gilt E ( n=1 Xn ) = n=1 E (Xn ).
Definition 4.16. Für eine Zufallsvariable X auf Ω definieren wir den Erwartungswert durch
E (X) := E X + − E X − ,
falls min (E (X + ) , E (X − )) < ∞. Es sei
L1 (Ω, A, P) = L1 = {X : X reelle Zufallsvariable auf Ω mit E (|X|) < ∞} .
∀X ∈ L1 : kXk1 = E (|X|). X heißt integrierbar, falls E (|X|) < ∞.
Satz 4.17. L1 (Ω, A, P) ist ein Vektorraum, k·k1 ist eine Halbnorm.
Lemma 4.18. [Lemma von Fatou] Seien Xn Zufallsvariablen ≥ 0. Dann gilt
E (lim inf Xn ) ≤ lim inf E (Xn ) ,
es reicht auch Xn ≥ Y ∈ L1 .
Bemerkung 4.19. E (lim inf Xn ) < lim inf E (Xn ) ist möglich, auch wenn Limiten existieren: z.B.
auf [0, 1] mit Gleichverteilung
R1
E (Xn ) = 0 Xn dλ = 1 ∀n, Xn → 0 und E (lim Xn ) = 0, lim E (Xn ) = 1
2n
Xn
1
n
Oder: Fairer Münzwurf: Einsatz verdoppeln, bis 1 auftritt. Einsatz in der n-ten Runde:
Xn = 2n−1 1{T >n−1}
mit T Wartezeit auf die erste 1.
1
Wir berechnen E (Xn ) = 2n−1 P [T > n − 1] = 2n−1 2n−1
= 1,
Xn → 0 P-fast sicher.
Es folgt E (lim Xn ) = 0.
8
Xn (ω) → 0 für alle ω 6= (0, . . .), also
Satz 4.20. [Konvergenzsatz von Lebesgue] Seien Xn Zufallsvariablen mit |Xn | ≤ Y ∈ L1 P-fast sicher
und Xn → X (punktweise). Dann gilt E (Xn ) → E (X) und kXn − Xk1 → 0, d.h. E (|Xn − X|) = 0.
5
Ungleichungen
Satz 5.1. [Jensen’sche Ungleichung] Sei h eine reelle konvexe Funktion auf einem Intervall I, X ∈ L1
mit X (Ω) ⊂ I. Dann gilt: h (E (X)) ≤ E (h (X)) , insbesondere ist E (X) ⊂ I.
q
2
Beispiel 5.2. Mit h (t) = t2 folgt (E (X)) ≤ E X 2 . Allgemeiner: Sei 0 < p < q und h (t) = t p .
p
1
q
1
q
p
Dann gilt für alle Zufallsvariablen X E (|X| ) p ≤ (E (|X| )) q ,
p
p
q
> 1, I = R+ und für alle n ∈ N
q
(E (min {|X| , n})) ≤ E ((min {|X| , n}) ) .
q
Definition 5.3. Wir definieren Lq := {X : X reelle Zufallsvariable, E (|X| ) < ∞} , und für alle
q 1
X ∈ Lq kXkq := E (|X| ) q .
Bemerkung 5.4.
1. Für 0 < p < q folgt Lp ⊃ Lq und für alle X ∈ Lq gilt kXkp ≤ kXkq .
p
2. Für alle p ≥ 1 ist L ∼ ein Banachraum, z.B. folgt aus X, Y ∈ Lp auch X + Y ∈ Lp und
p
p
p
|X + Y | ≤ 2p (|X| , |Y | ) .
Satz 5.5. Sei X eine Zufallsvariable und h eine isotone Funktion auf R (es reicht isoton auf X (Ω),
dann aber isoton auf R fortsetzbar). Dann gilt für alle c ∈ X (Ω)
h (c) · P [X ≥ c] ≤ E (h (X)) .
Spezialfälle 5.6.
1. Es gilt P [|X| ≥ c] ≤ E(|X|)
für alle c > 0. Insbesondere: Es gilt E (|X|) = 0 genau dann, wenn
c
X = 0 P-fast sicher. Weiter folgt aus E (|X|) < ∞ auch |X| < ∞ P-fast sicher.
2. Tschebyscheff ’sche Ungleichung: Sei X eine integrierbare Zufallsvariable und c > 0. Dann gilt
P [|X − E (X)| ≥ c] ≤
6
2
E (X − E (X))
c2
=
var (X)
.
c2
Varianz und Kovarianz
Erinnerung: E (X) Mittelwert“ von X
”
Definition
6.1.Für eine Zufallsvariable X ∈ L1 wird der mittlere quadratische Prognosefehler“
”
2
E (X − E (X)) als Varianz von X bezeichnet,
h
i
2
var (X) := E (X − E (X)) .
σ (X) :=
p
2
var (X) heißt Streuung von X. Es gilt: var (X) = E X 2 − E (X) .
9
Bemerkung 6.2. Folgende Aussagen sind äquivalent:
1) var (X) = 0
2) X = E (X) P-fast sicher
3) X P-fast sicher konstant
Es ist var (X) < ∞ genau dann, wenn X ∈ L2 .
n
Beispiel 6.3. n-facher Münzwurf mit Parameter p: p ∈ [0, 1], Ω = {0, 1} , A = P (Ω), Xi (ω) = ωi ,
Pn
n−Sn (ω)
Sn = i=1 Xi (Häufigkeit für das Auftreten von 1). αω := pSn (ω) (1 − p)
für ω ∈ Ω.
P
Pp := αω δω ist ein Wahrscheinlichkeitsmaß, da
X
α∈Ω
n X
n k
n−k
αω =
p (1 − p)
k
k=0
n
= (p + 1 − p) = 1.
Weiter gilt
P [Xi = 1] = p.
Also
Ep (Sn ) =
n
X
k=0
n
X
(?)
kPp [Sn = k]
n k
n−k
p (1 − p)
k
k=0
n
X
n − 1 k−1
n−1−(k−1)
=
np
p
(1 − p)
k−1
k=1
n−1
X n − 1 n−1−k
=np
pk (1 − p)
k
=
k
k=0
=np.
Mit (?) folgt E (Sn ) =
bestimmen wir
Pn
Ep Sn2
i=1
=
2
E (Xi ) = np. Wir wollen var (Sn ) = E Sn2 − E (Sn ) berechnen. Dazu
n
X
k=0
n
X
k 2 P [Sn = k]
n k
n−k
=
k
p (1 − p)
k
k=0
n
n
X
X
n k
n k
n−k
n−k
=
k (k − 1)
p (1 − p)
+
k
p (1 − p)
k
k
2
k=0
k=0
2
=n (n − 1) p + np.
Wir erhalten var (Sn ) = np (1 − p).
Satz 6.4. [Cauchy-Schwarz] Seien X, Y ∈ L2 . Dann ist X · Y ∈ L1 und es gilt
p
|E (X · Y )| ≤ E (X 2 ) · E (Y 2 ).
10
Definition 6.5. Für X, Y ∈ L2 heißt
E ((X − EX) (Y − EY )) =: cov (X, Y )
die Kovarianz von X und Y .
S (X, Y ) :=
cov (X, Y )
σ (X) · σ (Y )
heißt Korellationskoeffizient (falls σ (X) , σ (Y ) > 0). X, Y heißen unkorelliert, falls cov (X, Y ) = 0.
Es gilt
cov (X, Y ) = E (X · Y ) − E (X) · E (Y ) .
Rechenregeln 6.6.
1) var (aX + b) = a2 var (X) für alle a, b ∈ R
2) var (X + Y ) = var (X) + var (Y ) + 2cov (X, Y )
3) |cov (X, Y )| ≤ σ (X) · σ (Y ) nach Satz 6.4
4) |S (X, Y )| ≤ 1
7
Schwaches und starkes Gesetz der großen Zahlen
Es seien X1 , X2 , . . . ∈ L2 (Ω, A, P).
Annahmen:
1) Unkorelliertheit: cov (Xi , Xj ) = 0 für alle i 6= j.
Pn
2) Konvergierende Varianzen: limn→∞ n12 i=1 var(Xi ) = 0.
Sn := X1 + . . . + Xn
Ziel: Zufall mittelt sich aus: Snn(ω) ∼ E(Snn )
2 E(Sn )
Sn
Satz 7.1. Es gilt E
→ 0.
n −
n
Bemerkung 7.2. Rein funktionalanalytisch: Im Hilbertraum konvergiert das Mittel von orthogonalen
Pn
normbeschränkten Vektoren gegen 0: Seien X1 , X2 , . . . ∈ H, hXi , Xj i = 0. Dann folgt n1 i=1 Xi → 0.
2
Hier H = L ∼, hX, Y i = E (X · Y ).
Satz 7.3. [Schwaches Gesetz der großen Zahlen] Sei E (Xi ) = m für alle i = 1, . . .. Dann gilt für alle
ε>0
Sn
lim P − m ≥ ε = 0
n→∞
n
(stochastische Konvergenz gegen m).
Beispiel 7.4. 0 − 1 Experimente mit Parameter p ∈ [0, 1]: Sei Xi (ω) = ωi , also E (Xi ) = pi und
var (Xi ) = pi (1 − pi ) ≤ 41 . Für pi = p gilt dann
Sn
P − p ≥ ε → 0.
n
11
Von stochastischer zu fast sicherer Konvergenz:
Lemma 7.5. Seien Z1 , Z2 , . . . Zufallsvariablen auf (Ω, A, P) und es gelte für alle ε > 0
∞
X
P [|Zn | ≥ ε] < ∞.
n=1
Dann gilt lim Zn = 0 P-fast sicher.
Satz 7.6. [Starkes Gesetz der großen Zahlen] Seien X1 , X2 , . . . ∈ L2 unkorelliert mit supi∈N var (Xi ) <
∞. Dann gilt
Sn
E (Sn )
−
→ 0 P − fast sicher.
n
n
Beispiel 7.7. Münzwurf mit Parameter 12 . Yi = 2Xi − 1, E (Yi ) = 0, Sn := Y1 + . . . + Yn führt
zu einem random walk auf Z. Nach Satz 7.6 gilt Snn → 0 P-fast sicher, d.h. die Fluktuation wächst
langsamer als linear. Präzisierung: Satz vom iterierten Logarithmus:
Sn
=+1
n log log n
Sn
=−1
lim inf √
n log log n
lim sup √
8
P − fast sicher,
P − fast sicher.
Vergleich von Konvergenzbegriffen, gleichmäßige Integrierbarkeit
Definition 8.1. Seien X1 , X2 , . . . Zufallsvariablen auf (Ω, A, P)
p
1) Lp -Konvergenz (p ≥ 1): E (|Xn − X| ) → 0
2) Stochastische Konvergenz für alle ε > 0: P [|Xn − X| ≥ ε] → 0
3) P-fast sichere Konvergenz: Xn → X P-fast sicher.
Satz 8.2.
1)
falls sup |Xn | ∈ L
]e CCCCC
C
p
3)
9A +3 2)
{{{{{{
y für Teilfolgen
Satz 8.3. Sei Xn ∈ L1 und X eine Zufallsvariable. Dann sind äquivalent:
1. Xn → X in L1 (Daraus folgt E (Xn ) → E (X).)
2. Xn → X stochastisch und (Xn )n ist gleichmäßig integrierbar.
Korollar 8.4. Sei Xn ∈ L1 , Xn → X P-fast sicher und Xn gleichmäßig integrierbar. Dann gilt
E (Xn ) → E (X) .
Definition 8.5. (Xi )i∈I ⊂ L1 heißt gleichmäßig integrierbar, falls limc→∞ supi∈I
M = {|Xi | ≥ c}.
Satz 8.6. Seien (Xi )i∈I Zufallsvariablen auf (Ω, A, P). Dann sind äquivalent:
12
R
M
|Xi | dP = 0 mit
1. (Xi )i∈I ist gleichmäßig integrierbar.
2. supi E (|Xi |) < ∞ und für alle ε > 0 existiert ein δ > 0, so dass für alle i ∈ I und A ∈ A aus
R
P (A) < δ folgt, dass A |Xi | dP < ε.
Bemerkung 8.7.
1) Wenn Y ∈ L1 und |Xi | ≤ Y für alle i ∈ I, dann ist (Xi )i∈I gleichmäßig integrierbar. Insbesondere ist jede integrierbare Zufallsvariable auch gleichmäßig integrierbar.
2) Seien (Xi )i∈I und (Yi )i∈I gleichmäßig integrierbar. Dann ist auch (αXi + βYi ) gleichmäßig integrierbar für alle α, β ∈ R.
Nach 1) ist insbesondere jede endliche Teilmenge von L1 gleichmäßig integrierbar.
Satz 8.8. Sei g : R+ → R+ mit limx→∞
(Xi )i∈I gleichmäßig integrierbar ist.
g(x)
x
= ∞. Dann folgt aus supi E (g (|Xi |)) < ∞, dass
Folgerung 8.9.
p
1. Aus p > 1 und sup E (|Xi | ) < ∞ folgt, dass (Xi )i∈I gleichmäßig integrierbar ist.
2. Aus sup E |Xi | log+ |Xi | < ∞ folgt, dass (Xi )i∈I gleichmäßig integrierbar ist.
Anwendung 8.10. [Anwendung vom Gesetz der großen Zahlen] Annahme: X1 , X2 , . . . ∈ L1 (Ω, A, P),
Pn
E (Xn ) = m für alle n, Sn = i=1 Xn , n1 Sn → m P-fast sicher.
L1
Frage: Wann n1 Sn → m?
Antwort: Z.B. wenn sup E |Xi | log+ |Xi | < ∞, denn: g (t) = t log+ t, t ≥ 0 konvex und es folgt
Sn
1X
E g
E (g (Xi )) < ∞.
≤
n
n
Bemerkung 8.11. [Bemerkung zu Lebesgue] Sei Xn ∈ L1 (Ω, A, P), Xn → X P-fast sicher und
L1
Xn ≥ 0. Dann gilt Xn → X genau dann, wenn E (Xn ) → E (X).
R
Satz 8.12. [Riesz-Fischer] Sei Xn ∈ L1 mit |Xn − Xm | dP → 0 für n, m → ∞ (d.h. (Xn )n ist
L1
Cauchy in L1 ). Dann existiert ein X ∈ L1 mit Xn → X und Xnk → X P-fast sicher für eine
1
geeignete Teilfolge, d.h. insbesondere L1 ist vollständig, also L ∼ ist Banachraum.
13