Stochastik II

Vorlesungsmitschrift
Stochastik II
gehalten von Prof. Dr. Silke Rolles
im Sommersemester 2008
an der Technischen Universität München
Dieses Dokument ist die digitalisierte Version meiner persönlichen Mitschrift von oben genannter
Vorlesung. Es handelt sich nicht um ein offizielles Skriptum und weder für die Richtigkeit noch für die
Vollständigkeit des Inhalts wird gebürgt.
Andreas Kreisel ([email protected])
24. Juli 2008
Inhaltsverzeichnis
1 Grundlagen
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . .
1.2 Wahrscheinlichkeitsräume und Maßräume . . . . . .
1.3 Zufallsvariablen . . . . . . . . . . . . . . . . . . . . .
1.4 Beweis des Eindeutigkeitssatzes . . . . . . . . . . . .
1.5 Mehr über Zufallsvariablen . . . . . . . . . . . . . .
1.6 Integration bzgl. eines Wahrscheinlichkeitsmaßes . .
1.7 Erwartungswert . . . . . . . . . . . . . . . . . . . . .
1.8 Konvergenzsätze . . . . . . . . . . . . . . . . . . . .
1.9 Erwartungswert einer Funktion einer Zufallsvariable
1.10 Ungleichungen . . . . . . . . . . . . . . . . . . . . .
1.11 Der Satz von Carathéodory . . . . . . . . . . . . . .
1.12 Produktmaße und der Satz von Fubini . . . . . . . .
1.13 Unabhängigkeit . . . . . . . . . . . . . . . . . . . . .
1.14 Konstruktion von unabhängigen Zufallsvariablen . .
1.15 Konvergenz von Folgen von Zufallsvariablen . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
4
5
7
9
12
13
14
14
15
17
17
18
22
23
2 Gesetze der großen Zahlen
2.1 Schwaches Gesetz der großen Zahlen für L2 -Zufallsvariablen
2.2 Mehr zum schwachen Gesetz der großen Zahlen . . . . . . .
2.3 Starkes Gesetz der großen Zahlen für L2 -Zufallsvariablen . .
2.4 Borel-Cantelli-Lemmata . . . . . . . . . . . . . . . . . . . .
2.5 Starkes Gesetz der großen Zahlen für L1 -Zufallsvariablen . .
2.6 Anwendungen des starken Gesetzes der großen Zahlen . . .
2.7 Zufällige Reihen und Kolmogorovs 0-1-Gesetz . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
25
25
26
26
30
32
33
34
3 Zentraler Grenzwertsatz
3.1 Motivation . . . . . . . . . . . . . . . . . .
3.2 Schwache Konvergenz . . . . . . . . . . . .
3.3 Schwach konvergente Teilfolgen . . . . . . .
3.4 Charakteristische Funktionen . . . . . . . .
3.5 Eindeutigkeitssatz und Inversionssätze . . .
3.6 Der Stetigkeitssatz von Lévy . . . . . . . .
3.7 Charakteristische Funktionen und Momente
3.8 Konvergenzsätze . . . . . . . . . . . . . . .
3.9 Unbegrenzt teilbare Verteilungen . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4 Martingale
4.1 Definition bedingter Erwartungswerte . . . . . .
4.2 Eigenschaften bedingter Erwartungswerte . . . .
4.3 Martingale: Einfache Eigenschaften . . . . . . . .
4.4 Fast sichere Konvergenz . . . . . . . . . . . . . .
4.5 Martingalungleichungen . . . . . . . . . . . . . .
4.6 Martingalkonvergenz in Lp . . . . . . . . . . . .
4.7 Gleichgradige Integrierbarkeit und Konvergenz in
4.8 Optional Stopping . . . . . . . . . . . . . . . . .
4.9 Verzweigungsprozesse . . . . . . . . . . . . . . .
2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
41
41
41
47
49
51
53
55
57
63
. .
. .
. .
. .
. .
. .
L1
. .
. .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
66
66
68
71
76
79
81
81
84
88
.
.
.
.
.
.
.
.
.
1 Grundlagen
1.1 Motivation
• Seien Xi , i ≥ 1, unabhängig mit P (Xi = 1) = 21 = P (Xi = −1) ∀i
̰
!
X Xi
P
konvergiert ?
i
i=1
(
p
grün
• Sei p ∈ [0, 1]. Wir färben jede Kante von Z mit Wahrscheinlichkeit
1 − p rot
Θ (p) := Pp (∃ unendliche grüne Zusammenhangskomponente) ?
d
Wir werden zeigen: Θ (p) ∈ {0, 1}
• Seien Xi , i ≥ 1, unabhängig, identisch verteilt, Sn =
Unter welchen Voraussetzungen gilt:
³
P lim
Sn
n→∞ n
n
P
i=1
Xi
´
= E [X1 ] = 1 ?
³ h
i
´
4
Stochastik 1: Xi ∈ L4 hinreichend E |X1 | < ∞
³ h
i
´
1
Stochastik 2: Xi ∈ L1 hinreichend E |X1 | < ∞
• Unter welchen Voraussetzungen gilt:
Ã
lim P
n→∞
! Zb
12
Sn − E[Sn ]
1
√ e− 2 dxi ?
a≤ p
≤b =
2π
V ar(Sn )
a
Stochastik 1: Xi ∼ Bernoulli( 12 )
Stochastik 2: Xi ∈ L2
3
1.2 Wahrscheinlichkeitsräume und Maßräume
Wir modellieren ein Zufallsexperiment mit Hilfe eines Wahrscheinlichkeitsraumes
Definition 1.2.1
Sei Ω 6= ∅. Ein Mengensystem F ⊆ P(Ω) heißt σ-Algebra auf Ω, falls gilt:
(S1) Ω ∈ F
(S2) A ∈ F ⇒ Ac ∈ F
(S3) A1 , A2 , . . . ∈ F ⇒
∞
S
i=1
Ai ∈ F
(Ω, F ) heißt messbarer Raum oder Ereignisraum
Falls (S1), (S2) und (S30 ) A1 , A2 ∈ F ⇒ A1 ∪ A2 ∈ F gelten, so heißt F Algebra.
Definition 1.2.2
Sei F eine Algebra auf Ω. Eine Funktion µ : F → [0, ∞] heißt Maß, falls gilt:
(M1) µ(∅) = 0
(M2) A1 , A2 , . . . paarweise disjunkt und
∞
S
i=1
Ai ∈ F ⇒ µ
µ∞
S
i=1
¶
Ai
=
∞
P
i=1
µ(Ai )
µ heißt:
• Wahrscheinlichkeitsmaß, falls µ(Ω) = 1
• endliches Maß, falls µ(Ω) < ∞
• σ-endliches Maß, falls Ai ∈ F existieren mit Ω =
∞
S
i=1
Ai und µ(Ai ) < ∞ ∀i
Beispiele 1.2.3
Lebesgue-Maß auf
– R ist σ-endlich
– einem endlichen Intervall ist endlich
– [0, 1] ist ein Wahrscheinlichkeitsmaß
Diskrete Wahrscheinlichkeitsräume
Sei (Ω, F , P ) ein Wahrscheinlichkeitsraum (d.h. F ist σ-Algebra auf Ω, P ist Wahrscheinlichkeitsmaß auf (Ω, F )) und sei Ω abzählbar. Dann gilt:
X
P (A) =
%(ω) mit %(ω) = P ({ω}) ∀ω ∈ Ω für alle A ∈ F
ω∈A
% ist eine Zähldichte, d.h. % ≥ 0 und
P
ω∈Ω
4
%(ω) = 1
1.3 Zufallsvariablen
Definition 1.3.1
Sei (Ω, F , P ) ein Wahrscheinlichkeitsraum und (S, S ) ein Ereignisraum.
Eine Abbildung X : Ω → S heißt Zufallsvariable, falls
X −1 (A)
| {z }
∈ F ∀A ∈ S
{ω∈Ω : X(ω)∈A}
={X∈A}
Bemerkungen 1.3.2
• Falls Ω abzählbar ist und F = P(Ω), so ist jede Funktion X : Ω → S eine Zufallsvariable.
• Ist (S, S = (Rd , B(Rd )), so heißt X Zufallsvektor.
Definition 1.3.3
Definiere PX : S → [0, 1], A 7→ P (X −1 (A)) = P (X ∈ A).
PX ist ein Wahrscheinlichkeitsmaß auf (S, S ), die Verteilung von X.
Oft betrachten wir reellwertige Zufallsvariablen, d.h. (S, S ) = (R, B(R)).
Definition 1.3.4
Die Verteilungsfunktion von X : Ω → R ist definiert durch F : R → [0, 1], x 7→ P (X ≤ x)
Satz 1.3.5
Die Verteilungsfunktion F besitzt folgende Eigenschaften:
i) F ist monoton wachsend und rechtsseitig stetig
ii) lim F (x) = 1 und lim F (x) = 0
x→∞
x→−∞
Beweis
Siehe Stochastik 1.
Satz 1.3.6
Sei F : R → [0, 1] eine Funktion mit den Eigenschaften i) und ii).
Dann gibt es eine Zufallsvariable, deren Verteilungsfunktion F ist.
Beweis
Setze Ω = (0, 1), F = B ((0, 1)) , P = Lebesgue-Maß auf (0, 1).
X(ω) = sup{y : F (y) < ω}, ω ∈ (0, 1)
X ist die (verallgemeinerte) Inverse von F . Es gilt:
{ω : X(ω) ≤ x} = {ω : ω ≤ F (x)}
5
(?)
Beweis von (?):
⊇“: ω ≤ F (x) ⇒ x ∈
/ {y : F (y) < ω}
”
⇒ X(ω) ≤ x
⊆“: ω > F (x) ⇒ (∃ ε > 0), so dass F (x + ε) < ω, da F rechtsseitig stetig
”
⇒ x + ε ∈ {y : F (y) < ω}
⇒ X(ω) ≥ x + ε > x
Also {ω : ω > F (x)} ⊆ {ω : X(ω) > x}
⇒ {ω : ω ≤ F (x)} ⊇ {ω : X(ω) ≤ x}
=⇒ (?) bewiesen.
(?) ⇒ P (X ≤ x) = P ({ω : ω ≤ F (x)}) = λ ((0, F (x))) = F (x)
=⇒ X hat Verteilungsfunktion F .
(λ – Lebesgue-Maß)
Korollar 1.3.7
Falls F : R → [0, 1] die Eigenschaften i) und ii) besitzt, dann gibt es genau ein Wahrscheinlichkeitsmaß µ auf (R, B(R)), so dass
µ((a, b]) = F (b) − F (a) ∀a < b
Beweis
Existenz: Es gibt eine Zufallsvariable X mit Verteilungsfunktion F .
Sei µ die Verteilung von X.
=⇒ µ ((a, b]) = P (X ∈ (a, b]) = F (b) − F (a)
Eindeutigkeit: Seien µ1 und µ2 zwei Wahrscheinlichkeitsmaße auf (R, B(R)) mit
µi ((a, b)) = F (b) − F (a) ∀a < b ∀i = 1, 2. Dann stimmen µ1 und
µ2 auf π = {(a, b] : a < b} überein.
Definition 1.3.8
Ein System Π ⊆ P(Ω) heißt π-System, falls es ∩-stabil ist, d.h. A, B ∈ Π ⇒ A ∩ B ∈ Π.
Satz 1.3.9 (Eindeutigkeitssatz )
Sei Π ein π-System. Seien v1 und v2 Maße auf (Ω, F1 ) bzw. (Ω, F2 ). Falls
a) v1 (A) = v2 (A) ∀A ∈ Π
und
b) ∃An ∈ Π mit An 1 Ω und vi (An ) < ∞
∀n ∀i = 1, 2
dann stimmen v1 und v2 auf σ(Π) überein.
6
1.4 Beweis des Eindeutigkeitssatzes
Definition 1.4.1
L ⊆ P(Ω) heißt λ-System, falls
(L1) Ω ∈ L
(L2) A, B ∈ L und B ⊆ A ⇒ A \ B ∈ L
(L3) An ∈ L und An 1 A ⇒ A ∈ L
Satz 1.4.2 (π-λ-Satz )
Sei Π ein π-System und L ein λ-System. Falls Π ⊆ L, dann gilt: σ(Π) ⊆ L
Beweis (Idee: Satz ⇐ Beh.1 ⇐ Beh.2 ⇐ Beh.3)
Sei `(Π) das kleinste λ-System, das Π enthält.
Behauptung 1: `(Π) ist eine σ-Algebra.
Beweis von Beh.1 ⇒ Satz:
Es gelte Behauptung 1.
σ(Π)
⊆
|{z}
`(Π)
`(Π) ist σ-Algebra und enthält Π
⊆
|{z}
L ⇒ σ(Π) ⊆ L
L ist ein λ-System mit Π⊆L
Behauptung 2: `(Π) ist durchschnittstabil.
Beweis von Beh.1 ⇒ Beh.2:
Angenommen, `(Π) ist ein ∩-stabiles λ-System. Dann gilt:
• Ω ∈ `(Π) nach (L1) ⇒ (S1) gezeigt
• A ∈ `(Π) ⇒ Ac = Ω \ A ∈ `(Π) nach (L2) ⇒ (S2) gezeigt
• A, B ∈ `(Π) ⇒ Ac , B c ∈ `(Π)
⇒ Ac ∩ B c ∈ `(Π), da `(Π) ∩-stabil
⇒ A ∪ B = (Ac ∩ B c )c ∈ `(Π)
⇒ `(Π) ist abgeschlossen unter endlichen Vereinigungen
• A1 , A2 , . . . ∈ `(Π) ⇒
Wegen
n
S
i=1
Ai 1
∞
S
i=1
n
S
i=1
Ai ∈ `(Π)
Ai folgt aus (L3):
=⇒ `(Π) ist σ-Algebra
7
∞
S
i=1
Ai ∈ `(Π) ⇒ (S3) gezeigt
Behauptung 3: Sei GA = {B : A ∩ B ∈ `(Π)} : A ∈ `(Π) ⇒ GA ist ein λ-System
Beweis von Beh.3 ⇒ Beh.2:
Sei A ∈ Π. Dann ist Π ⊆ GA .
Da GA nach Beh.3 ein λ-System ist, folgt `(Π) ⊆ GA , d.h.
A ∈ Π und B ∈ `(Π) ⇒ A ∩ B ∈ `(Π)
A und B in dieser Aussage vertauschen liefert:
A ∈ `(Π) und B ∈ Π ⇒ A ∩ B ∈ `(Π)
Es folgt für A ∈ `(Π):
Beh.3
Π ⊆ GA ===⇒ `(Π) ⊆ GA
D.h. A ∈ `(Π) und B ∈ `(Π) ⇒ A ∩ B ∈ `(Π)
=⇒ `(Π) ist ∩-stabil
Beweis von Behauptung 3:
Sei A ∈ `(Π)
(L1) A ∩ Ω = A ∈ `(Π) ⇒ Ω ∈ GA
(L2) Seien B, C ∈ GA mit C ⊆ B. Dann gilt:
A ∩ (B \ C) = (A ∩ B) \ (A ∩ C) ∈ `(Π)
| {z } | {z }
∈`(Π)
∈`(Π)
=⇒ B \ C ∈ GA
(L3) Seien Bn ∈ GA mit Bn 1 B. Dann gilt:
A ∩ Bn 1 A ∩ B
| {z }
∈`(Π)
=⇒ A ∩ B ∈ `(Π) ⇒ B ∈ GA
Beweis des Eindeutigkeitssatzes 1.3.9:
Sei A ∈ Π mit v1 (A) = v2 (A) < ∞ (existiert nach Voraussetzung a))
L = {B ∈ σ(Π) : v1 (A ∩ B) = v2 (A ∩ B)}
Behauptung: L ist ein λ-System
(L1) v1 (A
∩ Ω}) = v2 (A
∩ Ω}) ⇒ Ω ∈ L
| {z
| {z
=A
=A
(L2) Seien B, C ∈ L mit C ⊆ B. Dann gilt:
v1 (A ∩ (B \ C)) = v1 ((A ∩ B) \ (A ∩ C)) = v1 (A ∩ B) − v1 (A ∩ B)
= v2 (A ∩ B) − v2 (A ∩ C), da B, C ∈ L
= v2 (A ∩ (B \ C))
⇒B\C ∈L
(L3) Seien Bn ∈ L mit Bn 1 B. Dann gilt:
A ∩ Bn 1 A ∩ B und v1 (A ∩ B) = lim v1 (A ∩ Bn ) da v1 stetig
n→∞ |
{z
}
= v2 (A∩B)
= v2 (A ∩ B)
⇒B∈L
=⇒ L ist λ-System
8
Nach Voraussetzung ist Π ⊆ L
π-λ-Satz
=====⇒ σ(Π) ⊆ L
D.h. A ∈ Π mit v1 (A) = v2 (A) < ∞ und B ∈ σ(Π)
⇒ v1 (A ∩ B) = v2 (A ∩ B)
(?)
Seien An ∈ Π mit An 1 Ω und vi (An ) < ∞ ∀n = 1, 2
v1 und v2 stimmen auf Π überein
⇒ v1 (An ) = v2 (An )
(?) impliziert für alle B ∈ σ(Π):
v1 (An ∩ B) = v2 (An ∩ B) ∀n
An ∩ B 1 B: Grenzwertbildung n → ∞
⇒ v1 (B) = v2 (B) ⇒ v1 und v2 stimmen auf σ(Π) überein.
1.5 Mehr über Zufallsvariablen
Definition 1.5.1
d
Wir schreiben X = Y , falls X und Y dieselbe Verteilung besitzen (d wie distribution“ = Vertei”
lung)
d
Vorsicht: X = Y ; X(ω) = Y (ω) ∀ω ∈ Ω
X und Y können auf verschiedenen Wahrscheinlichkeitsräumen definiert sein
Beispiele von Verteilungsfunktionen F 1.5.2:
Zx
a) F (x) =
Z∞
mit
f (y) dy
∀x ∈ R mit einer Lebesgue-Messbaren Funktion f : R → [0, ∞)
−∞
f (x) dx = 1
−∞
F heißt absolut stetig bzgl. des Lebesguemaßes, f heißt Wahrscheinlichkeitsdichte
Beispiele: Normalverteilung, Exponentialverteilung, . . .
b) Sei X : Ω → R eine diskrete Zufallsvariable mit möglichen Werten an , n ≥ 1,
und sei pn = P (X = an ).
∞
P
Dann hat X die Verteilungsfunktion F (x) =
pn 1[an ,∞) (x), x ∈ R
n=1
Beispiele: Binomial, Poisson, Geometrisch, . . .
Satz 1.5.3
Seien (Ω, F ), (S, S ) Ereignisräume, sei X : Ω → S und sei
Falls
{ω ∈ Ω : X(ω) ∈ A} ∈ F für alle A ∈ A,
dann ist X eine Zufallsvariable
9
A
⊆ S , so dass σ(A) = S .
Beweis
Zu zeigen: {X ∈ C} ∀C ∈ S
Sei C = {C : {X ∈ C} ∈ F }
Behauptung: C ist eine σ-Algebra
(S1) {X ∈ S} = Ω ∈ F ⇒ S ∈ C
(S2) C ∈ C ⇒ {X ∈ C} ∈ F ⇒ {X ∈ C c } = {X ∈ C}c ∈ F
⇒C∈C
∞
S
(S3) Cn ∈ C ⇒
Cn ∈ C: analog
n=1
Nach Voraussetzung:
A
⊆ C ⇒ σ(A) ⊆ C
| {z }
=S
⇒ X ist eine Zufallsvariable.
Beispiel 1.5.4:
B(R) = σ ({(a, b) : a < b, a, b ∈ R}) = σ ({(a, b) : a < b, a, b ∈ Q})
Definition 1.5.5
σ(X) := {X −1 (B) : B ∈ S } heißt die von X erzeugte σ-Algebra, X : Ω → S, (S, S )
Satz 1.5.6
Seien X : (Ω, F ) → (S, S ) und f : (S, S ) → (T, T) messbar, d.h.
X : Ω → S mit X −1 (B) ∈ F ∀B ∈ S und f : S → T mit f −1 (C) ∈ S ∀C ∈ T.
Dann ist auch f (X) : (Ω, F ) → (T, T) messbar.
Beweis:
Für alle A ∈ T gilt:
(f (X))−1 (A) = (f ◦ X)−1 (A) = X −1 (f −1 (A))
| {z }
∈S
|
{z
}
∈F
Beispiele:
Mit X sind auch X 2 , X k , eX , sin X, etc. Zufallsvariablen.
Satz 1.5.7
Seien X1 , X2 , . . . , Xn : Ω → R Zufallsvariablen, f : (Rn , B(Rn )) → (R, B(R)) messbar.
Dann ist f (X1 , X2 , . . . , Xn ) : Ω → R eine Zufallsvariable.
Beweis
Nach Satz 1.5.6 genügt es zu zeigen, dass (X1 , X2 , . . . , Xn ) : Ω → R messbar ist.
Für A1 , A2 , . . . , An ∈ B(R) gilt:
n
T
{(X1 , X2 , . . . , Xn ) ∈ A1 × A2 × . . . × An } =
{Xi ∈ Ai } ∈ F
{z }
i=1 |
∈F
Da {A1 × A2 × . . . × An : Ai ∈ B(R) ∀i} B(R) erzeugt, folgt die Behauptung aus Satz 1.5.3.
10
Beispiele:
f (x1 , . . . , xn ) =
n
P
xi oder
i=1
1
n
n
P
i=1
xi oder
n
P
i=1
xi 2 oder
1
n−1
n
P
(xi −
i=1
1
n
n
P
j=1
xj )2
Satz 1.5.8
Sind X1 , X2 , . . . Zufallsvariablen, so sind auch
inf Xn und lim Xn
n
bzw.
n
sup Xn und lim Xn
n
n
Zufallsvariablen.
Beweisidee
{inf Xn < a} =
S
n
n
{sup Xn ≤ a} =
n
{Xn < a} ∈ F
| {z }
T
n
∈F
{Xn ≤ a} ∈ F
lim Xn = sup inf Xm , etc.
n m≥n
n
Korollar 1.5.9
n
o
ω : lim Xn (ω) existiert ∈ F
n→∞
Beweis
¾
n
o ½
ω : lim Xn (ω) existiert = lim Xn = lim Xn .
n→∞
n
n
Bemerkung 1.5.10:
Sind Xt , t ∈ [0, 1] (t reell), Zufallsvariablen, so ist
inf Xt nicht notwendigerweise eine
0≤t≤1
Zufallsvariable.
Beispiel:
Ω = [0, 1], F = B([0, 1]), P = λ = Lebesgue-Maß
(
1 falls t = ω und ω ∈
/A
Xt (ω) =
0 sonst
Dann gilt:
inf Xt (ω) =
0≤t≤1
(
1
0
ω∈A
ω∈
/A
)
= 1A (ω)
Dies ist nicht messbar, falls A ∈
/F
Definition 1.5.11
(Xn )n≥1 konvergiert fast sicher, falls P
³
´
lim Xn existiert = 1
n→∞
11
Von Interesse:
X1 , X2 , . . . unabhängig, identisch verteilt. Was lässt sich sagen über
Ã
!
n
X
Sn
lim Sn , lim Sn , lim
?
Sn =
Xi
n→∞
n→∞ n
n
i=1
1.6 Integration bzgl. eines Wahrscheinlichkeitsmaßes
Sei (Ω, F , µ)
Z ein Wahrscheinlichkeitsraum.
Wir wollen
f dµ für eine Klasse messbarer Funktionen f : Ω → R definieren.
Schritt 1:
ϕ : Ω → R heißt eine einfache Funktion, falls ϕ(ω) =
n
P
i=1
Mengen Ai ∈ F
Wir definieren
Z
ϕdµ :=
n
X
ai 1Ai (ω) mit ai ∈ R, disjunkten
ai µ(Ai )
i=1
(Da die ai nicht verschieden
sein müssen, ist die Darstellung von ϕ nicht eindeutig. Man
Z
kann zeigen, dass
ϕdµ wohldefiniert ist.)
Schritt 2:
Sei f : Ω → R messbar und beschränkt. Wir möchten, dass das Integral folgende Eigenschaft
hat:
Sind ϕ und ψ einfache Funktionen mit ϕ ≤ f ≤ ψ, so soll gelten
Z
Z
Z
ϕdµ ≤ f dµ ≤ ψdµ
Daher definieren wir
Z
Z
f dµ =
sup
Z
ϕdµ =
ϕ einf. Fkt.
ϕ≤f
inf
ψ einf. Fkt.
ψ≥f
ψdµ
Z
(Man kann zeigen, dass
f dµ wohldefiniert ist)
Schritt 3:
Sei f ≥ 0 messbar. Setze
½Z
¾
Z
f dµ = sup
hdµ : 0 ≤ h ≤ f, h messbar und beschränkt
12
Schritt 4:
Z
Sei f : Ω → R messbar. f heißt integrierbar, falls
|f |dµ < ∞.
Seien f + (x) = max{f (x), 0} und f − (x) = max{−f (x), 0} Positiv- und Negativteil von f
Es gilt:
f (x) = f + (x) − f − (x) und |f (x)| = f + (x) + f − (x)
Wir definieren:
Z
Z
f dµ =
Notation:
Für A ∈ F definieren wir
Z
+
f − dµ
f dµ −
Z
Z
f dµ =
(f 1A )dµ
A
1.7 Erwartungswert
Definition 1.7.1
Sei X : Ω → R eine Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F , P ).
Der Erwartungswert von X ist definiert durch


Z
Z
E[X] = XdP = X(ω)P (dω)
Ω
wenn dieses Integral Sinn ergibt.
Spezialfälle 1.7.2:
a) Sei X eine Zufallsvariable mit Wahrscheinlichkeitsdichte f . Dann ist
Z∞
E[X] =
yf (y)dy
−∞
wenn dieses Integral Sinn ergibt.
b) Sei X eine diskrete Zufallsvariable mit P (X = an ) = pn , n = 1, 2, . . . ,
∞
P
E[X] =
an pn
∞
P
n=1
pn = 1 Dann gilt:
n=1
wenn diese Reihe Sinn ergibt.
Beweis:
Direkt aus der Definition des Erwartungswertes herleiten.
Satz 1.7.3
Seien X, Y Zufallsvariablen, a, b ∈ R. Sofern alle auftretenden Erwartungswerte Sinn machen, gilt:
i) E[X + Y ] = E[X] + E[Y ]
ii) E[aX + b] = aE[X] + b
iii) X ≤ Y ⇒ E[X] ≤ E[Y ]
13
1.8 Konvergenzsätze
Im folgenden seien Xn , X, Y Zufallsvariablen auf demselben Wahrscheinlichkeitsraum.
Lemma 1.8.1 (von Fatou)
Sind Xn ≥ 0, so gilt:
·
lim E[Xn ] ≥ E
n→∞
¸
lim Xn
n→∞
Bemerkung 1.8.2:
Dies kann eine strikte Ungleichung sein.
Beispiel:
Ω = (0, 1), F = B((0, 1)), P = λ, Xn (ω) = n1
• E[Xn ] = 1
∀n
• lim Xn (ω) = 0
⇒
1 (ω).
(0, n )
Dann gilt:
linke Seite = 1
∀ω ∈ Ω
⇒
rechte Seite = 0
n→∞
Satz 1.8.3 (über monotone Konvergenz )
Falls Xn ≥ 0 und Xn 1 X, so gilt:
E[Xn ] 1 E[X]
Satz 1.8.4 (über dominierte Konvergenz )
i) Xn −−−−→ X fast sicher
n→∞
ii) ∃Y mit E[|Y |] < ∞, so dass |Xn | ≤ Y für alle n
Dann gilt: lim E[Xn ] = E[X]
n→∞
Falls Y in ii) durch eine Konstante ersetzt werden kann, so spricht man von beschränkter Konvergenz
1.9 Erwartungswert einer Funktion einer Zufallsvariable
Satz 1.9.1
Sei X : Ω → Rd eine Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F , P ) mit Verteilung
µ und ferner sei h : Rd → R eine Borel-messbare Funktion (d.h. h : (Rd , B(Rd )) → (R, B(R))
Z
messbar). Dann gilt:
E[h(X)] = h(x)µ(dx)
falls eine der beiden Seiten Sinn ergibt.
Rd
14
Beweis:
Fall 1: h =
n
P
i=1
ai 1Ai einfache Funktion.
Dann ist
E[h(X)] = E
"
n
X
#
ai 1Ai (x) =
i=1
n
X
i=1
Z
ai P (X ∈ Ai ) =
| {z }
=µ(Ai )
h(x)µ(dx)
Rd
Fall 2: h ≥ 0. Dann gibt es einfache Funktionen hn ≥ 0 mit hn 1 h für n → ∞
h
i
Es gilt:
E[h(X)] = E lim hn (X) = lim E[hn (X)] =
n→∞
n→∞
Z
Z
= lim
hn (x)µ(dx) =
lim hn (x) µ(dx)
n→∞
n→∞
|
{z }
d
d
R
R
h(x)
+
−
Fall 3: Allgemeines h. Schreibe h = h − h .
Dann gilt:
Z
Z
Z
E[h(X)] = E[h+ (X)] − E[h− (X)] = h+ (x)µ(dx) − h− (x)µ(dx) = h(x)µ(dx)
Rd
Rd
Rd
Beispiele 1.9.2:
a) Hat X die Wahrscheinlichkeitsdichte f , so gilt:
Z
E[h(X)] = h(x)f (x)dx
Rd
b) Ist X diskret mit Werten an , n ≥ 1, so gilt:
E[h(X)] =
∞
X
h(an )P (X = an )
n=1
Notation 1.9.3:
E[X n ] heißt n-tes Moment von X, n ∈ N. Ist E[X 2 ] < ∞, definieren wir die Varianz von
X durch:
£
¤
V ar(X) = E (X − E[X])2 = E[X 2 ] − (E[X])2
1.10 Ungleichungen
Jensen Ungleichung 1.10.1
Sei ϕ : R → R konvex, d.h. ϕ(λx + (1 − λ)y) ≤ λϕ(x) + (1 − λ)ϕ(y)
Dann gilt:
ϕ(E[X]) ≤ E[ϕ(X)]
15
∀x, y ∈ R, λ ∈ (0, 1)
Anwendungen 1.10.2
• ϕ(x) = |x| ⇒ |E[X]| ≤ E[|X|]
• ϕ(x) = |x|p mit p ≥ 1 ⇒ |E [X] |p ≤ E [|X|p ]
(?)
• Anwendung von (?) mit X = |Z|α , α > 0, liefert:
1
1
|E [|Z|α ] |p ≤ E [|Z|αp ] ⇒ (E [|Z|α ]) α ≤ (E [|Z|αp ]) αp
p ≥ 1 ⇒ αp ≥ α
1
⇒ α 7→ (E [|Z|α ]) α ist monoton wachsend.
Insbesondere folgt:
h
i
h
i
0
• E |Z|α < ∞ ⇒ E |Z|α < ∞
∀α0 < α
• n-tes Moment von Z endlich ⇒ 1, 2, . . . , (n − 1)-te Moment von Z endlich
Höldersche Ungleichung 1.10.3
Sei 1 < p < ∞ und q sei so gewählt, dass p1 + 1q = 1.
Dann gilt:
1
1
E [|XY |] ≤ (E [|X|p ]) p (E [|Y |q ]) q
Spezialfall: p = q = 2:
Cauchy-Schwarz-Ungleichung
Markov-Ungleichung 1.10.4
Sei f : [0, ∞) → [0, ∞) monoton wachsend, f (x) > 0
Es gilt:
E[f (|X|)]
P (|X| ≥ a) ≤
f (a)
Anwendungen
∀a > 0 :
E[|X|]
a
E[|X|p ]
b) P (|X| ≥ a) ≤
ap
a) P (|X| ≥ a) ≤
V ar(X)
a2
E[(X − E[X])4 ]
d) P (|X − E[X]| ≥ a) ≤
a4
E[eλx ]
e) P (X ≥ a) ≤
∀λ > 0
eλx
c) P (|X − E[X]| ≥ a) ≤
16
∀x > 0
∀a > 0
1.11 Der Satz von Carathéodory
Existenz von Wahrscheinlichkeitsmaßen
Satz 1.11.1 (Carathéodory )
Sei µ ein σ-endliches Maß auf einer Algebra A. Dann besitzt µ eine eindeutige Fortsetzung auf
σ(A).
Beweis
Eindeutigkeit: Jede Algebra ist ein π-System. Damit ist der Eindeutigkeitssatz anwendbar.
½∞
¾
∞
P
S
?
Existenz: Für E ⊆ Ω definiere µ (E) = inf
µ(Ai ) : Ai ∈ A mit E ⊆
Ai
i=1
i=1
Motivation dieser Definition:
Angenommen ν ist ein Maß, das mit µ auf A übereinstimmt. Dann gilt für
∞
S
alle Ai ∈ A mit E ⊆
Ai :
i=1
̰ !
∞
[
X
ν(E) ≤ ν
Ai ≤
ν(Ai ) ⇒ ν(E) ≤ µ? (E)
| {z }
i=1
i=1
=µ(Ai )
Man kann zeigen: µ? (A) = µ(A) ∀A ∈ A
?
Setze A = {E ⊆ Ω : µ? (F) = µ? (F ∩ E) + µ? (F ∩ E)c
Man kann zeigen:
?
•A⊆A
?
• A ¯ ist σ-Algebra
• µ¯A? ist ein Maß
∀F ⊆ Ω}
¾
?
⇒ σ(A) ⊆ A
1.12 Produktmaße und der Satz von Fubini
Seien (Ω1 , F1 , µ1 ) und (Ω2 , F2 , µ2 ) Wahrscheinlichkeitsräume.
Setze F = σ(A1 × A2 : A1 ∈ F1 , A2 ∈ F2 )
Satz 1.12.1
Es gibt genau ein Wahrscheinlichkeitsmaß µ auf (Ω1 × Ω2 , F ) mit der Eigenschaft
µ(A1 × A2 ) = µ1 (A1 )µ2 (A2 ) ∀A1 ∈ F1 ∀A2 ∈ F2
Man schreibt F = F1 × F2 , µ = µ1 µ2
Zum Beweis
Problem: {A1 × A2 : A1 ∈ F1 , A2 ∈ F2 } ist keine Algebra (nicht abgeschlossen unter Vereinigungen). Daher muss man µ zunächst auf eine Algebra fortsetzen, bevor man den
Satz von Carathéodory anwenden kann.
17
Satz 1.12.2 (Fubini )
Z
Sei f : Ω1 × Ω2 → R messbar. Falls f ≥ 0 oder |f |dµ < ∞, so gilt
Z
Z Z
Z Z
f dµ =
f (x1 , x2 )µ2 (dx2 )µ1 (dx1 ) =
f (x1 , x2 )µ1 (dx1 )µ2 (dx2 )
Ω1 ×Ω2
Ω1 Ω2
Ω2 Ω1
Sind (Ωi , Fi , µi ), 1 ≤ i ≤ n, Wahrscheinlichkeitsräume, so definiert man entsprechend
µ = µ1 µ2 . . . µn auf Ω = Ω1 × . . . Ωn , F = σ(A1 × . . . × An : Ai ∈ Fi ) als das eindeutig
bestimmte Wahrscheinlichkeitsmaß mit
n
Y
µ(A1 × . . . × An ) =
µi (Ai )
∀Ai ∈ Fi
i=1
Auch hier gilt Fubini.
1.13 Unabhängigkeit
Definition 1.13.1
Es sei (Ω, F , P ) ein Wahrscheinlichkeitsraum
i) Ereignisse A und B sind unabhängig falls
P (A ∩ B) = P (A)P (B)
ii) Zufallsvariablen X und Y sind unabhängig, falls
P (X ∈ C, Y ∈ D) = P (X ∈ C)P (Y ∈ D) ∀C, D ∈ B(R)
iii) σ-Algebren F1 und F2 sind unabhängig, falls
P (A1 ∩ A2 ) = P (A1 )P (A2 ) ∀A1 ∈ F1 , A2 ∈ F2
i) ist ein Spezialfall von ii); ii) ist ein Spezialfall von iii).
Proposition 1.13.2
a) Ereignisse A und B sind unabhängig ⇐⇒ 1A und 1B sind unabhängig.
b) Zufallsvariablen X und Y sind unabhängig ⇐⇒ σ(X) und σ(Y ) sind unabhängig.
Beweis
Übung.
Definition 1.13.3
i) Ereignisse Ai , i ∈ I, sind unabhängig, falls für jede endliche Menge ∅ 6= J ⊆ I gilt:
³ T
´
Q
P
Aj =
P (Aj )
j∈J
j∈J
ii) Zufallsvariablen Xi , i ∈ I, sind unabhängig, falls für jede endliche Teilmenge ∅ 6= J ⊆ I
gilt:
³ T
´
Q
P
{Xj ∈ Bj } =
P (Xj ∈ Bj ) ∀Bj ∈ B(R)
j∈J
j∈J
iii) σ-Algebren Fi , i ∈ I, sind unabhängig, falls für jede endliche Teilmenge ∅ 6= J ⊆ I gilt:
³ T
´
Q
P
Aj =
P (Aj ) ∀Aj ∈ Fj
j∈J
j∈J
18
Bemerkung 1.13.4
Angenommen 1A1 , . . . , 1An sind unabhängig.
Dann gilt für jede endliche Teilmenge ∅ 6= J ⊆ {1, . . . , n}:
³ T
´
³ T
´
Q
P
Aj = P
{1Aj = 1} =
P (1Aj = 1)
{z
}
j∈J
j∈J
j∈J |
=P (Aj )
⇒ A1 , . . . , An sind unabhängig.
Definition 1.13.5
Systeme
A1 , . . . , An von Mengen sind unabhängig, falls für alle ∅ 6= I ⊆ {1, . . . , n} gilt:
³T ´ Q
P
Ai =
P (Ai ) ∀Ai ∈ Ai
i∈I
i∈I
Falls Ω ∈ Ai ∀i, dann genügt es J = {1, . . . , n} zu betrachten.
"
(
#
T
T
Ai falls i ∈ J
Ai =
Bi
Bi =
Ω sonst
i∈J
i∈{1,...,n}
Satz 1.13.6
Sind
A1
, . . . , An unabhängige π-Systeme, so sind σ(A1 ), . . . , σ(An ) unabhängig.
Beweis
Setze Ji = Ai ∪ {Ω}. Jedes Ji ist ein π-System und es gilt:
³T
´
n
n
Q
P
Bi =
P (Bi ) ∀Bi ∈ Ji
i=1
i=1
Seien B2 ∈ J2 , . . . , Bn ∈ Jn fest.
Setze L = {A ∈ F : P (A ∩ B2 ∩ . . . ∩ Bn ) = P (A)P (B2 ) . . . P (Bn )}
Es gilt
• J1 ⊆ L, da J1 , . . . , Jn unhabhängig
• L ist ein λ-System
(L1) Ω ∈ L
(L2) Seien A, B ∈ L mit A ⊆ B. Dann gilt:
P ((B \ A) ∩ B2 ∩ . . . ∩ Bn ) =
= P ((B ∩ B2 ∩ . . . ∩ Bn ) \ (A ∩ B2 ∩ . . . ∩ Bn )) =
= P (B ∩ B2 ∩ . . . ∩ Bn ) − P (A ∩ B2 ∩ . . . ∩ Bn ) =
= (P (B) − P (A)) P (B2 ) . . . P (Bn ) =
= P (B \ A)P (B2 ) . . . P (Bn )
⇒B\A∈L
(L3) Seien Ak ∈ L mit Ak 1 A. Dann gilt:
P (A ∩ B2 ∩ . . . ∩ Bn ) = lim P (Ak ∩ B2 ∩ . . . ∩ Bn ) =
n→∞
= lim P (Ak ) P (B2 ) . . . P (Bn )
k→∞
|
{z
}
=P (A)
⇒A∈L
19
π-λ-Satz
Also L λ-System, J1 ⊆ L =====⇒ σ(J1 ) ⊆ L
D.h. σ(J1 ) , A2 , . . . , An unabhängig
| {z }
=σ(A1 )
Induktiv folgt die Behauptung.
Korollar 1.13.7
Falls für alle x1 , . . . , xn ∈ (−∞, ∞]
P (X1 ≤ x1 , . . . , Xn ≤ xn ) =
n
Q
i=1
P (Xi ≤ xi )
gilt, so sind X1 , . . . , Xn unabhängig.
Beweis
Setze Ai = {{Xi ≤ xi } : xi ∈ (−∞, ∞]} – Ai ist ein π-System.
Nach Voraussetzung sind A1 , . . . , An unabhängig. Aus Satz 1.13.6 folgt:
σ(A1 ) , . . . , σ(An ) sind unabhängig.
| {z }
| {z }
=σ(X1 )
=σ(Xn )
Korollar 1.13.8
F11
Seien ...
...
F1m1 ,
³m
´
Si
..
unabhängige
σ-Algebren
und
sei
J
=
σ
A
:
A
∈
F
i
ij
ij
ij
.
Fn1
...
Fnmn
j=1
Dann sind J1 , . . . , Jn unabhängig.
Beweis
Sei
Ai
Ai
=
nm
Ti
j=1
o
Aij : Aij ∈ Fij
ist ein π-System,
A1
, . . . , An sind unabhängig
1.13.6
===⇒ σ(A1 ), . . . , σ(An ) sind unabhängig.
Wegen Ji ⊆ σ(Ai ) ∀i sind J1 , . . . , Jn unabhängig.
Korollar 1.13.9
X11
Seien ...
...
X1m1 ,
..
unabhängige Zufallsvariablen und seien fi : Rmi → R messbar, 1 ≤ i ≤ n.
.
Xn1
...
Xnmn
Dann sind fi (Xi1 , Xi2 , . . . , Ximi ), 1 ≤ i ≤ n, unabhängig.
Beispiele 1.13.10
Seien X1 , . . . , Xn unabhängig
• Sind fi : R → R messbar, so sind f1 (X1 ), . . . , fn (Xn ) unabhängig.
n
m
P
P
• Setze Sn =
Xi . Für m < n sind Sn − Sm =
Xi und max Sj unabhängig.
i=1
i=m+1
20
1≤j≤m
Satz 1.13.11
Seien X1 , . . . , Xn unabhängige Zufallsvariablen und Xi habe die Verteilung µi .
Dann hat (X1 , . . . , Xn ) die Verteilung µ1 . . . µn
Beweis
Für A1 , . . . , An ∈ B(R) gilt:
P ((X1 , . . . , Xn ) ∈ A1 × A2 × . . . × An ) = P
=
n
Q
³T
n
´
{Xi ∈ Ai } =
i=1
P (Xi ∈ Ai ) = (µ1 . . . µn )(A1 × . . . × An )
{z
}
i=1 |
=µi (Ai )
D.h. die Verteilung von (X1 , . . . , Xn ) stimmt mit µ1 . . . µn auf
Π = {A1 × . . . × An : Ai ∈ B(R) ∀i} überein.
Π ist ein π-System, daher stimmen die beiden Maße nach dem Eindeutigkeitssatz auf
σ(Π) = B(Rn ) überein. Satz 1.13.12
Seien X und Y unabhängig mit Verteilungen µ und ν. Ist h : R2 → R messbar und h ≥ 0 oder
E[|h(X, Y )|] < ∞, so gilt:
ZZ
E[h(X, Y )] =
h(x, y)µ(dx)ν(dy)
Beweis
Z
E[h(X, Y )] =
ZZ
hd(µ ν) =
h(x, y)µ(dx)ν(dy).
R2
Spezialfall von Satz 1.13.12
X, Y unabhängig mit Verteilungen µ bzw. ν.
h(x, y)³= f (x)g(y) mit f, g : R → R messbar und
´
(f ≥ 0, g ≥ 0) oder (E[|f (X)|] < ∞ und E[|g(Y )|] < ∞)
Dann gilt:
E[f (X)g(Y )] = E[f (X)] E[g(Y )]
Beweis
Wende Satz 1.13.12 an:
ZZ
E[f (X)g(Y )] =
f (x)f (y)µ(dx)ν(dy) =
Z
=
Z
f (x)µ(dx)
g(y)ν(dy) = E[f (X)] E[g(Y )]
Satz 1.13.13
Sind X1 , . . . , Xn unabhängig mit Xi ≥ 0 ∀i, oder E[|Xi |] < ∞ ∀i, so gilt:
hQ
i
n
n
Q
E
Xi =
E[Xi ]
i=1
i=1
Beweis
Übung.
21
Satz 1.13.14
Sind X und Y unabhängig mit Verteilungen µ und ν, so gilt:
Z
P (X + Y ∈ A) = µ (A − y) ν(dy)
∀A ∈ B(R)
| {z }
={x−y : x ∈A}
Beweis
Anwendung von Satz 1.13.12 mit h(x, y) = 1A (x + y):
ZZ
Z
P (X + Y ∈ A) = E[1A (X + Y )] =
1A (x + y) µ(dx)ν(dy) = µ(A − y)ν(dy)
| {z }
=1A−y (x)
Definition 1.13.15
Z
Das Wahrscheinlichkeitsmaß (µ ∗ ν)(A) =
µ(A − y)ν(dy) heißt die Faltung von µ und ν.
R
Bemerkung 1.13.16
Hat µ die Wahrscheinlichkeitsdichte f , so hat µ ∗ ν die Wahrscheinlichkeitsdichte
Z
h(x) = f (x − y)ν(dy), x ∈ R
R
Hat ν die Wahrscheinlichkeitsdichte g, so hat µ ∗ ν die Wahrscheinlichkeitsdichte
Z
x 7→ f (x − y)g(y)dy
R
1.14 Konstruktion von unabhängigen Zufallsvariablen
Endlich Viele 1.14.1
Gegeben: Verteilungsfunktionen F1 , . . . , Fn
Gesucht: Unabhängige Zufallsvariablen X1 , . . . , Xn
mit P (Xi ≤ x) = Fi (x) ∀x ∈ R ∀1 ≤ i ≤ n
Sei µi das eindeutig bestimmte Wahrscheinlichkeitsmaß auf (R, B(R)) mit
µi ((a, b]) = Fi (b) − Fi (a) ∀a < b ∀i
Setze Ω = Rn , F = B(R), P = µ1 . . . µn , Xi : Ω → R, (ω1 , . . . , ωn ) 7→ ωi
Unendlich Viele 1.14.2
Fortsetzungssatz von Kolmogorov
Seien νn Wahrscheinlichkeitsmaße auf (Rn , B(Rn )), die in folgendem Sinne konsistent sind:
νn+1 ((a1 , b1 ] × . . . × (an , bn ] × R) = νn ((a1 , b1 ] × . . . × (an , bn ]) ∀n ≥ 1, ∀ai < bi
Dann gibt es genau ein Wahrscheinlichkeitsmaß auf (RN , RN ) mit
P (ω = (ωi )i∈N : ωi ∈ (ai , bi ] ∀1 ≤ i ≤ n) = νn ((a1 , b1 ] × . . . × (an , bn ]) ∀n, ∀ai < bi
Dabei ist RN die von den Mengen {ω = (ωi )i∈N : ωi ∈ Ai ∀1 ≤ i ≤ n},
Ai ∈ B(R), n ∈ N erzeugte σ-Algebra.
22
Gegeben: Verteilungsfunktionen F1 , F2 , . . .
Gesucht: Unabhängige Zufallsvariablen Xi mit Verteilungsfunktionen Fi , i ≥ 1
Sei µi das eindeutig bestimmte Wahrscheinlichkeitsmaß auf (R, B(R)) mit
µi ((a, b]) = Fi (b) − Fi (a) ∀a < b ∀i
Wende den Fortsetzungssatz von Kolmogorov an mit νn = µ1 . . . µn
Setze Ω = RN , F = RN , P = eindeutige Fortsetzung der νn , Xn : Ω → R, (ωi )i∈N 7→ ωn
1.15 Konvergenz von Folgen von Zufallsvariablen
Definition 1.15.1
Seien X1 , X2 , . . . Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F , P ).
³n
o´
a) Xn → X fast sicher, falls P ω : lim Xn (ω) = X(ω)
=1
n→∞
b) Xn → X in Wahrscheinlichkeit, falls für alle ε > 0: lim P (|Xn − X| > ε) = 0
n→∞
h
i
p
p
c) Sei p > 0. Wir schreiben Y ∈ L , falls E |Y | < ∞.
h
i
Xn → X in Lp , falls Xn ∈ Lp und lim E |Xn − X|p = 0
n→∞
Konvergenz-Diagramm 1.15.2
Satz 1.15.3
a) Sei p1 < p2 , dann gilt: Xn → X in Lp2 ⇒ Xn → X in Lp1
³
´
b) Xn → X in Lp oder fast sicher ⇒ Xn → X in Wahrscheinlichkeit
c) Es gelte |Xn | ≤ Y für alle n mit einer Zufallsvariablen Y ∈ Lp . Dann gilt:
Xn → 0 in Wahrscheinlichkeit ⇒ Xn → 0 in Lp
23
Beweis
³
a)
E[|Xn − X|p1 ]
´
1
p1
E[|Xn − X|p ]
−−−−→ 0
n→∞
εp
Z
|Xn |p dP +
|Xn |p dP
b) Für alle ε > 0 gilt: P (|Xn − X| > ε) ≤
Z
c) Sei ε > 0. E[|Xn |p ] =
{|Xn |≤ε}
|
{z
{|Xn |>ε}
}
|
≤εp
{z
Z
}
p
|Y | dP
{|Xn |>ε}
|
{z
}
−−
−−→ 0, da
n→∞
(?) P (|Xn |>ε|) −
−
−−→ 0
n→∞
⇒ lim E[|Xn |p ] ≤ εp
n→∞
ε > 0 beliebig =⇒ lim E[|Xn |p ] = 0
n→∞
Warum gilt (?)?:
Übungsaufgabe: Für Z ∈ L1 gilt:
Z
(∀ε > 0)(∃δ > 0)(∀A ∈ F mit P (A) < δ)
|Z|dP < ε.
A
Beispiel 1.15.4
Ã
!
Xn → X in W. ; Xn → X fast sicher
für
Xn → X in Lp ; Xn → X fast sicher
¯
¯
Ω = [0, 1], F = B([0, 1]), P = λ¯
[0,1]
i
h
i
h
i
h
i
h
i
h
i
h
1
1
A1 = 0, 2 , A2 = 2 , 1 , A3 = 0, 14 , A4 = 14 , 14 , A5 = 12 , 43 , A6 = 34 , 1 ,
h
i
A7 = 0, 81 , usw. Xn = 1An
Dann E[|Xn |p ] = P (An ) −−−−→ 0
n→∞
p
=⇒ Xn −→ 0 in L und damit in Wahrscheinlichkeit.
Aber: Xn konvergiert nicht fast sicher.
24
2 Gesetze der großen Zahlen
2.1 Schwaches Gesetz der großen Zahlen für L2 -Zufallsvariablen
Definition 2.1.1
Zufallsvariablen Xi ∈ L2 , i ≥ 1, heißen unkorreliert, falls E[Xi Xj ] = E[Xi ]E[Xj ] ∀i 6= j
Bemerkung
unabhängig =⇒ unkorreliert
Satz 2.1.2 (Schwaches Gesetz der großen Zahlen)
Seien Xi ∈ L2 , i ≥ 1, unkorreliert mit E[Xi ] = µ und V ar(Xi ) ≤ C < ∞ ∀i
Dann gilt für Sn =
n
P
i=1
Xi :
Sn P
−→ µ
n
Beweis
h³ S
´2 i
³S ´
hS i
n
n
n
Es gilt: E
−µ
= V ar
,
da E
=µ
n
n
n
n
1
1 P
= 2 V ar(Sn ) = 2
V ar(Xi ),
da Xi , i ≥ 1, unkorreliert
n
n i=1
¯
¯
³P
´
³P
´
n
n
n
n
P
P
¯
Xi = Cov
Xi ,
Xj =
Cov(Xi , Xj )
¯ V ar
¯
{z
}
i=1
i=1
i=1
i,j=1 |
= 0 ∀i6=j
V ar(Xi ) ≤ C =⇒
1
n2
n
P
i=1
V ar(Xi ) ≤
nC
C
=
−−−−→ 0
n2
n n→∞
Sn
=⇒
−→ µ in L2 und damit in Wahrscheinlichkeit.
n
Anwendung 2.1.3
Seien Xi , i ≥ 1, unabhängig, Xi ∼ P oisson(λ) ∀i
Dann gilt: Sn ∼ P oisson(nλ)
Sn P
−
→λ
Aus dem schwachen Gesetz der großen Zahlen folgt:
n
(
³S
´
0 falls x ≤ λ
n
Damit folgt: P
≤ x = P (Sn ≤ nx) −−−−→
n→∞
n
1 falls x > λ
25
2.2 Mehr zum schwachen Gesetz der großen Zahlen
Satz 2.2.1
Seien Xi , i ≥ 1, unabhängig und identisch verteilt. Es sind äquivalent:
a) ∃an , so dass
Sn − a n P
−→ 0
n
b) lim xP (|X1 | ≥ x) = 0
x→∞
Ohne Beweis
Man kann an = nE[X1 1{|X1 |≤n} ] setzen.
Beispiel 2.2.2 (in dem das schwache Gesetz der großen Zahlen nicht gilt)
Z∞
Seien Xi , i ≥ 1, unabhängig und Cauchy-verteilt, d.h. P (Xi ≤ x) =
−∞
Dann ist E[Xi+ ] = ∞ = E[Xi− ] =⇒ Xi ∈
/ L1
Sn d
Man kann zeigen, dass
= X1 ∀n
n
Sn − an P
=⇒ @an , so dass
−→ 0
n
Dies folgt auch aus Satz 2.2.1:
Z∞
xP (|X1 | > x) = x · 2 ·
x
2
1
dt ≈ x
2
π
π(1 + t )
Z∞
x
1
dt
π(1 + t2 )
∀x ∈ R
1
2
dt = −−−
/−→ 0
2
t
π n→∞
2.3 Starkes Gesetz der großen Zahlen für L2 -Zufallsvariablen
Definition 2.3.1
Setze für An ⊆ Ω
∞ S
∞
T
lim An :=
Ai
n→∞
lim An :=
n→∞
n=1 i=n
∞ T
∞
S
n=1 i=n
Ai
Bemerkung 2.3.2
ω ∈ lim An ⇐⇒ ω ∈ Ai für unendlich viele i
n→∞
ω ∈ lim An ⇐⇒ ω ∈ Ai für alle bis auf endlich viele i
n→∞
Beispiel 2.3.3
∞ n
n
o [
o
1
|Xn | > für unendlich viele n =: A
Xn −−−/−→ 0 =
i
n→∞
i=1
∞ n
o n
o
\
1
|Xn | ≤ für alle bis auf endlich viele n = Xn −−−−→ 0
Ac =
n→∞
i
i=1
Also : Xn → 0 fast sicher ⇐⇒ P (Xn 9 0) = 0 ⇐⇒ (∀ε > 0) P (|Xn | > ε unendlich oft) = 0
26
Satz 2.3.4 (1. Borel-Cantelli-Lemma)
∞
P
Für Ereignisse An , n ≥ 1, gilt:
P (An ) < ∞ =⇒ P (An unendlich oft) = 0
n=1
Beweis
Stochastik 1.
Satz 2.3.5
P
Xn −→ X =⇒ Jede Teilfolge (Xn(m) )m≥1 enthält eine weitere Teilfolge (Xn(mk ) )k≥1 , so dass
Xn(mk ) −−−−→ X fast sicher
k→∞
Beweis
P
Da Xn −→ X, gibt es für jedes k ein n(mk ) > n(mk−1 ), so dass
³
1´
P |Xn (mk ) − X| >
≤ 2−k
k
³
∞
P
1´
=⇒
P |Xn (mk ) − X| >
<∞
k
k=1
³
´
1
Borel-Cantelli-Lemma =⇒ P |Xn (mk ) − X| > für unendlich viele k = 0
k
³
1
⇒ P |Xn (mk ) − X| ≤ für alle bis auf endlich viele) = 1
k
⇒ Xn (mk ) −−−−→ X fast sicher. k→∞
Satz 2.3.6 (Starkes Gesetz der großen Zahlen)
Seien Xi , i ≥ 1, unkorreliert mit
• E[Xi ] = µ ∀i
• E[Xi2 ] < ∞ und V ar(Xi ) ≤ C < ∞ ∀i
Dann gilt für Sn =
n
P
i=1
Sn
−−−−→ µ fast sicher
n n→∞
Xi :
Beweis
OBdA sei µ = 0 (sonst betrachte Yi = Xi − E[Xi ])
Für ε > 0 gilt:
³¯ S ¯
´
1
¯ n¯
P ¯ ¯>ε ≤ 2
n
ε
h³ S 2 ´i
n
E
n
}
| {z = V ar
1
= n2
³¯ S ¯
´
C
¯ n¯
=⇒ P ¯ ¯ > ε ≤ 2
n
ε n
n
P
i=1
Markov-Ungleichung
Sn
n
V ar(Xi )
| {z }
≤C
27
Idee: Betrachte ( Snn )n≥1 entlang der Teilfolge (n2 )n≥1
³¯ S 2 ¯
´
∞
P
C
¯
¯
P ¯ n2 ¯ > ε ≤
<∞
2 n2
n
ε
n=1
n=1
³¯ S 2 ¯
´
¯
¯
=⇒ P ¯ n2 ¯ > ε unendlich oft = 0
n
∞
P
=⇒
(Borel-Cantelli)
Sn2
−−−−→ 0 fast sicher
n2 n→∞
Wir müssen die Fluktuationen zwischen den Gliedern der Teilfolge kontrollieren:
Sei Dn =
max
n2 ≤k≤(n+1)2
Es ist E[Dn2 ] ≤
E[|Sk −
2
(n+1)
P
k=n2
Sn2 |2 ] =
|Sk − Sn2 |
E[|Sk − Sn2 |2 ], da max ≤ Summe
V ar(Xn2 +1 + Xn2 +2 + . . . + Xk ), da E[Xi ] = 0
k
P
=
V ar(Xi )
i=n2 +1
≤ ((n + 1)2 − n2 )2 C
=⇒ E[Dn2 ] ≤ ((n + 1)2 − n2 )2 C = (2n + 1)2 C
Mit der Markov-Ungleichung folgt für alle ε > 0 :
P (Dn > εn2 ) ≤
Insbesondere:
∞
P
n=1
P (Dn > εn2 ) < ∞
Borel-Cantelli ⇒ P
=⇒
E[Dn2 ]
C(2n + 1)2
C0
≤
≤
ε2 n4
ε2 n4
ε2 n2
³D
n
n2
´
> ε für unendlich viele n = 0
Dn
−−−−→ 0 fast sicher
n2 n→∞
Konvergenz der ganzen Folge:
Für jedes k ∈ N gibt es ein eindeutig bestimmtes n = n(k), so dass n2 ≤ k < (n + 1)2 . Es
gilt:
¯S ¯ ¯S − S 2 + S 2 ¯ D
|S 2 |
¯ k¯ ¯ k
n
n
n ¯
+ n
¯ ¯=¯
¯≤
k
k
k
k
¯
¯
2
2
Dn
n
n
¯S 2 ¯
+ ¯ n2 ¯ ·
−−−−→ 0 fast sicher
=
·
2
n
k
k n→∞
|{z}
|{z}
|n
{z } |{z}
−→ 0 f.s
n→∞
−→ 1
k→∞
¯
¯
¯
¯ 2
¯ n
k
(n + 1)2
¯
.
¯ n2 ≤ n2 ≤
2
¯ |{z}
| n
{z }
¯ =1
1
¯
= (1+ )2 −→ 1
n
−→ 0 f.s
n→∞
−→ 1
k→∞
n→∞
28
Anwendung 2.3.7 (Gesetz der normalen Zahlen – Borel 1908 )
¯
Ω = [0, 1], F = B([0, 1]), P = λ¯[0,1] = Lebesgue-Maß auf [0, 1]
Entwickle ω ∈ [0, 1] im Dezimalsystem: ω = 0.ξ1 (ω)ξ2 (ω)ξ3 (ω) . . .
ª
© m
n
Die Darstellung ist eindeutig bist auf ω ∈ E = 10
n : n ≥ 1, m ∈ {0, 1, . . . , 10 }
Für ω ∈ E gibt es zwei Darstellungen, wir wählen diejenige, die abbricht.
Beachte: P (E) = 0
¯©
ª¯
(n)
Sei νk (ω) = ¯ i ∈ {1, . . . , n} : ξi (ω) = k ¯
die absolute Häufigkeit k unter den ersten n Nachkommastellen von ω, k ∈ {0, 1, . . . , 9}
ω ∈ [0, 1] heißt normal, falls für alle k ∈ {0, 1, . . . , 9} gilt:
(n)
νk (ω)
1
existiert und ist
n→∞
n
10
| {z }
lim
(?)
(?) = relative Häufigkeit von k unter den ersten n Ziffern
Satz 2.3.8
P (ω ∈ [0, 1] : ω ist normal) = 1
Beweis
• ξi : Ω → {0, 1, . . . , 9} sind Zufallsvariablen
ξ1 (ω) = b10ωc, wobei bxc = größte ganze Zahl ≤ x
ξ2 (ω) = b100ω − 10ξ1 (ω)c etc.
• ξi , i ≥ 1, sind unabhängig mit P (ξi = k) =
1
10
∀k ∈ {0, 1, . . . , 9}
Erläuterung am Beispiel:
¡
¢
1
P (ξ1 = 0, ξ2 = 2) = P (ω ∈ [0.02000 . . . , 0.02999
| {z . .}.) = 100
= 0.03
³
´
1
P (ξ1 = 0) = P ω ∈ [0, 0.0999 . . .) =
10
³
´
9
S
1
1
P (ξ2 = 2) = P ω ∈
[0.i200 . . . , 0.i299 . . .) = 10 ·
=
100
10
i=0
=⇒ P (ξ1 = 0, ξ2 = 2) =
1
= P (ξ1 = 0)P (ξ2 = 2)
100
Sei k ∈ {0, 1, . . . , 9} fest. Setze Xn = 1{ω∈[0,1]:ξn (ω)=k} . Xn , n ≥ 1, sind unabhängig und
identisch verteilt, da die ξn , n ≥ 1, es sind.
1
Ferner gilt: E[Xn ] = P (ξn = k) = 10
V ar(Xn ) = V ar(X1 ) < ∞
∀n
Somit sind die Voraussetzungen des starken Gesetzes der großen Zahlen erfüllt und es folgt:
(n)
n
νk
1 P
1
=
fast sicher.
Xi −−−−→ E[X1 ] =
n→∞
n
n i=1
10
29
2.4 Borel-Cantelli-Lemmata
1. Borel-Cantelli-Lemma:
∞
X
P (An ) < ∞ =⇒ P (An unendlich oft) = 0
n=1
2.4.1
Gilt auch
∞
P
n=1
P (An ) = ∞ =⇒ P (An unendlich oft) = 1?
Nein. Gegenbeispiel:
¯
Ω = [0, 1], F = B([0, 1]), P = λ¯[0,1] , An = (0, an ) mit an −−−−→ 0
n→∞
=⇒ {An unendlich oft} = ∅, denn jedes x ∈ [0, 1] liegt höchstens in endlich vielen An
=⇒ P (An unendlich oft) = 0
Aber für an =
1
n
∞
P
gilt:
n=1
P (An ) =
∞
P
n=1
1
n
=∞
Satz 2.4.2 (2. Borel-Cantelli-Lemma)
Für unabhängige Ereignisse An , n ≥ 1, gilt:
∞
P
P (An ) = ∞ =⇒ P (An unendlich oft) = 1
n=1
Beweis
P (An unendlich oft) = P
³ T
∞ S
∞
n=1 i=n
´
Ai
=
lim P
³ S
∞
P stetig n→∞
von oben
i=n
´
Ai
µ
³S
´c ¶
³ T
´
∞
∞
= lim 1 − P
Ai
= 1 − lim P
Aci
n→∞
P
³ T
∞
i=n
Aci
´
≤
P
∀N ∈N
N ≥n
≤
1−x≤e−x
=⇒ P
³T
∞
i=1
³ T
N
i=n
Aci
n→∞
i=1
´
=
N
Q
Ai , i≥1 i=n
unabhängig
P (Aci ) =
´
N
¡ P
exp −
P (Ai ) −−−−→ 0
´
Aci = 0
N →∞
i=n
∀n
=⇒ P (An unendlich oft) = 1.
30
N
Q
i=n
(1 − P (Ai ))
i=n
Anwendungen 2.4.3
1) Sind Xn , n ≥ 1, identisch verteilt, so gilt
Xn P
−→ 0
n
Beweis
³¯ X ¯
´
¯ n¯
P ¯
¯ > ε = P (|X1 | > nε) −−−−→ 0
n→∞
n
∀ε > 0
2) Seien Xn , n ≥ 1, unabhängig und identisch verteilt. Wann gilt
Xn
−−−−→ 0 fast sicher?
n n→∞
³¯ X ¯
´
Xn
¯ n¯
−→ 0 fast sicher ⇐⇒ (∀ε > 0) P ¯
¯ > ε unendlich oft = 0
n
n
´
³¯ X ¯
∞
P
¯ n¯
⇐⇒ (∀ε > 0)
P ¯
¯>ε <∞
Boreln
n=1
Cantelli
¯
´
³¯
∞
P
¯ Xn ¯
⇐⇒ (∀ε > 0)
P ¯
¯>n <∞
ε
n=1
⇐⇒ (∀ε > 0) E[|X1 |] < ∞
Falls E[|X1 |] = ∞, so folgt: (∀ε > 0)
∞
P
n=1
P (| Xnn | > c) = ∞
2. Borel-Cantelli-Lemma ⇒ (∀ε > 0) P (| Xnn > c unendlich oft) = 1
¯X ¯
¯ n¯
=⇒ lim ¯
¯ = ∞ fast sicher
n→∞ n
(?)
Korollar 2.4.4
Seien Xn , n ≥ 1, unabhängig und identisch verteilt mit E[|X1 |] = ∞. Dann gilt:
³
´
Sn
P lim
existiert in (−∞, ∞) = 0
n→∞ n
Beweis
Sn+1
Sn + Xn+1
Sn
n
Xn+1
=
=
·
+
n+1
n+1
n n+1 n+1
n
o n
o
Sn
Xn
=⇒ lim
existiert in (−∞, ∞) ⊆ lim
=0
n→∞ n
n→∞ n
³
´
Xn
Wegen (?) gilt: P lim
= 0 = 0. n→∞ n
Beispiel 2.4.5
Seien Xi , i ≥ 1, unabhängig mit P (Xi = −1) = 12 = P (Xi = 1) ∀i
(
max{k ≥ 1 : Xn−k+1 = . . . = Xn = +1} falls Xn = 1
`n =
0
falls Xn = −1
−1
X1
−1
X2
+1
X3
+1
X4
−1
X5
+1
X6
+1
X7
+1
X8
+1
X9
`5 = 0
`9 = 4
31
a) P (`n = 0 unendlich oft) = ?
{`n = 0} = {Xn = −1}, n ≥ 1, sind unabhängig und
∞
P
P (`n = 0) = ∞
{z }
n=1 |
1
=2
2. Borel-Cantelli-Lemma ⇒ P (`n = 0 unendlich oft) = 1
b) P (`n = 1 unendlich oft) = ?
{`n = 1} = {Xn = 1, Xn−1 = −1}, n ≥ 1, sind nicht unabhängig
∞
P
Aber: {`2n = 1}, n ≥ 1, sind unabhängig und
=∞
P (`2n = 1
| {z }
n=1
= P (X1 =−1,X2 =1)
1
=4
2. Borel-Cantelli-Lemma ⇒ P (`2n = 1 unendlich oft) = 1
⇒ P (`n = 1 unendlich oft) = 1.
Analog
Xi , i ≥ 1, unabhängig und gleichverteilt auf {a, b, . . ., z, A, . . ., Z, ., ;, !, §, . . .}
P (Folge (Xi )i≥1 enthält Grundgesetz unendlich oft) = 1.
2.5 Starkes Gesetz der großen Zahlen für L1 -Zufallsvariablen
Satz 2.5.1
Seien Xi , i ≥ 1, unabhängig und identisch verteilt mit E[|X1 |] < ∞. Dann gilt:
Sn
−−−−→ E[X1 ] fast sicher
n n→∞
Beweis
Etemadi 1981, einfacher mit Rückwärtsmartingalen.
Korollar 2.5.2
Seien Xi , i ≥ 1, unabhängig und identisch verteilt mit E[Xi− ] < ∞ und E[Xi+ ] = +∞. Dann gilt:
Sn
−−−−→ ∞ fast sicher
n n→∞
Beweis
OBdA Xi ≥ 0
µ
1
n
n
P
i=1
(c)
¶
Xi− −→ E[X1− ] ∈ R fast sicher
Für c > 0 setze Xn = Xn 1{|Xn | ≤ c} . Es gilt:
n
n
1 P
1 P
(c) starkes Gesetz
(c)
Xi ≥
X −−−−−−−−−→ E[X1 ]
n→∞
n i=1
n i=1 i
n
1 P
(c)
Xi ≥ E[X1 ] 1 E[X1 ] = +∞.
n→∞ n i=1
c 1∞
=⇒ lim
monotone Konvergenz
32
2.6 Anwendungen des starken Gesetzes der großen Zahlen
Seien Xi , i ≥ 1, unabhängig und identisch verteilt mit Verteilungsfunktion F (d.h. P (Xi ≤ x) =
F (x) ∀i ∈ R).
n
1 P
|{i ∈ {1, . . . , n} : Xi ≤ x}|
1{Xi ≤x} =
Setze Fn (x) =
, x∈R
n i=1
n
Beachte: Fn (x) = Fn (x, ω)
Fn heißt empirische Verteilungsfunktion.
Beispiel
Satz 2.6.1 (Glivenko-Cantelli )
sup |Fn (x) − F (x)| −−−−→ 0 fast sicher
n→∞
x∈R
Beweis
a) Sei x ∈ R fest. Setze Yi = 1{Xi ≤ x} . Dann sind Yi , i ≥ 1, unabhängig und identisch
verteilt mit P (Yi = 1) = P (Xi ≤ x) und P (Yi = 0) = 1 = F (x) ⇒ E[Yi ] = F (x)
Aus dem starken Gesetz der großen Zahlen folgt:
n
1 P
Fn (x) =
Yi −−−−→ F (X) fast sicher
n→∞
n i=1
Somit gibt es N (x) ∈ F , so dass
P (N (x)) = 0 und Fn (x, ω) −−−−→ F (x)
n→∞
S
N (x).
Setze N =
∀ω ∈ Ω \ N (x)
x∈Q
Dann ist N ∈ F mit P (N ) = 0 und Fn (x, ω) −−−−→ F (x) ∀ω ∈ Ω \ N ∀x ∈ Q
n→∞
b) Sei J die abzählbare Menge der Sprünge von F . Für festes x ∈ J setze Zi = 1{Xi ≤ x} .
Dann sind Zi , i ≥ 1, unabhängig und identisch verteilt mit E[Zi ] = P (Xi = x) =
F (x) − F (x−)
Aus dem starken Gesetz der großen Zahlen folgt:
n
1 P
Fn (x) − Fn (x−) =
Zi −−−−→ E[Z1 ] = F (x) − F (x−) ∀ω ∈ Ω \ M (x),
n→∞
n i=1
wobei M (x) ∈ F mit P (M (x)) = 0
S
Setze M = N ∪
M (x).
x∈J
Dann ist M ∈ J mit P (M ) = 0 und Fn (x, ω) −−−−→ F (x) ∀ω ∈ M c ∀x ∈ Q
Fn (x, ω) − Fn (x−, ω) −−−−→ F (x) − F (x−)
n→∞
33
n→∞
∀ω ∈ M c ∀x ∈ J
c) Die Behauptung folgt aus
Lemma
Seien Fn , F Verteilungsfunktionen, J = Menge der Sprünge von F .
Falls Fn (x) −−−−→ F (x) ∀x ∈ Q und Fn (x)−Fn (x−) −−−−→ F (x)−F (x−) ∀x ∈ J,
n→∞
n→∞
dann gilt:
Fn −→ F gleichmäßig auf R. Erneuerungstheorie 2.6.2
Seien Xi , i ≥ 1, unabhängig und identisch verteilt, P (Xi ≥ 0) = 1, P (Xi = 0) < 1, Sn =
n
P
i=1
Xi
Beispiel
Wir schalten zur Zeit 0 eine Energiesparlampe ein. Sobald sie kaputtgeht, erneuern wir sie, usw.
Xi = Lebensdauer der i-ten Energiesparlampe.
Sn = Zeitpunkt, zu dem die n-te Energiesparlampe kaputtgeht.
Nt = sup{n : Sn ≤ t} = Anzahl der Lampen, die bis zur Zeit t kaputtgegangen sind.
Satz
Nt
1
−−−→ fast sicher
t t→∞ µ
Sei µ = E[X1 ] ∈ (0, ∞]. Es gilt:
Beweis
Aus dem starken Gesetz der großen Zahlen und seinem Korollar folgt:
Sn
−−−−→ µ fast sicher
n n→∞
Wegen µ > 0 folgt daraus:
Sn −−−→ ∞ fast sicher ⇒ Nt −−−→ ∞ fast sicher
t→∞
t→∞
Es gilt:
SNt
Nt
|{z}
SNt ≤ t < SNt +1 ⇒
≤
t
SNt +1 Nt + 1
·
<
Nt
Nt + 1
N
| {z } | {zt }
−→ µ f.s.
−→ µ f.s.
t→∞
t
=⇒
−−−→ µ fast sicher
Nt t→∞
1
Nt
−−−→ fast sicher
=⇒
t t→∞ µ
t→∞
−→ 1 f.s.
t→∞
2.7 Zufällige Reihen und Kolmogorovs 0-1-Gesetz
Seien Xi , i ≥ 1, unabhängig.
Frage: Wann konvergiert
∞
P
i=1
Xi ?
34
Satz 2.7.1
Seien Xi , i ≥ 1, unabhängig mit E[Xi ] = 0 ∀i und
Dann konvergiert
∞
P
i=1
∞
P
i=1
E[Xi2 ] < ∞.
Xi in Wahrscheinlichkeit.
Beweis
Setze Sn =
n
P
Xi . Es gilt:
i=1
n+m
h
i
³ n+m
´
X
X
E ( Sn+m − Sm )2 = V ar
Xi =
V ar(Xi )
(?)
{z
}
|
| {z }
i=m+1
= Xm+1 +...+Xm+n
i=m+1
= E[Xi2 ]
(?) Xi unabhängig
∞
P
Wegen
i=1
E[Xi2 ] < ∞ folgt, dass (Sn )n≥1 , eine Cauchyfolge in L2 ist.
1
(d.h. bzgl. ||X||L2 = (E[X 2 ]) 2 )
L2 ist vollständig ⇒ (Sn )n≥1 konvergiert in L2 und damit in Wahrscheinlichkeit.
Frage:
Wie sieht es aus mit fast sicherer Konvergenz?
³P
´
∞
Xi , i ≥ 1, unabhängig ⇒ P
Xi konvergiert ∈ {0, 1}?
i=1
Definition 2.7.2
Die terminale σ-Algebra der Zufallsvariablen Xi , i ≥ 1 (i =
b Zeit), ist definiert durch
∞
T
T=
σ (Xn , Xn+1 , . . . )
{z
}
n=1 |
alle Informationen ab Zeit n
A ∈ T heißt terminales Ereignis.
Intuitiv
A ∈ T ⇐⇒ wenn man die Werte von endlich vielen Xi abändert, ändert das nicht das
Eintreten des Ereignisses A
Beispiele 2.7.3
a) {Xn ∈ An für unendlich viele n} =
=⇒ {Xn ∈ An unendlich oft} ∈
∞ S
∞
T
{Xi ∈ Ai }
∀N ∈N
n=1 i=n
∞
T
=
∞ S
∞
T
{Xi ∈ Ai } ∈ σ(Xi , i ≥ N )
n=N i=n
σ(Xi , i ≥ N ) = T
N =1
b)
c)
o
nS
o nX + X
o
n
k
k+1 + . . . + Xn
−−−−→ 0 ∈ T, denn
−−−−→ 0 =
−−−−→ 0
n→∞
n n→∞
n n→∞
n {z
|
}
nS
©
n
n→∞
∞
nX
d)
©
=
∈ σ(Xi , i≥k)
lim Sn > 5} ∈
/T
|
∞
P
i=1
o
Xi konvergiert ∈ T
{z
ª
Xi konv.
}
∈ σ(Xi , i≥N ) ∀N
i=N
35
∀k
Satz 2.7.4 (0-1-Gesetz von Kolmogorov )
Sind Xi , i ≥ 1, unabhängig, so gilt für alle A ∈ T :
P (A) ∈ {0, 1}
Lemma 2.7.5
Seien F1 ⊆ F2 ⊆ . . . σ-Algebren und sei F = σ(Fn , n ≥ 1) die kleinste σ-Algebra, die alle Fn
enthält. Dann gilt:
(∀A ∈ F ) (∀n ∈ N) (∃An ∈ Fn ) P (A 4 An ) −−−−→ 0,
n→∞
wobei A 4 An = (A \ An ) ∪ (An \ A) die symmetrische Differenz bezeichne.
Beweis
©
ª
Setze A = A ∈ F : (∀n) (∃An ∈ Fn ) P (A 4 An ) −−−−→ 0
n→∞
Es gilt:
i) Fn ⊆ A:
Ist A ∈ Fn , wähle
(
∅ falls i < n
Ai
A falls i ≥ n
=⇒ A ∈
ii)
A
A
ist eine σ-Algebra:
• A∈
A
⇒ Ac ∈
Wegen A ∈
c
Es ist P (A
A
A
:
existieren An ∈ Fn mit P (A 4 An ) −−−−→ 0
n→∞
4 Acn )
c
Acn )
= P (A 4 An ) = P ((A \
∪ (Acn \ Ac ))
= P ((An \ A) ∪ (A \ An )) = P (A 4 An ) −−−−→ 0
n→∞
c
=⇒ A ∈
A
• A, B ∈ A ⇒ A ∩ B ∈
Übung:
A
:
¡
¢
P (A 4 An ) −−−−→ 0 und P (B 4 Bn ) −−−−→ 0 ⇒ P (A∩B) 4 (An ∩Bn ) −−−−→ 0
n→∞
• Bn ∈
A
∞
S
⇒B=
n=1
∞
S
n→∞
Bn ∈
Schreibe B =
n=1
A
n→∞
:
Cn mit paarweise disjunkten Cn ∈ A.
Es genügt zu zeigen:
(∀ε > 0) (∃c ∈ Fm für ein m), so dass P (B 4 C) < ε
(Liefert Ck ∈ Fmk mit P (B 4 Ck ) < k1 )
µ
¶
∞
S
ε
, da
% ∅
2
i=n+1 n→∞
i=n+1
³S
´c
n
n
S
Wegen Ci ∈ A ist
Ci =
Cic ∈ A
i=1
i=1
µ³ n
¶
S ´
ε
=⇒ ∃C ∈ Fm für ein m, so dass P
Ci 4 C <
2
i=1
Sei ε > 0. ∃n mit P
∞
S
Ci
<
36
(1)
(2)
µ³ ∞ ´
¶
S
Es folgt: P (B 4 C) = P
Ci 4 C
i=1
¶
µ³ ∞ ´
¶
µ³ ∞
¶
µ
´
∞
S
S
S
Ci \ C + P
Ci \ C < ε
=P C\
Ci + P
i=1
i=n+1
i=1
|
{z
} |
{z
}
ε
< 2 nach (1)
=⇒
ist σ-Algebra
Fn liegt in A ∀n
A
A
ε
< 2 nach (2)
ist σ-Algebra
¾
=⇒ σ(Fn , n ≥ 1) ⊆
{z
}
|
A
.
=F
Beweis von Kolmogorovs 0-1-Gesetz
Xn , n ≥ 1, unabhängig. Sei A ∈
¡ F.
¢
Setze Fn = σ(X1 , . . . , Xn ) = σ Xi−1 (B), 1 ≤ i ≤ n, B ∈ B(R)
Lemma
F = σ(Fn , n ≥ 1) ⇒ T ⊆ F =====⇒ (∃An ∈ Fn ) P (A 4 An ) −−−−→ 0
n→∞
2.7.5
Es folgt: P (An ∩ A) = P (A) − P (A \ An ) −−−−→ P (A)
| {z } n→∞
−→ 0
n→∞
Außerdem:
P (An ∩ A) = P (An )P (A),
denn An ∈ Fn = σ(X1 , . . . , Xn ) unabhängig zu σ(Xi , i ≥ n + 1) 3 A
Grenzwertbildung n −→ ∞ in (?) :
P (A) = P (A)P (A) =⇒ P (A) ∈ {0, 1}.
(?)
Anwendungen 2.7.6 (Perkolation)
Sei p ∈ [0, 1]. Betrachte Kantenperkolation auf Zd , d ≥ 1.
½
¾
p
blau
Jede Kante wird mit Wahrscheinlichkeit
gefärbt, unabhängig von allen anderen
1 − p rot
d
Kanten. Betrachte den zufälligen Teilgraphen von Z , der aus den blauen Kanten besteht.
Seine Zusammenhangskomponenten heißen blaue Cluster.
Satz 2.7.7
∀p ∈ [0, 1] gilt: Pp (∃ unendlicher blauer Cluster) ∈ {0, 1}
Beweis
(
blau mit Wahrscheinlichkeit p
rot
mit Wahrscheinlichkeit 1 − p
(Xe )e sind unabhängig. Ob es einen unendlichen blauen Cluster gibt, hängt nicht von endlich
vielen Xe ab.
d
Für jede Kante e in Z sei Xe =
A = {∃ unendlicher blauer Cluster} ∈ terminaler σ-Algebra der Xe .
Kolmogorovs 0-1-Gesetz =⇒ P (A) ∈ {0, 1}.
Weitere Anwendungen 2.7.8
a) An unabhängig ⇒ P (An für unendlich viele n) ∈ {0, 1},
nach Kolmogorovs 0-1-Gesetz, denn {An für unendlich viele n} ist ein terminales Ereignis.
37
Alternativ:
∞
P
n=1
∞
P
n=1
1. Borel−
P (An ) < ∞ ======⇒ P (An unendlich oft) = 0
Cantelli
2. Borel−
= ∞ ======⇒ P (An unendlich oft) = 1
Cantelli
b) Xn unabhängig =⇒ P
³P
∞
´
konvergiert ∈ {0, 1}
n=1
Proposition 2.7.9
Seien Xn , n ≥ 1, unabhängig. Dann gilt:
lim
n→∞
Sn
Sn
und lim
sind fast sicher konstant mit einem Wert in [−∞, ∞]
n→∞ n
n
Beweis
Sn
.
n→∞ n
Setze Y = lim
Für alle c ∈ R gilt:
{Y ≤ c} ∈ T
Kolmogorovs 0-1-Gesetz =⇒ P (Y ≤ c) ∈ {0, 1} ∀c ∈ R
| {z }
Verteilungsfunktion von Y
=⇒ ∃c mit P (Y = c) = 1.
Korollar 2.7.10
Sind Xn , n ≥ 1, unabhängig, so gilt:
³
´
Sn
Sn
• entweder P lim
existiert = 1 und lim
= const fast sicher
n→∞ n
n→∞ n
³
´
Sn
• oder P lim
existiert = 0
n→∞ n
Satz 2.7.11
Sind Xi , i ≥ 1, unabhängig, so gilt:
∞
∞
P
P
Xi konvergiert fast sicher ⇐⇒
Xi konvergiert in Wahrscheinlichkeit
i=1
i=1
Beispiel 2.7.12 (dafür, dass die Voraussetzung der Unabhängigkeit benötigt wird )
P
Es gelte: Zn −→ Z, aber (Zn )n≥1 konvergiert nicht fast sicher.
Setze: Xn = Zn − Zn−1 , Z0 = 0
Dann gilt:
n
P
i=1
Xi = Zn =⇒
∞
P
i=1
Xi konvergiert in Wahrscheinlichkeit, aber nicht fast sicher.
38
Beweis von Satz 2.7.11
⇒“: klar
”
n
P
P
⇐“: Setze Sn =
Xi . Es gelte Sn −→ S.
”
i=1
Zu zeigen: Sn −−−−→ S fast sicher, d.h. (∀ε > 0) P (|Sn − S| > ε unendlich oft) = 0
n→∞
P (|Sn − S| > ε unendlich oft) = P
³ T
∞
´
{sup |Si − S| > ε}
n=1 i≥n
= lim P (sup |Si − S| > ε)
n→∞
i≥n
n ³
´
³
´o
≤ lim P sup |Si − S| > 2ε + P |Sn − S| > 2ε
n→∞
i≥n
|
{z
}
P
−−
−
−
→
0, da Sn −→S
n→∞
³
´
Es genügt zu zeigen: P sup |Si − Sn | > 2ε −−−−→ 0 ∀ε > 0
n→∞
i≥n
Setze σn = {i ≥ n : |Si − Sn | > 2ε}
³
´
³
´
³
´
∞
P
P sup |Si − Sn | > 2ε = P σn < ∞ =
P σn = i
i≥n
(?)
i=n
Für i ≥ n gilt: σn = i ⇒ |Si − Sn | > 2ε
=⇒ |S − Sn | = |(S − Si ) − (Sn − Si )| ≥ |Sn − Si | − |S − Si | > 2ε − |S − Si |
=⇒ {σn = i} ∩ {|S − Si | ≤ ε} ⊆ {σn = i} ∩ {|S − Sn | > ε}
¯
¯
¯ {σn = i} ∈ σ(Xn+1 , . . . , Xi ) unabhängig zu σ(Xj , j ≥ 1 + 1) 3 {|S − Si | ≤ ε}
=⇒ P (σn = i)P (|S − Si | ≤ ε) ≤ P (σn = i, |S − Sn | > ε)
=⇒ P (σn = i) ≤
P (σn = i, |S − Sn | > ε)
P (|S − Si | ≤ ε)
³
´
∞ P (σ = i, |S − S | > ε)
P
n
n
Damit in (?): P sup |Si − Sn | > 2ε ≤
inf
P
(|S
−
S
|
≤ ε)
j
i≥n
i=n
j≥n
=
1
· P (|S − Sn | > ε) −−−−→ 0.
{z
} n→∞
inf P (|S − Sj | ≤ ε) |
j≥n
P
|
{z
} −−
−
−
→
0, da Sn −
→
S
n→∞
−−
−
−
→
1
n→∞
Korollar 2.7.13
Seien Xi , i ≥ 1, unabhängig mit E[Xi ] = 0 ∀i und
∞
P
Dann konvergiert
Xi fast sicher.
∞
P
i=1
i=1
Beweis
Satz 2.7.1 ⇒
∞
P
i=1
Satz von
∞
P
Lévy
i=1
====⇒
Xi konvergiert in Wahrscheinlichkeit
Xi konvergiert fast sicher.
39
E[Xi2 ] < ∞.
Anwendung 2.7.14
(
−1
Seien Xi , i ≥ 1, unabhängig, Xi =
+1
Behauptung:
∞
P
i=1
Denn:
Xi
i
mit Wahrscheinlichkeit
mit Wahrscheinlichkeit
1
2
1
2
konvergiert fast sicher
hX i
h³ X ´2 i
h³ X ´2 i
∞
P
1
i
i
i
E
= 0, E
= 2 =⇒
< ∞, Korollar 2.7.13 =⇒ BehaupE
i
i
i
i
i=1
tung. Satz 2.7.15
Seien Xi , i ≥ 1, unabhängig und identisch verteilt mit E[Xi ] = 0 und E[Xi2 ] = σ 2 < ∞,
n
P
Sn =
Xi . Dann gilt für alle ε > 0:
i=1
Sn
−−−−→ 0 fast sicher
1
√
n→∞
n(log n) 2 +ε
Bemerkung
• Starkes Gesetz der großen Zahlen =⇒
Sn
−−−−→ 0 fast sicher
n n→∞
• Das Gesetz vom iterierten Logarithmus besagt: lim √
n→∞
Beweis von Satz 2.7.15
1
√
Setze an = n(log n) 2 +ε für n ≥ 2, a1 = 1. Es gilt:
hX i
h³ X ´2 i
∞
∞
P
P
n
n
E
= 0 und
E
= σ2 +
an
an
n=1
n=2
√
Sn
= σ 2 fast sicher
n log log n
σ2
1
n(log n) 2 +ε
<∞
∞ X
P
n
konvergiert fast sicher
n=1 an
Die Behauptung folgt aus folgendem Lemma. Korollar 2.7.13 =⇒
Lemma 2.7.16 (von Kronecker )
Seien an , xn ∈ R. Falls an 1 ∞ und
∞ x
P
n
konvergiert, dann gilt:
n=1 an
40
n
1 P
xi = 0
n→∞ an i=1
lim
3 Zentraler Grenzwertsatz
3.1 Motivation
Seien Xi , i ≥ 1, unabhängig und identisch verteilt mit E[Xi ] = 0 und E[Xi2 ] = 1, Sn =
Sn
−−−−→ 0 fast sicher
n n→∞
Sn − E[Sn ]
Sn
Betrachte Sn∗ = p
= √ . Es ist E[Sn∗ ] = 0 und V ar(Sn∗ ) = 1.
n
V ar(Sn )
n
P
i=1
Xi .
Gesetz der großen Zahlen =⇒
Der zentrale Grenzwertsatz besagt:
³
P
Sn∗
Z∞
´
t2
1
√ e− 2 dt ∀x ∈ R
≤ x −−−−→
n→∞
2π
−∞
Spezialfall:
(
+1
Xi =
−1
mit Wahrscheinlichkeit
mit Wahrscheinlichkeit
1
2
1
2
In diesem Fall ist der zentrale Grenzwertsatz gerade der Satz von de Moivre-Laplace.
Sei Fn die Verteilungsfunktion von Sn∗ , d.h. Fn (x) = P (Sn∗ ≤ x), und sei F die Verteilungsfunktion
von Z ∼ N (0, 1).
Der zentrale Grenzwertsatz besagt Fn (x) −−−−→ F (x) ∀x ∈ R
n→∞
3.2 Schwache Konvergenz
Definition 3.2.1
Seien µn , µ Wahrscheinlichkeitsmaße auf (R, B(R)).
w
µn konvergiert schwach gegen µ (µn =⇒ µ, µn −→ µ), falls
Z
Z
f dµn −−−−→
n→∞
wobei Cb (R) = {g : R → R stetig und beschränkt}
w
w
Man sagt Xn −→ X, falls L (Xn ) −→ L (X)
Beispiel 3.2.2
Seien xn , x ∈ R, mit xn −−−−→ x, δy bezeichne die Punktmasse in y,
n→∞
(
1 falls y ∈ A
d.h. δy (A) = 1A (x) =
, A⊆R
0 sonst
w
Dann gilt: δxn −−−−→ δx ,
n→∞ Z
Z
f stetig
xn → x
denn (∀f ∈ Cb (R)) f dδxn = f (xn ) −−−−→ f (x) = f dδx .
n→∞
41
f dµ ∀f ∈ Cb (R),
Bemerkung 3.2.3
w
Xn −→ X ⇐⇒ E[f (Xn )] −−−−→ E[f (X)] ∀f ∈ Cb (R)
n→∞
Beweis
Z
E[f (Xn )] =
Z
f dµn mit µn = L (Xn ) −−−−→
n→∞
f dµ mit µ = L (X) = E[f (X)].
Bemerkung 3.2.4
w
a) Xn −→ X ist möglich, selbst wenn alle Xn auf verschiedenen Wahrscheinlichkeitsräumen definiert sind
w
w
b) Xn −→ X =⇒ h(Xn ) −→ h(X) ∀h : R → R stetig
Beweis von b)
f ∈ Cb (R) =⇒ f ◦ h ∈ Cb (R).
Satz 3.2.5 (Portemanteau)
Seien µn , µ Wahrscheinlichkeitsmaße auf (R, B(R)). Es sind äquivalent:
w
i) µn −→ µ
Z
Z
ii)
f dµn −−−−→ f dµ
n→∞
iii) lim µn (F ) ≤ µ(F )
n→∞
∀f : R → R beschränkt und gleichmäßig stetig
∀F abgeschlossen
iv) lim µn (G) ≥ µ(G) ∀G offen
n→∞
v) µn (A) −−−−→ µ(A) ∀A ∈ B(R) mit µ(∂A) = 0, wobei ∂A = Ā \ Å
n→∞
Beweis
(i) ]e
(iv)
CCCCC
zz9A
z
CCCC
z
zzz
CCCC
CCC
zzzz
y¢ zzz
klar
(iii)
]e DDD
9A
{
DDDD
{
{
{
{
DDDD
{
{{
{
DDD
{
{
À%
¶® {{{
(v)
(ii)
(iii) ⇐⇒ (iv)
F abgeschlossen ⇐⇒ F c offen
lim
n→∞
µn (F )
| {z }
= 1−µn (F c )
≤ µ(F ) ⇐⇒ 1 − lim µn (F c ) ≤ 1 − µ(F c ) ⇐⇒ lim µn (F c ) ≥ µ(F c )
| {z }
n→∞
n→∞
= 1−µ(F )
42
(ii) =⇒ (iii)
Sei F abgeschlossen, δ > 0. Sei G = {x ∈ R : dist(x, F ) < ε}.
Für hinreichend kleines ε > 0 gilt: µ(G) < µ(F ) + δ, da µ regulär ist.


falls t ≤ 0
1
Setze ϕ(t) = 1 − t falls 0 ≤ t ≤ 1


0
falls t ≥ 1
¡1
¢
Setze f (x) = ϕ ε · dist(x, F ) . Es gilt:
• f ist gleichmäßig stetig auf R
(
1 falls x ∈ F
• f (x) =
0 ≤ f (x) ≤ 1 ∀x
0 falls x ∈ Gc
Z
Z
Z
Z
Es folgt: µn (F ) = f dµn ≤ f dµ −−
−
−
−
→
f
dµ
=⇒
lim
µ
(F
)
≤
f dµ
n
n→∞
Z
Außerdem:
Z
F
wegen (ii)
R
n→∞
f dµ ≤ µ(G) < µ(F ) + δ =⇒ lim µn (F ) ≤ µ(F ) + δ
f dµ =
n→∞
f ≤1
G
δ > 0 beliebig =⇒ lim µn (F ) ≤ µ(F )
n→∞
(iii) =⇒ (i)
Sei f ∈ Cb (R).
Z
Behauptung:
lim
n→∞
Z
f dµn ≤
f dµ
Beweis der Behauptung
OBdA sei 0 < f (x) < 1 ∀x ∈ R
(Für beliebiges beschränktes f gibt es a > 0, b ∈ R, so
dass g(x) = af (x) + b ∈ (0, 1) ∀x ∈ R
Behauptung gilt für f ⇐⇒ Behauptung gilt für g)
n
1o
Definiere für k ∈ N : Fi = x ∈ R : f (x) ≥
, i = 0, 1, . . . , k
k
• Fi ist abgeschlossen
• F0 = R, Fk = ∅
Außerdem gilt:
Z
k
k
X
X
i−1
i o´
i ³n
i−1
i o´
i − 1 ³n
µ x:
≤ f (x) <
≤ f dµ ≤
µ x:
≤ f (x) <
k
k
k
k
k
k
i=1
i=1
Nebenrechnungen:
³n
³
´
³
´
³ ´
i−1
i o´
µ x:
≤ f (x) <
= µ Fi−1 \ Fi = µ Fi−1 − µ Fi
k
k
³n
k
k i−1
k
P i−1
P i
P
i−1
i o´ k−1
1 P
⇒
µ x:
≤ f (x) <
=
µ(Fi )−
µ(Fi ) =
µ(Fi )
k
k
k i=1
i=1 k
i=0 k
i=1 k
k i
k i ³n
P i+1
P
P
i−1
i o´ k−1
1 1 P
µ x:
≤ f (x) <
=
µ(Fi ) −
µ(Fi ) = +
k µ(Fi )
k
k
k
k
k
k
k i=1
i=0
i=1
i=1
43
k
A
1 P
µ(Fi ) ≤
k i=1
Also:
Z
B
f dµ ≤
k
1X
1
+
µ(Fi )
k k i=1
Diese Ungleichung gilt auch für µn anstelle von µ. Es folgt:
Z
Z
k
k
´
³1
1
1X
1X
1
µn (Fi ) ≤
µ(Fi ) ≤ + f dµ
lim
f dµn ≤ lim
+
+
n→∞
k i=1
k i=1
A k
B n→∞ k
(iii) k
k ∈ N beliebig =⇒ Behauptung
Anwendung der Behauptung für −f anstelle von f liefert:
Z
− lim
f dµn ≤ −f dµ
n→∞
Also:
Z
lim f dµn ≥
n→∞
Z
f dµ ≥ lim f dµn ≥ lim
Beh.
Z
=⇒ lim
n→∞
n→∞
f dµn
f dµn = f dµ
n→∞
w
=⇒ µn −→ µ
(iii) =⇒ (v)
Sei A ∈ B(R). Es gilt:
µ(Ā) ≥ lim µn (Ā) ≥ lim µn (A) ≥ lim µn (A) ≥ lim µn (Å) ≥ µ(Å)
(iii) n→∞
n→∞
n→∞
n→∞
Falls µ(∂A) = 0, so ist µ(Ā) = µ(A) = µ(Å) und es folgt lim µn (A) = µ(A)
n→∞
(v) =⇒ (iii)
Sei F ⊆ R abgeschlossen. Es gilt:
∂{x ∈ R : dist(x, F ) ≤ δ} = {x ∈ R : dist(x, F ) = δ}
Somit sind ∂{x : dist(x, F ) ≤ δ}, δ > 0, paarweise disjunkt. Damit können höchstens
abzählbar viele strikt positives µ-Maß haben.
=⇒ (∃δk % 0), so dass (∀k) µ(∂ {x : dist(x, F ) ≤ δk }) = 0
|
{z
}
=:Fk
Für jedes k gilt:
lim µn (F ) ≤ lim µn (Fk ) = µ(Fk )
n→∞
n→∞
(v)
Da F abgeschlossen ist, gilt Fk % F und somit µ( Fk ) % µ(F )
k→∞
=⇒ lim µn (F ) ≤ µ(F ).
n→∞
44
Satz 3.2.6
Seien µn , µ Wahrscheinlichkeitsmaße auf (R, B(R)) mit Verteilungsfunktionen Fn , F
(d.h, Fn (x) = µn ((−∞, x]), . . .). Dann gilt:
w
µn −→ µ ⇐⇒ Fn (x) −−−−→ F (x)
n→∞
∀ Stetigkeitspunkte x von F
Bemerkung 3.2.7
Damit besagt der zentrale Grenzwertsatz:
Zx
t2
1
w
∗
√ e− 2 dt ∀x ∈ R ⇐⇒ Sn∗ −→ N (0, 1)
P (Sn ≤ x) −−−−→
n→∞
2π
−∞
Beweis von Satz 3.2.6
⇒“: Sei x ein Stetigkeitspunkt von F . Dann gilt: µ(∂(−∞, x]) = µ({x}) = 0
”
Portemanteau-Satz =⇒ Fn (x) = µn ((−∞, x]) −−−−→ µ((−∞, x]) = F (x)
n→∞
⇐“: Sei G = (a, b). Seien ak , bk Stetigkeitsstellen von F mit ak % a, ak > a und bk 1 b, bk < b
”
Es gilt:
¡
¢
¡
¢
µ (ak , bk ] = F (bk ) − F (ak ) = lim Fn (bk ) − Fn (ak )
(?) n→∞
¡
¢
¡
¢
= lim µn (ak , bk ] ≤ lim µn (a, b)
n→∞
n→∞
Wegen (ak , bk ] 1 (a, b) folgt:
¡
¢
¡
¢
µ (a, b) ≤ lim µn (a, b)
n→∞
Sei G offen. Schreibe G =
µ(G) =
P
k
µ(Ik ) ≤
P
T
(∗)
Ik mit offenen, paarweise disjunkten Intervallen Ik . Es gilt:
k
lim µn (Ik ) ≤
(∗) k n→∞
lim
Fatou
P
n→∞ k
|
µn (Ik )
{z }
= µn (G)
w
Portemanteau-Satz =⇒ µn −→ µ.
Hier wird das Lemma von Fatou verwendet:
Z
fn ≥ 0 messbar, ν Maß auf (S, S ) =⇒
Z
lim fn dν ≤ lim
S
n→∞
n→∞
fn dν
S
Bei uns:
S = N, S = P(N), ν = Zählmaß auf N, fn ≥ 0 messbar, ν Maß auf (S, S )
P
P
=⇒
lim fn (k) ≤ lim
fn (k)
k n→∞
n→∞ k
Beispiele schwacher Konvergenz 3.2.8
1) Seien Xp ∼ Geometrisch(p). Dann gilt:
P (pXp > x) −−−→ |{z}
e−x
p→0
=
∞
R
x
w
D.h. pXp −−−→ Exponential(1).
p→0
45
e−x dt
∀x > 0
2) Xi , i ≥ 1, unabhängig und identisch verteilt. µn (ω) =
n
1 P
δX (ω) empirische Verteilung.
n i=1 i
w
Glivenko-Cantelli =⇒ Für fast alle ω gilt: µn (ω) −→ L (X1 )
Satz 3.2.9
w
Sei h : R → R messbar, Dh = {x : h ist unstetig in x}. Falls Xn −→ X und P (X ∈ Dh ) = 0, dann
w
gilt:
h(Xn ) −→ h(X)
Beweis
Seien µn , µ die Verteilungen von Xn , X und νn , ν die Verteilungen von h(Xn ), h(X). Es gilt:
νn (A) = P (h(Xn ) ∈ A) = P (Xn ∈ h−1 (A)) = µn (h−1 (A))
Nach dem Portemanteau-Satz genügt es zu zeigen:
lim νn (F ) ≤ ν(F ) ∀F abgeschlossen
n→∞
⇐⇒ lim µn (h−1 (F )) ≤ µ(h−1 (F )) ∀F abgeschlossen
n→∞
lim µn (h−1 (F )) ≤ lim µn (h−1 (F )) ≤ µ(h−1 (F ))
Es gilt:
n→∞
(?)
n→∞
Behauptung: h−1 (F ) ⊆ h−1 (F ) ∪ Dh
Sei xn ∈ h−1 (F ) mit xn −−−−→ x
n→∞
|
{z
}
⇒ h(xn ) ∈ F
Fall 1: h stetig in x
F abgeschlossen, h(xn ) −→ h(x) =⇒ h(x) ∈ F =⇒ x ∈ h−1 (F )
Fall 2: x ∈ Dh
Damit in (?): µ(h−1 (F )) ≤ µ(h−1 (F ) ∪ Dh ) = µ(h−1 (F )).
Satz 3.2.10
Seien Xn , X Zufallsvariablen.
P
w
a) Xn −→ X =⇒ Xn −→ X
w
P
b) Xn −→ X und X fast sicher konstant =⇒ Xn −→ X
c) b) ist falsch ohne die Voraussetzung X fast sicher konstant
Beweis
Übung.
46
3.3 Schwach konvergente Teilfolgen
Definition 3.3.1
a) Eine Familie Π von Wahrscheinlichkeitsmaßen heißt relativ kompakt, falls jede Folge in Π
eine schwach konvergente Teilfolge enthält.
¡
¢
b) Π heißt straff, falls (∀ε > 0)(∃M > 0)(∀µ ∈ Π) µ [−M, M ] > 1 − ε
Beispiel 3.3.2
a) Π = {δn : n ∈ N}
• Π ist nicht straff
• Zugehörige Verteilungsfunktionen: Fn (x) = 1[n,∞) (x)
Es gilt: lim Fn (x) = 0 ∀x ∈ R =⇒ Π ist nicht relativ kompakt
n→∞
b) Π = {δ 1 : n ∈ N}
n
¡
¢
• Π ist straff da δ 1 [−1, 1] = 1
∀n ∈ N
n
w
• δ 1 −−−−→ δ0 =⇒ Π ist relativ kompakt
n n→∞
Satz 3.3.3
Π ist relativ kompakt ⇐⇒ Π ist straff
Zum Beweis benötigen wir
Auswahlsatz von Helly 3.3.4
Sei (Fn )n ≥ 1 eine Folge von Verteilungsfunktionen. Es gibt eine Teilfolge (Fnk )k ≥ 1 und eine monoton wachsende rechtsseitig stetige Funktion F , so dass gilt:
lim Fnk (x) = F (x)
n→∞
∀ Stetigkeitspunkte x von F
Beweis
Durett (2.5).
Bemerkung
F ist nicht notwendigerweise eine Verteilungsfunktion
Beispiel
Sei G eine Verteilungsfunktion, a, b, c ∈ (0, 1) mit a + b + c = 1.
Setze Fn (x) = a1[n,∞) (x) + b1[−n,∞) (x) + xG(x), x ∈ R, n ∈ N
Dann gilt:
• Fn ist eine Verteilungsfunktion
• lim Fn (x) = b + cG(x) =: F (x) ∀x ∈ R
n→∞
• F monoton wachsend, rechtsseitig stetig
• F ist keine Verteilungsfunktion, denn
lim F (x) = b > 0, lim F (x) = b + c = 1 − a < 1
n→−∞
n→∞
47
Beweis von Satz 3.3.3
⇐“: Sei (µn )n ≥ 1 straff. Sei Fn die Verteilungsfunktion von µn .
”
Auswahlsatz von Helly =⇒ ∃ Teilfolge (Fnk )k ≥ 1 und ∃F monoton wachsend und rechtsseitig
stetig, so dass Fnk (x) −−−−→ F (x) ∀ Stetigkeitspunkte x von F
(1)
k→∞
¡
¢
Sei µ das eindeutig bestimmte Maß mit µ (a, b] = F (b)¡ − F (a)
∀a < b
¢
Sei ε > 0. Da (µn )n ≥ 1 straff ist, gibt es a, b, so dass µn (a, b] > 1 − ε ∀n
(2)
OBdA seien a, b Stetigkeitspunkte von F (sonst a verkleinern, b vergrößern). Es gilt:
¡
¢
¡
¢
µnk (a, b] = Fnk (b) − Fnk (a) −→ F (b) − F (a) = µ (a, b]
(1)
Wegen (2) folgt:
¡
¢
µ (a, b] ≥ 1 − ε
ε > 0 beliebig ⇒ µ ist ein Wahrscheinlichkeitsmaß
w
(1) ⇒ µnk −→ µ
=⇒ Π ist relativ kompakt
⇒“: Sei Π relativ kompakt. Angenommen
¡ Π nicht ¢straff.
”
(∃ε > 0) (∀M > 0) (∃µ ∈ Π) µ [−M, M ] ≤ 1 − ε
¡
¢
Für jedes k ∈ N wählen wir µk ∈ Π, so dass µk (−k, k] ≤ 1 − ε
(3)
Da Π relativ kompakt ist, gibt es eine Teilfolge (µkj )j ≥ 1 und ein Wahrscheinlichkeitsmaß
w
µ, so dass µkj −−−→ µ.
j→∞
¡
¢
¡ ¢
¡
¢
Wähle a, b mit µ {a} = 0µ {b} und µ (a, b] > 1 − ε
(4)
Für alle hinreichend großen j gilt (a, b] ⊆ (−kj , kj ] und somit
¡
¢
¡
¢
1 − ε ≥ µkj (a, b] −−−→ µ (a, b]
j→∞
(3)
¡
¢
Das heißt µ (a, b] ≤ 1 − ε — Widerspruch zu (4).
Korollar 3.3.5
Sei (µn )n ≥ 1 straff. Falls jede schwach konvergente Teilfolge gegen dasselbe Wahrscheinlichkeitsmaß
w
µ konvergiert, so gilt: µn −→ µ
Beweis
• straff =⇒ relativ kompakt
• Sei (an )n ≥ 1 eine Folge reeller Zahlen mit der Eigenschaft, dass jede Teilfolge (ank )k ≥ 1 eine
konvergente Teilfolge (ank(j) )j ≥ 1 besitzt und lim ank(j) = α unabhängig von der Teilfolge ist.
j→∞
Angenommen an −−−/−→ α
n→∞
=⇒ (∃ε > 0) (∀n0 ) (∃n ≥ n0 ) |an − α| ≥ ε
=⇒ (∀k) (∃nk ) |ank − α| ≥ ε
(∗)
und (nk )k ≥ 1 ist streng monoton wachsend
Nach Voraussetzung gibt es eine Teilfolge (ank(j) )j ≥ 1 mit ank(j) −−−→ α — Widerspruch zu (∗)
j→∞
=⇒ an −−−−→ α.
n→∞
48
Satz 3.3.6
¡
¢
Falls für ein p > 0: sup E[|Xn |p ] < ∞, so ist L (Xn ) n ≥ 1 straff
n≥1
Beweis
Sei ε > 0. Aus der Markov-Ungleichung folgt:
sup E[|Xk |p ]
E[|Xn |p ]
k≥1
P (|Xn | > M ) ≤
≤
< ε ∀M hinreichend groß
Mp
Mp
=⇒ P (|Xn | ≤ M ) > 1 − ε ∀n ∀M hinreichend groß. {z
}
|
= L (Xn )[−M,M ]
Beispiel 3.3.7
Seien Xi , i ≥ 1, unabhängig und identisch verteilt mit E[Xi ] = 0 und E[Xi2 ] = 1. Dann gilt:
h³ S ´2 i
1
n
= V ar(Sn ) = 1 ∀n
E √
n
n
³ ³ S ´´
n
=⇒ L √
ist straff und somit relativ kompakt.
n n≥1
(3.3.6)
3.4 Charakteristische Funktionen
Für eine komplexwertige Zufallsvariable Z definieren wir E[Z] = E[Re(Z)] + iE[Im(Z)].
Definition 3.4.1
Die charakteristische Funktion einer reellwertigen Zufallsvariablen X ist definiert durch
ϕ(t) = E[eitX ], t ∈ R
Bemerkung 3.4.2
• Stochastik 1: s 7→ E[sX ], s ∈ [−1, 1], X Zufallsvariable mit Werten in N0 , heißt erzeugende
Funktion
• Hat X die Wahrscheinlichkeitsdichte
f , so gilt:
Z
itx
ˆ
ϕ(t) = e f (x) dx = f (−t),
R
wobei fˆ die Fouriertransformierte von f bezeichnet
Satz 3.4.3 (Eigenschaften charakteristischer Funktionen)
a) ϕ(0) = 1
b) ϕ−X (t) = ϕX (−t) = ϕX (t) ∀t ∈ R
c) L (X) = L (−X) ⇐⇒ ϕX reell
d) |ϕ(t)| ≤ 1
∀t ∈ R
e) ϕ ist gleichmäßig stetig auf R
f) ϕaX+b (t) = eitb · ϕX (at) ∀t ∈ R
g) Sind X und Y unabhängig, so gilt: ϕX+Y (t) = ϕX (t) · ϕY (t) ∀t ∈ R
49
Beweis
a) ϕ(0) = E[e0 ] = 1
b) ϕ−X (t) = E[eit(−X) ] = ϕX (−t) = E[cos(−tX)] + iE[sin(−tX)]
= E[cos(tX)] − iE[sin(tX)] = E[eitX ] = ϕX (t)
c) ⇒“: Sei L (X) = L (−X) =⇒ ϕX = ϕ−X = ϕX =⇒ ϕX reell
”
⇐“: ϕX reell =⇒ ϕ−X = ϕX = ϕX =====⇒ L (X) = L (−X)
Eindeutig”
keitssatz
d) |ϕ(t)| = |E[eitX ]| ≤ E[|eitX |] = 1
e) |ϕ(t + h) − ϕ(t)| = |E[ei(t+h)X − eitX ]| = |E[eitX (eihX − 1)]|
≤ E[|eitX | · |eihX − 1|] = E[|eihX − 1|] −−−→ 0
h→0
| {z }
=1
f) ϕaX+b (t) = E[eit(aX+b) ] = eitb · E[eitaX ] = eitb · ϕX (at)
g) ϕX+Y (t) = E[eit(X+Y ) ] = E[eitX · eitY ]
(X, Y unabhängig =⇒ eitX , eitY unabhängig)
= E[eitX ] · E[eitY ] = ϕX (t) · ϕY (t)
Satz 3.4.4
Ist X ∼ N (µ, σ 2 ), so gilt :
³
ϕX (t) = exp iµt −
σ 2 t2
2
´
∀t ∈ R
Beweis
Betrachte Spezialfall:
ϕX (t) = E[e
itX
X ∼ N (0, 1).
1
]= √
2π
Z∞
e
itx
−x2
e 2
1
dx = √
2π
−∞
Z∞
−x2
cos(tx)e 2
−∞
Z∞
−x2
i
dx + √
sin(tx)e 2 dx
2π
−∞
|
{z
}
= 0,
1
=⇒ ϕ0X (t) = √
2π
Z∞
−∞
i
−x2
dh
1
cos(tx)e 2 dx = √
dt
2π
Ã
Partielle Integration mit
ϕ0X (t)
1
=√
2π
Ã
{z
− sin(tx)xe
v 0 (x) = −x · e
w0 (x) = t · cos(tx)
v(x) = e
!
¯
¯
¯
¯
Z∞
∞
−
−∞
}
−x2
2
−∞
w(x) = sin(tx)
−x2
− sin(tx)e 2
|
Z∞
t cos(tx)e
−x2
2
dx
−x2
2
!
−x2
2
−∞
t2 ´
t2
t2
d³
ϕX (t) · e 2 = ϕ0X (t) · e 2 + ϕX (t) · t · e 2 = 0
| {z }
dt
=⇒ ϕX (t) ·
Allgemein:
t2
e2
= −ϕ0X (t)
= const = ϕX (0) = ϕX (0) · e0 = 1 =⇒ ϕX (t) = e
−t2
2
X ∼ N (0, 1) =⇒ σX + µ ∼ N (µ, σ 2 )
ϕσX+µ (t) = eµit · ϕX (σt) = eitµ · e
−t2 σ 2
2
= eitµ · e
50
liefert:
= −t · ϕX (t)
= 0
Damit folgt:
dx
−σ 2 t2
2
.
da x 7→ sin(tx)e
ungerade ist
−x2
2
3.5 Eindeutigkeitssatz und Inversionssätze
Satz 3.5.1 (Eindeutigkeitssatz )
Es seien X und Y Zufallsvariablen. Falls ϕX (t) = ϕY (t) ∀t ∈ R, so gilt L (X) = L (Y ).
Für eine Verteilung µ setzen wir: µ(σ) := µ ∗ N (0, σ 2 ),
d.h. µ(σ) ist die Verteilung von X + Y , falls X, Y unabhängig und X ∼ µ, Y ∼ N (0, σ 2 )
Lemma 3.5.2
Es sei X ∼ µ mit charakteristischer Funktion ϕ.
(σ)
Dann hat µ
die Wahrscheinlichkeitsdichte f
(σ)
Z
1
(x) =
2π
ϕ(t) · e−itx−
σ 2 t2
2
dt
R
Beweis
Für Y ∼ N (0,
1
σ2 )
wissen wir:
ϕY (t) =
−t2
e 2σ2
r
Z
itu
=
e
σ2 − µ σ
e 2 du
2π
2
2
(∗)
R
Aus Kapitel 1.13 wissen wir, dass µ(σ) als Faltung folgende Wahrscheinlichkeitsdichte besitzt:
r
Z
Z Z
(x−y)2
σ 2 − u2 σ 2
1
1
−
i(y−x)u
2σ 2 µ(dy) = √
· |e {z
e 2 du µ(dy)
f (σ) (x) = √
e
}
2
2π
2πσ 2
2πσ
(∗) einsetzen
=
1
2π
R
Z ÃZ
!
eiyu µ(dy) e−ixu e−
R
R
{z
|
R R
für t = y − x
u2 σ 2
2
du.
}
= ϕ(u)
Lemma 3.5.3
w
µ(σ) −→ µ
σ→0
Beweis
2
Es sei X ∼ µ, Y ∼ N (0, 1), X, Y unabhängig. Dann ist σY ∼ N (0, σ 2 ) und somit X +Y ∼ µ(σ ) .
Es gilt:
w
X + σY −−−→ X fast sicher und somit schwach, d.h. µ(σ) −−−→ µ.
σ→0
σ→0
Beweis von Satz 3.5.1
Es sei ϕX (t) = ϕY (t) ∀t ∈ R. Seien µ und ν die Verteilungen von X und Y .
Lemma 3.5.2 =⇒ µ(σ) = ν (σ) ∀σ > 0
w
w
Lemma 3.5.3 =⇒ σ −→ 0 : µ(σ) −→ µ und ν (σ) −→ ν
Eindeutigkeit des schwachen Grenzwerts =⇒ µ = ν.
Satz 3.5.4 (Inversionssatz )
¡
¢
¡ ¢
Sei X ∼ µ mit charakteristischer Funktion ϕ. Für alle a, b ∈ R mit µ {a} = 0 = µ {b} gilt:
Z
σ 2 t2
¡
¢
1
e−itb − e−ita
ϕ(t) e− 2 ·
dt
µ (a, b] = lim
σ→0 2π
−it
R
51
Beweis
Sei Y ∼ N (0, σ 2 ), unabhängig von X. Sei f (σ) die Wahrscheinlichkeitsdichte von X + Y .
| {z }
Z
³
2 2´
∼ µ(σ)
1
σ
t
Lemma 3.5.2 =⇒ f (σ) (x) =
ϕ(t) exp − itx −
dt
2π
2
R
Wir integrieren beide Seiten über (a, b] :
Zb Z
Z
Zb
σ 2 t2
σ 2 t2
¡
¢
1
1
− 2
− 2
−itx
(σ)
(a, b] =
e
ϕ(t) e
µ
ϕ(t) e
dt dx =
e−itx dx dt
2π
2π
a R
a
R
| {z }
h −itx ix=b
e
−it
=
¡
¢
¡ ¢
w
Da µ(σ) −−−→ µ nach Lemma 3.5.3 und µ {a} = 0 = µ {b} folgt:
σ→0
¡
¢
¡
¢
1
µ (a, b] = lim µ(σ) (a, b] = lim
σ→0
σ→0 2π
Z
ϕ(t) e−
σ 2 t2
2
e−itb − e−ita
dt.
−it
=
x=a
(∗)
e−itb −e−ita
−it
R
Satz 3.5.5
Z
¯
¯
¯ϕ(t)¯ dt < ∞, so hat µ die Wahrscheinlich-
Sei X ∼ µ mit charakteristischer Funktion ϕ. Falls
1
keitsdichte f (x) =
2π
µ
Z
e
−itx
ϕ(t) dt
R¶
= lim f
(σ)
σ→0
(x)
R
Beweis
¡
¢
¡ ¢
Für a, b ∈ R mit µ {a} = 0 = µ {b} gilt:
¡
¢
¡
¢
1
µ (a, b] = lim µ(σ) (a, b] = lim
σ→0
(∗) σ→0 2π
1
=
↑ 2π
dominierte
Konvergenz
Z
e
−itx
a
R
−
ϕ(t) e
σ 2 t2
2
Zb
e−itx dx dt
a
R
Zb
ϕ(t)
Z
1
dx dt =
↑ 2π
Fubini
Zb Z
Zb
ϕ(t) e
−itx
dt dx =
a R
f (x) dx.
a
Beispiel 3.5.6 (zur Cauchy-Verteilung)
Z
X besitze die charakteristische Funktion ϕ(t) = e−|t| , t ∈ R. Dann gilt:
Somit hat, nach Satz 3.5.5, X mit x ∈ R die Wahrscheinlichkeitsdichte
Z
Z0
Z∞
1
1
1
−|t| −itx
t(1−ix)
e
e
dt =
e−t(1+ix) dt
f (x) =
e
dt +
2π
2π
2π
R
"
t(1−ix)
1 e
=
2π 1 − ix
=
#t=0
+
t=−∞
−∞
"
−t(1+ix)
1 e
2π −(1 + ix)
#t=∞
t=0
0
1
=
2π
1
1
1 1 − ix + 1 + ix
·
=
·
2π
1 − (ix)2
2π 1 + x2
Dies ist die Dichte der Cauchy-Verteilung =⇒ X ∼ Cauchy
52
Ã
|ϕ(t)| dt < ∞
R
1
1
−
1 − ix −(1 + ix)
!
Seien X1 , . . . , Xn unabhängig, Cauchy-verteilt und Sn =
ϕSn (t) =
n
P
i=1
Xi . Es gilt:
³t´
ϕXj (t) = e−n|t| =⇒ ϕ Sn (t) = ϕSn
= e−|t|
n
|
{z
}
n
j=1
n
Y
= e−|t|
=⇒
Sn
∼ Cauchy.
n
3.6 Der Stetigkeitssatz von Lévy
Satz 3.6.1 (Stetigkeitssatz von Lévy )
Seien X, Xi , i ≥ 1, Zufallsvariablen mit charakteristischen Funktionen ϕ, ϕi , i ≥ 1. Es gilt:
w
Xn −−−−→ X ⇐⇒ ϕn (t) −−−−→ ϕ(t) ∀t ∈ R
n→∞
n→∞
Lemma 3.6.2
Sei X ∼ µ mit charakteristischer Funktion ϕ. Es gilt:
µ
¶
µ½
¾¶
Zn
¡
¢
2
2
1
P |X| ≥
= µ x : |x| ≥
≤
1 − ϕ(t) dt ∀n > 0
n
n
n
−n
Beweis
¶
¶
Zn
Zn µ
Z
Zn µ Z
¡
¢
¡
¢
1
1
1
itx
1 − ϕ(t) dt =
1 − e µ(dx) dt =
1 − eitx µ(dx) dt
n
n
n
−n
1
=
n
−n
Z Zn
1−e
itx
R −n
1
dtµ(dx) =
n
−n
R
R
¶
Z µ
Zn
Zn
2n −
cos(tx) dt − i sin(tx) dt µ(dx)
R
−n
−n
{z
}
0
¶
·
¸=
¶
Z µ
Zn
Z µ
t=n
1
1
sin(tx)
=
2n − 2 cos(tx) dt µ(dx) =
2n − 2
µ(dx)
n
n
x
t=0
R
=
1
n
0
|
R
¶¶
¶
Z µ µ
Z µ
Z
sin(nx)
sin(nx)
2n 1 −
1−
µ(dx) = 2
µ(dx) ≥
nx
nx
{z
}
R
R |
µ½
¾¶
2
≥ µ x : |x| ≥
.
n
≥ 0, da | sin(t)| ≤ t
53
2
{x : |x|≥ n }
sin(nx)
µ(dx)
1−
|
{znx }
1
1
≥ 1− |nx| ≥ 2
Beweis von Satz 3.6.1
Es bezeichne µn , µ die Verteilung von Xn , X.
w
⇒“: Es gelte Xn −→ X. Dann folgt:
”
Z
Z
Z
ϕn (t) = eitx µn (dx) = cos(tx)µn (dx) + i sin(tx)µn (dx)
ZR
−−−−→
R
Z
R
cos(tx)µ(dx) + i
n→∞
R
sin(tx)µ(dx) = ϕ(t),
R
da x 7→ cos(tx), x 7→ sin(tx) stetige und beschränkte Funktionen sind.
⇐“: Es gelte ϕn (t) −−−−→ ϕ(t) ∀t ∈ R. Sei ε > 0. Als charakteristische Funktion ist ϕ stetig
”
n→∞
in 0. Daher gibt es n > 0, so dass gilt:
Zn
¡
¢
1
1 − ϕ(t) dt < ε.
n
−n
Nach dem Satz von der dominierten Konvergenz gilt:
Zn
Zn
¡
¢
¡
¢
1
1
1 − ϕn (t) dt −−−−→
1 − ϕ(t) dt
n→∞ n
n
−n
−n
Daher gibt es N , so dass für alle n ≥ N gilt:
µ½
¾¶
Zn
¡
¢
2
1
1 − ϕn (t) dt ≥ µn
x : |x| ≥
2ε ≥
n
n
↑
Lemma 3.6.2
−n
¡©
ª¢
Wähle x1 , x2 , . . . , xn−1 mit der Eigenschaft µn x : |x| ≥ xn ≤ 2ε ∀n = 1, . . . , n − 1
©
ª
Sei M = max x1 , x2 , . . . , xN −1 , n2 , dann gilt:
¡
¢
µ (−M, M ) ≥ 1 − 2ε ∀n ∈ N =⇒ (µn )n ≥ 1 ist straff
¡
¢
w
Sei µnk k ≥ 1 eine schwach konvergente Teilfolge, µnk −→ ν. Dann folgt aus ⇒“:
”
ϕnk (t) −−−−→ ϕν (t) ∀t ∈ R
n→∞
Nach Voraussetzung: ϕnk (t) −−−−→ ϕ(t) ∀t ∈ R
k→∞
=⇒ ϕν (t) = ϕ(t)
∀t ∈ R
Eindeutigkeitssatz =⇒ ν = µ
w
Korollar 3.3.5 =⇒ µn −−−−→ µ.
n→∞
Bemerkung 3.6.4
Wir haben folgende stärkere Aussage bewiesen:
Seien Xi , i ≥ 1, Zufallsvariablen mit charakteristischen Funktionen ϕi , i ≥ 1.
Falls ϕn (t) −−−−→ ϕ(t) ∀t ∈ R und ϕ stetig in 0 ist, dann ist ϕ die charakteristische Funktion
n→∞
w
einer Zufallsvariablen X und es gilt Xn −→ X.
54
3.7 Charakteristische Funktionen und Momente
Satz 3.7.1
Sei X eine Zufallsvariable mit charakteristischer Funktion ϕ. Es gelte E[|X|k ] < ∞ für ein k ≥ 1.
Dann ist ϕ k-mal differenzierbar und
ϕ(k) (t) = ik E[X k eitX ], t ∈ R
(a)
ist gleichmäßig stetig. Ferner gilt:
1 (m)
ϕ (0) für m = 0, 1, . . . , k,
im
= ϕ und
E[X m ] =
wobei ϕ(0)
ϕ(t) =
k
X
ϕ(j) (0)
j=0
j!
(b)
tj + o(|t|k ) für t −→ 0
(c)
Lemma 3.7.2
Für alle x ∈ R und n ∈ N0 gilt:
¯
¯
¾
½
n
¯ ix X
(ix)j ¯¯
|x|n+1 2|x|n
¯e −
,
≤
min
¯
j! ¯
(n + 1)! n!
j=0
Beweis
Übung.
Beweis von Satz 3.7.1
1) Wir beweisen (a) mit Induktion über k
k = 1:
Sei E[|X|] < ∞. Es gilt:
¯
¯
¯¸
·¯ i(t+h)X
¯ ϕ(t + h) − ϕ(t)
¯
¯
¯e
− eitX
itX ¯
itX ¯
¯
¯
− iE[Xe ]¯ ≤ E ¯
− iXe ¯
¯
h
h
¯¸
¯ ihX
·
¯
¯e
−1
= E |eitX | · ¯¯
− iX ¯¯
| {z }
h
{z
}
|
=1
=: Ψh (X)
• Lemma 3.7.2 für n = 1 :
¯
¯
2
2
¯
¯ ¯ ihx
¯
¯Ψh (x)¯ = ¯ e − 1 − ihx ¯ ≤ 1 · |xh| = x |h| −−−→ 0
¯
¯
h→0
h
|h|
2
2
• Lemma 3.7.2 für n = 0 :
¯
¯
¯
¯ ¯ ihx
¯
¯Ψh (x)¯ = ¯ e − 1 ¯ + |x| ≤ |hx| + |x| = 2|x|
¯
¯
h
|h|
¯¤
£¯
Satz von der dominierten Konvergenz =⇒ lim E ¯Ψh (X)¯ = 0
h→0
=⇒ ϕ0 (t) = iE[XeitX ] ∀t ∈ R
55
Induktionsschritt
Sei (a) für k bewiesen. Sei E[|X|k+1 ] < ∞. Dann ist E[|X|k ] < ∞ und nach Induktionsvoraussetzung gilt:
ϕ(k) (t) = ik E[X k eitX ] ∀t ∈ R
Es folgt:
¯
¯ (k)
¯ ϕ (t + h) − ϕ(k) (t)
¯
k+1
k+1 itX ¯
¯
−i
E[X
e ]¯
¯
h
¯¸
·¯ k k i(t+h)X
¯
¯i X e
− ik X k eitX
k+1 k+1 itX ¯
¯
−i
X
e ¯
≤E ¯
h
¯ ihX
¯¸
·
¯e
¯
−1
= E |ik | · |X|k · |eitX | · ¯¯
− iX ¯¯ −−−→ 0 mit dominierter Konvergenz
h→0
|{z}
| {z } | h {z
}
=1
=1
= Ψh (X)
=⇒ (a) bewiesen
2) Gleichmäßige Stetigkeit von ϕ(k) wird wie gleichmäßige Stetigkeit von ϕ bewiesen.
¯
¯
¯¸
¾¸
·¯
·
½
k
k
X
¯
¯ itX X
ϕ(j) (0)tj ¯¯
(itX)j ¯¯
|tX|k+1 2|tX|k
¯e
3) ¯¯ϕ(t) −
,
≤
E
−
≤
E
min
¯ (a)
¯
j!
j! ¯ ↑
(k + 1)!
k!
j=0
j=0
Lemma 3.7.2
·
½
¾¸
|t| · |X|k+1 2|X|k
k
= o(|t|k ) für t −→ 0.
= |t| E min
,
(k + 1)!
k!
|
{z
}
−−
−→ 0, nach dom. Konvergenz
t→0
Bemerkung 3.7.3
ϕ0 (0) existiert ; E[|X|] < ∞
Satz 3.7.4
ϕ(h) − 2ϕ(0) + ϕ(−h)
> −∞, dann gilt:
h→0
h2
Falls lim
E[X 2 ] < ∞
Beweis
Nach Voraussetzung gilt:
·
¸
ei hX − 2 + e−ihX
ϕ(h) − 2ϕ(0) + ϕ(−h)
=
lim
E
−
h→0
h2
h2
h→0
|
{z
}
∞ > − lim
=
·
¸
2(1 − cos(hX))
≥ E lim
= E[X 2 ]
Lemma
h2
h→0
von
Fatou
2(1−cos(hX))
≥0
h2
µ
¶
(hX)2
, da 1 − cos(hX) ∼
.
x→0
2
56
3.8 Konvergenzsätze
Satz 3.8.1
Seien Xi , i ≥ 1, unabhängig und identisch verteilt mit E[|Xi |] < ∞. Dann gilt:
Sn P
−→ E[X1 ]
n
Beweis
Setze µ := E[X1 ], ϕ = ϕX1 . Es gilt:
µ ¶ µ µ ¶¶n µ
µ ¶¶n µ
µ ¶¶n
t
iµt
t
t
1
1
ϕ Sn (t) = ϕSn
= ϕ
= 1+ϕ0 (0) · +o
= 1+
+o
−−−−→ eiµt ,
n→∞
↑
| {z } n
n ↑
n
n
n
n
n
Xi unabh.,
id. vert.
= iµ
3.7.1 c)
denn (1 + cj )αj −−−→ eλ , falls αj −→ ∞, cj αj −→ λ
j→∞
eiµt = charakteristische Funktion einer Zufallsvariablen Z mit P (Z = µ) = 1
Stetigkeitssatz von Lévy =⇒
Sn w
Sn P
−−−−→ µ und somit
−→ µ.
n n→∞
n
Satz 3.8.2 (Zentraler Grenzwertsatz )
Seien Xi , i ≥ 1, unabhängig und identisch verteilt mit E[Xi ] = µ und V ar(Xi ) = σ 2 ∈ (0, ∞).
n
P
Sei Sn =
Xi , dann gilt:
Sn − nµ w
i=1
√
−−−−→ N (0, 1)
σ n n→∞
Beweis
Sei oBdA µ = 0 (sonst betrachte Xi0 = Xi − µ). Sei ϕ die charakteristische Funktion von X1 .
Satz 3.7.1 c) liefert:
ϕ00 (0) 2
σ 2 t2
ϕ(t) = 1 + ϕ0 (0) t +
t + o(t2 ) = 1 −
+ o(t2 ) für t −→ 0
| {z }
2 }
2
|
{z
= iµ = 0
E[X12 ]
2
σ2
=− 2
= i2
Es folgt:
µ
ϕ (Sn −nµ) (t) = ϕ
√
σ n
S√n
σ n
(t) = ϕSn
µ µ
¶¶n
t
= ϕ √
σ n ↑
σ n
t
√
¶
Xi unabh.,
id. vert.
µ
µ ¶¶n
t2
σ 2 t2
1
= 1−
· 2 +o
−−−−→ e− 2 = charakteristische Funktion von N (0, 1)
n→∞
2 σ n
n
µ
¶
(Sn − nµ)
w
√
Stetigkeitssatz von Lévy =⇒ L
−→ N (0, 1). σ n
57
Satz 3.8.3 (Lindeberg-Feller )
Es gelte:
i) Für alle n sind Xn,1 , Xn,2 , . . . , Xn,n unabhängig
2
]<∞
ii) E[Xn,j ] = 0 und E[Xn,j
∀n, j
n
P
2
E[Xn,j
] −−−−→ σ 2 > 0
n→∞
j=1
n
P
2
1{|Xn,j |>ε} ] −−−−→ 0
iv) (∀ε > 0)
E[Xn,j
iii)
Sn :=
X2,1
X2,2
X3,1
..
.
X3,2
X3,3
..
.
n→∞
j=1
Dann gilt:
X1,1
n
P
j=1
w
Xn,j −−−−→ N (0, σ 2 )
n→∞
Bemerkung 3.8.4
Der Satz von Lindeberg-Feller enthält den zentralen Grenzwertsatz 3.8.2
Beweis
Seien Yi , i ≥ 1, unabhängig und identisch verteilt mit E[Yi ] = 0, E[Yi2 ] = σ 2 ∈ (0, ∞).
Setze Xn,j = √1n Yj . Dann gilt:
i) Xn,1 , Xn,2 , . . . , Xn,n sind unabhängig
ii) E[Xn,j ] =
iii)
n
P
j=1
√1 E[Yj ]
n
2
E[Xn,j
]=
iv) (∀ε > 0)
n
P
j=1
=⇒
n
P
j=1
Xn,j
n
P
j=1
1
n
2
= 0, E[Xn,j
]<∞
E[Yj2 ] = σ 2 > 0
| {z }
= σ2
2
E[Xn,j 1{|Xn,j |>ε} ]
Sn w
= √ −→ N (0, σ 2 ).
n
=n
Z
Y12
dP −−−−→ 0, da Y1 ∈ L2
n→∞
n
√
{|Y1 |>ε n}
Beweis des Satzes von Lindeberg-Feller
2
2
1) Setze σn,j
= E[Xn,j
].
Behauptung 1:
lim
2
sup σn,j
=0
n→∞ 1≥j≥n
Beweis von Behauptung 1:
2
2
2
2
σn,j
= E[Xn,j
] ≤ E[Xn,j
1{|Xn,j |≤ε} ] + E[Xn,j
1{|Xn,j |>ε} ] ≤ ε2 +
n
X
j 0 =1
=⇒ lim
|
2
sup σn,j
≤ ε2
n→∞ 1≥j≥n
ε > 0 beliebig =⇒ Behauptung 1
58
2
E[Xn,j
0 1{|Xn,j |>ε} ]
{z
−−
−−→ 0
n→∞
}
2) Setze ϕn,j (t) = E[eitXn,j ].
¯Y
¶¯
n µ
2 ¯
Y
¯ n
2 t
¯=0
Behauptung 2: Es genügt zu zeigen: lim ¯¯
ϕn,j (t) −
1 − σn,j
n→∞
2 ¯
j=1
(∗)
j=1
Beweis von Behauptung 2:
Es gilt:
ln
¶¶ X
µ
¶
µY
n
n
n µ
2
2
2
X
2 t
2 t
2 t
=
ln 1 − σn,j
=−
σn,j
+ Rn,t
1 − σn,j
2
2
2
j=1
j=1
j=1
Wegen ln(1 + x) = x + o(x2 ) für x −→ 0 gilt:
¶
n µ
n
2 2
X
X
t4
2
2 t
2
|Rn,t | ≤ c
σn,j
≤c
sup σn,j
σn,j
−−−−→ 0
n→∞
2
4
1≤j≤n
j=1
| {z } |j=1{z }
−→ 0
n→∞
Es folgt:
µY
¶¶
n µ
2
σ 2 t2
2 t
ln
1 − σn,j
−−−−→ −
n→∞
2
2
j=1
=⇒ ϕSn (t) =
n
Y
(∗)
ϕn,j (t) −−−−→ e−
n→∞
j=1
¡
σ 2 t2
2
−→ σ 2
n→∞
¢
charakteristische Funktion von N (0, σ 2 )
w
Stetigkeitssatz von Lévy =⇒ L (Sn ) −→ N (0, σ 2 )
3) Beweis von (∗)
Lemma 3.8.5
Seien z1 , . . . , zn , w1 , . . . , wn ∈ C mit |zj | ≤ Θ, |wj | ≤ Θ
¯ n
¯
n
n
Dann gilt:
Y
X
¯Y
¯
n−1
¯
¯
zj −
wj ¯ ≤ Θ
|zj − wj |
¯
j=1
j=1
∀j = 1, . . . , n.
j=1
Beweis (mit Induktion über n)
n=1: X
n 7→ n + 1 :
¯ n+1
¯ ¯
¯
n+1
n
n
n
n
Y ¯¯ ¯¯
Y
Y
Y
Y
¯Y
¯ ¯
¯
¯
¯
¯
¯
¯
¯
z
−
w
≤
z
z
−
z
w
+
z
w
−
w
w
j
j¯
j
n+1
j¯
j
n+1
j¯
¯
¯ n+1
¯ n+1
j=1
j=1
j=1
j=1
j=1
≤ Θn−1
n
P
j=1
|zj −wj |
Wir wenden das Lemma an mit zj = ϕn,j (t), wj = 1 −
2
σn,j
t2
und Θ = 1.
2
Die Voraussetzungen des Lemmas sind erfüllt, denn:
• |ϕn,j (t)| ≤ 1
¯
¯
2
¯
σn,j
t2 ¯
¯≤1
• ¯¯1 −
2 ¯
j=1
¯Y
¯
n+1
n
X
Y
¯ n
¯
¯
|zj −wj |.
≤ Θ· ¯
zj −
wj ¯¯ + Θn · |zn+1 −wn+1 | ≤ Θn ·
j=1
j=1
j=1
{z
}
|
∀n hinreichend groß
59
∀j ∈ {1, . . . , n}
Es folgt:
¯ n
¶¯
¶¯
µ
n µ
n ¯
2
2
X
Y
¯Y
¯
σn,j
t2 ¯
σn,j
t2 ¯
¯
¯
¯
¯
Jn = ¯
ϕn,j (t) −
1−
¯ ≤
¯
¯ϕn,j (t) − 1 − 2
2
↑
j=1
j=1
j=1
Lemma
3.8.5
¸¯
·
½ 3
¾¸
n ¯ ·
n
2
X
X
¯
¯
|t |
itXn,j
2t
2
3 2 2
¯
¯
=
−1−itXn,j −i Xn,j ¯ ≤
E min
|Xn,j | , t Xn,j
¯E e
2
6
↑
j=1
≤
n
X
j=1
|
A≤
n
X
Lemma
3.7.2
j=1
|t|3
2
2
1{|Xn,j |≤ε} ] +
ε E[Xn,j
t2 E[Xn,j
1{|Xn,j |>ε} ]
6
j=1
{z
} |
{z
}
=: A
−−
−−→ nach Vor. (iv)
n→∞
n
ε|t|3 σ 2
ε|t|3 X
2
E[Xn,j
] =⇒ lim Jn ≤
n→∞
6 j=1
6
|
{z
}
−→ σ 2
n→∞
ε > 0 beliebig =⇒ lim Jn = 0
n→∞
=⇒ (∗) bewiesen.
Beispiel 3.8.6 (Zufallspermutationen)
Wir wählen zufällig, gemäß der Gleichverteilung, eine Permutation der n Zahlen {1, . . . , n}.
1
∀n ∈ Ωn
Ωn = Menge der Permutationen von {1, . . . , n}, Fn = P(Ωn ), Pn ({π}) = |Ω1n | = n!
Wähle eine Permutation π gemäß Pn aus Ωn . Zerlege π folgendermaßen in Zykel.
Betrachte 1, π(1), π 2 (1) = π(π(1)), π 3 (1), . . .
Irgendwann ist π k (1) = 1 und ein Zykel der Länge k beendet. Wiederhole das Verfahren mit dem
kleinsten i, das nicht m 1. Zykel enthalten ist, anstelle von 1.
Beispiel
n=8
µ
1
π=
5
2
1
3
7
4
8
5
6
6
2
7
3
¶
8
4
1, π(1) = 5, π 2 (1) = 6, π 3 (1) = 2, π 4 (1) = 1
=⇒ 1. Zykel: (1 5 6 2)
2. Zykel: (3 7)
3. Zykel: (4 8)
Also π = (1 5 6 2) (3 7) (4 8)
Setze Xn,k
(Xn,k )
(
1
=
0
n ≥ 1
1 ≤ k ≤ n
falls eine geschlossene Klammer nach der k-ten Zahl in der Zykeldarstellung
sonst
ist ein Dreiecks-Array von Zufallsvariablen
In unserem Beispiel ist: X8,1 = X8,2 = X8,3 = X8,5 = X8,7 = 0 und X8,4 = X8,6 = X8,8 = 1
60
Lemma 3.8.7
Xn,k , 1 ≤ k ≤ n, sind unabhängig mit P (Xn,k = 1) =
1
n−k+1
Beweis
Man kann die Zufallspermutation π auch folgendermaßen erzeugen.
Setze i1 = 1. Wähle j1 ∈ {1, . . . , n} gemäß der Gleichverteilung und setze π(i1 ) = j1 .
(a1) Falls j1 6= 1, setze i2 = j1
(a2) Falls j1 = 1, setze i2 = 2
(b) Wähle j2 gleichverteilt aus {1, . . . , n} \ {j1 } und setze π(i2 ) = j2
Allgemein:
Angenommen i1 , j1 , i2 , j2 , . . . , ik−1 , jk−1 sind bestimmt und π(i` ) = j` für 1 ≤ ` ≤ k.
(a1) Falls jk−1 ∈ {i1 , . . . , ik−1 }, so ist ein Zykel beendet und wir setzen
¡
¢
ik = min {1, . . . , n} \ {j1 , . . . , jk−1 }
(a2) Falls jk−1 ∈
/ {i1 , . . . , ik−1 }, setze ik = jk−1
(b) Wähle jk gleichverteilt aus {1, . . . , n} \ {j1 , . . . , jk−1 } und setze π(ik ) = jk
• Die so erzeugte Permutation π ist gleichverteilt auf Ωn
• Xn,k , 1 ≤ k ≤ n, sind unabhängig
P (Xn,k = 1) = P (nach der k-ten Zahl wird eine Klammer geschlossen)
°
° k − 1 Ziffern verbraucht, jede der verbleibenden n − (k − 1) = n − k + 1 Ziffern
°
° ist gleichwahrscheinlich, genau eine schließt den Zykel
=
1
.
n−k+1
Setze Sn =
n
P
Xn,k – Anzahl der Zykel in der zufälligen Permutation
k=1
Frage: Verhalten von Sn für n −→ ∞?
Es gilt:
E[Sn ] =
n
X
E[Xn,k ] =
k=1
V ar(Sn ) =
n
X
n
X
k=1
n µ
X
1
k=1
Damit folgt:
k=1
V ar(Xn,k ) =
k=1
=
n
X1
1
=
n−k+1
k
k
−
1
k2
∼ ln(n)
n→∞
µ
¶2 ¶
n µ
n
X
¢ X
¡
1
1
2
E[Xn,k
] − E[Xn,k ]2 =
−
n−k+1
n−k+1
| {z }
k=1
k=1
= Xn,k
¶
∼ ln(n)
n→∞
·µ
¶2 ¸
£
¤ V ar(Sn )
Sn
1
E
−1
=¡
−−−→ 0
¢2 E (Sn − E[Sn ])2 = ¡
¢2 −
n→∞
E[Sn ]
E[Sn ]
E[Sn ]
61
=⇒
Sn
−−−−→ 1 in L2 und damit in Wahrscheinlichkeit
E[Sn ] n→∞
=⇒
Sn P
−→ 1
ln(n)
¯
µ¯
¶
¯ Sn
¯
¯
¯
Das heißt (∀ε > 0) P ¯
− 1¯ > ε −−−−→ 0
n→∞
ln(n)
¡
¢
⇐⇒ (∀ε > 0) P (1 − ε) ln(n) ≤ Sn ≤ (1 + ε) ln(n) −−−−→ 1
n→∞
Setze Yn,k =
1
n−k+1
Xn,k −
p
ln(n)
. Wir verifizieren, die Voraussetzungen von Lindeberg-Feller:
i) ∀n sind Yn,k , 1 ≤ k ≤ n, unabhängig
2
ii) E[Yn,k ] = 0 und E[Yn,k
]<∞
iii)
n
P
k=1
iv)
n
P
k=1
2
E[Yn,k
]=
n
P
k=1
1
ln(n)
£¡
¢2 ¤
1
E Xn,k − n−k+1
=
{z
}
|
V ar(Sn )
−−−→
ln(n) −
n→∞
1
= V ar(Xn,k )
2
E[Yn,k
1{|Yn,k |>ε} ]
= 0 für alle n hinreichend groß,
p
¯
¯
1
¯ > ε ln(n) falsch für alle k, falls n hinreichend groß
da |Yn,k | > ε ⇔ ¯Xn,k − n−k+1
Lindeberg-Feller =⇒
n
X
w
Yn,k −→ N (0, 1)
k=1
| {z }
Sn −E[Sn ]
= √
ln(n)
Wegen
Sn − ln(n) w
E[Sn ] − ln(n)
p
−→ 0 folgt p
−→ N (0, 1)
n→∞
ln(n)
ln(n)
Das heißt für alle a < b :
µ
¶
Zb
x2
Sn − ln(n)
P a≤ p
≤ b −−−−→ e− 2 dx
n→∞
ln(n)
a
|
{z
}
p
p
= P ln(n) + a
ln(n) ≤ Sn ≤ ln(n) + b
62
ln(n)
3.9 Unbegrenzt teilbare Verteilungen
Betrachte ein Dreiecks-Array von Zufallsvariablen:
¡
¢
Xn,k 1 ≤ k ≤ n, n ≥ 1
X1,1
X2,1
X3,1
..
.
X2,2
Setze Sn =
X3,2
n
X
Xn,k
k=1
X3,3
..
.
Beispiele von Grenzwertsätzen 3.9.1
i) Seien Yk , k ≥ 1, unabhängig und identisch verteilt mit E[Yk ] = 0 und E[Yk2 ] = 1.
n
P
Yk
Setze Xn,k = √
. Dann ist Sn = √1n
Yk .
n
k=1
w
Zentraler Grenzwertsatz =⇒ Sn −→ N (0, 1)
ii) Seien Yk , k ≥ 1, unabhängig und identisch verteilt mit E[Yk ] = µ.
n
P
Yk .
Setze Xn,k = Ynk . Dann ist Sn = n1
k=1
P
w
Schwaches Gesetz der großen Zahlen =⇒ Sn −→ µ =⇒ Sn −→ µ
iii) Seien Xn,k , 1 ≤ k ≤ n, unabhängig und identisch verteilt
(
1 mit Wahrscheinlichkeit nλ
mit Xn,k =
0 mit Wahrscheinlichkeit 1 − nλ
w
=⇒ Sn −→ P oisson(λ)
Frage: Gegeben Xn,k , 1 ≤ k ≤ n, unabhängig und identisch verteilt. Was sind die möglichen
n
P
schwachen Grenzwerte von Sn =
Xn,k ?
k=1
Definition 3.9.2
Eine Zufallsvariable X heißt unbegrenzt teilbar, falls für alle n ∈ N unabhängige, identisch
n
d P
verteilte Zufallsvariablen Xn,k , 1 ≤ k ≤ n, existieren, so dass X =
Xn,k
k=1
Bemerkung 3.9.3
Es sind äquivalent:
i) X ist unbegrenzt teilbar
¡ ¢¡
¢
ii) ∀n ∃ charakteristische Funktion ϕn ϕX = (ϕn )n
¡ ¢¡
¢
iii) ∀n ∃ Wahrscheinlichkeitsmaß µn auf (R, B(R)) L (X) = µn ∗ µn ∗ . . . ∗ µn
(n-fache Faltung von µ)
63
Beispiele unbegrenzt teilbarer Verteilungen 3.9.4
i) Z ∼ N (0, 1), Xn,k ∼ N (0, n1 ) unabhängig =⇒
n
P
ii) Z ∼ δµ , Xn,k ∼ δ µ =⇒
n
n
P
Xn,k ∼ N (0, 1)
k=1
Xn,k = µ
k=1
iii) Z ∼ P oisson(λ), Xn,k ∼ P oisson( nλ ) unabhängig =⇒
n
P
Xn,k ∼ P oisson(λ)
k=1
Satz 3.9.5
Für alle n seien Xn,k , 1 ≤ k ≤ n, unabhängig und identisch verteilt, Sn =
n
P
Xn,k .
k=1
w
Falls Sn −→ Z, dann ist Z unbegrenzt teilbar
Beweis
Sei k ∈ N fest. Schreibe Skn in Blöcken der Größen n:
(n)
Dazu sei Yi
n
P
=
j=1
Xkn,(i−1)n+j) ,
Xkn,1 , Xkn,2 , Xkn,3 , . . . , Xkn,n
|
{z
}
1≤i≤k
Xkn,n+1 , . . . , Xkn,2n
{z
}
|
(n)
. . . , Xkn,kn
(n)
Y1
Y2
Dann gilt:
i) Skn =
(n)
ii) Yi
k
P
i=1
(n)
Yi
, 1 ≤ i ≤ k, sind unabhängig und identisch verteilt
¡ (n) ¢
iii) Y1 n ≥ 1 ist straff
Beweis von (iii)
Für alle M > 0 gilt:
k
k ©
¡ (n)
¢k
¡ (n)
¢
¡T
ª¢
¡
¢
Q
(n)
P Y1 > M =
P Yi > M = P
Yi > M ≤ P Skn > kM
i=1
=⇒ P
¡
(n)
Y1
¢
i=1
¡
> M ≤ P Skn > kM
¢1
k
¡ (n)
¢
¡
¢1
¡ ¢
Analog zeigt man: P Y1 < −M ≤ P Skn < −kM k . Da Sn n ≥ 1 schwach konver¡ ¢
giert, ist Sn n ≥ 1 straff, d.h. (∀ε > 0) (∃M ) (∀n) P (|Sn | > kM ) ≤ ε
¡ (n) ¢
=⇒ Y1 n ≥ 1 ist straff und somit relativ kompakt
(nj )
=⇒ ∃ Teilfolge (nj )j ≥ 1 , so dass Y1
nj
Wegen (ii) folgt Yi
(nj )
Somit Sknj = Y1
|{z}
w
−−−→ Z
j→∞
w
−−−→ η
j→∞
(nj )
+ Y2
(nj )
+ . . . + Yk
w
d
−−−→ η1 + . . . + ηk mit ηi unabh. und id. vert., ηi = Z
j→∞
w
−→ Z
j→∞
d
Eindeutigkeit des schwachen Limes =⇒ Z = η1 + . . . + ηk =⇒ Z ist unbegrenzt teilbar.
64
Noch ein Beispiel einer unbegrenzt teilbaren Verteilung 3.9.6
Seien ξn , n ≥ 1, unabhängig und identisch verteilt mit charakteristischer Funktion ϕ.
Sei N ∼ P oisson(λ) unabhängig von ξn , n ≥ 1.
Satz 3.9.7
S=
N
P
j=1
ξj ist unbegrenzt teilbar. S heißt zusammengesetzt Poisson-verteilt.
Beweis
Sei n ≥ 1 fest, Nn ∼ P oisson( nλ ), unabhängig von (ξj )j ≥ 1 . Setze Xn =
Es ist:
£
¤
ϕXn (t) = E[eitXn ] = E E[eitXn |Nn ] =
N
Pn
j=1
ξj .
N
Pn
ξj ¯
£
¤
P (Nn = k)E e j=1 ¯Nn = k
{z
}
|
k=0
k
P
£ it j=1 ξi ¤ Q
k
itξ
it
∞
P
=E e
=
E[e
j ]=ψ(t)k
j=1
=
∞
P
k=0
1
1 λ k
e− n k!
( n ) ψ(t)k = exp(− nλ + nλ ψ(t))
Die unbegrenzt teilbaren Verteilungen sind gerade die Grenzwerte von zusammengesetzten PoissonVerteilungen. Charakterisierung der ungrenzt teilbaren Verteilungen mit Hilfe von charakteristischen
Funktionen: Satz von Lévy-Khinchin
65
4 Martingale
4.1 Definition bedingter Erwartungswerte
Definition 4.1.1
Es seien µ, ν Maße auf (Ω, F ). ν heißt absolut stetig bzgl. µ ( ν ¿ µ“), falls gilt:
”
µ(A) = 0 =⇒ ν(A) = 0 ∀A ∈ F
Satz 4.1.2 (von Radon-Nikodyn)
Seien
¡ µ und
¢ ν¡ σ-endliche
¡ Maße
¢¢ auf (Ω, F ). Falls ν ¿ µ, dann gibt es eine messbare Funktion
f : Ω, F → [0, ∞[, B [0, ∞[ , so dass gilt:
Z
ν(A) = f dµ ∀A ∈ F
A
Beweis
Durett, appendix A8.
Definition 4.1.3
Sei (Ω, F0 , P ) ein Wahrscheinlichkeitsraum, X : (Ω, F0 ) → (R, B(R)) eine Zufallsvariable mit
E[|X|] < ∞ und sei F ⊆ F0 eine σ-Algebra. Die bedingte Erwartung E[X|F ] von X gegeben
F ist eine Zufallsvariable Y : Ω → R mit folgenden Eigenschaften:
(B1) Y ist F -messbar, das heißt Y −1 (A) ∈ F
Z
Z
(B2)
X dP = Y dP ∀A ∈ F
A
∀A ∈ B(R)
A
Jede solche Zufallsvariable heißt eine Version von E[X|F ].
Erinnerung 4.1.4
Seien X und Y diskrete Zufallsvariablen mit Werten in abzählbaren Mengen S und T .
Aus Stochastik 1 kennen wir:
E[X|Y ] = Zufallsvariable mit Werten E[X|Y = y] auf dem Ereignis {Y = y}, das heißt
P
P
E[X|Y ] =
1{Y =y} ·
x · P (X = x|Y = y)
y∈T
Für alle y0 ∈ T gilt:
Z
Z
E[X|Y ] dP =
{Y = y0 }
{Y = y0 }
x∈S
Z
X
x · P (X = x|Y = y0 ) ·P (Y = y0 ) = x dP
x · P (X = x|Y = y0 ) dP =
|
{z
}
x ∈S
x ∈S
{Y = y0 }
P (X= x,Y = y0 )
{z
}
|
=
X
P (Y = y0 )
nicht zufällig
Es folgt:
E[X|Y ] ist eine Version von E[X| σ(Y )]. Allgemeiner definieren wir E[X|Y ] = E[X| σ(Y )].
66
Lemma 4.1.5
Ist Y eine Zufallsvariable mit den Eigenschaften (B1) und (B2), so ist Y ∈ L1 .
Beweis
(B1)
Setze A = {Y > 0} ∈ F . Es gilt:
Z
Z
Z
(B2)
+
E[Y ] = Y dP =
X dP ≤ |X| dP
A
und
A
Z
(B2)
E[Y − ] =
A
Z
−Y dP =
Ac
Z
−X dP ≤
Ac
|X| dP
Ac
Aufsummieren: E[|Y |] ≤ E[|X|] < ∞.
Satz 4.1.6
Die bedingte Erwartung existiert und ist fast sicher eindeutig bestimmt.
Beweis
Eindeutigkeit
Es seien Y und Y 0 Versionen von E[X|F ]. Sei ε > 0, A := {Y − Y 0 < ε} ∈ F . Wegen (B2)
gilt:
Z
Z
Z
Z
Y dP = XdP und Y 0 dP = XdP
A
A
A
A
Subtraktion
Z
0 = (Y − Y 0 ) dP ≤ ε · P (A) =⇒ P (A) = 0
| {z }
=⇒ P (Y − Y 0 < ε) = 1 ∀ε > 0
Ac
≤ε
=⇒ P (Y − Y 0 ≤ 0) = 1
Vertauschen von Y und Y 0 liefert:
P (Y 0 − Y ≤ 0) = 1 =⇒ P (Y − Y 0 ≥ 0) = 1
=⇒ P (Y − Y 0 = 0) = 1
=⇒ Y = Y 0 fast sicher
Eindeutigkeit
Fall: X > 0
Z
Setze ν(A) =
XdP
∀A ∈ F .
A
ν ist ein endliches Maß auf (Ω, F ) (monotone Konvergenze, ν(Ω) = E[X] < ∞). Nach
Definition ist also ν ¿ P . Satz von Radon-Nikodyn anwendbar:
dν
ist F messbar
dP
Z
Z
dν
(B2) XdP =
dP
dP
(B1)
A
=⇒
∀A ∈ F
A
dν
ist Version von E[X|F ]
dP
67
Allgemeiner Fall:
Schreibe X = X + − X − und setze Y1 = E[X + |F ], Y2 = E[X − |F ]
(B1) Y1 − Y2 ist F -messbar
Z
Z
Z
+
(B2) ∀A ∈ F gilt: XdP = X dP − X − dP
Z
=
A
A
A
Z
(B2)
Y1 dP −
=
für
Y 1 , Y2
Z
A
Y2 dP
A
(Y1 − Y2 ) dP
A
=⇒ Y1 − Y2 ist eine Version von E[X|F ].
4.2 Eigenschaften bedingter Erwartungswerte
Lemma 4.2.1
a) XF -messbar =⇒ E[X|F ] = X fast sicher
b) σ(X) und F sind unabhängig =⇒ E[X|F ] = E[X] fast sicher
Beweis
a) folgt direkt aus der Definition
b) (B1) Als Konstante ist E[X] F -messbar
(B2) Für alle A ∈ F gilt:
Z
Z
E[X] dP = E[X]·P (A) und XdP = E[X ·1A ] = E[X]·E[1A ] = E[X]·P (A).
A
A
Satz 4.2.2
a) E[aX + Y |F ] = a · E[X|F ] + E[Y |F ] (Linearität)
b) X ≤ Y =⇒ E[X|F ] ≤ E[Y |F ] (Monotonie)
c) Xn ≥ 0, Xn 1 X mit E[|X|] < ∞ =⇒ E[Xn |F ] 1 E[X|F ] (Monotone Konvergenz)
Beweis
a) (B1) a · E[X|F ] + E[Y |F ] ist F -messbar
(B2) Für alle A ∈ F gilt:
Z
Z
Z
Z
Z
¡
¢
(B2)
a · E[X|F ] + E[Y |F ] dP = a · E[X|F ] dP + E[Y |F ] = a · XdP + Y dP
A
A
Z
=
A
(aX + Y ) dP
A
=⇒ E[aX + Y |F ] = a · E[X|F ] + E[Y |F ] fast sicher
68
A
A
b) Wegen (B2) gilt für alle A ∈ F :
Z
Z
Z
Z
E[X|F ] dP =
XdP ≤
Y dP =
E[Y |F ] dP
(B2)
A
A
©
(B2)
X ≤ Y
A
ª
A
Für A = E[X|F ] − E[Y |F ] ≥ ε ∈ F , ε > 0, ergibt sich:
Z
0≥
E[X|F ] − E[Y |F ] dP ≥ εP (A)
|
{z
}
(∗)
A
≥ ε auf A
¡ ¢
=⇒ P A = 0
¡
¢
=⇒ P E[X|F ] − E[Y |F ] < ε = 1
ε > 0 beliebig =⇒ E[X|F ] ≤ E[Y |F ] fast sicher
c) Setze Yn = X − Xn .
Dann ist n 7→ Yn monoton fallend und somit insbesondere 0 ≤ Yn ≤ Y1 ∈ L1 .
Wegen b) ist n 7→ E[Yn |F ] monoton fallend =⇒ n 7→ E[Xn |F ] ist monoton wachsend
=⇒ lim E[Xn |F ] existiert und ist F -messbar =⇒ (B1) nachgewiesen.
n→∞
(B2) Für alle A ∈ F gilt:
Z
E[Yn |F ] dP
=
Z
Yn dP
(B2)
A
|
{z
Z
−→
n→∞
A
}
| {z }
Z
−→
n→∞
lim E[Yn |F ] dP
n→∞
A
lim Y dP = 0
n→∞ n
A
dHH
HH
HH
HH
H
|
v:
vv
v
v
vv
vv
{z
=0
}
dominiert
=⇒ lim E[Yn |F ] = 0 fast sicher
n→∞ | {z }
= E[X|F ] − E[Xn |F ]
=⇒ lim E[Xn |F ] = E[X|F ] fast sicher.
n→∞
Satz 4.2.3
£
¤
E E[X|F ] = E[X]
Beweis
Z
Z
£
¤
E E[X|F ] = E[X|F ] dP =
XdP = E[X].
(B2)
Ω
Ω
Satz 4.2.4
Falls X F -messbar ist, E[|Y |] < ∞ und E[|XY |] < ∞. dann gilt:
E[XY |F ] = XE[Y |F ] fast sicher
Beweis
(B1) Da X F -messbar ist, ist XE[Y |F ] F -messbar
69
(∗)
Fall 1: X = 1B für ein B ∈ F . Für alle A ∈ F gilt:
Z
Z
Z
Z
Z
XY dP =
Y dP =
E[Y |F ] dP = 1B E[Y |F] dP = XE[Y |F ] dP
(B2)
A
A∩B
A∩B
A
A
=⇒ (B2) nachgewiesen
n
P
Fall 2: X einfache Funktion, d.h. X =
αi 1Ai mit Ai ∈ F . Es gilt:
i=1
n
n
P
P
E[XY |F ] = E[ αi 1Ai Y |F ] =
αi E[1Ai Y |F ] = XE[Y |F ]
4.2.2a)
|
{z
}
i=1
i=1
= 1Ai E[Y |F ]
Fall 1
Fall 3: X ≥ 0 und Y ≥ 0. Dann gibt es einfache Funktionen Xn ≥ 0 mit Xn 1 X, Xn F messbar und es gilt:
E[XY |F ] = E[ lim Xn Y |F ] =
n→∞
4.2.2c)
lim E[Xn Y |F ] =
n→∞
Fall 2
lim Xn E[Y |F ]
n→∞
= XE[Y |F ]
Fall 4: Allgemeiner Fall. Schreibe X = X + − X − , Y = Y + − Y − und wende Fall 3 an.
Satz 4.2.5 (Turmeigenschaft)
Seien F1 ⊆ F2 . Dann gilt:
£
¤
£
¤
£
¤
E E[X|F1 ]|F2 = E E[X|F2 ]|F1 = E X|F1
Die kleinere σ-Algebra gewinnt.“
”
Beweis
¤
£
E E[X|F1 ]|F2 = E[X|F1 ] nach Lemma 4.2.1 a).
| {z }
F1 -messbar
⇒ F2 -messbar
£
¤
£
¤
Bleibt zu zeigen: E E[X|F2 ]|F1 = E X|F1
(B1) E[X|F1 ] ist F1 -messbar
Z
Z
(B2) Für alle A ∈ F1 gilt:
E[X|F1 ] dP =
XdP
(B2)
A
A
Z
E[X|F2 ] dP.
=
(B2)
A ⊆ F2
A
Satz 4.2.6
Sei E[X 2 ] < ∞, L2 (F ) = {Y : Ω → R F -messbar mit E[Y 2 ] < ∞}.
L2 (F ) 3 Y 7→ E[(X − Y )2 ] ist minimal für Y = E[X|F ]
Interpretation
L2 (Ω, F0 , P ) ist ein Hilbertraum. L2 (F ), F ⊆ F0 , ist ein abgeschlossener Teilraum.
E[X|F ] ist die Projektion von X ∈ L2 (F0 ) auf den abgeschlossenen Teilraum L2 (F ).
Beweis
Sei Y ∈ L2 (F ). Setze Z = E[X|F ] − Y . Dann gilt:
£
¤
£
¤
£
¤
£ ¤
£
¤
E (X −Y )2 = E (X −E[X|F ]+Z)2 = E (X −E[X|F ])2 +E Z 2 +2 E Z(X − E[X|F ])
| {z
}
= E ZX − E ZE[X|F ]
= E ZX − E E[ZX|F ] = 0
|
{z
= E[ZX]
£
¤
£ ¤
Also ist E (X − Y )2 minimal genau dann wenn E Z 2 minimal ⇐⇒ Z = 0 fast sicher
£
¤
⇐⇒ Y = E X|F fast sicher. 70
}
Satz 4.2.7 (Jensen-Ungleichung )
Sei ϕ : R → R konvex, E[|X|] < ∞ und E[|ϕ(X)|] < ∞. Dann gilt:
ϕ(E[X|F ]) ≤ E[ϕ(X)|F ]
Beweis
©
ª
Ist ϕ linear, so gilt sogar Gleichheit. Setze S = (a, b) : a, b ∈ Q, ax + b ≤ ϕ(x) ∀x ∈ R .
Dann ist ϕ(x) = sup (ax + b) ∀x ∈ R. Für alle (a, b) ∈ S gilt:
(a,b)∈S
E[ϕ(X)|F ] ≥ E[aX + b|F ] = aE[X|F ] + b fast sicher
=⇒ E[ϕ(X)|F ] ≥ sup (aE[X|F ] + b) = ϕ(E[X|F ]) fast sicher.
(a,b)∈S
4.3 Martingale: Einfache Eigenschaften
Definition 4.3.1
Eine Folge F0 ⊆ F1 ⊆ F2 ⊆ . . . von σ-Algebren heißt Filtration. Eine Folge (Mn )n ≥ 0 heißt
adaptiert an die Filtration (Fn )n ≥ 0 , falls Mn Fn -messbar ist für alle n ∈ N0 .
Beispiel
(Mn )n ≥ 0 Zufallsvariablen, Fn = σ(M0 , M1 , . . . , Mn ), n ≥ 0 =⇒ (Fn )n ≥ 0 ist eine Filtration,
(Mn )n ≥ 0 ist adaptiert an (Fn )n ≥ 0 .



Martingal 
Submartingal
bzgl. einer Filtration
Eine Folge (Mn )n ≥ 0 von Zufallsvariablen heißt


Supermartingal
(Fn )n ≥ 0 , falls gilt:
Definition 4.3.2
(M1) (Mn )n ≥ 0 ist adaptiert an (Fn )n ≥ 0
(M2) E[|Mn |] < ∞ ∀n ≥ 0


= Mn 
(M3) E[Mn+1 |Fn ] ≥ Mn


≤ Mn
∀n ≥ 0
Bemerkung 4.3.3
a) (Mn )n ≥ 0 ist Submartingal ⇐⇒ (−Mn )n ≥ 0 ist Supermartingal
b) (Mn )n ≥ 0 ist Martingal ⇐⇒ Mn ist Sub- und Supermartingal
Beispiel 4.3.4
n
© ª∞
P
ξi i ≥ 1 unabhängige und identisch verteilte Zufallsvariablen, Mn :=
ξi , E[|ξi |] < ∞ ∀i ≥ 1.
i=1
F0 := {∅, Ω}, Fn := σ(ξ1 , ξ2 , . . . , ξn ).


 
 Martingal 
=
Submartingal
=⇒ (Mn )n ≥ 0 ist
bzgl. (Fn ) ⇐⇒ E[ξi ] ≥ 0 ∀i ≥ 1


 
Supermartingal
≤
71
Beweis
(M1) ξk ist Fn -messbar für alle k ≤ n =⇒ Mn =
n
P
ξk Fn -messbar
k=1
(M2) |Mn | ≤
n
P
i=1
|ξi | =⇒ E[|Mn |] ≤
n
P
E[|ξi |] < ∞ ∀n
i=1
i n+1
P
h n+1
P ¯¯
(M3) E[Mn+1 |Fn ] = E
ξi ¯Fn =
i=1
i=1
E[ξi |Fn ] =
n
P
↑ i=1
ξi + E[ξn+1 |Fn ]
ξi Fn -messb.
für i ≤ n
{ξi } unabhängig =⇒ σ(ξn+1 ) und σ(ξ1 , . . . , ξn ) unabhängig =⇒ E[ξn+1 |Fn ] = E[ξn+1 ]
 
 
=
=
=⇒ Mn + E[ξn+1 ] ≥ Mn ⇐⇒ E[ξn+1 ] ≥ 0
 
 
≤
≤
Mathematisches Modell
{ξi } unabhängig, P (ξi = ± 2i ) = 12 , Mn =
n
P
i=1
ξi 1{max ξj <0} , F0 = {∅, Ω}, Fn = σ(ξ1 , ξ2 , . . . , ξn )
j<i
(M1) Mn ist Fn -messbar
n
P
(M2) |Mn | ≤
|ξi | = 2n+1 − 1 =⇒ E[|Mn |] < ∞
i=1
(M3) E[Mn+1 |Fn ] = E[Mn + ξn+1 1{
= Mn + 1
max ξj <0} |Fn ]
j<n+1
max ξj <0} E[ξn+1 |Fn ]
j<n+1
= Mn + E[ξn+1 1{
max ξj <0} |Fn ]
j<n+1
= Mn
Lemma 4.3.5
Ist (Mn )n ≥ 0 ein Martingal bzgl. irgendeiner Filtration (Fn ), so ist (Mn ) ein Martingal bzgl.
{σ(M0 , M1 , . . . , Mn )}n ≥ 0
Beweis
(M1) Mn ist σ(M0 , M1 , . . . , Mn )-messbar
(M2) E[|Mn |] < ∞
£
¤
£
¢
(M3) E Mn+1 |σ(M0 , M1 , . . . , Mn ) = E E[Mn+1 |Fn ]|σ(M0 , M1 , . . . , Mn ]
↑
Turmeigenschaft
£
¤
= E Mn |σ(M0 , M1 , . . . , Mn ) = Mn .
↑
↑
σ(M0 , . . . , Mn ) ⊆ Fn
∀n ≥ 0
Mn ist
Fn -messb.
Bemerkung 4.3.6
Wenn
man (Mn ) ein
¡
¢ Martingal“ sagt, so meint man damit ”(Mn ) ist ein Martingal bzgl.
”
σ(M0 , M1 , . . . , Mn ) n ≥ 0“
Lemma 4.3.7


 
 Martingal 
=
Submartingal
(Mn ) ein
=⇒ E[Mn+1 ] ≥ E[Mn ] ∀n ≥ 0


 
Supermartingal
≤
72
Beweis
∀n ≥ 0 :
 
£
¤
£
¤ = £
¤
E Mn+1 = E E[Mn+1 |Fn ] ≥ E Mn .
 
≤
Lemma 4.3.8
(Mn ) ein Martingal bzgl. (Fn ) =⇒ E[Mn |Fi ] = Mi
∀i ≤ n
Beweis
i=n
E[Mn |Fn ] = Mn , da Mn Fn -messbar ist
i=n−1
E[Mn |Fn−1 ] = Mn−1 , da Mn ein Martingal ist
i 7→ i − 1
E[Mn |Fi ] = Mi
¯
¯
£
¤
£
¤
£ ¯
¤
E Mn ¯Fi−1 = E E[Mn |Fi ]¯Fi−1 = E Mi ¯Fi−1 = Mi−1 .
↑
Turmeigenschaft
Lemma 4.3.9
£
¤
Seien (Mn¡) ein Martingal,
ϕ : R → R eine konvexe Funktion und E |ϕ(Mn )| < ∞.
¢
Dann ist ϕ(Mn ) n ≥ 0 ein Submartingal.
Beweis
(M1) ϕ(Mn ) ist Fn -messbar,
denn jede konvexe Funktion ist stetig, jede stetige Funktion ist messbar
und Mn ist Fn -messbar.
£
¤
(M2) E ϕ(Mn ) < ∞ nach Voraussetzung
¯ ¤
£
¡
¢
(M3) E ϕ(Mn+1 )¯Fn ≥ ϕ E[Mn+1 |Fn ] = ϕ(Mn ) ∀n ≥ 0. ↑
JensenUngleichung
Bemerkung 4.3.10
Wenn (Mn ) ein Submartingal ist und ϕ : R → R eine konvexe, monoton wachsende Funktion,
dann gilt:
ϕ(Mn ) ist ein Submartingal
Beispiel 4.3.11
a) (Mn ) ein Martingal bzgl. (Fn )
¡
¢
¡
¢
=⇒ |Mn | und Mn+ sind Submartingale
↑
↑
ϕ(x) = |x|
ϕ(x) = max(0, x)
b) (Mn ) ein Martingal und E[Mn2 ] < ∞ ∀n ≥ 0
=⇒ (Mn2 ) ist ein Submartingal
73
Beispiel 4.3.12
H0
W0
Yn
Hn
=
=
=
=
Aktien
Wert der Aktien beim Kauf
Kurs einer Aktie n Tage nach dem Kauf
Anzahl der Aktien zwischen den Zeitpunkten (n − 1) und n
Forderung:
Hn sei σ(Y0 , Y1 , . . . , Yn−1 )-messbar
Wn = Wert der Aktien n Tage nach dem Kauf
n
P
= Wn−1 + Hn (Yn − Yn−1 ) = . . . = W0 +
Hi (Yi − Yi−1 )
n≥0
i=1
Definition 4.3.13
Die Folge (Hn )n ≥ 0 heißt previsibel bzgl. (Fn )n ≥ 0 , wenn Hn Fn−1 -messbar ist für alle n ≥ 1
(H · Y )n :=
n
P
i=1
Hi (Yi − Yi−1 )
Satz 4.3.14
Sei (Yn )n ≥ 0 ein Supermartingal bzgl. (Fn )n ≥ 0 , (Hn ) previsibel bzgl. (Fn ) und 0 ≤ Hn ≤ cn ,
wobei cn eine Folge von Konstanten ist.
¡
¢
Dann ist (H · Y )n n ≥ 0 ein Supermartingal
Fi -messb.
Beweis
↓
z}|{
n
P
(M1) (H · Y )n =
Hi ( Yi − Yi−1 ) =⇒
Hi (Yi − Yi−1 ) ist Fi -messbar
|{z}
i=1 |{z}
i=1
n
P
↑
↑
Fi−1 -messb. Fi−1 -messb.
|
{z
}
Fi -messbar
(M2) |(H · Y )n | ≤
n
P
i=1
|Hi | · |Yi − Yi−1 | ≤
=⇒ E[|(H · Y )n |] ≤
n
P
i=1
n
P
i=1
|Hi |(|Yi | + |Yi−1 |) ≤
n
P
i=1
ci (|Yi | + |Yi−1 |)
¡
¢
ci E[|Yi |] + E[|Yi−1 |] < ∞, da E[|Yi |] < ∞ ∀i ≥ 0
(M3) E[(H · Y )n+1 |Fn ] = E[(H · Y )n + Hn+1 (Yn+1 − Yn )|Fn ]
= (H · Y )n + E[Hn+1 (Yn+1 − Yn )|Fn ]
¡
¢
= (H · Y )n + Hn+1 E[Yn+1 |Fn ] − Yn
| {z } |
{z
}
≥ 0
≤ 0, da (Yn ) Supermartingal
|
{z
}
≤0
≤ (H · Y )n .
Bemerkung
(1) Der Satz lässt sich ebenso für Submartingale und Martingale formulieren
(2) Im Martingalfall ist es ausreichend nur |Hn | ≤ cn zu fordern
Definition 4.3.15
Eine Abbildung T : Ω → N0 ∪ {∞} heißt eine Stoppzeit, falls {T = n} ∈ Fn
74
∀n ≥ 0
Bemerkung
T ist eine Stoppzeit ⇐⇒ {T ≤ n} ∈ Fn
⇐⇒ {T > n} ∈ Fn
∀n ≥ 0
∀n ≥ 0
Beweis
n
S
{T = i} ∈ Fn
⇒“: {T ≤ n} =
”
i=0 | {z }
∈ Fi
⇐“: {T = n} = {T ≤ n} \ {T ≤ n − 1} ∈ Fn
”
| {z } |
{z
}
∈ Fn
∈ Fn−1
Beispiel 4.3.16
¡
¢
Seien (Mn )n ≥ 0 eine Folge von Zufallsvariablen und σ(M0 , M1 , . . . , Mn ) n ≥ 0 eine Filtration.
A ∈ B(R) =⇒ T = inf{k ≥ 0 : Mk ∈ A} ist eine Stoppzeit
Beweis
n=0
{T = 0} = {M0 ∈ A} ∈ σ(M0 )
n≥1
{T = n} = {M0 ∈ Ac , . . . , Mn−1 ∈ Ac , Mn ∈ A} =
´
{Mi ∈ Ac } ∩ {Mn ∈ A} .
{z } | {z }
i=0 |
σ(Mi )-messb.
σ(Mn )-messb.
|
{z
}
³ n−1
T
σ(M0 ,M1 ,...,Mn )-messbar
Satz 4.3.17
Sei (Mn )n ≥ 0 ein Supermartingal und T eine Stoppzeit bzgl. der gleichen Filtration (Fn )n ≥ 0 .
Dann ist (MT ∧n )n ≥ 0 ein Supermartingal, wobei T ∧ n = min{T, n}
Beweis
Hn := 1{T ≥ n} ,
n≥0
T ist eine Stoppzeit =⇒ {T < n} = {T ≤ n − 1} ∈ Fn−1
=⇒ {T ≥ n} = {T < n}c ∈ Fn−1
=⇒ Hn ist Fn−1 -messbar ∀n ≥ 1
=⇒ (Hn )n ≥ 0 ist previsibel
(H · M )n =
=
n
P
i=1
n
P
i=1
Hi (Mi − Mi−1 ) =
1{T ≥ 1} Mi −
= 1{T ≥ n} Mn +
= 1{T ≥ n} Mn +
= 1{T ≥ n} Mn +
= 1{T ≥ n} Mn +
n−1
P
j=0
n−1
P
i=1
n−1
P
i=1
n−1
P
i=0
n−1
P
i=0
n
P
i=1
1{T ≥ i} (Mi − Mi−1 ) =
n
P
i=1
1{T ≥ 1} Mi −
1{T ≥ j+1} Mj
1{T ≥ 1} Mi −
n−1
P
i=1
1{T ≥ i+1} Mi − 1{T ≥ 1} M0
1{T = i} Mi − 1{T ≥ 1} M0
1{T = i} Mi − 1{T = 0} M0 − 1{T ≥ 1} M9
1{T = i} Mi − M0
75
n
P
i=1
1{T ≥ 1} Mi−1
MT ∧n =
∞
P
k=0
1{T ∧n = k} Mk =
=⇒ (H · M )n = MT ∧n − M0
n−1
P
k=0
1{T = k} Mk + 1{T ≥ n} Mn
∀n ≥ 0
Satz 4.3.14 =⇒ (H · M )n ≥ 0 ist ein Supermartingal
=⇒ (MT ∧n − M0 )n ≥ 0 ist ein Supermartingal
=⇒ (MT ∧n )n ≥ 0 ist ein Supermartingal.
4.4 Fast sichere Konvergenz
Seien (Mn )n ≥ 0 ein Submartingal und a, b ∈ R mit a < b.
N0
N2k−1
N2k
:= −1
:= inf{n > N2k−2 : Mn ≤ a}
:= inf{n > N2k−1 : Mn ≥ b}
∀k ≥ 1
N2
b
1
2
3
4
5
10
20
a
N1
N3
Wir sagen, dass (Mn )n ≥ 0 zwischen N2k−1 und N2k die k-te Aufkreuzung über [a, b] hat.
Un := max{k ≥ 1 : N2k ≤ n} = Anzahl der Aufkreuzungen bis zur Zeit n
Satz 4.4.1
Ist (Mn )n ≥ 0 ein Submartingal, so gilt für alle n ≥ 1 und alle a < b:
E[Un ] ≤
E[(Mn − a)+ ] − E[(M0 − a)+ ]
b−a
76
Beweis
Die Funktion x 7→ (x − a)+ + a ist monoton wachsend und konvex. Wegen Bemerkung 4.3.10
ist (Yn := (Mn − a)+ + a)n ≥ 0 ein Submartingal.
(
1 , falls N2k−1 < n ≤ N2k für ein k ≥ 1
Definiere Hn :=
0 , sonst
Es gilt:
(b − a)Un ≤ (H · Y )n
(H · Y )n =
n
P
i=1
Hi (Yi − Yi−1 ) =
n
P
i=1
(Yi − Yi−1 ) −
¡
¢
= Yn − Y0 − (1 − H)Y n
{1 − Hn = 0} = {Hn = 1} =
∞ ¡
S
=
k=1
∞ ¡
S
n
P
(1 − Hi )(Yi − Yi−1 )
i=1
(1)
¢
{N2k−1 < n} ∩ {N2k ≥ n}
k=1
¢
{N2k−1 < n} ∩ {N2k ≤ n − 1}c ∈ Fn−1
{z
} |
{z
}
|
∈Fn−1
∈Fn−1
c
{1 − Hn = 1} = {1 − Hn = 0} ∈ Fn−1
£¡
¢ ¤
=⇒ E (1 − H)Y n ≥ 0
∀n ≥ 0
(2)
£¡
¢ ¤
£ ¤
£ ¤
£¡
¢ ¤
£ ¤
£ ¤
(1) und (2) =⇒ E H · Y n = E Yn − E Y0 − E (1 − H)Y n ≤ E Yn − E Y0
(b − a)E[Un ] ≤ E[(H · Y )n ] ≤ E[Yn ] − E[Y0 ] = E[(Mn − a)+ ] − E[(M0 − a)+ ].
Satz 4.4.2 (Martingalkonvergenzsatz )
Ist (Mn )n ≥ 0 ein Submartingal mit sup E[Mn+ ] < ∞, so konvergiert (Mn ) fast sicher gegen einen
n≥1
Grenzwert M∞ mit E[|M∞ |] < ∞
Beweis
Seien a, b ∈ R und a < b.
E[(Mn − a)+ ] − E[(M0 − a)+ ]
E[(Mn − a)+ ]
Aufkreuzungsgleichung: E[Un ] ≤
≤
b−a
b−a
+
sup
E[M
]
+
|a|
n
E[(Mn+ + |a|)]
n≥1
≤
≤
b−a
b−a
|
{z
}
unabhängig von n
Un 1 U ∈ [0, ∞[ =⇒ E[U ] = lim E[Un ] ≤
sup E[Mn+ ]
b−a
n→∞
↑
monotone
Konvergenz
+ |a|
<∞
¡
¢
¡
¢
E[U ] < ∞ =⇒ P U < ∞ = 1 =⇒ P lim Mn ≤ a < b ≤ lim Mn = 0
n→∞
n→∞
¡
¢
¡ S
¢
P lim Mn < lim Mn = P
lim Mn ≤ a < b ≤ lim Mn
n→∞
n→∞
≤
=⇒ P
¡
lim Mn = lim
n→∞
n→∞
¢
P
n→∞
a,b∈Q n→∞
a<b
P
a,b
a<b |
¡
¢
lim Mn ≤ a < b ≤ lim Mn = 0
n→∞
n→∞
{z
}
=0
= 1 =⇒ lim Mn =: M∞
n→∞
77
h
i
h
i
+
E[M∞
] = E lim Mn+ = E lim Mn+ ≤ lim E[Mn+ ] < ∞
n→∞
↑ n→∞
n→∞
Fatou
h
i
¡
¢
−
E[M∞
] = E lim Mn− ≤ lim E[Mn− ] = lim E[Mn+ ] − E[Mn ] ≤ sup E[Mn+ ] − E[M0 ] < ∞
n→∞
n→∞
n→∞
+
E[|M∞ |] = E[M∞
] + E[Mn− ] < ∞.
n≥1
Korollar 4.4.3
Sei (Mn )n ≥ 0 ein Supermartingal und Mn ≥ 0 ∀n ≥ 0. Dann konvergiert Mn fast sicher gegen
einen Grenzwert M∞ und E[M∞ ] ≤ lim E[Mn ] ≤ E[M0 ]
n→∞
Beweis
(Mn ) ist ein Supermartingal =⇒ (−Mn ) ist ein Submartingal
(−Mn )+ = Mn− = 0 ∀n ≥ 0, da Mn ≥ 0 ∀n ≥ 0 =⇒ sup E[(−Mn )+ ] = 0 < ∞ Satz 4.4.2
n→∞
=⇒ −Mn −−−−→ M∞ fast sicher
n→∞
i
h
E[M∞ ] = E lim Mn ≤ lim E[Mn ] ≤ E[M0 ].
n→∞
n→∞
Beispiel 4.4.4 (Polya-Urne)
Eine Urne enthält anfangs r rote und b blaue Kugeln. Nun werden fortlaufend Kugeln gezogen
und nach jedem Zug wird die gezogene Kugel zusammen mit einer weiteren Kugel gleicher Farbe
zurück in die Urne gelegt.
Rn := Anzahl der roten Kugeln nach dem n-ten Zug
Rn
Mn :=
, n≥0
Fn := σ(R0 , R1 , . . . , Rn )
r+b+n
Behauptung:
(Mn )n ≥ 0 ist ein Martingal bzgl. (Fn )n ≥ 0
Beweis
(M1) offensichtlich
(M2) 0 ≤ Mn ≤ 1 =⇒ E[|Mn |] < ∞
¯ i
h
Rn+1
1
¯
(M3) E[Mn+1 |Fn ] = E
E[Rn+1 |Fn ]
¯F n =
r+b+n+q
r+b+n+1
¯ ¤
£
1
E E[Rn+1 |Rn ]¯Fn
=
r+b+n+1
E[Rn+1 |Rn = k] = (k + 1)P (rote Kugel beim (n + 1)-ten Zug|Rn = k)
+ kP (blaue Kugel beim (n + 1)-ten Zug|Rn = k)
= (k + 1)
k
r+b+n−k
k + k(r + b + n)
k
+k
=
= k+
r+b+n
r+b+n
r+b+n
r+b+n
r+b+n+1
r+b+n
r+b+n+1
=⇒ E[Rn+1 |Rn ] = Rn
r+b+n
hr + b + n + 1 ¯ i
Rn
1
¯
E
Rn ¯Fn =
= Mn
=⇒ E[Mn+1 |Fn ] =
r+b+n+1
r+b+n
r+b+n
Korollar 4.4.3 =⇒ Mn −−−−→ M∞ fast sicher. =k
n→∞
78
4.5 Martingalungleichungen
Satz 4.5.1
Sei (Mn ) ein Submartingal und T eine Stoppzeit mit P (T ≤ n) = 1 für ein n ≥ 1. Dann gilt:
E[M0 ] ≤ E[MT ] ≤ E[Mn ]
Beweis
Die untere Schranke:
Aus Satz 4.3.17 folgt, dass (MT ∧i )i ≥ 0 ein Submartingal ist.
i 7→ E[MT ∧i ] ist monoton wachsend in i.
E[M0 ] = E[MT ∧0 ] ≤ E[MT ∧n ] ≤ E[MT ]
Die obere Schranke:
Hi = 1{T ≤i−1} , i ≥ 1.
(H ·M )k =
k
P
i=1
(Hi ) ist previsibel.
Hi (Mi − Mi−1 ) =
= 1{T ≤k−1} Mk +
= 1{T ≤k−1} Mk −
k−1
P
i=1
k−1
P
i=1
= Mk − 1{T ≥k} Mk −
= Mk − MT ∧k
k
P
i=1
1{T ≤i−1} Mi −
k−1
P
i=0
1{T ≤i} Mi
(1{T ≤i−1} − 1{T ≤i} ) Mi − 1{T ≤0} M0
{z
}
|
−1{T =i}
1{T =i} Mi − 1{T =0} M0
k−1
P
i=0
1{T =1} Mi
(Mn ) ist ein Submartingal
¡
¢
=⇒ (H · M )n ist ein Submartingal
4.3.14
£
¤
£
¤
=⇒ E (H · M )n ≤ E (H · M )0 = 0
=⇒ E[Mn − MT ∧n ] = E[Mn ] − E[MT ∧n ] = E[Mn ] − E[MT ] ≥ 0
=⇒ E[MT ] ≤ E[Mn ].
Satz 4.5.2 (Doobsche Ungleichung )
Sei (Mn ) ein Submartingal, dann gilt:
³
´ 1 h
i
+
ª ≤ E[Mn ] ,
P max Mi+ ≥ λ ≤ E Mn 1©
+
max Mi ≥λ
0≤i≤n
λ
λ
0≤i≤n
Beweis
A :=
n
max Mi+ ≥ λ
0≤i≤n
o
n
=
↑
λ>0
o
max Mi ≥ λ ,
0≤i≤n
∀λ > 0 ∀n ≥ 0
N := min{k ≥ 0 : Mk ≥ λ}
{N ≤ n} ⇐⇒ {N > n} = Ac
λP (A) = E[λ1A ] ≤ E[MN ∧n 1A ] = E[MN ∧n ] − E[MN ∧n 1Ac ] = E[MN ∧n ] − E[Mn 1Ac ]
≤ E[Mn ] − E[Mn 1Ac ] = E[Mn 1A ] ≤ E[Mn+ ].
↑
4.5.1
79
Beispiel 4.5.3
Seien (ξn )n ≥ 0 unabhängige Zufallsvariablen mit E[ξn ] = 0, Sn =
n
P
ξk , (Sn )n ≥ 0 ein Martingal.
k=1
=⇒ (Sn2 )n ≥ 0 ist ein Submartingal
³
´
³
´ E[S 2 ]
V ar(Sn )
n
P max |Sk | ≥ λ = P max Sk2 ≥ λ2 ≤
=
2
0≤k≤n
0≤k≤n
λ
λ2
↑
KolmogorovUngleichung
Satz 4.5.4 (Lp -Maximum-Ungleichung )
Ist (Mn )n ≥ 0 ein Submartingal, dann gilt für alle p ∈ (1, ∞):
h¡
¢p i ³ p ´p £ + p ¤
£
¤
E (Mn+ )p ≤ E max Mi+
≤
E (Mn )
0≤i≤n
p−1
Beweis
Mn := max Mi+ . Für jedes c > 0 :
0≤i≤n
(
(
©
ª
∅
,c < λ
0
,c < λ
Mn ∧ c ≥ λ =
=⇒ P (Mn ∧ c ≥ λ) =
{Mn ≥ λ} , c ≥ λ
P (Mn ≥ λ) , c ≥ λ
(
¤ 1 £
¤
0
,c < λ
1 £
=⇒ P (Mn ≥ λ) ≤ 1
= E Mn 1{Mn ∧c≥λ} ≤ E Mn 1{Mn ∧c≥λ}
λ
λ
E[M
1
]
,
c
≥
λ
n {Mn ≥λ}
λ
Z∞
p
E[(Mn ∧ c) ] = p
Z∞
λ
T 3.3
p−1
P (Mn ∧ c ≥ λ) dλ ≤ p
0
£
¤
λp−2 E Mn+ 1{Mn ∧c≥λ} dλ
0
·
³ Z∞
´¸
p−2
+
= p E Mn
λ 1{Mn ∧c≥λ} dλ
↑
Fubini
0
M
·
¸
Zn ∧c
p−2
= p E Mn +
λ dλ =
0
¤
£
p
E Mn+ (Mn ∧ c)p−1
p−1
1
¤´ 1q
1 1
p ³ £ + p ¤´ p ³ £
p
=
E (Mn )
E (Mn ∧ c)(p−1)q
, wobei + = 1 =⇒ q =
↑ p−1
p q
p−1
HölderUngleichung
p−1
1
¤´ p
p ³ £ + p ¤´ p ³ £
p
=
E (Mn )
E (Mn ∧ c)
p−1
³ £
¤´ p1
=⇒ E (Mn ∧ c)p
≤
1
p ³ £ + p ¤´ p
E (Mn )
p−1
³ p ´p £
¤
£
¤
E (Mn+ )p ∀c > 0.
=⇒ E (Mn ∧ c)p ≤
p−1
|
{z
}
p
−→ E[Mn ]
c→∞
monotone Konvergenz
80
Korollar 4.5.5
Ist (Mn )n ≥ 0 ein Martingal, so gilt:
h³
´p i ³ p ´p h
i
E
max |Mi |
≤
E |Mn |p
∀p > 1
0≤i≤n
p−1
Beweis
¡
¢
|Mn | n ≥ 0 ist ein Submartingal,
|Mn |+ = |Mn |.
Anwendung von Satz 5.5.4 liefert die Behauptung.
4.6 Martingalkonvergenz in Lp
Satz 4.6.1
Sei (Mn )n ≥ 0 ein Martingal und sup E[|Mn |p ] < ∞. Dann konvergiert (Mn ) fast sicher und in Lp .
n≥0
Beweis
¡
¢1
E[Mn+ ] ≤ E[|Mn |] ≤ E[|Mn |p ] p
↑
Jensen
=⇒ sup E[Mn+ ] ≤
n≥0
¡
¢1
sup E[|Mn |p ] p < ∞
n≥0
=⇒ Mn −→ M∞ fast sicher, M∞ ∈ L1
↑
4.4.2
Wegen Korollar 4.5.5:
·³
µ
¶p
´p ¸ µ p ¶p £
¤
£
¤
p
E
max |Mi |
≤
E |Mn |p ≤
sup E |Mi |p < ∞
0≤i≤n
p−1
p − 1 i≥0
|
£¡ {z
¢ ¤}
p
sup |Mi |
i≥0
monotone Konvergenz
−→ E
n→∞
=⇒ sup |Mi | ∈ Lp
i≥0
³
´p
|Mn − M∞ |p ≤ |Mn |p + |M∞ |p ≤ sup |Mi |p + sup |Mi |p = 2 sup |Mi |
i≥0
i≥0
£
¤
Dominierte Konvergenz: E |Mn − M∞ |p −→ 0 für n → ∞.
i≥0
4.7 Gleichgradige Integrierbarkeit und Konvergenz in L1
Lemma 4.7.1
¡
¢
Seien X ∈ L1 und (Fn )n ≥ 0 eine Filtration. Dann ist Mn := E[X|Fn ] n ≥ 0 ein Martingal.
Beweis
(M1) Mn soll Fn -messbar sein. Das folgt aus der Definition von E[X|Fn ].
¯¤
£
¤
£¯
£
¤
£ ¤
(M2) E |Mn | = E ¯E[X|Fn ]¯ ≤ E E[|X||Fn ] = E |X| < ∞
↑
Jensen ¯
¯ ¤
£
£
¤
£
¤
(M3) E Mn+1 ¯Fn = E E[X|Fn+1 ]¯Fn = E X|Fn = Mn .
↑
Turmeigenschaft
81
Definition 4.7.2
Die Familie (Xi )i ∈ I von Zufallsvariablen heißt gleichgradig integrierbar, falls
h
i
lim sup E |Xi |1{|Xi |≥M } = 0
M →∞ i ∈ I
Bemerkung 4.7.3
gleichgradige Integrierbarkeit =⇒ L1 -Beschränktheit
Beweis
h
i
∃M > 0 : sup E |Xi |1{|Xi |≥M } ≤ 1
i∈I
h
i
h
i
=⇒ sup E |Xi | = sup E |Xi |1{|Xi |≤M } + |Xi |1{|Xi |≥M }
i∈I
i∈I
h
i
≤ M + sup E |Xi |1{|Xi |≥M } ≤ M + 1.
i∈I
Satz 4.7.4
©
ª
X ∈ L1 (Ω, A , P ). Dann ist die Familie E[X|F ] : F ⊆ A und F ist σ-Algebra gleichmäßig
integrierbar.
Beweis
Sei ε > 0. Dann existiert δ > 0, so dass gilt:
£
¤
E |X|1A ≤ ε für alle A ∈ A mit P (A) ≤ δ
£ ¤
Wähle M0 : E |X| ≤ M0 δ
¯¤
£
¤
£¯
¯
¡¯
¢ E ¯E[X|F ]¯
E E|X||F ]
E[|X|]
¯
¯
P E[X|F ] ≥ M ≤
≤
=
M
M
M
↑
(1)
MarkovUngleichung
M0 δ
≤ δ für alle M > M0 und alle F ⊆ A
M
h¯
i
h¯
i
¯
¯
E ¯E[X|F ]¯1{|E[X|F ]|>M } ≤ E ¯E[X|F ]¯1{|E[X|F ]|≥M }
h £
i
¤
≤ E E |X||F 1{E[|X||F ]≥M } < ε ∀F ⊆ A
≤
h¯
i
¯
sup E ¯E[X|F ]¯1{|E[X|F ]|≥M } < ε ∀M ≥ M0
F ⊆A
=⇒ lim
h¯
i
¯
sup E ¯E[X|F ]¯1{|E[X|F ]|≥M } = 0.
M →∞ F ⊆ A
Satz 4.7.5
Für jedes Martingal (Mn )n ≥ 0 sind die folgenden Aussagen äquivalent:
a) (Mn )n ≥ 0 ist gleichgradig integrierbar
b) (Mn )n ≥ 0 konvergiert fast sicher und in L1
c) (Mn )n ≥ 0 konvergiert in L1
d) ∃M ∈ L1 : Mn = E[M |Fn ]
∀n ≥ 0
82
(2)
Beweis
a) =⇒ b):
sup E[|Mn |] < ∞ =⇒ sup E[Mn+ ] < ∞ =⇒ Mn −→ M fast sicher und E[|M |] < ∞
n≥1
↑
n≥1
Konvergenzsatz


−k
Für alle k ≥ 0 definiere ϕk (x) = x


k
, x < −k
, x ∈ [−k, k]
,x>k
E[|Mn − M |] ≤ E[|Mn − ϕk (Mn )|] + E[|ϕk (Mn ) − ϕk (M )|] + E[|ϕk (M ) − M |]
|
{z
}
−−
−−→ 0 ∀k > 0
n→∞
E[|ϕk (M ) − M |] ≤ E[|M | · 1{|M |>k} ]
E[|M |] < ∞ =⇒ (∀ε > 0) (∃k1 ) (∀k ≥ k1 ) E[|M | · 1{|M |>k} ] ≤ ε
E[|ϕk (Mn ) − Mn |] ≤ E[|Mn | · 1{|Mn |>k} ]
Gleichgradige Integrierbarkeit =⇒ (∃k2 > 0) (∀k ≥ k2 ) sup E[|Mn | · 1{|Mn |≥k} ] ≤ ε
=⇒ lim E[|Mn − M |] ≤ 2ε
n→∞
n≥0
∀ε > 0
=⇒ lim E[|Mn − M |] = 0
n→∞
=⇒ lim E[|Mn − M |] = 0
n→∞
c) =⇒ d):
Zu zeigen: (∃M ) Mn = E[M |Fn ]
∀n ≥ 0
m
E[Mn 1A ] = E[M 1A ]
∀A∈Fn , n≥0
Sei nun n beliebig aber fest. Für alle i > n gilt:
£
¤
£
¤
E[Mi 1A ] = E E[Mi 1A |Fn ] = E 1A E[Mi |Fn ] = E[Mn 1A ]
| {z }
Mn
=⇒ E[Mn 1A ] = lim E[Mi 1A ]
n→∞
¯
¯
¯E[Mi 1A ] − E[M 1A ]¯ ≤ E[|Mi 1A − M 1A |] ≤ E[|Mi − M |] −−−→ 0
i→∞
=⇒ E[M 1A ] = lim E[Mi 1A ].
n→∞
Satz 4.7.6
Sei (Fn )n ≥ 0 eine Filtration und sei F∞ = σ
³ S
∞
´
Fn . Für jede Zufallsvariable X ∈ L1 gilt:
n=0
1
E[X|Fn ] −→ E[X|F∞ ] fast sicher und in L
Beweis
¡
¢
Nach Lemma 4.7.1 ist E[X|Fn ] n ≥ 0 ein Martingal.
¡
¢
Satz 4.7.4 =⇒ E|X|Fn ] ist gleichgradig integrierbar
Satz 4.7.5 =⇒ E[X|Fn ] −−−−→ M fast sicher und in L1
n→∞
83
Aus dem Beweis von Satz 4.7.5 wissen wir:
=⇒ E[M |Fn ] = E[X|Fn ]
Mn = E[M |Fn ]
∀n ≥ 0
∀n ≥ 0
=⇒ E[M 1A ] = E[X1A ] ∀A ∈ Fn , n ≥ 0
Z
Z
∞
S
=⇒ M dP = X dP ∀A ∈
Fn
A
Da
∞
S
n=0
n=0
A
Z
Fn ein π-System ist, erhält man
Z
M dP =
A
X dP
∀A ∈ σ
³ S
∞
n=0
A
´
Fn = F∞
=⇒ E[M 1A ] = E[X1A ] ∀A ∈ F∞
M = lim Mn ist F∞ -messbar
n→∞
=⇒ E[X|F∞ ] = M
Daraus folgt die Behauptung.
4.8 Optional Stopping
Ist (Mn )n ≥ 0 ein Submartingal, so gilt:
(1) E[Mk ] ≤ E[Mk ] ∀0 ≤ k ≤ n
(2) E[MT ] ≤ E[Mk ] für jede Stoppzeit T mit P (T ≤ n) = 1
Satz 4.8.1
Sei T < ∞ eine Stoppzeit. Ist
(a) (Mn )n ≥ 0 ein gleichgradig integrierbares Submartingal
oder
¡
¢
(b) E[|MT |] < ∞ und Mn 1{T >n} n ≥ 0 gleichgradig integrierbar,
dann ist (MT ∧n )n ≥ 0 ein gleichgradig integrierbares Submartingal
Beweis
(a) sup E[|Mn |] < ∞ =⇒ sup E[Mn+ ] < ∞ und (Mn+ ) ist ein Submartingal.
n≥0
n≥0
Nach Eigenschaft (2):
E[MT+∧n ] ≤ E[Mn+ ] ∀n ≥ 0 =⇒ sup E[MT+∧n ] < ∞
n≥0
¡
¢
MT ∧n ist ein Submartingal =⇒ MT ∧n −→ MT fast sicher und E[|MT |] < ∞
↑
Konvergenzsatz
E[|MT ∧n |1{|MT ∧n |≥k} ] = E[|MT ∧n |1{|MT ∧n |≥k} 1{T ≤n} ] + E[|MT ∧n |1{|MT ∧n |≥k} 1{T >n} ]
= E||MT |1{|MT |≥k} 1{T ≤n} ] + E[|Mn |1{|Mn |≥k} 1{T >n} ]
≤ E[|MT |1{|MT |≥k} ] + E[|Mn |1{|Mn |≥k} ]
=⇒ sup E[|MT ∧n |1{|MT ∧n ≥k} ] ≤ E[|MT |1{|MT |≥k} ] + sup E[|Mn |1{|Mn |≥k} ]
|
{z
} n≥0
n≥0
|
{z
}
−→ 0, da E[|MT |]<∞
k→∞
−→ 0, da (Mn )
k→∞
gleichgradig integrierbar
=⇒ lim sup E[|MT ∧n |1{|MT ∧n |≥k} ] = 0
k→∞ n ≥ 0
84
(∗)
(b) Aus (∗) folgt:
E[|MT ∧n |1{|MT ∧n |≥k} ] ≤ E[|MT |1{|MT |≥k} ] + E[|Mn 1{T >n} |1{|MT 1{T >n} |≥k} ]
sup E[|MT ∧n |1{|MT ∧n |≥k} ] ≤ E[|MT |1{|MT |≥k} ] + sup E[|Mn 1{T >n} |1{|MT 1{T >n} |≥k} ]
|
{z
} n≥0
|
{z
}
−→ 0
n≥0
−→ 0
Bemerkung
T < ∞ : MT =
∞
P
n=0
Mn 1{T =n}
T ≤ ∞ und Mn −→ M∞ fast sicher: MT =
∞
P
n=0
Mn 1{T =n} + M∞ 1{T =∞}
Satz 4.8.2
Sei (Mn ) ein gleichgradig integrierbares Submartingal. Für jede Stoppzeit T < ∞ gilt:
E[M0 ] ≤ E[MT ] ≤ E[M∞ ],
M∞ = lim Mn
n→∞
Beweis
Nach Satz 4.5.1:
E[M0 ] ≤ E[MT ∧n ] ≤ E[Mn ],
n≥0
Aus Satz 4.8.1 folgt, dass (MT ∧n ) gleichgradig integrierbar ist.
£
¤
Nach Beweis des Satzes 4.7.5 a) ⇒ b) : MT ∧n −→ MT fast sicher und in L1
Mn −→ M∞ fast sicher und in L1 =⇒ E[MT ∧n ] −→ E[MT ] und E[Mn ] −→ E[M∞ ]
Daraus folgt die Behauptung.
Satz 4.8.3
Seien S ≤ T ≤ ∞ zwei Stoppzeiten und (MT ∧n )n ≥ 0 ein gleichgradig integrierbares Submartingal.
Dann gilt:
©
ª
E[MS ] ≤ E[MT ] und MS ≤ E[MT |FS ], wobei FS := A : A ∩ {S = n} ∈ Fn ∀n ≥ 0
Bemerkung 4.8.4
FS ist eine σ-Algebra
Beweis
Übung.
Beweis von Satz 4.8.3
fn = MT ∧n , n ≥ 0, Te = S
i) M
fS ] ≤ E[M
f∞ ]
f0 ] ≤ E[M
Satz 4.8.2 =⇒ E[M
| {z } | {z }
| {z }
= E[M0 ]
(
ii) Sei A ∈ FS , U =
= E[MS ]
= E[MT ]
S, ω ∈ A
T, ω ∈ Ac
U ist eine Stoppzeit ⇐⇒ {U ≤ n} ∈ Fn
∀n ≥ 0
85
¡
¢ ¡
¢ ¡
¢ ¡
¢
{U ≤ n} = {U ≤ n} ∩ A ∪ {U ≤ n} ∩ Ac = {S ≤ n} ∩ A ∪ {T ≤ n} ∩ Ac
´
³ S
n ¡
¢
¢´ ³¡
=
{S = k} ∩ A ∪ Ac ∩ {S ≤ n} ∩ {T ≤ n} ∈ Fn
|
{z
}
{z
} | {z }
k=0 |
∈ Fk ⊆ Fn
∈ Fn
∈ Fn
Aus der Definition von U folgt, dass U ≤ T ist. Aus der ersten Aussage des Satzes folgt:
E[MU ] ≤ E[MT ] = E[MT 1A + MT 1Ac ] = E[MT 1A ] + E[MT 1Ac ]
| {z }
= E[MU 1A + MU 1Ac ]
= E[MS 1A ] + E[MT 1Ac ]
£
¤
=⇒ E[MS 1A ] ≤ E[MT 1A ] = E E[MT |FS ]1A ∀A ∈ FS
(∗)
©
ª
MS − E[MT |FS ] > ε =: Aε ∈ FS ∀ε > 0
¡
¢
£
¤
£¡
¢
¤
εP MS − E[MT |FS ] > ε = εE 1Aε ≤ E MS − E[MT |FS ] 1Aε
£
¤
= E[MS 1Aε ] − E E[MT |FS ]1Aε ≤ 0 nach (∗)
¡
¢
=⇒ P MS − E[MT |FS ] > ε = 0 ∀ε > 0
¡
¢
¡
¢
=⇒ P MS − E[MT |FS ] > 0 = 0 ⇐⇒ P MS ≤ E[MT |FS ] = 1. Bemerkung 4.8.5
Ist (Mn ) ein Martingal und sind die Bedingungen von Satz 4.8.3 erfüllt, so gilt:
1) E[MS ] = E[MT ]
2) MS = E[MT |FS ]
Beispiel 8.3.6 (Die Irrfahrt auf Z)
Sn = Position des Irrläufers zum Zeitpunkt n
S0 = x ∈ Z
n
P
Sn = x +
k=1
ξk , wobei (ξk )k ≥ 1 unabhängige Zufallsvariablen mit P (ξ = 1) = p
und P (ξ = −1) = 1 − p sind.
Lemma 4.8.7
µ
³ 1 − p ´Sn ¶
Mn :=
ist ein Martingal bzgl. (Fn ) = σ(ξ1 , ξ2 , . . . , ξn ).
p
n≥0
Beweis
(M1) Mn ist Fn -messbar für alle n ≥ 0
¶|x|+n
£
¤
p o
,
=⇒ E |Mn | < ∞
(M2) |Sn | ≤ |x|+
|ξk | = |x|+n =⇒ |Mn | ≤ max
p
1
−
p
k=1
¯ ¸ ³
¯ ¸
·³
·
1 − p ´Sn + ξn+1 ¯¯
1 − p ´Sn ³ 1 − p ´ξn+1 ¯¯
(M3) E[Mn+1 |Fn ] = E
E
¯F n =
¯F n
p
p
p
·³
¸
³ 1 − p ´Sn ·³ 1 − p ´ξn+1 ¸
³ 1 − p ´−1
1 − p ´1
=
E
= Mn
P (ξn+1 = 1)+
P (ξn+1 = −1)
p
p
p
p
¡
¢
= Mn (1 − p) + p = Mn . µ
n
P
86
n1 − p
©
ª
©
ª
τa := min k ≥ 0 : Sk = a = min k ≥ 0 : Sk ∈ {a} , a ∈ Z
Satz 4.8.8
Sei p 6=
1
2
und seien a, b, x ∈ Z, so dass a < x < b. Dann gilt:
¡ 1−p ¢x ¡ 1−p ¢b
− p
p
P (τa < τb ) = ¡
¢
¡
¢b
1−p a
− 1−p
p
p
Beweis
T = min{τa , τb }
Gesetz der großen Zahlen =⇒ P (T < ∞) = 1 =⇒ P (S = 0) = 1 =⇒ S ≤ T
Bemerkung 4.8.5 =⇒ E[M0 ] = E[MT ]
³ 1 − p ´x
³ 1 − p ´a
³ 1 − p ´b
E[M0 ] =
, E[MT ] =
P (ST = a) +
P (ST = b)
p
p
p
³ 1 − p ´a
³ 1 − p ´b ¡
¢
=
P (τa < τb ) +
1 − P (τa < τb )
p
p
³ 1 − p ´x · ³ 1 − p ´a ³ 1 − p ´b ¸
³ 1 − p ´b
=
−
P (τa < τb ) +
. p
p
p
p
Satz 4.8.9
Für die symmetrische Irrfahrt (p = 12 ) gilt:
b
1) P (τa < τb ) =
b
−
∀S0 = 0 ∀a < 0 < b
£
¤ a
2) E min{τa , τb } = −ab
Beweis
(Sn ) ist ein Martingal.
1) Wegen S0 ∈ [a, b] haben wir |ST ∧n | ≤ max{−a, b}
∀n ≥ 0
=⇒ (ST ∧n )n ≥ 0 ist gleichgradig integrierbar
=⇒ E[S0 ] = E[ST ]
¡
¢
=⇒ 0 = E[ST ] = aP (ST = a) + bP (ST = b) = aP (τa < τb ) + b 1 − P (τa < τb )
=⇒ 1)
2) Mn := Sn2 − n, n ≥ 0
(M1) Mn ist Fn -messbar
(M2) E[|Mn |] ≤ E[Sn2 ] + n = V ar(Sn ) + n = nV ar(ξ1 ) + n = 2n < ∞
¯ ¤
£
2
(M3) E[Mn+1 |Fn ] = E (Sn + ξn+1 )2 − n − 1¯Fn = E[Sn2 + 2Sn ξn+1 + ξn+1
− n − 1|Fn ]
2
|Fn ] −n − 1 = Sn2 + 0 + 1 − n − 1
= Sn2 + 2Sn E[ξn+1 |Fn ] + E[ξn+1
{z
} |
|
{z
}
= E[ξn+1 ] = 0
= Sn2 − n = Mn
=⇒ (Mn ) ist ein Martingal
87
2
= E[ξn+1
]=1
Sei N ∈ N fest.
Te = min{T, N } =⇒ |MTe∧n | = |ST2e∧n − Te ∧ n| ≤ ST2e∧n + Te ∧ n ≤ max{a2 , b2 } + N
¡
¢
=⇒ MTe∧n n ≥ 0 ist gleichgradig integrierbar
∀n ≥ 0
Satz 4.8.3 =⇒ E[M0 ] = E[MTe ] = E[ST2e ] − E[Te]
Te −−−−→ T fast sicher =⇒ E[Te] −−−−→ E[T ]
N →∞
N →∞
↑
monotone
Konvergenz
ST2e −−−−→ ST2 fast sicher =⇒ E[ST2e ] −−−−→ E[ST2 ]
N →∞
↑
N →∞
beschränkte
Konvergenz
=⇒ 0 = E[ST2 ] − E[T ]
¡
¢
E[T ] = E[ST2 ] = a2 P (ST = a) + b2 P (ST = b) = a2 P (τa < τb ) + b2 1 − P (τa < τb )
³
b
b ´
a2 b
b2 (−a)
= a2
+ b2 1 −
=
+
= −ab. b−a
b−a
b−a
b−a
4.9 Verzweigungsprozesse
Galton-Watson-Prozess:
Ausgehend von einer Startperson wird der durch sie erzeugte Stammbaum betrachtet. Die Wahrscheinlichkeit, dass die Person k Kinder hat, beträgt pk . Selbiges gilt für die Kinder, Kindeskinder,
usw.
∞
P
{pk }k ≥ 0 : pk ≥ 0 und
pk = 1
k=0
Zn = Anzahl der Personen in der n-ten Generation
{ξin } i ≥ 1 unabhängige Zufallsvariablen mit P (ξin = k) = pk
n≥1
Z0 = 1, Zn+1 =
Zn
P
i=1
∀k ≥ 0, p1 < 1
ξin+1 , n ≥ 0
m := E[ξ11 ] = mittlere Anzahl der Kinder pro Familie
Lemma 4.9.1
¡
Ist m < ∞, dann bildet die Folge Wn :=
¢
Zn
mn n ≥ 0
ein Martingal
Beweis
¡
¢
Fn := σ ξik : i ≥ 1, k ∈ [1, n] , n ≥ 0
1
Zn
= n Zn ist Fn -messbar
n
m
m
· ∞
¸
· ∞
¸
k
P
P
P
1
1
1
(M2) E[Wn ] = n E[Zn ] = n E
Zn 1{Zn−1 = k} = n E
1{Zn−1 = k}
ξin
m
m
m
i=1
k=0
k=0
·
¸
¸
i ·P
h
∞
k
∞
k
P n
1 P
1 P
= n
E 1{Zn−1 = k}
ξi = n
E 1{Zn−1 = k} E
ξin
m k=0
m k=0
i=1
i=1
∞
∞
1 P
1 P
= n
P (Zn−1 = k)mk = n−1
kP (Zn−1 = k)
m k=0
m
k=0
·
¸
£
¤
£ ¤
£ ¤
Zn−1
E[Zn−1 ]
=E
= E Wn−1 = . . . = E W0 = E Z0 < ∞
=
mn−1
mn−1
(M1) Wn =
88
¯
·
¸
∞
∞
¯
¯
£
¤
P
1 P
1
¯
E
Z
1
F
E Zn 1{Zn−1 =k} ¯Fn−1
n
{Zn−1 =k} ¯ n−1 =
n
n
m
m k=0
k=0
¯
·³ k
¸
´
∞
¯
P n
1 P
¯
= n
E
ξi 1{Zn−1 =k} ¯Fn−1
m k=0
i=1
¯
¸
· k
¸
· k
∞
∞
P n ¯¯
P n
1 P
1 P
ξi ¯Fn−1 = n
ξi
= n
1{Zn−1 =k} E
1{Zn−1 =k} E
m
m
(M3) E[Wn |Fn−1 ] =
=
1
i=1
k=0
∞
P
mn−1
i=1
k=0
Zn−1
1{Zn−1 =k} k = n−1 = Wn−1 .
m
k=0
(Wn )n ≥ 0 ist ein nichtnegatives Martingal.
=⇒ (Wn )n ≥ 0 ist ein nichtnegatives Supermartingal
=⇒ (Wn ) −−−−→ W fast sicher und E[W ] ≤ lim E[Wn ] = 1
n→∞
n→∞
Satz 4.9.2
Ist m ≤ 1, so gilt:
P (Zn = 0 für alle großen n) = 1
Beweis
·
¸
E[Zn ]
Zn
n
m < 1: P (Zn > 0) = P (Zn ≥ 1) ≤
=m E
= mn
1
mn
↑
| {z }
MarkovUngleichung
∞
P
=⇒
n=0
P (Zn > 0) ≤
∞
P
mn =
n=0
=1
1
<∞
1−m
1. Borel-Cantelli-Lemma =⇒ P (Zn > 0 für unendlich viele n) = 0
=⇒ P (Zn = 0 für alle großen n) = 1
m = 1: Wn = Zn
∀n ≥ 0 =⇒ Zn −−−−→ W fast sicher
n→∞
¶
µ ∞
∞
ª
S ©
P
Zn −→ k
=
P (Zn −→ k)
1 = P (Zn −→ W ) = P
k=0
k=0
¡
¢
k ≥ 1 : P (Zn −→ k) = P {ω : Zn (ω) = k ∀n ≥ n0 (ω)}
µ ∞
¶
ª
S ©
=P
ω : Zn (ω) = k ∀n ≥ j
j=0
≤
∞
P
P
j=0
=⇒ 1 = P (Zn −→ W ) =
∞
P
¡©
ω : Zn (ω) = k
∀n ≥ j
ª¢
=
P (Zn −→ k) = P (Zn −→ 0).
k=0
∞
P
0=0
j=0
Bemerkung 4.9.3
Ist m > 1, dann gilt:
P (Zn > 0 für alle n ≥ 0) > 0
Satz 4.9.4
Genügt die Zufallsvariable ξ11 den Bedingungen E[ξ11 ] > 1 und V ar(ξ11 ) =: σ 2 ∈ (0, ∞), dann
konvergiert Wn −→ W fast sicher und in L2 .
σ2
Außerdem gilt: E[W ] = 1, V ar(W ) = 2
m −m
89
Beweis
E[Wn2 |Fn−1 ]
¯
·
¸
∞
¯
P
2
¯
= E Wn
1{Zn−1 =k} ¯Fn−1 =
¯
¶
¸
·µ k
∞
¯
P n 2
1 P
¯
E
ξi 1{Zn−1 =k} ¯Fn−1
m2n k=0
i=1
¶2 ¸
k=0
·µ k
∞
P n
1 P
= 2n
1{Zn−1 =k} E
ξi
m k=0
i=1
µ
i´2 ¶
´ ³ hP
³P
k
k
∞
1 P
n
n
ξi
= 2n
1{Zn−1 =k} V ar
ξi + E
m k=0
i=1
i=1
∞
1 P
1
2
m2 )
1{Zn−1 =k} (kσ 2 + k 2 m2 ) = 2n (σ 2 Zn−1 + Zn−1
2n
m k=0
m
·
¸
· 2
¸
¤
£
Zn−1
σ2
Zn−1
σ2
2
= n+1 + E[Wn−1
=⇒ E[Wn2 ] = E E[Wn2 |Fn−1 ] = n+1 E
+
E
]
n−1
2n−2
m
m
m
m
| {z }
=
= E[Wn−1 ]
2
=
n+1
P σ
σ
σ
2
+ n + E[Wn−2
] = ... =
+ E[W02 ]
n+1
k
| {z }
m
m
k=2 m
=1+
=1+
P
σ 2 n+1
m2
k=2
µ
1
m
¶k−2
2
=1+
¡ 1 ¢n
=1
σ 1− m
1
m2 1 − m
σ2
σ2
−n
(1
−
m
)
<
1
+
< ∞ ∀n ≥ 0
m2 − m
m2 − m
Satz 4.6.1 =⇒ Wn −→ W fast sicher und in L2 .
Aus der L2 -Konvergenz folgt, dass
µ
¶
σ2
σ2
2
2
−n
E[W ] = lim E[Wn ] = lim 1 + 2
(1 − m ) = 1 + 2
n→∞
n→∞
m −m
m −m
L2 -Konvergenz =⇒ L1 -Konvergenz
L1 -Konvergenz =⇒ E[W ] = lim E[Wn ] = 1
n→∞
¡
¢2
V ar(W ) = E[W 2 ] − E[W ] = 1 +
σ2
σ2
−1= 2
.
−m
m −m
m2
Bemerkung 4.9.5 (Satz von Kesten)
P (W > 0) > 0 ⇐⇒ E[ξ11 log(1 + ξ11 )] < ∞
90