Grenzwertsätze

Kapitel 13
Grenzwertsätze
13.1
Schwache Gesetze der großen Zahlen
Satz 13.1 (Tschebyscheffs schwaches Gesetz der großen Zahlen)
Es seien X1 , X2 , . . . unabhängig und identisch verteilte Zufallsvariablen mit EXi = µ
und Var(Xi ) < ∞. Dann gilt:
X1 + · · · + Xn P
→µ
n
Beweis
Mit der Ungleichung von Tschebyscheff (Satz 7.4) folgt:
X + · · · + X
n
Var( X1 +···+X
)
1
n
n
P (
− µ ≥ ε) ≤
2
n
ε
=
Var(X1 )
→0
n · ε2
1
Satz9.6 n2
=
Var(X1 + · · · + Xn )
=
ε2
für n → ∞
⇒ Behauptung
Die Bedingung Var(Xi ) < ∞ soll weg. Zur Vorbereitung brauchen wir einige Ergebnisse aus der Analysis.
Lemma 13.2 Für alle m ∈ N und t ∈ R gilt:
m−1
it X (it)k |t|m
e
−
≤
k!
m!
k=0
Beweis
Es genügt t ≥ 0 zu betrachten, da |z| = |z|
Für eit gilt die folgende Taylorentwicklung mit Integraldarstellung des Restgliedes
(Beweis durch Induktion nach m):
it
e =
m−1
X
k=0
(it)k
+ im
k!
Z
61
0
t
(t − u)m−1 iu
e du
(m − 1)!
62
KAPITEL 13. GRENZWERTSÄTZE
Z t
m−1
Z t (t − u)m−1
X (it)k (t − u)m−1 iu
⇒eit −
im
e
du
du =
= |{z}
≤
|{z}
k!
(m
−
1)!
(m − 1)!
0
0
k=0
|·|=1
=−
|·|=1
tm
=
m!
0
u)m t
(t −
m!
Lemma 13.3
Sei X eine Zufallsvariable mit existierendem Erwartungswert EX = µ und ϕX (t)
die zugehörige charakteristische Funktion. Dann gilt ∀ t ∈ R:
t
1
t
ϕX
= 1 + iµ
+ ot
n
n
n
Beweis
t
t
Zu zeigen: ∀ t ∈ R gilt: ϕX
− 1 + iµ
· n → 0 für n → ∞
n
n
t
t
itX
i nt X
n · ϕX
− 1 + iµ
=E n· e
−1−
n
n
n
|
{z
}
=:Yn
Lemma 13.2 mit m = 2:
|Yn | ≤ n ·
| nt X|2
t2 X 2 f.s.
=
→0
2!
2!n
für n → ∞
Limes und E kann man hier vertauschen (→ majorisierte Konvergenz)
⇒ Behauptung
Lemma 13.4
Sei z ∈ C fest {ηn }n∈N
ηn ∈ C und ηn → 0. Dann gilt:
z
ηn n
lim 1 + +
= ez
n→∞
n
n
Beweis
1.Fall: z = 0
Zu zeigen: (1 +
ηn n
n )
→ 1 für n → ∞
n n X
|ηn | k
ηn n
n ηn k X n
|ηn | n
( ) ≤
= 1+
−1
(1 + ) − 1 =
k
n
k n
n
n
k=1
MWS
≤
f (x)=(1+x)n
k=1
|ηn |
1 n
|ηn | n
n(1 + ϑ)n−1 ≤ |ηn | 1 +
≤ |ηn | 1 +
≤
n
n
n
|ηn | · e
| {z }
→0für n→∞
2.Fall: z 6= 0
η n
z
η n n z n 1 + nz + nn
z n εn n
1+ +
= 1+
=
1
+
·
1
+
n
n
n
1 + nz
| {zn } | {zn }
→εz für n→∞ →1 für n→∞
(Fall 1)
mit εn → 0 für n → ∞
13.2. DAS STARKE GESETZ DER GROSSEN ZAHLEN
63
Satz 13.5 (Khinchins schwaches Gesetz der großen Zahlen, 1929)
Es seien X1 , X2 , . . . unabhängig und identisch verteilte Zufallsvariablen
mit E|Xi | < ∞, EXi = µ. Dann gilt:
X1 + · · · + Xn P
→µ
n
Beweis
Da µ ∈ R konstant, genügt wegen Lemma 11.3 zu zeigen
X1 +···+Xn
n
Satz 12.5 ⇒ zu zeigen ist: ϕ X1 +···+Xn (t) → ϕµ (t)
Bsp. 12.1
=
d
→µ
eitµ
n
Also:
ϕ X1 +···+Xn (t)
Satz 12.1c)
=
n
n
t Satz 12.2 Y
t
t n
ϕX1 +···+Xn
=
ϕXk ( ) = ϕX1 ( )
n
n
n
k=1
Lem. 13.3
=
13.2
iµt
1 n
1+
+ ot ( )
n
n
Lem. 13.4
−→
eitµ
Das starke Gesetz der großen Zahlen
Satz 13.6 (Kolmogorovs starkes Gesetz der großen Zahlen)
Es seien X1 , X2 , . . . unabhängig und identisch verteilte Zufallsvariablen
mit E|Xi | < ∞, EXi = µ. Dann gilt:
X1 + · · · + Xn f.s.
→µ
n
ohne Beweis
Beispiel 13.1 (Monte-Carlo-Simulation)
Es sei f : [0, 1] → R+ eine stetige Funktion. M := maxx∈[0,1] f (x). Wir wollen
R1
0 f (x) dx numerisch (näherungsweise) berechnen.
Dazu U1 , V1 , U2 , V2 . . . eine Folge von unabhängigen Zufallsvariablen, wobei
die (Ui ) identisch verteilt sind mit Ui ∼ U (0, 1) und
die (Vi ) identisch verteilt sind mit Vi ∼ U (0, M ). Wir setzen
1 , falls f (Uk ) > Vk
Ik =
0 , falls f (Uk ) ≤ Vk
Dann gilt: I1 , I2 , . . . sind unabhängig und identisch verteilte Zufallsvariablen mit
Z
1 Z f (x)
EIk = P (f (Uk ) > Vk ) = P ((Uk , Vk ) ∈ G) =
0
n
Satz 13.6:
1 X f.s. 1
Ik →
n
M
k=1
Z
0
1
f (x) dx
0
1
1
· 1 dydx =
M
M
für n → ∞
Z
1
f (x) dx
0
64
KAPITEL 13. GRENZWERTSÄTZE
Beispiel 13.2 (Normale Zahlen)
Es sei Ω = [0, 1) und ω ∈ Ω. Wir betrachten die Dualbruchzerlegung von ω: das
heißt
∞
X
1
ω=
ak ∈ {0, 1}
ak · k
2
k=1
ω heißt normal, falls die Werte 0 und 1 asymptotisch gleich häufig auftreten.
Wie viele ω ∈ Ω sind normal?
Sei A = B[0,1) und definiere die Zufallsvariablen X1 , X2 . Ω → {0, 1} durch
Xn (ω) = an für n ∈ N (Beachte Xn ist Zufallsvariable)
Weiter sei:
An (x1 , . . . , xn ) := {ω ∈ Ω|X1 (ω) = x1 , . . . , Xn (ω) = xn }
= {ω ∈ Ω| x21 + x222 + · · · + x2nn ≤ ω < x21 + · · · + x2nn + 21n } für x1 , . . . , xn ∈ {0, 1} fest.
Wir nehmen an, dass P=unif(0,1), das heißt P ([a, b)) = b − a für 0 ≤ a < b < 1.
Also P (An (x1 , . . . , xn )) = 21n
⇒ P (X1 = 0) = P (A1 (0)) = 21 = P (X1 = 1)
P (X2 = 0) = P (X2 = 0, X1 = 0) + P (X2 = 0, X1 = 1) =
= P (A2 (0, 0)) + P (A2 (1, 0)) = 14 + 14 = 12
und P (X2 = 1) = 12
P (X1 = x1 , X2 = x2 ) = 41 = P (X1 = x1 )P (X2 = x2 ) für x1 , x2 ∈ {0, 1}
Also sind die Zufallsvariablen X1 , X2 , . . . unabhängig und identisch verteilt
mit P (Xk = 0) = P (Xk = 1) = 21 und EXk = 12
Nach Satz 13.6 gilt:
n
1X
f.s. 1
Xk →
n
2
für n → ∞
k=1
das heißt fast alle Zahlen des Intervalls [0, 1) bis auf eine Menge A ⊂ [0, 1) mit
P (A) = 0 sind “normal“
13.3
Der zentrale Grenzwertsatz
Betrachte die Situation aus Satz 13.1:
Seien X1 , X2 , . . . unabhängig und identisch verteilte Zufallsvariablen,
EXi = µ, Var(Xi ) < ∞
Dann gilt:
Var(X1 )
X1 + · · · + Xn
P − µ ≥ ε ≤
n
n · ε2
1
Setze ε = ε̂ · n− 2 +δ mit δ > 0
ε̂
Var(X1 )
Var(X1 )
X1 + · · · + Xn
P − µ ≥ 1
≤
=
2
−1+2δ
−δ
n
n · ε̂ n
ε̂2 n2δ
n2
1
X1 + · · · + Xn
P
−δ
Also für δ > 0 : n 2
−µ →0
n
13.3. DER ZENTRALE GRENZWERTSATZ
65
Was ist mit δ = 0?
Satz 13.7 (Zentraler Grenzwertsatz)
Es seien X1 , X2 , . . . unabhängig und identisch verteilte Zufallsvariablen mit EXi = µ
und 0 < Var(Xi ) = σ 2 < ∞. Dann gilt:
X1 + · · · + Xn − nµ d
√
→ X ∼ N (0, 1) , also
nσ
P
X1 + · · · + Xn − nµ
√
≤x
nσ
→ Φ(x)
für n → ∞
,∀x ∈ R
Beweis
Betrachte zunächst den Fall µ = 0, σ = 1
zu zeigen:
X1 + · · · + Xn d
√
→ X ∼ N (0, 1)
n
n
t Satz 12.2
t
ϕ X1 +···+X
=
ϕX1 +···+Xn ( √ ) =
=
ϕX1 ( √ )
n (t)
√
n
n
n
n

n
2
2

t2
(it)
t
1
1
itµ
vgl.L.13.3 
nach Lem. 13.4
2
1 + √ +
EX
= 1−
+ o( )
−−−−−−−−−→ e− 2
+o( )
=


|
{z
}
2n
n
2n
n
n
=1
|{z}
Satz 12.1c)
=0
Allgemeiner Fall:
Setze Yn = Xnσ−µ
Also Y1 , Y2 , . . . unabhängig und identisch verteilt mit EY1 = 0, Var(Yn ) = 1
Wende jetzt Spezialfall an:
X1 + · · · + Xn − nµ
Y1 + · · · + Yn d
√
√
=
→ X ∼ N (0, 1)
nσ
n
Korollar 13.8
Unter den Voraussetzungen des ZGWS gilt für feste α, β ∈ R, α < β:


Z β


t2
X1 + · · · + Xn − nµ
1


√
√
P α ≤
≤ β  → Φ(β) − Φ(α) =
e− 2 dt


nσ
2π α
|
{z
}
=:Tn
Beweis Sei ε > 0.
FT (β) − FTn (α) ≤ P (α ≤ Tn ≤ β) ≤ FTn (β) − FTn (α − ε)
| n
{z
}
|
{z
}
n→∞
→ Φ(β)−Φ(α)
Mit ε → 0 folgt daraus die Behauptung.
n→∞
→ Φ(β)−Φ(α−ε)
66
KAPITEL 13. GRENZWERTSÄTZE
Satz 13.9 Sind die Zufallsvariablen X1 , X2 unabhängig und identisch verteilt mit
EX1 = µ sowie |µ|3 = E|X1 − µ|3 , so gilt:
sup |FTn (x) − Φ(x)| ≤
x∈R
|µ|3
√
σ3 n
Beispiel 13.3
Es seien X1 , X2 , . . . unabhängig und identisch verteilte Zufallsvariablen mit
Xn ∼ B(1, p). Also EXn = p, Var(Xn ) = p(1 − p), 0 < p < 1
Sei Sn = X1 + · · · + Xn , dann gilt nach dem ZGWS:
!
Sn − np
lim P p
≤ x = Φ(x)
n→∞
np(1 − p)
Umgeformt ergibt das:
lim P (Sn ≤ np + x
n→∞
p
np(1 − p)) = Φ(x)
Da Sn ∼ B(n, p) heißt das:
n k
p (1 − p)n−k = Φ(x)
k
X
lim
n→∞
k≤np+x
√
np(1−p)
Diese Version nennt man auch Grenzwertsatz von DeMoivre Laplace.
Beispiel 13.4 (Wahlumfrage)
Wir wollen den Anteil p der Anhänger der Partei A unter den Wahlberechtigten
ermitteln. Dazu nehmen wir eine Stichprobe X1 , . . . , Xn , wobei:
1 , falls Person i Partei A wählt
i = 1, . . . , n
Xi =
0 , falls Person i Partei A nicht wählt
Sei Sn := X1 + · · · + Xn . Wir schätzen p̂ = Snn
Wie groß muss der Stichprobenumfang n mindestens gewählt werden, damit der
Schätzfehler |p̂ − p| mit einer Wahrscheinlichkeit von mindestens 0.95 nicht größer
als 0.02 ist?
Also gesucht ist die kleinste Zahl n ∈ N mit
√ !
Sn − np Sn
0.02
n
≤ p
P (|
− p| ≤ 0.02) ≥ 0.95 ⇔ P p
≥ 0.95
n
np(1 − p)
p(1 − p)
Wegen p(1 − p) =
P
1
4
− (p − 12 )2 ≤
∀ p ∈ [0, 1]
√ !
Sn − np 0.02
n
p
≤ p
≥P
np(1 − p)
p(1 − p)
Für n groß ist etwa √Sn −np
np(1−p)
⇒P
1
4
folgt:
Sn − np √
p
≤ 0.04 n
np(1 − p)
!
∼ N (0, 1)
Sn − np √
p
≤ 0.04 n
np(1 − p)
!
√
√
√
≈ Φ(0.04 n)−Φ(−0.04 n) = 2Φ(0.04 n)−1 = 0.95
⇒ n = (25Φ−1 (0.975))2 = 2401