13 Grenzwerts¨atze - Humboldt

13 Grenzwertsätze
13.1
Das Gesetz der großen Zahlen
Der Erwartungswert einer zufälligen Variablen X ist in der
Praxis meist nicht bekannt. Um ihn zu bestimmen, sammelt
man Beobachtungen X1 , X2 , . . . , Xn (n ∈ N) und bildet dann
das arithmetische Mittel dieser Beobachtungen:
X=
1
n
n
X
Xi =: X n
i=1
Dabei muß man jedoch beachten, daß die Beobachtungen
X1 , . . . , Xn unabhängig oder wenigstens unkorreliert sind.
495
W.Kössler, Humboldt-Universität zu Berlin
Satz 43 (Schwaches Gesetz der großen Zahlen) Es seien
X1 , . . . , Xn unkorrelierte zufällige Variablen mit µ := EXi
und σ 2 := Var Xi < ∞ (für alle i = 1, . . . , n). Dann gilt für
alle ε > 0:
lim P (|X n − µ| > ε) = 0.
n→∞
Beweis: Zum Beweis des Satzes verwenden wir die
Ungleichung von T SCHEBYCHEW (vgl. Satz ??).
496
W.Kössler, Humboldt-Universität zu Berlin
Da die Zufallsgrößen X1 , . . . , Xn unkorreliert sind, gilt
!
!
n
n
X
X
Xi = n12 · Var
Var X = Var n1
Xi
i=1
=
1
n2
·
497
1
n
·
Var (Xi ) =
1
n2
i=1
1
n
EX = E
=
n
X
i=1
·
n
X
i=1
n
X
i=1
Xi
!
EXi =
1
n
=
1
n
2
·n·σ =
·E
n
X
i=1
σ2
n
Xi
!
·n·µ=µ
W.Kössler, Humboldt-Universität zu Berlin
Mittels der T SCHEBYCHEV–Ungleichung erhalten wir:
P (|X n − µ| > ε) = P (|X − EX| > ε)
Var X
≤
ε2
σ2
=
−
−−→ 0
n→∞
2
n·ε
2
Bem. 19 Aus dem Beweis erkennen wir, daß die
Voraussetzungen etwas abgeschwächt werden können,
anstelle Var Xi = σ 2 genügt die Forderung
1 X
Var Xi = 0.
lim 2
n→∞ n
498
W.Kössler, Humboldt-Universität zu Berlin
Def. 45 Wenn
lim P (|Yn − Y0 | > ε) = 0 ∀ε > 0
n→∞
dann heißt Y0 stochastischer Grenzwert der Folge {Yn } und
man schreibt p − lim Yn = Y0 .
499
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 81 Es seien Xi ∼ B(1, p)

Xi :
Dann gilt:

0
1


1−p p
µ := EX = EXi = 0 · (1 − p) + 1 · p = p
500
W.Kössler, Humboldt-Universität zu Berlin
und
σ 2 := E(X − p)2
= (0 − p)2 · (1 − p) + (1 − p)2 · p
= p2 · (1 − p) + (1 − p)2 · p
= p2 − p3 + p − 2 · p2 + p3
= p − p2
= p · (1 − p)
Nach dem schwachen Gesetz der großen Zahlen folgt:
n
!
X
P n1
Xi − p > ε −
−−→ 0.
n→∞
i=1
501
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 82 Es sei A ein Ereignis, p = P (A) sei unbekannt. Zur
Schätzung von p führen wir eine Reihe von unabhängigen
Experimenten durch, bei denen A und A die einzig möglichen
Ausgänge seien.
n:
# der Experimente, die durchgeführt werden.
n(A):
# Auftretens des Ereignisses A.
n(A)
p̂n =
n
die relative Häufigkeit des Ereignisses A.
Frage:
p̂n −
−−→ p?
n→∞
Dazu definieren wir Zufallsgrößen Xi (i = 1, . . . , n),
502
W.Kössler, Humboldt-Universität zu Berlin

 1 , A im i–ten Experiment eintritt
Xi :=
 0 , A im i-ten Experiment nicht eintritt
Dann gilt für alle i = 1, . . . , n:
Xi ∼ B(1, p)
und P (Xi = 1) = p sowie P (Xi = 0) = 1 − p.
σ 2 = Var Xi = p · (1 − p)
µ = EXi = p
Wir definieren weiterhin:
X :=
503
1
n
·
n
X
i=1
Xi =
1
n
· n(A) = p̂n .
W.Kössler, Humboldt-Universität zu Berlin
Wir wenden nun das Schwache Gesetz der großen
Zahlen an und erhalten:
lim P (|p̂n − p| > ε) =
n→∞
lim P (|X n − µ| > ε)
n→∞
= 0,
∀ε > 0
Folglich gilt: p̂n −
−−→ p.
n→∞
Bem. 20 Schätzungen p̂n , die gegen den zu schätzenden
Parameter konvergieren heißen (schwach) konsistent.
504
W.Kössler, Humboldt-Universität zu Berlin
Satz 44 (Gesetz der Großen Zahlen) Seien die
Zufallsvariablen X1 , . . . , Xn identisch verteilt und
unabhängig, E|Xi | < ∞, EXi = µ. Dann gilt
P (ω : lim X n = µ) = 1.
n→∞
Bem. 21 Das Schwache Gesetz der Großen Zahlen lautet
entsprechend: Seien die Zufallsvariablen X1 , . . . , Xn
identisch verteilt, EXi = µ und
unkorreliert (cov(Xi , Xj ) = σ 2 δij ). Dann gilt
⇒ p − lim X n = µ.
505
W.Kössler, Humboldt-Universität zu Berlin
Das Gesetz der großen Zahlen eignet sich also zum Schätzen
von Erwartungswerten oder auch zur Approximation von
Integralen.
Bsp. 83 Sei X ∼ F mit Dichte f (x), den Beobachtungen
x1 , . . . , xn und g(·) eine beliebige Funktion. Der
Erwartungswert
Z
E(g(X)) = g(x)f (x) dx
wird (falls er existiert) geschätzt durch
n
X
1
ˆ
I=
g(xi )
n i=1
506
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 84 Ist f > 0 kann das Integral
Z
I = g(x) dx
(falls es existiert) geschätzt werden durch
n
X
1
g(xi )
ˆ
I=
.
n i=1 f (xi )
507
W.Kössler, Humboldt-Universität zu Berlin
13.2
Der Satz von G LIVENKO –C ANTELLI
Seien X1 , . . . , Xn zufällige Beobachtungen mit
P (Xi < x) = F (x),
∀i = 1, . . . , n.
Die Verteilungsfunktion F (x) soll durch die Funktion
Fn (x) :=
#{Xi : Xi <x,i=1,...,n}
n
approximiert werden.
Def. 46 Seien X1 , . . . , Xn unkorreliert, Xi ∼ F , und
X(1) , . . . , X(n) , X(1) ≤ X(2) ≤ . . . ≤ X(n) die geordnete
508
W.Kössler, Humboldt-Universität zu Berlin
Stichprobe. Die Funktion
#{Xi : Xi < x, i = 1, . . . , n}
Fn (x) =
n


falls x < X(1)

0
i
=
falls X(i) ≤ x < X(i+1)
n



1
falls X(n) < x
heißt empirische Verteilungsfunktion.
EDF.sas EDF 2.sas
Satz 45 Seien X1 , . . . , Xn unkorreliert. Es gilt:
lim P (|Fn (x) − F (x)| > ε) = 0 ∀x ∈ R.
n→∞
509
W.Kössler, Humboldt-Universität zu Berlin
Beweis: Wir definieren Zufallsgrößen Yix (i = 1, . . . , n,
x ∈ R) durch:

 1 , falls X < x
i
Yix =
 0 , sonst
Dann gilt offensichtlich für alle i = 1, . . . , n und x ∈ R:


0
1

Yix : 
1 − F (x) F (x)
D.h. Yix ∼ B(1, F (x)). Sei, für alle x ∈ R,
Y x :=
1
n
n
X
Yix .
i=1
510
W.Kössler, Humboldt-Universität zu Berlin
Vergleichen wir die Zufallsgrößen Fn (x) und Y x :
Y x = Fn (x).
Aus Beispiel 81 folgt, µ := EYix = F (x). Deshalb folgt aus
dem schwachen Gesetz der großen Zahlen:
lim P (|Y x − µ| > ε) = 0,
n→∞
∀ε > 0.
D.h. für alle ε > 0 gilt:
lim P (|Fn (x) − F (x)| > ε) = 0
n→∞
2
511
W.Kössler, Humboldt-Universität zu Berlin
Verschärfung:
Satz 46 (Satz von G LIVENKO –C ANTELLI)
Es seien
X1 , . . . , Xn unabhängige zufällige Variablen. Dann gilt:
P lim sup |Fn (x) − F (x)| = 0 = 1.
n→∞ x∈R
Dieser Satz wird auch oft als der Hauptsatz der Statistik
bezeichnet.
512
W.Kössler, Humboldt-Universität zu Berlin
13.3
Konvergenz von Folgen zufälliger
Variablen
Wir betrachten in diesem Abschnitt eine Reihe von
Konvergenzbegriffen, die ersten beiden haben wir schon am
Anfang des Kapitels kennengelernt.
Def. 47 Eine Folge {Xn }n∈N zufälliger Variablen
konvergiert stochastisch (in Wkt.) gegen eine zufällige
Variable X, falls für alle ε > 0 gilt:
lim P (|Xn − X| > ε) = 0.
n→∞
Wir bezeichnen dann: p–lim Xn = X.
513
W.Kössler, Humboldt-Universität zu Berlin
X heißt stochastischer Grenzwert der Folge {Xn }.
Def. 48 Eine Folge {Xn }n∈N zufälliger Variablen heißt
fast sicher konvergent gegen eine zufällige Variable X, falls
gilt:
n
o
P
ω : lim Xn (ω) = X(ω)
= 1.
n→∞
Wir bezeichnen dann: lim Xn = X f.s.a
X heißt f.s. Grenzwert der Folge {Xn }.
a
Das Kürzel f.s.“ steht für fast sicher“. Manchmal findet man statt
”
”
f.s.“ auch das Kürzel a.e.“. Es bedeutet almost everywhere“.
”
”
”
514
W.Kössler, Humboldt-Universität zu Berlin
Def. 49 Es seien X1 , . . . , Xn , X zufällige Variablen mit
E|Xi |p < ∞, E|X|p < ∞.
{Xn } konvergiert im p-ten Mittel gegen X, falls
lim E|Xn − X|p = 0.
n→∞
Wir bezeichnen dann: limn→∞ Xn = X p.m.
(q.m. wenn p = 2).
515
W.Kössler, Humboldt-Universität zu Berlin
Def. 50 Es sei {Xn }n∈N eine Folge von zufälligen Variablen.
X sei eine Zufallsgröße mit der Verteilungsfunktion
F (x) = P (X < x).
Die Folge {Xn }n∈N konvergiert in Verteilung gegen die
Zufallsgröße X, wenn für alle x ∈ R, in denen die Funktion
F stetig ist, gilt:
lim P (Xn < x) = F (x).
n→∞
Wir bezeichnen dann: Xn −→D X.
516
W.Kössler, Humboldt-Universität zu Berlin
Wir versuchen jetzt Zusammenhänge zwischen den
verschiedenen Konvergenzbegriffen herzustellen.
Lemma 47 Sei X eine Zufallsvariable mit
E|X|p < ∞, p0 < p. Dann gilt
1
1
p0 p0
p p
≤ E|X| .
E|X|
Beweis: Die Funktion g(x) = |x|t ist konvex für t ≥ 1. Für
eine beliebige Zufallsvariable Y gilt (Jensens Ungleichung)
|EY |t ≤ E|Y |t .
p0
Sei Y = |X| , t =
p0
E|X|
517
p
p0
≥ 1. Daraus folgt
p0
p
p0
≤ E |X|
p0 p
= E|X|p .
W.Kössler, Humboldt-Universität zu Berlin
2
Folg. 7 Sei p0 < p.
lim Xn = X
n→∞
p.m. ⇒ lim Xn = X
n→∞
p0 .m.
Beweis: Wegen Lemma 47 gilt:
p0
E|Xn − X|
10
p
p
≤ E|Xn − X|
p1
.
2
Lemma 48 Sei p ≥ 1. Dann gilt
lim Xn = X
n→∞
518
p.m. ⇒ p–lim x→∞ Xn = X.
W.Kössler, Humboldt-Universität zu Berlin
Beweis: Es gilt für alle n:
P (|Xn − X| > ε) = P (|Xn − X|p > εp )
E|Xn − X|p
≤
εp
Markoff-Ungleichung
E|Xn − X|p
lim P (|Xn − X| > ε) ≤ lim
= 0.
p
n→∞
n→∞
ε
2
Das folgende Beispiel zeigt, daß stochastische und fast
sichere Konvergenz nicht identisch sind.
Bsp. 85 Wir wollen eine Folge {Xn }n∈N zufälliger Variablen
konstruieren, für die zwar p–lim Xn = 0 gilt, nicht aber
lim Xn = 0 f.s. Es seien Ω = [0, 1] und E = [0, 1] ∩ B1
519
W.Kössler, Humboldt-Universität zu Berlin
gegeben. Für alle Ereignisse A ⊆ [0, 1] gelte:
Z
0 ≤ P (A) = 1 dx ≤ 1.
A
Wir betrachten nun eine Folge {An }n∈N von Ereignissen im
Ereignisfeld E. Für alle n ∈ N sei An definiert durch:
An := [k · 2−h , (k + 1) · 2−h ],
wobei für die Zahlen h und k folgendes gelte:
• h, k ∈ Z+ ∪ {0};
• n = 2h + k;
(n ≤ 2 · 2h )
• 0 ≤ k < 2h .
520
W.Kössler, Humboldt-Universität zu Berlin
Die Folge {Xn }n∈N definieren wir nun wie folgt:

 1 , falls ω ∈ A
n
Xn (ω) =
 0 , sonst
Untersuchen wir die stochastische Konvergenz dieser Folge
von Zufallsgrößen:
Nach Definition der Folge {Xn }n∈N gilt:
P (|Xn | > ε) = P (|Xn | = 1) = P (An )
= (k + 1) · 2−h − k · 2−h
2
−h
= 2 ≤ → 0,
n
d.h. p–lim Xn = 0.
Wir untersuchen nun, ob die Folge {Xn }n∈N auch fast sicher
gegen Null konvergiert. Sehen wir uns die Intervalle An an,
für n = 1, . . . , 8:
n = 2h + k h k An
1 = 20 + 0
0 0 A1 = [0, 1]
2 = 21 + 0
1 0 A2 = [0, 21 ]
3 = 21 + 1
1 1 A3 = [ 21 , 1]
4 = 22 + 0
2 0 A4 = [0, 41 ]
5 = 22 + 1
2 1 A5 = [ 41 , 12 ]
6 = 22 + 2
2 2 A6 = [ 21 , 34 ]
7 = 22 + 3
2 3 A7 = [ 43 , 1]
8 = 23 + 0
3 0 A8 = [0, 81 ]
Die Folge {An }n∈N ist nirgends konvergent. Also
n
o
P
ω : lim Xn (ω) = 0
= 0 6= 1.
n→∞
Satz 49 Es sei {Xn }n∈N eine Folge von zufälligen Variablen,
für die es zwei Zufallsgrößen X und Y gibt, so daß gilt:
X = p–lim Xn und Y = p–lim Xn .
Dann folgt daraus:
P (X = Y ) = 1.
Beweis: Es sei ε > 0 beliebig. Dann berechnen wir
P ({ω : |X(ω) − Y (ω)| > ε}) = (∗)
523
W.Kössler, Humboldt-Universität zu Berlin
(∗)
=
≤
≤
≤
P ({ω : |X(ω) − Xn (ω) + Xn (ω) − Y (ω)| > ε})
P ({ω : |X(ω) − Xn (ω)| + |Xn (ω) − Y (ω)| > ε})
ε
ε
P ω : |Xn (ω) − X(ω)| > 2 ∪ ω : |Xn (ω) − Y (ω)| > 2
ε
P ω : |XX(ω) − X(ω)| > 2 +
ε
P ω : |Xn (ω) − η(ω)| > 2
−
−−→ 0
n→∞
D.h.
P (|X − Y | > ε) = 0 ∀ε > 0.
P ({ω : X(ω) = Y (ω)}) = 1.
524
2
W.Kössler, Humboldt-Universität zu Berlin
Lemma 50
p–lim n→∞ Xn = X ⇒ Xn →D X
Wir kennen vier verschiedene Arten der Konvergenz einer
Folge von Zufallsgrößen gegen eine zufällige Variable. Sie
bilden z.T. eine gewisse Hierarchie.
lim Xn = X f.s. =⇒ p–lim Xn = X
=⇒ Xn −→D X
lim Xn = X q.m. =⇒ p–lim Xn = X
Die Umkehrungen gelten im allgemeinen nicht. Da die
Verteilungskonvergenz in dieser Kette die schwächste ist,
wird sie oft auch als schwache Konvergenz bezeichnet.
525
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 86 Xn ∼ Bi(n, pn ), lim npn = λ, Y ∼ P oi(λ)
⇒ Xn →D Y.
Diese Aussage kennen wir schon von früher.
526
W.Kössler, Humboldt-Universität zu Berlin
13.4
∗
Die fast sichere Konvergenz
Dieser Abschnitt wird in der Vorlesung nicht behandelt. Er
dient nur als Ergänzung für den interessierten Leser.
Def. 51 Es sei {An }n∈N eine Folge von Ereignissen. Wir
definieren
!
∞
[
Ak .
lim sup An := lim
n→∞
n→∞
k=n
Bem.: Wir definieren für alle n ∈ N: Bn :=
∞
S
Ak . Dann
k=n
gilt: Bn+1 ⊆ Bn (n ∈ N). Folglich ist die Folge {Bn }n∈N
527
W.Kössler, Humboldt-Universität zu Berlin
monoton fallend. Demzufolge gilt:
lim Bn =
n→∞
∞
\
Bn .
n=1
Das bedeutet jedoch nichts anderes als:
!
∞
∞
\
[
Ak =
lim sup An = lim
n→∞
n→∞
n=1
k=n
∞
[
k=n
Ak
!
.
Lemma 51 (B OREL –C ANTELLI ) Es sei {An }n∈N eine Folge
von Ereignissen aus einem Wahrscheinlichkeitsraum
∞
P
P (An ) < ∞, so folgt daraus:
(Ω, E, P ). Gilt
n=1
P
528
lim sup An = 0.
n→∞
W.Kössler, Humboldt-Universität zu Berlin
Beweis: Zunächst gilt:
P
∞
[
Ak
k=n
!
≤
∞
X
P (An ).
k=n
Es sei ε > 0 beliebig gewählt. Da nach Voraussetzung
∞
P
P (An ) < ∞ gilt, folgt für hinreichend großes n:
n=1
∞
X
P (An ) < ε.
k=n
Folglich gilt:
529
W.Kössler, Humboldt-Universität zu Berlin
P
lim sup An
n→∞
= P
≤
lim
lim
n→∞
n→∞
∞
X
∞
[
Ak
k=n
!
= lim P
n→∞
∞
[
Ak
k=n
!
P (An ) = 0.
k=n
2
Wir betrachten eine Folge {Xn }n∈N von Zufallsvariablen, die
fast sicher gegen eine zufällige Variable X konvergiert. Es
gilt:
lim Xn = X f.s.
n→∞
530
W.Kössler, Humboldt-Universität zu Berlin
n
o
⇐⇒ P
ω : lim Xn (ω) = X(ω)
=1
n→∞
!
∞
\
{ω : |Xk (ω) − X(ω)| ≤ ε} −
−−→ 1 ∀ε > 0
⇐⇒ P
n→∞
k=n
Cauchy-Kriterium
!
∞
[
{ω : |Xk (ω) − X(ω)| > ε} −
−−→ 0
⇐⇒ P
n→∞
k=n
⇐⇒
lim P (Bn ) = 0, Bn :=
n→∞
⇐⇒ P
∞
[
k=n
∀ε > 0
{ω : |Xk (ω) − X(ω)| ≥ ε}
lim Bn = 0 (da {Bn }n∈N monoton fallend ist)
n→∞
⇐⇒ P lim sup Bn = 0.
n→∞
531
W.Kössler, Humboldt-Universität zu Berlin
Satz 52 Es sei {Xn }n∈N eine Folge von Zufallsgrößen, und
X eine weitere zufällige Variable.
lim Xn = Xf.s. ⇒ p–lim Xn = X.
Beweis: Es sei ε > 0 beliebig gewählt. Dann gilt:
0 ≤
≤
lim P ({ω : |Xn (ω) − X(ω)| > ε})
n→∞
lim P
n→∞
= 0
∞
[
!
{ω : |Xk (ω) − X(ω)| > ε}
k=n
nach Vor.
2
532
W.Kössler, Humboldt-Universität zu Berlin
Folg. 8 (aus dem Borel-Cantelli Lemma)
∞
X
n=1
P (|Xn − X| > ε) < ∞
∀ε > 0 ⇒ lim = Xf.s.
n→∞
Lemma 53 Sei p–lim Xn = X. Dann existiert eine Teilfolge
{Xnk } von {Xn } so daß limk→∞ Xnk f.s.
Lemma 54
∞
X
n=1
E|Xn − X|p < ∞ ⇒ lim Xn = Xf.s.
n→∞
Satz 55 (Satz von der majorisierten Konvergenz)
limn→∞ Xn = X f.s. und |Xn | ≤ Y , E|Y |p < ∞. Dann
gilt: limn→∞ Xn = X p.m.
533
W.Kössler, Humboldt-Universität zu Berlin
13.5
Der zentrale Grenzwertsatz
Satz 56 (Der Zentrale Grenzwertsatz)
Es seien
X1 , . . . , Xn (n ∈ N) unabhängige, identisch verteilte
zufällige Variablen mit
µ := EXi ;
σ 2 := Var Xi .
Wir definieren für alle n ∈ N Zufallsgrößen Zn , Z n und Yn
n
P
durch: Zn :=
Xi bzw. Z n := Znn und
i=1
√ Zn − µ
Yn = n ·
σ
534
W.Kössler, Humboldt-Universität zu Berlin
Dann gilt:
lim P
n→∞
Z√
n −n·µ
n·σ
<x
=
=
lim P (Yn < x) = Φ(x)
n→∞
√1
2π
Zx
2
e
− t2
dt.
−∞
Beweis: (Als Hilfsmittel werden charakteristische
Funktionen verwendet, siehe unten, für den interessierten
Leser)
535
2
W.Kössler, Humboldt-Universität zu Berlin
Bem.: Die Folge {Yn }n∈N konvergiert in Verteilung gegen
eine Zufallsgröße Z, Yn −→D Z, Z ∼ N (0, 1).
Anwendungen:
• Simulation bei der Erzeugung einer normalverteilten
Zufallsgröße aus Pseudozufallszahlen
• Approximation von Wkt.-verteilungen (insbes. von
Teststatistiken)
536
W.Kössler, Humboldt-Universität zu Berlin
Genauigkeitsabschätzung:
Satz 57 (B ERRY-E SS ÉEN ) Es seien die Voraussetzungen des
zentralen Grenzwertsatzes erfüllt und
M := E|Xi − µ|3 < ∞. Dann gilt:
Z√
n −n·µ
< x − Φ(x) < K,
P
n·σ
wobei K =
0,8·M
√
σ3 · n
ist.
Bsp. 87 Es seien Xi ∼ R(0, 1),
µ = EXi =
1
2
σ 2 = EXi2 − µ2 =
537
1
12
W.Kössler, Humboldt-Universität zu Berlin
Wir bestimmen die Zahl M :
Z+∞
M = E|Xi − µ|3 =
|x − µ|3 · f (x) dx
=
Z1
−∞
|x − 12 |3 dx = 2 ·
0
538
Z1
1
2
(x − 12 )3 dx =
n
12
100
1000
K
0.3
0.104
0.033
1
32
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 88 Seien Xi ∼ P oi(λ),
EXi = Var Xi = λ
Wir schätzen die Zahl M ab:
M
1
3
=
≤
=
3
E|Xi − λ|
4
E|Xi − λ|
E(Xi − λ)
2
1
4
2
3
4
= (λ + 3λ )
13
14
4
(Lemma 47)
41
Berry-Esseen Schranke:
0.8(λ + 3λ )
0.8 · 3
K≤
→λ→∞ √
3√
n
λ2 n
539
3
4
W.Kössler, Humboldt-Universität zu Berlin
n
K
540
12
100
1000
0.52
0.18
0.058
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 89 Seien Xi ∼ B(1, p), i = 1, . . . , n, unabhängig,


0
1


Xi :
1−p p
• EXi = µ = p;
• Var Xi = σ 2 = p(1 − p).
Wir definieren nun für alle n ∈ N eine Zufallsgröße
Zn :=
n
X
Xi .
i=1
541
W.Kössler, Humboldt-Universität zu Berlin
Die Zufallsgrößen Zn (n ∈ N) haben also folgende Gestalt:


0 1 2 ... n


Zn :
p0 p1 p2 . . . pn
Wir zeigen jetzt: Für alle n ∈ N gilt: Zn ∼ B(n, p),d.h.
n i
pi = i p (1 − p)n−i . Beweis mittels vollständiger Induktion.
IA: Es sei n = 2. Dann gilt:
Z2 = X1 + X2 :
542


0
1
2
p0 p1 p2


W.Kössler, Humboldt-Universität zu Berlin
Wir ermitteln die Wktn. p0 , p1 und p2 :
p0 = P (Z2 = 0)
= P (X1 = 0, X2 = 0)
= P (X1 = 0) · P (X2 = 0)
p1
(Unabh. von X1 und X2 )
2 0
2
= (1 − p) · (1 − p) = (1 − p) =
p (1 − p)2−0
0
= P (Z2 = 1)
= P ({X1 = 1, X2 = 0} ∪ {X1 = 0, X2 = 1})
= P (X1 = 1, X2 = 0) + P (X1 = 0, X2 = 1)
(Unvereinbarkeit der Ereignisse)
543
= P (X1 = 1) · P (X2 = 0) + P (X1 = 0) · P (X2 = 1)
2 1
= p · (1 − p) + (1 − p) · p =
p (1 − p)2−1
1
W.Kössler, Humboldt-Universität zu Berlin
p2 = P (Z2 = 2) = P (X1 = 1, X2 = 1)
2 2
2
= P (X1 = 1) · P (X2 = 1) = p =
p (1 − p)2−2
2
IS: ÜA
Satz 58 (M OIVRE –L APLACE ) Es seien Xi ∼ Bi(1, p),
Pn
unabhängig. Dann gilt für Zn = i=1 Xi (∼ Bi(n, p)):
lim Zn →D Z ∼ N (np, np(1 − p))
Bem.: Der Satz sagt aus, daß für ausreichend großes n ∈ N
die Binomialverteilung durch die (einfachere)
544
W.Kössler, Humboldt-Universität zu Berlin
(Standard–)Normalverteilung ersetzt werden kann,
P (Zn < y) ≈ Φ √ y−n·p
.
n·p·(1−p)
Beweis: Mit EZn = np und Var Zn = np(1 − p) folgt unter
Anwendung des Zentralen Grenzwertsatzes:
y−n·µ
n −n·µ
√
P (Zn < y) = P Z√
<
n·σ
n·σ
= P √Zn −n·p < √ y−n·p
n·p·(1−p)
n·p·(1−p)
≈ Φ √ y−n·p
n·p·(1−p)
2
545
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 90 Es seien n = 1000 und p = 0.4. Gesucht werde die
Wahrscheinlichkeit P (Zn < 300). Es gilt:
X
P (Zn < 300) =
P (Zn = x)
x<300
=
299 X
1000
i=0
i
0.4i (1 − 0.4)1000−i
großer Rechenaufwand.
besser: Anwendung des Satzes von M OIVRE –L APLACE.
546
W.Kössler, Humboldt-Universität zu Berlin
Es gilt:
P (Zn < 300) ≈ Φ
= Φ
√ 300−1000·0,4
1000·0,4·(1−0,4)
−100
√
240
≈Φ
−100
15,49
= Φ(−6.45) = 1 − Φ(6.45) ≈ 0
| {z }
≈1
Bem.: Die Anwendung des Satzes von M OIVRE –L APLACE
setzt voraus, daß n ∈ N hinreichend groß ist.
Faustregel: n · p ≥ 10 und n · (1 − p) ≥ 10.
547
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 91 Wir betrachten P OISSON–verteilte unabhängige
Zufallsgrößen Xi ∼ P oi(λi ) (i = 1, . . . , n,


0 1 2 ... k ...


Xi :
p0i p1i p2i . . . pki . . .
λji
j!
mit pji = · e−λi (i = 1, . . . , n).
EXi = Var Xi = λi .
Zn :=
n
X
Xi
i=1
548
W.Kössler, Humboldt-Universität zu Berlin
Für den Erwartungswert dieser Zufallsgrößen gilt:
!
n
n
n
X
X
X
λi
EXi =
Xi =
EZn = E
i=1
i=1
i=1
Wir nehmen nun an, λi = λ, für alle i = 1, . . . , n. Ohne diese
Annahme haben die Zufallsgrößen Xi verschiedene
Erwartungswerte und Varianzen, so daß der zentrale
Grenzwertsatz (in der angegebenen Form) nicht anwendbar
ist.
Es gilt also unter dieser Annahme:
EXi = µ = λ;
549
Var Xi = σ 2 = λ.
W.Kössler, Humboldt-Universität zu Berlin
Lemma 59 Es seien X1 und X2 unabhängig,
X1 , X2 ∼ P oi(λi ), i = 1, 2). Dann ist die Zufallsgröße
Z2 := X1 + X2 ebenfalls P OISSON–verteilt und es gilt:
Z2 ∼ P oi(λ1 + λ2 ).
(Bem: Vergleichen Sie mit der Faltungsformel für stetige
Zufallsvariablen)
550
W.Kössler, Humboldt-Universität zu Berlin
Beweis: Es gilt für alle k ∈ N:
P (Z2 = k) =
k
X
t=0
=
p1 (t) · p2 (k − t)
k X
λt
1
t!
t=0
=
· e−λ1 ·
k X
λt ·λk−t
1
2
t!·(k−t)!
t=0
= e−(λ1 +λ2 ) ·
=
e−(λ1 +λ2 )
k!
1
k!
λ2k−t
(k−t)!
· e−λ2
· e−(λ1 +λ2 )
·
k
X
λt ·λk−t ·k!
1
2
t!·(k−t)!
t=0
· (λ1 + λ2 )k
(Binomischer Lehrsatz)
2
551
W.Kössler, Humboldt-Universität zu Berlin
Bem. 22 Die Funktionen p1 und p2 heißen auch
Faltungsdichten.
Mit λi = λ (i = 1, . . . , n) folgt daraus
Zn =
n
X
i=1
Xi ∼ P oi(n · λ).
Wir wenden jetzt den Zentralen Grenzwertsatz an. Dann
erhalten wir für hinreichend großes λ0 := n · λ:
0
Z√
n −n·µ
n −λ
P Z√
<
x
=
P
< x ≈ Φ(x).
n·σ
λ0
Also kann auch eine P OISSON–Verteilung durch eine
einfachere (Standard–)Normalverteilung ersetzt werden, falls
die Parameter λi (i = 1, . . . , n) alle gleich λ sind und der
552
W.Kössler, Humboldt-Universität zu Berlin
Faktor n · λ hinreichend groß ist (etwa n · λ ≥ 10).
Bem.: Sind die Parameter λi (i = 1, . . . , n) nicht alle gleich,
so gilt die Aussage trotzdem, falls ihre Summe hinreichend
groß ist (≥ 10).
553
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 92 Seien Xi unabhängig, Xi ∼ N (0, 1), i = 1, . . . , n.
Y =
n
X
i=1
Xi2 ∼ χ2n ,
d.h. Y ist χ2 verteilt mit n Freiheitsgraden.

−x
 n 1 x n−2
2 e 2,
falls x ≥ 0
)
2 2 Γ( n
2
fY (y) =
0
sonst.
EY
Var Y
= n
n
X
= E(Y − n)2 = E( (Xi2 − 1))2 = nE(X12 − 1)2
i=1
= nE(X14 − 2EX12 + 1) = n(3 − 2 + 1) = 2n.
554
W.Kössler, Humboldt-Universität zu Berlin
⇒ lim P
n→∞
P(
Pn
n
X
i=1
2
X
i −n
i=1
√
< y = Φ(y).
2n
Xi2
x − n
< x) ≈ Φ √
2n
z.B. n = 30, x = 23.364: P (
Pn
2
X
i < x) = 0.2
i=1
x − n
= Φ(−0.8567) = 1 − 0.8042 = 0.1958.
Φ √
2n
555
W.Kössler, Humboldt-Universität zu Berlin
bleibt z.z.: EXi4 = 3.
Z ∞
2
√
4
4 − x2
2πEXi =
dx
xe
−∞
Z ∞
2
1 −1
2
4 − x2
dx, t = x , dx = t 2 dt
xe
= 2
2
0
Z ∞
Z ∞
3
5
t
t
−
−1
−
t 2 e 2 dt =
t 2 e 2 dt
=
0
EXi4
556
0
1 5
5 5
22 = Γ 2 + 22
= Γ
2 √
2
√
π 5
· 2 2 = 3 · 2π
= 1·3·
4
= 3.
W.Kössler, Humboldt-Universität zu Berlin
Dabei haben wir verwendet:
Z ∞
Γ(λ)
λ−1 −αt
t e dt = λ
α
0
Γ(n + 1) = nΓ(n) = n!
√
1
π
Γ(n + ) = 1 · 3 · 5 · · · (2n − 1) n
2
2
557
W.Kössler, Humboldt-Universität zu Berlin
∗
Beweis des Zentralen Grenzwertsatzes
Sei φX−µ die charakteristische Funktion von Xi − µ. Da die
ersten beiden Momente (µ, σ 2 ) existieren, folgt aus der
Taylorreihendarstellung
1 22
φX−µ (t) = 1 − σ t + o(t2 )
2
Die ZV
558
Xi − µ
√
nσ
haben die charakteristische Funktion
t φX−µ √
,
nσ
Pn Xi −µ
Die ZV Yn = i=1 √nσ hat also die charakteristische
W.Kössler, Humboldt-Universität zu Berlin
Funktion
n
t t2
t2 n
φYn (t) = φX−µ √
= 1−
+ o( ) .
2n
n
nσ
Es gilt:
t2
t2 n
t2
t2 t2
ln 1 −
+ o( ) = n ln 1 −
+ o( ) → − .
2n
n
2n
n
2
(vgl. Taylorreihenentwicklung des Logarithmus)
559
W.Kössler, Humboldt-Universität zu Berlin
t2
ln φYn (t) → −
2
φYn (t) → e
2
− t2
.
D.h. die ch.Fkt. von Yn konvergiert gegen die ch.Fkt. der
Standard-Normalverteilung (sogar gleichmäßig).
Aus dem Konvergenzsatz folgt: Yn → Z ∼ N (0, 1).
560
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 93 Münzwurf: 1000 mal. Wie groß ist die Wkt., dass
weniger als 475 mal Zahl fällt?

1
falls Zahl
Xi =
0
sonst
1000
X
P(
i=1
1 P
√
1000 qXi −
Xi ≤ 475) = P ( 1000
1
2
1
4
|
{z
∼N (0,1)
√
0.475 − 0.5
≈ Φ( 1000
)
1
475
1
√
−
q 2)
≤ 1000 1000
1
4
}
2
= Φ(−1.58) ≈ 0.057.
561
W.Kössler, Humboldt-Universität zu Berlin
Bedeutung des ZGWS in der Statistik
• beim Schätzen
Gesetz der Großen Zahlen: X → µ.
Frage: Wie groß ist der Stichprobenumfang zu wählen, um
eine bestimmte Genauigkeit zu erreichen?
ε, δ vorgegeben, klein (ε, δ < 0.5).
n ist so zu wählen, dass
P (|X − µ| ≤ ε) ≥ 1 − δ
562
W.Kössler, Humboldt-Universität zu Berlin
1 − δ ≤ P (|X − µ| ≤ ε)
√ (|X − µ| √
ε
≤ n√
)
= P( n √
V arX
V arX
√ (|X − µ| √ ε
= P( n
≤ n )
σ
σ
√ ε
≈ Φ( n )
σ
gdw.
√ ε
Φ (1 − δ) ≤
n
σ
2
−1
σΦ (1 − δ)
n ≥
ε
−1
563
W.Kössler, Humboldt-Universität zu Berlin
Bedeutung des ZGWS in der Statistik
• beim Testen
µ := EX. Wir testen z.B.
H 0 : µ ≤ µ0
gegen
H 1 : µ > µ0
Teststatistik:
√ X − µ0
Tn = n
σ
Tn klein spricht für H0 , Tn groß gegen H0 .
Fehler 1. Art: H0 ablehnen, obwohl richtig
möchte man begrenzen (≤ α)
Fehler 2. Art: H0 annehmen, obwohl falsch
564
W.Kössler, Humboldt-Universität zu Berlin
sollte auch klein sein (≤ β)
Pµ0 (Tn ≥ u1−α ) → α
nach ZGWS
denn
Pµ0 (Tn < u1−α ) → Φ(u1−α ) = 1 − α
(wenn µ < µ0 so Pµ (Tn < u1−α ) > Pµ0 (Tn < u1−α ))
565
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 94 In der BRD gab es im Zeitraum 1970-1990
insgesamt 25 171 123 registrierte Lebendgeburten, davon
waren 12 241 392 Mädchen.
Berechnen Sie die ein 95% Vertrauensintervall für die
Wahrscheinlichkeit einer Mädchengeburt!
Das zufällige Ereignis einer Mädchengeburt wird dargestellt
durch eine Bernoulli-verteilte Zufallsvariable, Xi ∼ B(1, p).
Sei n = 25171123 und
n
X
Xi
Sn =
i=1
die zufällige Anzahl der Mädchengeburten.
Wir wissen, ESn = n · p und Var Sn = n · p · (1 − p).
566
W.Kössler, Humboldt-Universität zu Berlin
Weiter sei u0.975 das 0.975-Quantil der
Standardnormalverteilung, d.h
Φ(u0.975 ) = 0.975.
Nachsehen in der Tabelle liefert u0.975 = 1.96.
Aus dem ZGWS folgt
|Sn − np|
P( √
≤ u0.975 ) = 0.95.
V arSn
Die folgenden Ungleichungen gelten jeweils mit Wkt. 0.95:
p
|Sn − np| ≤ 1.96 · np(1 − p)
(Sn − np)2 ≤ 1.962 np(1 − p)
n2 p2 − 2Sn np + Sn2 ≤ 1.962 np − 1.962 np2
567
W.Kössler, Humboldt-Universität zu Berlin
(n2 + 1.962 n)p2 − (1.962 n + 2nSn )p + Sn2 ≤ 0
bzw. wenn wir die Schätzung
Sn
p̂ =
n
für die relative Anzahl der Mädchengeburten einsetzen,
für die Randpunkte des Vertrauensintervalls
r
2
1
1.96
1.962
p1,2 =
np̂ +
± 1.96 np̂(1 − p̂) +
.
2
n + 1.96
2
4
Hier haben wir
Sn
12241392
p̂ =
=
= 0.48633
n
25171123
95%-Vertrauensintervall: [0.48613, 0.48652].
568
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 95 (Fortsetzung des vorigen Beispiels) Angenommen,
es würde gelten p = 21 . Mit welcher Wkt. würden dann
höchstens 12 241 392 auftreten?
Sn − np
12241392 − np P (Sn ≤ 12241392) = P p
≤ p
np(1 − p)
np(1 − p)
12241392 − np
≈ Φ( p
)
np(1 − p)
= Φ(−137.2) ≤ 3 · 10−4091 .
569
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 96 (Roulette) Beim Roulette gibt es 36 Zahlen, 18
davon sind schwarz, 18 sind rot, dazu die 0, die ist grün. Bei
Setzen der richtigen Farbe gibt es den doppelten Einsatz, bei
Setzen der richtigen Zahl den 36 fachen Einsatz. Zwei Spieler
A und B spielen folgende Strategie: A setzt auf Farbe, B auf
Zahl. Beide spielen 100 mal, und jetzen jeweils 10 Euro.
Wie groß ist die Wkt., dass sie nach n = 100 Spielen
mindestens 40 Euro gewonnen haben?
Wir beschreiben die Gewinne/Verluste im i-ten Spiel durch
570
W.Kössler, Humboldt-Universität zu Berlin
Bernoulli-Zufallsvariablen,


10 −10
,
Xi : 
18
37
EXi
V arXi
EYi
V arYi
571
19
37
Yi :


350 −10


1
37
36
37
18
19
10
= 10 ·
− 10 ·
= − =: µA
37
37
37
10 2
2
2
= EXi − (EXi ) = 100 − ( ) =: σA2
37
1
36
10
= 350 ·
− 10 ·
= − =: µB
37
37
37
10 2
2
2 1
2
2 36
2
+ (−10)
− ( ) =: σB
= EYi − (EYi ) = 350
37
37
37
W.Kössler, Humboldt-Universität zu Berlin
P
100
X
i=1
Xi ≥ 40 =
=
=
P
100
X
i=1
Yi ≥ 40 =
=
=
572
P100
40 − nµA i=1 Xi − nµA
≥√ √
P √ √
n V arXi
n V arXi
40 − nµA 1−Φ √ √
n V arXi
1 − Φ(0.067) = 0.47
P100
40 − nµB i=1 Yi − nµB
P √ √
≥√ √
n V arXi
n V arXi
40 − nµB 1−Φ √ √
n V arXi
1 − Φ(0.12) = 0.45
W.Kössler, Humboldt-Universität zu Berlin