13.5 Der zentrale Grenzwertsatz - Humboldt

13.5
Der zentrale Grenzwertsatz
Satz 56 (Der zentrale Grenzwertsatz)
Es seien
X1 , . . . , Xn (n ∈ N) unabhängige, identisch verteilte
zufällige Variablen mit
µ := EXi ;
σ 2 := Var Xi .
Wir definieren für alle n ∈ N Zufallsgrößen Zn , Z n und Yn
n
P
durch: Zn :=
Xi bzw. Z n := Znn und
i=1
√ Zn − µ
Yn = n ·
σ
534
W.Kössler, Humboldt-Universität zu Berlin
Dann gilt:
lim P
n→∞
Z√
n −n·µ
n·σ
<x
=
=
lim P (Yn < x) = Φ(x)
n→∞
√1
2π
Zx
2
e
− t2
dt.
−∞
Beweis: (Als Hilfsmittel werden charakteristische
Funktionen verwendet, siehe unten, für den interessierten
Leser)
535
2
W.Kössler, Humboldt-Universität zu Berlin
Bem.: Die Folge {Yn }n∈N konvergiert in Verteilung gegen
eine Zufallsgröße Z, Yn −→D Z, Z ∼ N (0, 1).
Anwendungen:
• Simulation bei der Erzeugung einer normalverteilten
Zufallsgröße aus Pseudozufallszahlen
• Approximation von Wkt.-verteilungen (insbes. von
Teststatistiken)
536
W.Kössler, Humboldt-Universität zu Berlin
Genauigkeitsabschätzung:
Satz 57 (B ERRY-E SS ÉEN ) Es seien die Voraussetzungen des
zentralen Grenzwertsatzes erfüllt und
M := E|Xi − µ|3 < ∞. Dann gilt:
Z√
n −n·µ
− Φ(x) < K,
P
n·σ
wobei K =
0,8·M
√
σ3 · n
ist.
Bsp. 87 Es seien Xi ∼ R(0, 1),
µ = EXi =
1
2
σ 2 = EXi2 − µ2 =
537
1
12
W.Kössler, Humboldt-Universität zu Berlin
Wir bestimmen die Zahl M :
Z+∞
M = E|Xi − µ|3 =
|x − µ|3 · f (x) dx
=
Z1
−∞
|x − 12 |3 dx = 2 ·
0
538
Z1
1
2
(x − 12 )3 dx =
n
12
100
1000
K
0.3
0.104
0.033
1
32
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 88 Seien Xi ∼ P oi(λ),
EXi = Var Xi = λ
Wir schätzen die Zahl M ab:
M
1
3
=
≤
=
3
E|Xi − λ|
4
E|Xi − λ|
E(Xi − λ)
2
1
4
2
3
4
= (λ + 3λ )
13
14
4
(Lemma 47)
41
Berry-Esseen Schranke:
0.8 · 3
0.8(λ + 3λ )
→λ→∞ √
K≤
3√
n
λ2 n
539
3
4
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 89 Seien Xi ∼ B(1, p), i = 1, . . . , n, unabhängig,


0
1


Xi :
1−p p
• EXi = µ = p;
• Var Xi = σ 2 = p(1 − p).
Wir definieren nun für alle n ∈ N eine Zufallsgröße
Zn :=
n
X
Xi .
i=1
540
W.Kössler, Humboldt-Universität zu Berlin
Die Zufallsgrößen Zn (n ∈ N) haben also folgende Gestalt:


0 1 2 ... n


Zn :
p0 p1 p2 . . . pn
Wir zeigen jetzt: Für alle n ∈ N gilt: Zn ∼ B(n, p),d.h.
n i
pi = i p (1 − p)n−i . Beweis mittels vollständiger Induktion.
IA: Es sei n = 2. Dann gilt:
Z2 = X1 + X2 :
541


0
1
2
p0 p1 p2


W.Kössler, Humboldt-Universität zu Berlin
Wir ermitteln die Wktn. p0 , p1 und p2 :
p0 = P (Z2 = 0)
= P (X1 = 0, X2 = 0)
= P (X1 = 0) · P (X2 = 0)
p1
(Unabh. von X1 und X2 )
2 0
2
= (1 − p) · (1 − p) = (1 − p) =
p (1 − p)2−0
0
= P (Z2 = 1)
= P ({X1 = 1, X2 = 0} ∪ {X1 = 0, X2 = 1})
= P (X1 = 1, X2 = 0) + P (X1 = 0, X2 = 1)
(Unvereinbarkeit der Ereignisse)
542
= P (X1 = 1) · P (X2 = 0) + P (X1 = 0) · P (X2 = 1)
2 1
= p · (1 − p) + (1 − p) · p =
p (1 − p)2−1
1
W.Kössler, Humboldt-Universität zu Berlin
p2 = P (Z2 = 2) = P (X1 = 1, X2 = 1)
2 2
2
= P (X1 = 1) · P (X2 = 1) = p =
p (1 − p)2−2
2
IS: ÜA
Satz 58 (M OIVRE –L APLACE ) Es seien Xi ∼ Bi(1, p),
Pn
unabhängig. Dann gilt für Zn = i=1 Xi (∼ Bi(n, p)):
lim Zn →D Z ∼ N (np, np(1 − p))
Bem.: Der Satz sagt aus, daß für ausreichend großes n ∈ N
die Binomialverteilung durch die (einfachere)
543
W.Kössler, Humboldt-Universität zu Berlin
(Standard–)Normalverteilung ersetzt werden kann,
P (Zn < y) ≈ Φ √ y−n·p
.
n·p·(1−p)
Beweis: Mit EXi = np und Var Xi = np(1 − p) folgt unter
Anwendung des Zentralen Grenzwertsatzes:
y−n·µ
n −n·µ
√
P (Zn < y) = P Z√
<
n·σ
n·σ
= P √Zn −n·p < √ y−n·p
n·p·(1−p)
n·p·(1−p)
≈ Φ √ y−n·p
n·p·(1−p)
2
544
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 90 Es seien n = 1000 und p = 0.4. Gesucht werde die
Wahrscheinlichkeit P (Zn < 300). Es gilt:
X
P (Zn < 300) =
P (Zn = x)
x<300
=
299 X
1000
i=0
i
0.4i (1 − 0.4)1000−i
großer Rechenaufwand.
besser: Anwendung des Satzes von M OIVRE –L APLACE.
545
W.Kössler, Humboldt-Universität zu Berlin
Es gilt:
P (Zn < 300) ≈ Φ
= Φ
√ 300−1000·0,4
1000·0,4·(1−0,4)
−100
√
240
≈Φ
−100
15,49
= Φ(−6.45) = 1 − Φ(6.45) ≈ 0
| {z }
≈1
Bem.: Die Anwendung des Satzes von M OIVRE –L APLACE
setzt voraus, daß n ∈ N hinreichend groß ist.
Faustregel: n · p ≥ 10 und n · (1 − p) ≥ 10.
546
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 91 Wir betrachten P OISSON–verteilte unabhängige
Zufallsgrößen Xi ∼ P oi(λi ) (i = 1, . . . , n,


0 1 2 ... k ...


Xi :
p0 p1 p2 . . . pk . . .
λji
j!
mit pj = · e−λi (i = 1, . . . , n).
EXi = Var Xi = λi .
Zn :=
n
X
Xi
i=1
547
W.Kössler, Humboldt-Universität zu Berlin
Für den Erwartungswert dieser Zufallsgrößen gilt:
!
n
n
n
X
X
X
λi
EXi =
Xi =
EZn = E
i=1
i=1
i=1
Wir nehmen nun an, λi = λ, für alle i = 1, . . . , n. Ohne diese
Annahme haben die Zufallsgrößen Xi verschiedene
Erwartungswerte und Varianzen, so daß der zentrale
Grenzwertsatz (in der angegebenen Form) nicht anwendbar
ist.
Es gilt also unter dieser Annahme:
EXi = µ = λ;
548
Var Xi = σ 2 = λ.
W.Kössler, Humboldt-Universität zu Berlin
Lemma 59 Es seien X1 und X2 unabhängig,
X1 , X2 ∼ P oi(λi ), i = 1, 2). Dann ist die Zufallsgröße
Z2 := X1 + X2 ebenfalls P OISSON–verteilt und es gilt:
Z2 ∼ P oi(λ1 + λ2 ).
(Bem: Vergleichen Sie mit der Faltungsformel für stetige
Zufallsvariablen)
549
W.Kössler, Humboldt-Universität zu Berlin
Beweis: Es gilt für alle k ∈ N:
P (Z2 = k) =
k
X
t=0
=
p1 (t) · p2 (k − t)
k X
λt
1
t!
t=0
=
· e−λ1 ·
k X
λt ·λk−t
1
2
t!·(k−t)!
t=0
= e−(λ1 +λ2 ) ·
=
e−(λ1 +λ2 )
k!
1
k!
λ2k−t
(k−t)!
· e−λ2
· e−(λ1 +λ2 )
·
k
X
λt ·λk−t ·k!
1
2
t!·(k−t)!
t=0
· (λ1 + λ2 )k
(Binomischer Lehrsatz)
2
550
W.Kössler, Humboldt-Universität zu Berlin
Bem. 22 Die Funktionen p1 und p2 heißen auch
Faltungsdichten.
Mittels dieses Lemmas können wir nun unter unserer
Annahme λi = λ (i = 1, . . . , n) schlußfolgern:
Zn =
n
X
i=1
Xi ∼ P oi(n · λ).
Wir wenden jetzt den Zentralen Grenzwertsatz an. Dann
erhalten wir für hinreichend großes λ0 := n · λ:
0
Z√
n −n·µ
n −λ
P Z√
<
x
=
P
< x ≈ Φ(x).
n·σ
λ0
Also kann auch eine P OISSON–Verteilung durch eine
einfachere (Standard–)Normalverteilung ersetzt werden, falls
551
W.Kössler, Humboldt-Universität zu Berlin
die Parameter λi (i = 1, . . . , n) alle gleich λ sind und der
Faktor n · λ hinreichend groß ist (etwa n · λ ≥ 10).
Bem.: Sind die Parameter λi (i = 1, . . . , n) nicht alle gleich,
so gilt die Aussage trotzdem, falls ihre Summe hinreichend
groß ist (≥ 10).
552
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 92 Seien Xi unabhängig, Xi ∼ N (0, 1), i = 1, . . . , n.
Y =
n
X
i=1
Xi2 ∼ χ2n ,
d.h. Y ist χ2 verteilt mit n Freiheitsgraden.

−x
 n 1 x n−2
2 e 2,
falls x ≥ 0
)
2 2 Γ( n
2
fY (y) =
0
sonst.
EY
Var Y
= n
n
X
= E(Y − n)2 = E
(Xi2 − 1)2 = nE(X12 − 1)2
i=1
= nE(X14 − 2EX12 + 1) = n(3 − 2 + 1) = 2n.
553
W.Kössler, Humboldt-Universität zu Berlin
⇒ lim P
n→∞
P(
Pn
n
X
i=1
2
X
i −n
i=1
√
< y = Φ(y).
2n
Xi2
x − n
< x) ≈ Φ √
2n
z.B. n = 30, x = 23.364: P (
Pn
2
X
i < x) = 0.2
i=1
x − n
= Φ(−0.8567) = 1 − 0.8042 = 0.1958.
Φ √
2n
554
W.Kössler, Humboldt-Universität zu Berlin
bleibt z.z.: EXi4 = 3.
Z ∞
2
√
4
4 − x2
2πEXi =
dx
xe
−∞
Z ∞
2
1 −1
2
4 − x2
dx, t = x , dx = t 2 dt
xe
= 2
2
0
Z ∞
Z ∞
3
5
t
t
−
−1
−
t 2 e 2 dt =
t 2 e 2 dt
=
0
EXi4
555
0
1 5
5 5
22 = Γ 2 + 22
= Γ
2 √
2
√
π 5
· 2 2 = 3 · 2π
= 1·3·
4
= 3.
W.Kössler, Humboldt-Universität zu Berlin
Dabei haben wir verwendet:
Z ∞
Γ(λ)
λ−1 −αt
t e dt = λ
α
0
Γ(n + 1) = nΓ(n) = n!
√
1
π
Γ(n + ) = 1 · 3 · 5 · · · (2n − 1) n
2
2
556
W.Kössler, Humboldt-Universität zu Berlin
∗
Beweis des Zentralen Grenzwertsatzes
Sei φX−µ die charakteristische Funktion von Xi − µ. Da die
ersten beiden Momente (µ, σ 2 ) existieren, folgt aus der
Taylorreihendarstellung
1 22
φX−µ (t) = 1 − σ t + o(t2 )
2
Die ZV
557
Xi − µ
√
nσ
haben die charakteristische Funktion
t φX−µ √
,
nσ
Pn Xi −µ
Die ZV Yn = i=1 √nσ hat also die charakteristische
W.Kössler, Humboldt-Universität zu Berlin
Funktion
n
t t2
t2 n
φYn (t) = φX−µ √
= 1−
+ o( ) .
2n
n
nσ
Es gilt:
t2
t2 n
t2
t2 t2
ln 1 −
+ o( ) = n ln 1 −
+ o( ) → − .
2n
n
2n
n
2
(vgl. Taylorreihenentwicklung des Logarithmus)
558
W.Kössler, Humboldt-Universität zu Berlin
t2
ln φYn (t) → −
2
φYn (t) → e
2
− t2
.
D.h. die ch.Fkt. von Yn konvergiert gegen die ch.Fkt. der
Standard-Normalverteilung (sogar gleichmäßig).
Aus dem Konvergenzsatz folgt: Yn → Z ∼ N (0, 1).
559
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 93 Münzwurf: 1000 mal.
Frage: Wie groß ist die Wkt., dass weniger als 475 mal Zahl
fällt?

1
falls Zahl
Xi =
0
sonst
560
W.Kössler, Humboldt-Universität zu Berlin
P(
1000
X
i=1
√
Xi ≤ 475) ≈ P ( 1000
|
1
1000
P
Xi −
q
1
2
1
4
{z
∼N (0,1)
√
0.475 − 0.5
≈ Φ( 1000
)
1
≤
√
1000
475
1000
}
2
= Φ(−1.58) ≈ 0.057.
561
W.Kössler, Humboldt-Universität zu Berlin
−
q
1
4
1
2
Bedeutung des ZGWS in der Statistik
• beim Schätzen
Gesetz der Großen Zahlen: X → µ.
Frage: Wie groß ist der Stichprobenumfang zu wählen, um
eine bestimmte Genauigkeit zu erreichen?
ε, δ vorgegeben, klein (ε, δ < 0.5).
n ist so zu wählen, dass
P (|X − µ| ≤ ε) ≥ 1 − δ
562
W.Kössler, Humboldt-Universität zu Berlin
1 − δ ≤ P (|X − µ| ≤ ε)
√ (|X − µ| √
ε
≤ n√
)
= P( n √
V arX
V arX
√ (|X − µ| √ ε
= P( n
≤ n )
σ
σ
√ ε
= Φ( n )
σ
gdw.
√ ε
Φ (1 − δ) ≤
n
σ
2
−1
σΦ (1 − δ)
n ≥
ε
−1
563
W.Kössler, Humboldt-Universität zu Berlin
Bedeutung des ZGWS in der Statistik
• beim Testen
µ := EX. Wir testen z.B.
H 0 : µ ≤ µ0
gegen
H 1 : µ > µ0
Teststatistik:
√ X − µ0
Tn = n
σ
Tn klein spricht für H0 , Tn groß gegen H0 .
Fehler 1. Art: H0 ablehnen, obwohl richtig
möchte man begrenzen (≤ α)
Fehler 2. Art: H0 annehmen, obwohl falsch
564
W.Kössler, Humboldt-Universität zu Berlin
sollte auch klein sein (≤ β)
Pµ0 (Tn ≥ u1−α ) → α
nach ZGWS
denn
Pµ0 (Tn < u1−α ) → Φ(u1−α ) = 1 − α
(wenn µ < µ0 so Pµ (Tn < u1−α ) > Pµ0 (Tn < u1−α ))
565
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 94 In der BRD gab es im Zeitraum 1970-1990
insgesamt 25 171 123 registrierte Lebendgeburten, davon
waren 12 241 392 Mädchen.
Berechnen Sie die ein 95% Vertrauensintervall für die
Wahrscheinlichkeit einer Mädchengeburt!
Das zufällige Ereignis einer Mädchengeburt wird dargestellt
durch eine Bernoulli-verteilte Zufallsvariable, Xi ∼ B(1, p).
Sei n = 25171123 und
n
X
Xi
Sn =
i=1
die zufällige Anzahl der Mädchengeburten.
Wir wissen, ESn = n · p und Var Sn = n · p · (1 − p).
566
W.Kössler, Humboldt-Universität zu Berlin
Weiter sei u0.975 das 0.975-Quantil der
Standardnormalverteilung, d.h
Φ(u0.975 ) = 0.975.
Nachsehen in der Tabelle liefert u0.975 = 1.96.
Aus dem ZGWS folgt
|Sn − np|
P( √
≤ u0.975 ) = 0.95.
V arSn
Die folgenden Ungleichungen gelten jeweils mit Wkt. 0.95:
p
|Sn − np| ≤ 1.96 · np(1 − p)
(Sn − np)2 ≤ 1.962 np(1 − p)
n2 p2 − 2Sn np + Sn2 ≤ 1.962 np − 1.962 np2
567
W.Kössler, Humboldt-Universität zu Berlin
(n2 + 1.962 n)p2 − (1.962 n + 2nSn )p + Sn2 ≤ 0
bzw. wenn wir die Schätzung
Sn
p̂ =
n
für die Anzahl der Mädchengeburten einsetzen,
für die Randpunkte des Vertrauensintervalls
r
2
1
1.96
1.962
p1,2 =
np̂ +
± 1.96 np̂(1 − p̂) +
.
2
n + 1.96
2
4
Hier haben wir
Sn
12241392
p̂ =
=
= 0.48633
n
25171123
95%-Vertrauensintervall: [0.48613, 0.48652].
568
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 95 (Fortsetzung des vorigen Beispiels) Angenommen,
es würde gelten p = 21 . Mit welcher Wkt. würden dann
höchstens 12 241 392 auftreten?
Sn − np
12241392 − np P (Sn ≤ 12241392) = P p
≤ p
np(1 − p)
np(1 − p)
12241392 − np
= Φ( p
)
np(1 − p)
= Φ(−137.2) ≤ 3 · 10−4091 .
569
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 96 (Roulette) Beim Roulette gibt es 36 Zahlen, die
geraden sind schwarz, die ungeraden rot, dazu die 37, die ist
grün. Bei Setzen der richtigen Farbe gibt es den doppelten
Einsatz, bei Setzen der richtigen Zahl den 36 fachen Einsatz.
Zwei Spieler A und B spielen folgende Strategie: A setzt auf
Farbe, B auf Zahl. Beide spielen 100 mal, und jetzen jeweils
10 Euro.
Wie groß ist die Wkt., dass sie nach 100 Spielen mindestens
40 Euro gewonnen haben?
Wir beschreiben die Gewinne/Verluste im i-ten Spiel durch
570
W.Kössler, Humboldt-Universität zu Berlin
Bernoulli-Zufallsvariablen,


10 −10
,
Xi : 
18
37
EXi
V arXi
EYi
V arYi
571
19
37
Yi :


350 −10


1
37
36
37
18
19
10
= 10 ·
− 10 ·
= − =: µA
37
37
37
10 2
2
2
= EXi − (EXi ) = 100 − ( ) =: σA2
37
1
36
10
= 350 ·
− 10 ·
= − =: µB
37
37
37
10 2
2
2 1
2
2 36
2
+ (−10)
− ( ) =: σB
= EYi − (EYi ) = 350
37
37
37
W.Kössler, Humboldt-Universität zu Berlin
P
100
X
i=1
Xi ≥ 40 =
=
=
P
100
X
i=1
Yi ≥ 40 =
=
=
572
P100
40 − nµA i=1 Xi − nµA
≥√ √
P √ √
n V arXi
n V arXi
40 − nµA 1−Φ √ √
n V arXi
1 − Φ(0.067) = 0.47
P100
40 − nµB i=1 Yi − nµB
P √ √
≥√ √
n V arXi
n V arXi
40 − nµB 1−Φ √ √
n V arXi
1 − Φ(0.12) = 0.45
W.Kössler, Humboldt-Universität zu Berlin