i ≤ n

Kapitel 3.
Grenzwertsätze
Sei X1 , X2 , . . . eine Folge von Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, A, P ).
Wir betrachten die Summen
Sn = X1 + . . . + Xn
und interessieren uns für das asymptotische Verhalten von Sn für n → ∞. Die Gesetze
der grossen Zahlen beschreiben die Konvergenz der Mittelwerte n1 Sn , während der
zentrale Grenzwertsatz die Form der Verteilung von Sn angibt. Der wichtigste Fall
ist der, wo die Xi i.i.d. (unabhängig und identisch verteilt = independent and identically
distributed) sind.
3.1 Schwaches Gesetz der grossen Zahlen
Wir nehmen an, dass alle Xi einen gemeinsamen Erwartungswert E[Xi ] = m haben.
Wir sagen, dass das schwache Gesetz der grossen Zahlen gilt, falls für alle ε > 0
¯
·¯
¸
¯ Sn
¯
P ¯¯ − m¯¯ > ε −→ 0 für n → ∞.
(3.1)
n
Mit der Chebyshev-Ungleichung folgt:
¯
·¯
¸
¯ Sn
¯
Var(Sn )
Var (Sn /n)
P ¯¯ − m¯¯ > ε ≤
=
2
n
ε
n2 ε2
(3.2)
Wenn die Xi i.i.d. sind, dann Var(Sn ) = n Var(X1 ) also gilt das schwache Gesetz der
grossen Zahlen für Xi i.i.d., E [Xi2 ] < ∞. Wenn die Xi unkorreliert sind, gilt Var(Sn ) =
Pn
Pn
2
i=1 Var(Xi ) so dass
i=1 Var(Xi ) = o(n ) hinreichend ist für das schwache Gesetz der
grossen Zahlen.
3.2 Starkes Gesetz der grossen Zahlen
¯
£¯
¤
Statt P ¯ Snn − m¯ ≤ ε −→ 1 (n → ∞) ∀ε > 0 versuchen wir jetzt die stärkere Aussage
"
lim P
n
¯
¾#
\ ½¯¯ Sk
¯
¯ − m¯ ≤ ε
= 1 ∀ε > 0
¯
¯k
k≥n
1
(3.3)
¡ ¢
zu beweisen, d.h. Skk bleibt für alle k ≥ n in der Nähe vom Erwartungswert m. Wegen
der Stetigkeit von P (Satz 2.1) ist dies äquivalent zu:
"
¯
¾#
[ \ ½¯¯ Sk
¯
¯ − m¯ ≤ ε
P
= 1 ∀ε > 0, bzw.
(3.4)
¯k
¯
n k≥n
"
¯
¾#
·
¸
\ [ \ ½¯¯ Sk
¯
Sn n→∞
¯
¯
P
=P
−→ m = 1.
(3.5)
¯ k − m¯ ≤ ε
n
ε>0 n
k≥n
Allgemein denieren wir für Zufallsvariablen Z, Z1 , Z2 , . . . auf einem Wahrscheinlichkeitsraum (Ω, A, P )
a) Stochastische Konvergenz oder Konvergenz in Wahrscheinlichkeit von Zn gegen
Z:
∀ε > 0
(3.6)
lim P [|Zn − Z| > ε] = 0
n→∞
b) Fast-sichere Konvergenz von Zn gegen Z :
(3.7)
P [{ω| lim Zn (ω) = Z(ω)}] = 1.
Satz 3.1
i) Fast-sichere Konvergenz impliziert stochastische Konvergenz.
P
ii) Wenn n P [|Zn − Z| > ε] < ∞ ∀ε > 0, dann konvergiert Zn f.s. gegen Z .
Korollar
3.1 Wenn (Zn ) stochastisch gegen Z konvergiert, dann existiert eine Teilfolge
¡ ¢
Znj , welche f.s. gegen Z konvergiert.
Wenn P
gilt.
£ Sn
n
¤
→ m = 1, dann sagen wir, dass das starke Gesetz der grossen Zahlen
Satz 3.2 Sei (Xi ) i.i.d. mit E[Xi2 ] < ∞. Dann konvergiert
E[Xi ].
Sn
n
fast sicher gegen m =
Ergänzungen (ohne Beweise)
• Gesetz vom iterierten Logarithmus (Hartman - Winter, 1941).
Sei (Xi ) seien i.i.d., E[Xi ] = m, Var(Xi ) = σ 2 < ∞. Dann gilt mit Wahrscheinlichkeit 1:
Sn − nm
lim sup p
= 1, lim inf . . . = −1.
2σ 2 n log (log(n))
2
Das besagt, dass für jedes ε > 0 mit Wahrscheinlichkeit 1
r
¯
¯
¯ Sn
¯
¯ − m¯ > (1 + ε)σ 2 log (log(n)) nur für endlich viele n's,
¯n
¯
n
r
¯
¯
¯ Sn
¯
¯ − m¯ > (1 − ε)σ 2 log (log(n)) für unendlich viele n's,
¯n
¯
n
¯
¯
d.h. man weiÿ recht genau, wie gross die Abweichungen ¯ Snn − m¯ sind.
• Notwendige und hinreichende Bedingungen für das starke Gesetz der grossen Zahlen (Kolmogorov): Sei (Xi ) i.i.d. Dann gilt Snn → m ∈ R fast sicher genau dann,
wenn E [|Xi |] < ∞ und m = E[Xi ].
3.3 Zentraler Grenzwertsatz
Sei Xi unabhängige Zufallsvariablen mit E[Xi ] = mi und Var(Xi ) = σi2 < ∞. Wir
standardisieren Sn , so dass der Erwartungswert = 0 und die Varianz = 1 ist:
P
Sn − ni=1 mi
Sn − E[Sn ]
∗
= pPn
Sn = p
.
(3.8)
2
σ
Var(Sn )
i=1 i
Denition 3.1 Seien µ und µn Wahrscheinlichkeitsverteilungen auf (R, B). Wir sagen,
dass µn schwach gegen µ konvergiert, falls
Z
Z
f dµn −→
f dµ
(3.9)
für alle f , welche stetig und beschränkt sind.
Lemma 3.1 Seien µ und µn Wahrscheinlichkeitsverteilungen auf (R, B) mit Vertei-
lungsfunktionen F und Fn . Dann sind die folgenden Aussagen äquivalent:
i) µn −→ µ schwach.
ii) limn→∞ Fn (x) = F (x) für jede Stetigkeitsstelle x von F .
R
R
iii) f dµn −→ f dµ für alle f ∈ C 3 (R) mit f, f 0 , f 00 , f 000 beschränkt.
Lemma 3.2 Wenn X1 , X2 unabhängig sind und Xi ∼ N (mi , σi2 ) (i = 1, 2), dann ist
X1 + X2 ∼ N (m1 + m2 , σ12 + σ22 ).
Der Zentrale Grenzwertsatz lautet nun:
3
Satz 3.3 Sei (Xi ) i.i.d. mit E[Xi ] = m und Var(Xi ) = σ 2 < ∞. Dann konvergiert die
Verteilung von Sn∗ schwach gegen N (0, 1), d.h. (gemäss Lemma 3.1, ii))
·
¸
Sn − nm
√
lim P
≤ x = Φ(x) ∀x ∈ R.
n→∞
σ n
Satz 3.4 (Lindeberg) Seien Xn,i (1 ≤ i ≤ n, n ∈ N) Zufallsvariablen mit
a) Xn,1 , . . . , Xn,n sind unabhängig ∀n;
b) E[Xn,i ] = 0,
E
£
2
Xn,i
¤
=
2
σn,i
< ∞,
n
X
2
= 1;
σn,i
i=1
c) lim
n
X
n→∞
£ 2
¤
E Xn,i
1[|Xn,i |>ε] = 0 ∀ε > 0.
i=1
Dann konvergiert die Verteilung von Sn = Xn,1 + . . . + Xn,n schwach gegen N (0, 1).
√
Beweis von Satz 3.3 aus 3.4. Setze Xn,i = (Xi − m)/(σ n). Dann sind a) und b)
oensichtlich erfüllt. Ferner folgt mit dem Konvergenzsatz von Lebesgue, dass für alle
ε>0
n
X
i=1
£ 2
¤
¤
1 £
E Xn,i
1[|Xn,i |>ε] = 2 E (X1 − m)2 1[|X1 −m|>εσ√n] −→ 0 (n → ∞).
σ
¤
£
¤
Beispiel 3.1 Rundungsfehler. Seien X1 , X2 , . . . , Xn i.i.d. U − 21 , 12 . Dann ist E[Xi ] =
0 und Var[Xi ] =
1
,
12
also mit Satz 3.3:
" r
P [a < Sn ≤ b] = P a
à r !
à r !
r #
12
12
12
12
< Sn∗ ≤ b
≈Φ b
−Φ a
.
n
n
n
n
Wenn Rundungsfehler als unabhängig und gleichverteilt angenommen werden können,
dann ist die Wahrscheinlichkeit, dass bei der Addition von n = 100 Zahlen höchstens
eine Stelle verloren geht, gleich
√
√
P [−5 < S100 < 5] ≈ Φ( 3) − Φ(− 3) = 0.917
(im schlimmsten Fall sind es zwei Stellen).
4