6. Gesetze der großen Zahlen und zentraler Grenzwertsatz

25
6. Gesetze der großen Zahlen und zentraler Grenzwertsatz
In diesem Kapitel liege wieder ein W-Raum (S, A, P) zugrunde, Z = Z (S, A, P) sei die Menge
der reellen ZV'en X: S 6 ú. Z ist ein ú-Vektorraum (sogar ein Vektorverband und eine
Algebra). Als Teilraum des Funktionenraumes úS ist in Z die punktweise Konvergenz
erklärt: Xn 6 X :] Xn(T) 6 X(T) für n64 und alle T0S. Ferner sei L = L (S, A, P) der úVektorraum der P-integrierbaren reellen Zufallsvariablen.
6.1 P-fast sichere Konvergenz
Sei (Xn) eine Folge in Z und sei X0Z. Xn 6 X für n64 P-fast sicher (f.s.) :] es existiert N0A
mit P(N) = 0 und lim X n (ω ) = X (ω ) für alle T0S(N.
n→ ∞
Bemerkungen: 1) Sei (Xn) eine Folge in Z und sei X0Z. Dann gilt:
1
{ω ∈ Ω |lim X n (ω ) = X (ω )} = I U I {| X n − X | ≤ } 0 A .
n→ ∞
k
k ≥ 1 m≥ 1 n ≥ m
2) Sei (Xn) eine Folge in Z und seien X, X' 0Z. Falls Xn 6 X f.s. und Xn 6 X' f.s., so ist
X = X' f.s..
3) Sei k0ù und für i=1,...,k seien (Xn(i): n0ù) eine Folge in Z und X(i) 0 Z mit Xn(i) 6 X(i) f.s.
für n64; ferner sei f: úk 6 ú stetig. Dann folgt: f(Xn(1), ..., Xn(k)) 6 f(X(1), ..., X(k)) f.s. für n64.
6.2 Kriterien für P-fast sichere Konvergenz
6.2.1 Sei (Xn) eine Folge in Z und sei X0Z. Dann gilt:
Xn 6 X f.s. ] lim P( sup | X n − X | > ε ) = 0 für alle ,>0.
m→ ∞
n≥ m
6.2.2 Sei (Xn) eine Folge in Z. Dann gilt:
› X0Z mit Xn 6 X f.s. ] lim P( sup | X n − X m | > ε ) = 0 für alle ,>0.
m→ ∞
n≥ m
6.3 Die Ungleichungen von Tschebyschev und von Kolmogorov
var( X )
6.3.1 (Tschebyschev) Für X 0 L und ,>0 gilt: P(| X − E ( X )| > ε ) ≤
ε2
.
6.3.2 (Kolmogorov) Seien X1, ..., Xn unabhängige Zufallsvariable in L und sei
j
var( S n )
S j = ∑ X k für j=1,...,n. Dann gilt für alle ,>0: P( max| S j − E ( S j )| > ε ) ≤
.
2
ε
1≤ j ≤ n
k =1
6.4 P-fast sichere Konvergenz von unendlichen Reihen
∞
∑ var( X
Sei (Xn) eine Folge von unabhängigen ZV'en in L und sei
n
)< ∞.
n= 1
∞
Dann ist
∑ (X
n =1
n
− E ( X n )) P-f.s. konvergent.
6.5 Lemma von Kronecker
∞
Seien (xn) und (bn) Folgen in ú mit 0 < bn84, und sei
xn
∑b
n= 1
n
konvergent. Dann gilt:
26
1
n→ ∞ b
n
lim
n
∑x
j =1
j
= 0.
6.6 Konvergenzkriterium von Kolmogorov
∞
var( X n )
< ∞
n2
n =1
Sei für n0ù Sn := X1 + ... + Xn. Dann gilt: lim n1 ( S n − E ( S n )) = 0 P-f.s.
Sei (Xn) eine Folge von unabhängigen ZV'en in L und gelte
∑
n→ ∞
Bemerkungen: 1) Falls sogar für ein festes :0ú E(Xn) = : für alle n0ù, so ist
lim n1 ( X 1 + ... + X n ) = μ f.s..
n→ ∞
2) (Xn) i.i.d mit X10L², dann gilt: lim n1 ( X 1 + ... + X n ) = μ f.s..
n→ ∞
∞
3) Für alle m0ù gilt:
1
∑n
n= m
2
<
2
.
m
6.7 Das starke Gesetz der großen Zahlen (Kolmogorov)
Sei (Xn) eine Folge von unabhängigen, identisch verteilten, integrierbaren Zufallsvariablen
Sn
= E ( X 1 ) P-f.s..
und sei für n0ù Sn := X1 + ... + Xn. Dann gilt: lim
n→ ∞ n
6.8 Korollar: Satz von Borel
Sei A0A und sei (Xn) eine Folge von unabhängigen Bernoullivariablen, wobei jedes Xn wie1A
verteilt sei. Sn = X1 + ... + Xn kann dann als die Häufigkeit des Eintretens des Ereignisses A
unter den ersten n unabhängigen Wiederholungen des zugrundeliegenden Zufallsexperiments
interpretiert werden, und hn := Sn/n als die zugehörige relative Häufigkeit. Wegen 6.7 gilt:
hn 6 P(A) für n64 P-f.s..
6.9 P-stochastische Konvergenz
Sei (Xn) eine Folge in Z und sei X0Z. Xn 6 X für n64 P-stochastisch (P-st.; nach
Wahrscheinlichkeit P) :] lim P( | X n − X | > ε ) = 0 für alle ,>0.
n→ ∞
Bemerkungen: 1)Wenn (Xn) gegen X P-f.s. konvergiert, so konvergiert (Xn) gegen X auch Pstochastisch.
2) Sei (Xn) eine Folge in Z und seien X, X' 0Z. Falls Xn 6 X P-stoch. und Xn 6 X' P-stoch., so
ist X = X' f.s..
6.10 Schwaches Gesetz der großen Zahlen
Sei (Xn) eine Folge in L 2(S, A, P) und seien die Xn paarweise unkorreliert, also
cov(Xn, Xm) = 0 für n…m. Falls
1 n
6.10.1 lim 2 ∑ var( X i ) = 0 ,
n→ ∞ n
i =1
erfüllt die Folge (Xn) das schwache Gesetz der großen Zahlen, d.h. es gilt
n
1
n
∑ (X
i =1
i
− E ( X i )) 6 0 P-stoch. für n64.
Bemerkung: Die Bedingung 6.10.1 ist insbesondere dann erfüllt, wenn die Folge der
27
Varianzen (var(Xn): n0ù) nach oben beschränkt ist.
6.11 Kriterien für P-stochastische Konvergenz
6.11.1 Sei (Xn) eine Folge in Z und sei X0Z. Dann gilt:
Xn 6 X P-stoch. ] zu jeder Teilfolge (Xn') von (Xn) existiert eine weitere Teilfolge (Xn'') von
(Xn') mit Xn'' 6 X P-f.s..
6.11.2 Sei (Xn) eine Folge in Z. Dann gilt:
› X0Z mit Xn 6 X P-stoch. ] lim sup P(| X n − X m | > ε ) = 0 für alle ,>0.
m→ ∞ n ≥ m
Bemerkung: Sei k0ù und für i=1,...,k seien (Xn(i): n0ù) eine Folge in Z und X(i) 0 Z mit
Xn(i) 6 X(i) P-stoch. für n64; ferner sei f: úk 6 ú stetig. Dann folgt:
f(Xn(1), ..., Xn(k)) 6 f(X(1), ..., X(k)) P-stoch. für n64.
6.12 Schwache Konvergenz
Sei Cb(ú) die Menge aller stetigen und beschränkten Funktionen f: ú 6 ú.
1. Sei (Qn: n0ù) eine Folge von W-Maßen auf (ú,B) und sei Q ein weiteres W-Maß auf
(ú,B). (Qn) konvergiert schwach gegen Q : ] Qn → Q schwach :] If dQn → If dQ für alle
n→ ∞
n→ ∞
f0C (ú).
2. Sei (Xn) eine Folge von reellen Zufallsvariablen (die nicht notwendig auf demselben WRaum definiert sein müssen) und sei X eine weitere reelle ZV. (Xn) konvergiert schwach
gegen X :] Xn → X schwach :] die Folge der Verteilungen ( PX n ) der Xn konvergiert
b
n→ ∞
schwach gegen die Verteilung PX von X.
Bemerkungen: 1) Seien Xn, n0ù, X wie in 6.12.2. Dann gilt: Xn → X schwach ]
n→ ∞
E(f(Xn)) → E(f(X)) für alle f0C b(ú).
n→ ∞
2) Seien (S, A, P) ein W-Raum, (Xn) eine Folge in Z (S, A, P) und sei X0Z (S, A, P).
Falls Xn 6 X P-stoch., so folgt Xn 6 X schwach.
6.13 Charakterisierung der schwachen Konvergenz
Seien Xn, n0ù, X wie in 6.12.2. Für n0ù sei Fn die Verteilungsfunktion von Xn, und F sei die
Verteilungsfunktion von X.
C 2(ú)* bezeichne die Menge aller beschränkten Funktionen f: ú 6 ú , die zweimal
differenzierbar sind und eine gleichmäßig stetige und beschränkte 2.Ableitung besitzen.
Dann sind äquivalent:
(1) Xn 6 X schwach;
(2) lim Fn ( x ) = F ( x ) in jedem Stetigkeitspunkt x der Funktion F;
n→ ∞
(3) E(f(Xn)) → E(f(X)) für alle f0C 2(ú)*.
n→ ∞
Bemerkungen: 1) Seien a, b, c, d 0 ú mit a<b. Dann existiert ein f 0 C 2(ú)* mit f(x) = c für
x#a, f(x) = d für x$b und min(c,d) # f(x) # max(c,d) für alle x0ú.
2) Falls F auf ganz ú stetig ist, folgt aus 6.13 (1) die gleichmäßige Konvergenz der Folge (Fn)
gegen F, also lim sup| Fn ( x ) − F ( x )| = 0 (ohne Beweis).
n→ ∞
x
6.14 Zentraler Grenzwertsatz
Sei (Xn) eine Folge in L 2(S, A, P), wobei die Xn unabhängig und identisch verteilt seien;
ferner sei var(X1)>0. Setze ::= E(X1), F²:= var(X1). Dann gilt:
28
1
σ n
n
∑ (X
i =1
i
− μ ) → ξ schwach, wobei >~N(0,1).
n→ ∞
n
Bemerkung: Seien für n0ù S n =
∑X
S n − nμ
, S n* =
=
Sn − E ( Sn )
. Sn* heißt
var( S n )
standardisierte Summe. Für die Verteilungsfunktion Fn* von Sn* gilt also wegen 6.14 und
Bemerkung 2 zu 6.13: lim sup| Fn* ( x ) − Φ ( x )| = 0 .
n→ ∞
i =1
i
σ n
x
6.15 Korollar: Satz von deMoivre-Laplace
Sei p 0 <0, 1>, und sei (Xn) n0ù eine unabhängige Folge von Bernoullivariablen, wobei für alle
n0ù Xn ~ B(1,p). Da E(X1) = p und var(X1) = p(1-p), folgt nach 6.14
n
∑X
i =1
i
− np
np(1 − p)
⎯⎯⎯
∞ → N ( 0,1) schwach.
n→ ⎯
Dabei ist S n =
n
∑X
i =1
i
~ B(n,p) und S n* =
Für n0ù, k=0,1,...,n folgt: bn , p ( k ): =
k
⎛ n⎞
S n − np
np(1 − p)
∑ ⎜⎝ i ⎟⎠ p (1 − p)
i
⎯⎯⎯
∞ → N ( 0,1) schwach.
n→ ⎯
n−i
i=0
= P(Sn # k) =
k − np
k − np
) . Φ(
).
np(1 − p)
np(1 − p)
Ersetzt man im letzten Term k durch k+1/2 (sogenannte Stetigkeitskorrektur), so erhält man
für große n, k0ù0, a1, a2 0 ù0 mit a1 < a2:
k + 21 − np
);
6.15.1 bn , p ( k ) ≈ Φ (
np(1 − p)
= P( S n* ≤
6.15.2 P(a1 ≤ S n ≤ a 2 ) = bn , p (a 2 ) − bn , p (a1 − 1) . Φ (
a2 +
1
2
− np
)− Φ(
a1 −
1
2
− np
np(1 − p)
np(1 − p)
Die Näherungsformeln 6.15.1 und 6.15.2 beinhalten die Normalapproximation der
Binomialverteilung (mit Stetigkeitskorrektur).
).