Gesetz der großen Zahlen

Gesetz der großen Zahlen
Marie Reichstein
Technische Universität Wien
19. Jänner 2012
M. Reichstein
Seminar 2011
Übersicht
Geschichte
Fragestellung
schwaches Gesetz der großen Zahlen
starkes Gesetz der großen Zahlen
Null-Eins-Gesetze
Anwendungen
M. Reichstein
Seminar 2011
Geschichte
Das Gesetz der großen Zahlen wird der Stochastik in der Mathematik
zugeschrieben.
wichtige Mathematiker zu diesem Thema:
-)
-)
-)
-)
Jakob Bernoulli (1654-1705)
Émile Borel (1871-1956)
Alexander Jakowlewitsch Khintchine (1894-1959)
Andrei Nikolajewitsch Kolmogorov (1903-1987)
M. Reichstein
Seminar 2011
Münzbeispiel
Die relativen Häufigkeiten nähern sich der Wahrscheinlichkeit p an.
P
n
P
= nXi → p ⇔ lim n1 (Xi − IE(Xi )) = 0
n→∞
i=1
M. Reichstein
Seminar 2011
Münzbeispiel
Die relativen Häufigkeiten nähern sich der Wahrscheinlichkeit p an.
P
n
P
= nXi → p ⇔ lim n1 (Xi − IE(Xi )) = 0
n→∞
Anzahl
der Würfe
100
1000
10000
i=1
Kopf
theoretisch
beobachtet
50
48
500
491
5000
4970
Verhältnis
theoretisch
beobachtet
0,5
0,48
0,5
0,491
0,5
0,497
M. Reichstein
Seminar 2011
absoluter relativer
Abstand Abstand
2
0,02
9
0,009
30
0,003
Fragestellung
Unter welchen Bedingungen an die Folge von Zufallsvariablen konvergiert
das arithmetische Mittel, in welchem Sinne konvergiert es und gegen
welchen Grenzwert?
M. Reichstein
Seminar 2011
Fragestellung
Unter welchen Bedingungen an die Folge von Zufallsvariablen konvergiert
das arithmetische Mittel, in welchem Sinne konvergiert es und gegen
welchen Grenzwert?
Unterscheidung aufgrund der Konvergenzart und der Art der
Voraussetzungen an die zugrunde liegenden Zufallsgrößen in das
schwache und das starke Gesetz der großen Zahlen.
M. Reichstein
Seminar 2011
stochastische Konvergenz
Xi heißt stochastisch konvergent gegen X, falls ∀ > 0 gilt:
M. Reichstein
Seminar 2011
stochastische Konvergenz
Xi heißt stochastisch konvergent gegen X, falls ∀ > 0 gilt:
Gültigkeit
lim P(|Xi − X | ≥ ) = 0
i→∞
M. Reichstein
Seminar 2011
fast sichere Konvergenz
Xi heißt fast sicher konvergent gegen X, falls gilt:
M. Reichstein
Seminar 2011
fast sichere Konvergenz
Xi heißt fast sicher konvergent gegen X, falls gilt:
Gültigkeit
P( lim Xi = X ) = 1
i→∞
M. Reichstein
Seminar 2011
Konvergenzarten
M. Reichstein
Seminar 2011
schwaches Gesetz der großen Zahlen
Das schwache Gesetz der großen Zahlen genügt der stochastischen
Konvergenz.
M. Reichstein
Seminar 2011
schwaches Gesetz der großen Zahlen
Das schwache Gesetz der großen Zahlen genügt der stochastischen
Konvergenz.
Gültigkeit
P
lim P(| n1
Xi − p| ≥ ) = 0
M. Reichstein
Seminar 2011
Satz von Khintchine
Annahmen sind:
-)Zufallsvariablen integrierbar
-)Zufallsvariablen paarweise unkorreliert
n
P
-) lim n12
V (Xi ) = 0
n→∞
i=1
Satz
Gelten diese drei Annahmen so gilt das schwache Gesetz der großen
Zahlen.
M. Reichstein
Seminar 2011
starkes Gesetz der großen Zahlen
Das starke Gesetz der großen Zahlen genügt der fast sicheren
Konvergenz.
M. Reichstein
Seminar 2011
starkes Gesetz der großen Zahlen
Das starke Gesetz der großen Zahlen genügt der fast sicheren
Konvergenz.
Voraussetzungen
(Xn )n∈N identisch verteilt, unabhängig, IE(Xn ) = µ, V (Xn ) = σ 2 < ∞
n
P
⇒ lim n1
Xk = µ f.s.
n→∞
k=1
M. Reichstein
Seminar 2011
Satz von Etemadi
Annahmen sind:
-)Zufallsvariablen integrierbar
-)Zufallsvariablen haben jeweils dieselbe Verteilung
-)je zwei Zufallsvariablen unabhängig
Satz
Gelten diese drei Annahmen so gilt das starke Gesetz der großen Zahlen.
M. Reichstein
Seminar 2011
Kriterium für das starke Gesetz der großen Zahlen
Eine Folge (Xn )n∈N von reellen Zufallsvariablen genügt dem starken
Gesetz der großen Zahlen, wenn die Folge unabhängig ist, quadratisch
∞
P
n−2 V (Xn ) < ∞.
integrierbar ist und
n=1
Dann folgt nämlich:
1
n
n
P
(Xi − IE(Xi )) → 0 f.s.
i=1
M. Reichstein
Seminar 2011
Kolmogorovsches Gesetz
Fordert man die Unabhängigkeit der gesamten Folge anstatt nur der
paarweisen Unabhängigkeit, so ergibt sich das Gesetz von Kolmogorov.
Satz
Jede unabhängige Folge integrierbarer, identisch verteilter und reeller
Zufallsvariablen genügen dem starken Gesetz der großen Zahlen.
M. Reichstein
Seminar 2011
0-1-Gesetz von Borel-Cantelli
Bei einer unabhängigen Folge von Ereignissen (An )n∈N gilt, dass die
Wahrscheinlichkeit für das Eintreten unendlich vieler dieser An entweder
0 oder 1 ist.
Annahme
P
P(An ) < ∞ ⇒ P(lim sup An ) = 0
n→∞
M. Reichstein
Seminar 2011
0-1-Gesetz von Borel-Cantelli
Bei einer unabhängigen Folge von Ereignissen (An )n∈N gilt, dass die
Wahrscheinlichkeit für das Eintreten unendlich vieler dieser An entweder
0 oder 1 ist.
Annahme
P
P(An ) < ∞ ⇒ P(lim sup An ) = 0
n→∞
oder
Annahme
P
P(An ) = ∞ ⇒ P(lim sup An ) = 1
n→∞
M. Reichstein
Seminar 2011
Kolmogorovsches 0-1-Gesetz
τn := σ(∪∞
m=n Am ) die durch An , An+1 , .. erzeugte σ-Algebra.
τ∞ := ∩∞
n=1 τn
bezeichnet nun die σ -Algebra der terminalen Ereignisse der Folge (An )n∈N .
M. Reichstein
Seminar 2011
Kolmogorovsches 0-1-Gesetz
τn := σ(∪∞
m=n Am ) die durch An , An+1 , .. erzeugte σ-Algebra.
τ∞ := ∩∞
n=1 τn
bezeichnet nun die σ -Algebra der terminalen Ereignisse der Folge (An )n∈N .
(An )n∈N unabhängige Folge von σ-Algebren (An )n∈N ⊂ A
⇒ Für jedes terminale Ereignis X der Folge gilt, dass entweder P(X ) = 0
oder P(X ) = 1
M. Reichstein
Seminar 2011
0-1-Gesetz von Hewitt-Savage
Menge A ∈ B permutierbar bezüglich X ⇔ 1A permutierbar
Anders angeschrieben bedeutet das, dass {τ X ∈ A} = {X ∈ A}
∀ endlichen Permutationen τ von N
M. Reichstein
Seminar 2011
0-1-Gesetz von Hewitt-Savage
Menge A ∈ B permutierbar bezüglich X ⇔ 1A permutierbar
Anders angeschrieben bedeutet das, dass {τ X ∈ A} = {X ∈ A}
∀ endlichen Permutationen τ von N
(Xn )n∈N unabhängig und identisch verteilte Folge reeller Zufallsvariablen
⇒ so gilt für jede bezüglich X =
∞
N
Xn permutierbare Menge A ∈ B,
n=1
dass P{X ∈ A} = PX (A) = 0 oder PX (A) = 1
M. Reichstein
Seminar 2011
Konsistente Schätzung von Erwartungswert und Varianz
Seien X1 , X2 , .. identisch verteilte Zufallsvariablen, die unabhängig sind
mit IE(Xi )2 < ∞, so gilt:
Schätzungen
1) Erwartungswert: Sn = n1 Sn → IE(X1 ) f.s
n
P
1
2) Varianz: Sn2 = n−1
(Xi − Sn )2 → σ 2 f.s
i=1
M. Reichstein
Seminar 2011
Monte-Carlo-Methode
Starkes
Gesetz der großen Zahlen um eine Näherung des Integralwerts
R
fdλ zu erhalten.
M. Reichstein
Seminar 2011
Monte-Carlo-Methode
Starkes
Gesetz der großen Zahlen um eine Näherung des Integralwerts
R
fdλ zu erhalten.
Unabhängige auf [0, 1] identisch verteilte Zufallsvariablen
X1 , Y1 , X2 , Y2 , ...
Zn := 1{Xn ≤f (Yn )} ∀n ∈ N
R1
⇒ IEZ1 = P(X1 ≤ f (Y1 )) = f (y )λ(dy )
0
M. Reichstein
Seminar 2011
Monte-Carlo-Methode
Starkes
Gesetz der großen Zahlen um eine Näherung des Integralwerts
R
fdλ zu erhalten.
Unabhängige auf [0, 1] identisch verteilte Zufallsvariablen
X1 , Y1 , X2 , Y2 , ...
Zn := 1{Xn ≤f (Yn )} ∀n ∈ N
R1
⇒ IEZ1 = P(X1 ≤ f (Y1 )) = f (y )λ(dy )
0
n
P
1
Zk
n
n→∞ k=1
Mit starkem Gesetz der großen Zahlen ⇒ lim
M. Reichstein
Seminar 2011
=
R1
0
f (y )λ(dy ) f.s
Relative Häufigkeit des Auftretens von Ziffern in der
Zahlentheorie
x ∈ [0, 1]
x = 0, 1 2 ... oder x =
∞
P
i=1
i (x)
2i
⇒ Wie groß ist die relative Häufigkeit der Ziffer 1 in der Folge 1 , 2 , ..?
ges.:Grenzwert der Folge
vn
n
t-adische Entwicklung ⇒ x =
∞
P
i=1
(t)
i (x)
ti
M. Reichstein
Seminar 2011
Relative Häufigkeit des Auftretens von Ziffern in der
Zahlentheorie
(t)
ψk,n (x) =
(t)
(
(t)
ϕi,k (x) =
(t)
(t)
ϕ1,k (x)+ϕ2,k (x)+...+ϕn,k (x)
,
n
wobei
(t)
1 für i (x) = k
(t)
0 für i (x) 6= k
M. Reichstein
Seminar 2011
Relative Häufigkeit des Auftretens von Ziffern in der
Zahlentheorie
(t)
ψk,n (x) =
(t)
(
(t)
ϕi,k (x) =
(t)
(t)
ϕ1,k (x)+ϕ2,k (x)+...+ϕn,k (x)
,
n
wobei
(t)
1 für i (x) = k
(t)
0 für i (x) 6= k
(t)
Zahl x ∈ [0, 1] heißt normal, falls lim ψk,n (x0 ) =
n→∞
(t)
ϕi,k (x) unabhängig und
R1
(t)
ϕn,k (x)dx =
0
1
t
1
t
⇒ fast jedes x ∈ [0, 1] ist normal (starkes Gesetz der großen Zahlen)
M. Reichstein
Seminar 2011
Approximationsatz von Weierstrass
Jede stetige reelle Funktion f auf einem kompakten Intervall [a, b] ⊂ R
kann gleichmäßig durch Polynome approximiert werden.
M. Reichstein
Seminar 2011
Approximationsatz von Weierstrass
Jede stetige reelle Funktion f auf einem kompakten Intervall [a, b] ⊂ R
kann gleichmäßig durch Polynome approximiert werden.
Bernsteinpolynome
n
P
Bnf (x) =
f ( kn ) kn x k (1 − x)n−k
k=0
⇒ Die Folge der Bernsteinpolynome einer stetigen Funktion f auf dem
Intervall [0, 1] konvergiert gleichmäßig gegen f .
Mit starkem Gesetz der großen Zahlen:
⇒ Sn∗ = n1 Sn → p f.s für p ∈ [0, 1].
M. Reichstein
Seminar 2011
Grenzverhalten von Summenvariablen
Sn := X1 + ... + Xn , wobei S0 := 0 und IE(Xn ) = µ
M. Reichstein
Seminar 2011
Grenzverhalten von Summenvariablen
Sn := X1 + ... + Xn , wobei S0 := 0 und IE(Xn ) = µ
µ>0
1
n Sn → µ f.s. ⇒ lim Sn = ∞ f.s.
n→∞
M. Reichstein
Seminar 2011
Grenzverhalten von Summenvariablen
Sn := X1 + ... + Xn , wobei S0 := 0 und IE(Xn ) = µ
µ>0
1
n Sn → µ f.s. ⇒ lim Sn = ∞ f.s.
n→∞
µ<0
lim Sn = −∞ f.s.
n→∞
M. Reichstein
Seminar 2011
Grenzverhalten von Summenvariablen
Sn := X1 + ... + Xn , wobei S0 := 0 und IE(Xn ) = µ
µ>0
1
n Sn → µ f.s. ⇒ lim Sn = ∞ f.s.
n→∞
µ<0
lim Sn = −∞ f.s.
n→∞
µ=0
P
1
→
n Sn −
∞
P
⇒
0 ⇒ P{|Sn | < n} > 12 ,
∀ > 0 ∀n ≥ n0 .
P{|Sn | < 1} = ∞.
n=0
lim inf Sn = −∞ und lim sup Sn = ∞
n→∞
n→∞
M. Reichstein
Seminar 2011
Grenzverhalten von Summenvariablen
Äquivalente Punkte:
(a) µ = 0
∞
P
P{|Sn | < } = ∞
(b) ∀ > 0 ⇒
n=1
(c) ∀ > 0 ⇒ P{|Sn | < für unendlich viele n} = 1
(d) −∞ = lim inf Sn < lim sup Sn = ∞ f.s
n→∞
n→∞
M. Reichstein
Seminar 2011
Grenzverhalten von Summenvariablen
Äquivalente Punkte:
(a) µ = 0
∞
P
P{|Sn | < } = ∞
(b) ∀ > 0 ⇒
n=1
(c) ∀ > 0 ⇒ P{|Sn | < für unendlich viele n} = 1
(d) −∞ = lim inf Sn < lim sup Sn = ∞ f.s
n→∞
n→∞
Punkt x rekurrent ⇔ Irrfahrt nähert sich dem Punkt x = 0, bis auf ein
beliebig vorgebbares > 0 unendlich oft.
µ>0
transiente Irrfahrten
µ<0
M. Reichstein
Seminar 2011
Literaturverzeichnis
Heinz Bauer Wahrscheinlichkeitstheorie Walter de Gruyter, 1991,
4.Auflage
Revesz Pal Die Gesetze der grossen Zahlen Birkhäuser Verlag
Basel und Stuttgart, 1968
M. Reichstein
Seminar 2011
Danke
M. Reichstein
Seminar 2011