Vorlesung 5a

Vorlesung 5a
1
Vorlesung 5a
Das Gesetz der Großen Zahlen
Sei X1, X2, . . . eine Folge reellwertiger Zufallsvariabler
mit ein-und demselben endlichen Erwartungswert µ
2
Sei X1, X2, . . . eine Folge reellwertiger Zufallsvariabler
mit ein-und demselben endlichen Erwartungswert µ
und ein-und derselben endlichen Varianz σ 2.
Sei X1, X2, . . . eine Folge reellwertiger Zufallsvariabler
mit ein-und demselben endlichen Erwartungswert µ
und ein-und derselben endlichen Varianz σ 2.
Dafür hinreichend ist:
Sei X1, X2, . . . eine Folge reellwertiger Zufallsvariabler
mit ein-und demselben endlichen Erwartungswert µ
und ein-und derselben endlichen Varianz σ 2.
Dafür hinreichend ist:
Die Xi sind identisch verteilt
(d.h. haben ein-und dieselbe Verteilung),
mit E[|X1|] < ∞, VarX1 < ∞.
Sei X1, X2, . . . eine Folge reellwertiger Zufallsvariabler
mit ein-und demselben endlichen Erwartungswert µ
und ein-und derselben endlichen Varianz σ 2.
Dafür hinreichend ist:
Die Xi sind identisch verteilt
(d.h. haben ein-und dieselbe Verteilung),
mit E[|X1|] < ∞, VarX1 < ∞.
Annahme: Die Xi sind paarweise unkorreliert.
X1 + · · · + Xn
Mn :=
n
3
X1 + · · · + Xn
Mn :=
n
EMn = µ
X1 + · · · + Xn
Mn :=
n
EMn = µ
1
σ2
2
Var Mn = 2 nσ =
→ 0
n
n
für n → ∞.
X1 + · · · + Xn
Mn :=
n
EMn = µ
1
σ2
2
Var Mn = 2 nσ =
→ 0
n
n
Beispiel:
für n → ∞.
p-Münzwurf:
X1 + · · · + Xn
Mn :=
n
EMn = µ
1
σ2
2
Var Mn = 2 nσ =
→ 0
n
n
Beispiel:
EMn = p,
für n → ∞.
p-Münzwurf:
2
σM
n
pq
= .
n
Die Standardabweichung (“Streuung”) von Mn
4
Die Standardabweichung (“Streuung”) von Mn
konvergiert gegen 0.
Die Standardabweichung (“Streuung”) von Mn
konvergiert gegen 0.
Für große n streut also Mn immer weniger
Die Standardabweichung (“Streuung”) von Mn
konvergiert gegen 0.
Für große n streut also Mn immer weniger
um seinen Erwartungswert, und der ist µ.
Die Standardabweichung (“Streuung”) von Mn
konvergiert gegen 0.
Für große n streut also Mn immer weniger
um seinen Erwartungswert, und der ist µ.
Dies impliziert (Beweis folgt):
Satz: Schwaches Gesetz der großen Zahlen
5
Satz: Schwaches Gesetz der großen Zahlen
X1, X2, . . . seien identisch verteilte
reellwertige Zufallsvariabe
Satz: Schwaches Gesetz der großen Zahlen
X1, X2, . . . seien identisch verteilte
reellwertige Zufallsvariabe
mit endlichem Erwartungswert µ und endlicher Varianz σ 2.
Satz: Schwaches Gesetz der großen Zahlen
X1, X2, . . . seien identisch verteilte
reellwertige Zufallsvariabe
mit endlichem Erwartungswert µ und endlicher Varianz σ 2.
Die Xi seien paarweise unkorreliert
(d.h. Cov(Xi, Xj ) = 0 für i 6= j.)
X1 + · · · + Xn
Mn :=
n
Satz: Schwaches Gesetz der großen Zahlen
X1, X2, . . . seien identisch verteilte
reellwertige Zufallsvariabe
mit endlichem Erwartungswert µ und endlicher Varianz σ 2.
Die Xi seien paarweise unkorreliert
(d.h. Cov(Xi, Xj ) = 0 für i 6= j.)
X1 + · · · + Xn
Mn :=
n
Dann gilt für alle ε > 0 :
Satz: Schwaches Gesetz der großen Zahlen
X1, X2, . . . seien identisch verteilte
reellwertige Zufallsvariabe
mit endlichem Erwartungswert µ und endlicher Varianz σ 2.
Die Xi seien paarweise unkorreliert
(d.h. Cov(Xi, Xj ) = 0 für i 6= j.)
X1 + · · · + Xn
Mn :=
n
Dann gilt für alle ε > 0 :
P{|Mn − µ| > ε} → 0
für n → ∞.
Statt
Für alle ε > 0 gilt
P{|Mn − µ| > ε} → 0
für n → ∞
6
Statt
Für alle ε > 0 gilt
P{|Mn − µ| > ε} → 0
für n → ∞
sagt man auch:
Statt
Für alle ε > 0 gilt
P{|Mn − µ| > ε} → 0
für n → ∞
sagt man auch:
Mn konvergiert in Wahrscheinlichkeit gegen µ.
Der Beweis des Gesetzes der großen Zahlen beruht
auf zwei wichtigen Hilfssätzen:
7
Der Beweis des Gesetzes der großen Zahlen beruht
auf zwei wichtigen Hilfssätzen:
Lemma 1 (Ungleichung von Markov)
Der Beweis des Gesetzes der großen Zahlen beruht
auf zwei wichtigen Hilfssätzen:
Lemma 1 (Ungleichung von Markov)
X sei R+-wertige Zufallsvariable.
Der Beweis des Gesetzes der großen Zahlen beruht
auf zwei wichtigen Hilfssätzen:
Lemma 1 (Ungleichung von Markov)
X sei R+-wertige Zufallsvariable.
Dann gilt für alle c > 0 :
Der Beweis des Gesetzes der großen Zahlen beruht
auf zwei wichtigen Hilfssätzen:
Lemma 1 (Ungleichung von Markov)
X sei R+-wertige Zufallsvariable.
Dann gilt für alle c > 0 :
c P{X ≥ c} ≤ E[X].
Beweis:
8
Beweis:
c P{X ≥ c} = c P{1[c,∞)(X) = 1}
Beweis:
c P{X ≥ c} = c P{1[c,∞)(X) = 1}
= cE[1[c,∞)(X)]
Beweis:
c P{X ≥ c} = c P{1[c,∞)(X) = 1}
= cE[1[c,∞)(X)]
= E[c1[c,∞)(X)]
Beweis:
c P{X ≥ c} = c P{1[c,∞)(X) = 1}
= cE[1[c,∞)(X)]
= E[c1[c,∞)(X)]
≤ E[X]
Beweis:
c P{X ≥ c} = c P{1[c,∞)(X) = 1}
= cE[1[c,∞)(X)]
= E[c1[c,∞)(X)]
≤ E[X]
(denn für g ≤ h ist
E[g(X)] ≤ E[h(X)].)
Lemma 2 (Ungleichung von Tschebyschev)
9
Lemma 2 (Ungleichung von Tschebyschev)
Y sei reellwertige Zufallsvariable
mit endlichem Erwartungswert µ.
Lemma 2 (Ungleichung von Tschebyschev)
Y sei reellwertige Zufallsvariable
mit endlichem Erwartungswert µ.
Dann gilt:
Lemma 2 (Ungleichung von Tschebyschev)
Y sei reellwertige Zufallsvariable
mit endlichem Erwartungswert µ.
Dann gilt:
1
P{|Y − µ| ≥ ε} ≤ 2 VarY.
ε
Beweis:
10
Beweis:
2
2
P{|Y − µ| ≥ ε }
Markov
≤
1
2
E
|Y
−
µ|
ε2
Beweis:
2
2
P{|Y − µ| ≥ ε }
Markov
≤
1
= 2 VarY.
ε
1
2
E
|Y
−
µ|
ε2
Beweis des Gesetzes der großen Zahlen:
11
Beweis des Gesetzes der großen Zahlen:
P{|Mn − µ| ≥ ε}
Tschebyschev
≤
1
VarMn
2
ε
Beweis des Gesetzes der großen Zahlen:
P{|Mn − µ| ≥ ε}
Tschebyschev
≤
1 1 2
= 2 σ → 0.
ε n
1
VarMn
2
ε
Als nächstes lernen wir eine Eigenschaft
von zufälligen Paaren (X, Y ) kennen,
12
Als nächstes lernen wir eine Eigenschaft
von zufälligen Paaren (X, Y ) kennen,
die garantiert, dass
reellwertige Verarbeitungen g(X), h(Y )
unkorreliert sind (d.h. Covarianz Null haben).
Die Unabhängigkeit
zweier Zufallsvariabler
13
Zwei diskrete Zufallsvariable X und Y
14
Zwei diskrete Zufallsvariable X und Y
mit Zielbereichen S, S ′ (nicht notwendig Teilmengen von R)
Zwei diskrete Zufallsvariable X und Y
mit Zielbereichen S, S ′ (nicht notwendig Teilmengen von R)
heißen unabhängig :⇐⇒
Zwei diskrete Zufallsvariable X und Y
mit Zielbereichen S, S ′ (nicht notwendig Teilmengen von R)
heißen unabhängig :⇐⇒
P{X = x, Y = y} = P{X = x}P{Y = y} ∀x ∈ S, y ∈ S ′.
Zwei diskrete Zufallsvariable X und Y
mit Zielbereichen S, S ′ (nicht notwendig Teilmengen von R)
heißen unabhängig :⇐⇒
P{X = x, Y = y} = P{X = x}P{Y = y} ∀x ∈ S, y ∈ S ′.
Beispiele:
Zwei diskrete Zufallsvariable X und Y
mit Zielbereichen S, S ′ (nicht notwendig Teilmengen von R)
heißen unabhängig :⇐⇒
P{X = x, Y = y} = P{X = x}P{Y = y} ∀x ∈ S, y ∈ S ′.
Beispiele:
Münzwurf, Würfeln.
Satz:
15
Satz:
Sind X, Y unabhängige Zufallsvariable
mit Zielbereichen S und S ′, dann gilt
Satz:
Sind X, Y unabhängige Zufallsvariable
mit Zielbereichen S und S ′, dann gilt
E[g(X) h(Y )] = E[g(X)] E[h(Y )]
Satz:
Sind X, Y unabhängige Zufallsvariable
mit Zielbereichen S und S ′, dann gilt
E[g(X) h(Y )] = E[g(X)] E[h(Y )]
für alle g : S → R, h : S ′ → R so, dass
g(X) und h(Y ) endlichen Erwartungswert haben.
Beweis:
16
Beweis:
Nach dem Transformationssatz (Vorlesung 3a) ist
Beweis:
Nach dem Transformationssatz (Vorlesung 3a) ist
E[g(X) h(Y )] =
X
(x,y)
g(x)h(y)P{X = x, Y = y}
Beweis:
Nach dem Transformationssatz (Vorlesung 3a) ist
E[g(X) h(Y )] =
X
g(x)h(y)P{X = x, Y = y}
(x,y)
=
X
(x,y)
g(x)h(y)P{X = x}P{Y = y}
Beweis:
Nach dem Transformationssatz (Vorlesung 3a) ist
E[g(X) h(Y )] =
X
g(x)h(y)P{X = x, Y = y}
(x,y)
=
X
g(x)h(y)P{X = x}P{Y = y}
(x,y)
=
X
x
g(x)P{X = x}
X
y
h(y)P{Y = y}
Beweis:
Nach dem Transformationssatz (Vorlesung 3a) ist
E[g(X) h(Y )] =
X
g(x)h(y)P{X = x, Y = y}
(x,y)
=
X
g(x)h(y)P{X = x}P{Y = y}
(x,y)
=
X
x
g(x)P{X = x}
X
y
h(y)P{Y = y}
= E[g(X)] E[h(Y )].
Korollar:
17
Korollar:
Ist X1, X2, ... eine Folge von paarweise unabhängigen,
identisch verteilten Zufallsvariablen mit Zielbereich S,
Korollar:
Ist X1, X2, ... eine Folge von paarweise unabhängigen,
identisch verteilten Zufallsvariablen mit Zielbereich S,
und ist h : S → R so, dass h(X1) endliche Varianz hat, ∗
∗ man
kann mit mehr Aufwand zeigen, dass die Endlichkeit des Erwartungswertes reicht
Korollar:
Ist X1, X2, ... eine Folge von paarweise unabhängigen,
identisch verteilten Zufallsvariablen mit Zielbereich S,
und ist h : S → R so, dass h(X1) endliche Varianz hat, ∗
dann konvergiert
1
h(X1) + · · · h(Xn)
n
in Wahrscheinlichkeit gegen E[h(X1)].
∗ man
kann mit mehr Aufwand zeigen, dass die Endlichkeit des Erwartungswertes reicht
Speziell erhalten wir die
18
Speziell erhalten wir die
Konvergenz der empirischen Verteilung:
Speziell erhalten wir die
Konvergenz der empirischen Verteilung:
Ist B ⊂ S , dann konvergiert
#{i ∈ {1, . . . , n} : Xi ∈ B}
Speziell erhalten wir die
Konvergenz der empirischen Verteilung:
Ist B ⊂ S , dann konvergiert
#{i ∈ {1, . . . , n} : Xi ∈ B}
für n → ∞ in Wahrscheinlichkeit gegen
Speziell erhalten wir die
Konvergenz der empirischen Verteilung:
Ist B ⊂ S , dann konvergiert
#{i ∈ {1, . . . , n} : Xi ∈ B}
für n → ∞ in Wahrscheinlichkeit gegen
P{X1 ∈ B}.
Speziell erhalten wir die
Konvergenz der empirischen Verteilung:
Ist B ⊂ S , dann konvergiert
#{i ∈ {1, . . . , n} : Xi ∈ B}
für n → ∞ in Wahrscheinlichkeit gegen
P{X1 ∈ B}.
Setze dazu einfach im obigen Korrolar h := 1B :
Speziell erhalten wir die
Konvergenz der empirischen Verteilung:
Ist B ⊂ S , dann konvergiert
#{i ∈ {1, . . . , n} : Xi ∈ B}
für n → ∞ in Wahrscheinlichkeit gegen
P{X1 ∈ B}.
Setze dazu einfach im obigen Korrolar h := 1B :
1
1B (X1) + · · · 1B (Xn)
n
Speziell erhalten wir die
Konvergenz der empirischen Verteilung:
Ist B ⊂ S , dann konvergiert
#{i ∈ {1, . . . , n} : Xi ∈ B}
für n → ∞ in Wahrscheinlichkeit gegen
P{X1 ∈ B}.
Setze dazu einfach im obigen Korrolar h := 1B :
1
1B (X1) + · · · 1B (Xn)
n
konvergiert in Wahrscheinlichkeit gegen E[1B (X1)].
Es folgen noch einmal einige Folien
aus Vorlesung 3a.
Dort wurde der Erwartungswert
bereits von zwei Seiten beleuchtet:
19
Zwei Vorstellungen von EX
20
Zwei Vorstellungen von EX
1. Gewichtetes Mittel
der möglichen Werte:
Zwei Vorstellungen von EX
1. Gewichtetes Mittel
der möglichen Werte:
EX :=
X
xP {X = x}
Zwei Vorstellungen von EX
1. Gewichtetes Mittel
der möglichen Werte:
EX :=
X
xP {X = x}
2. Langzeitmittelwert
bei unabhängigen Wiederholungen:
Zwei Vorstellungen von EX
1. Gewichtetes Mittel
der möglichen Werte:
EX :=
X
xP {X = x}
2. Langzeitmittelwert
bei unabhängigen Wiederholungen:
X1 + ... + Xn
EX = n→∞
lim
n
0.5
BEISPIEL
0.3
0.2
0.1
0.0
P {X = x}
0.4
21
0
1
2
x = Anzahl Kopf
3
0.5
22
0.3
0.2
0.1
0.0
P {X = x}
0.4
Eine faire Münze wird dreimal geworfen.
0
1
2
x = Anzahl Kopf
3
0.5
EX =
x P {X = x} = 1.5
3
8
3
8
0.2
0.3
0.4
23
1
8
0.1
1
8
0.0
P {X = x}
P
0
1
2
x = Anzahl Kopf
3
0.5
Wie kann man den Erwartungswert erleben?
24
0.2
0.3
3
8
1
8
0.1
1
8
0.0
P {X = x}
0.4
3
8
0
1
2
x = Anzahl Kopf
3
0.5
Durch wiederholtes Werfen der drei Münzen
25
0.2
0.3
3
8
1
8
0.1
1
8
0.0
P {X = x}
0.4
3
8
0
1
2
x = Anzahl Kopf
3
0
1
Xn
2
3
12345678912345678980 Wiederholungen: X1, X2, ..., X80123456789123456789
0
20
40
n
60
80
26
0
1
Xn
2
3
123456789123456789Mn := (X1 + X2 + ... + Xn) / n123456789123456789
0
20
40
n
60
80
27
0
1
Xn
2
3
123456789123456789Mn := (X1 + X2 + ... + Xn) / n123456789123456789
0
20
40
n
60
80
28
0
1
Xn
2
3
123456789123456789Mn := (X1 + X2 + ... + Xn) / n123456789123456789
0
200
400
n
600
800
29
0
1
Xn
2
3
123456789123456789Mn := (X1 + X2 + ... + Xn) / n123456789123456789
0
200
400
n
600
800
30
0
1
Xn
2
3
123456789123456789Mn := (X1 + X2 + ... + Xn) / n123456789123456789
0
2000
4000
n
6000
8000
31
0
1
Xn
2
3
123456789123456789Mn := (X1 + X2 + ... + Xn) / n123456789123456789
0
2000
4000
n
6000
8000
32
0
1
Xn
2
3
123456789123456789123456789Mn → EX123456789123456789123456789
0
2000
4000
n
6000
8000
33
0
1
Xn
2
3
123456789123456789123456789Warum?123456789123456789123456789
0
2000
4000
n
6000
8000
34
P
x #{x}/n12345678912345678912345678
0
1
Xn
2
3
123456789123456789123456789Mn =
0
2000
4000
n
6000
8000
35
P
x #{x}/n →
P
x P {X = x}1234567891234567891
0
1
Xn
2
3
56789123456789123456789Mn =
0
2000
4000
n
6000
8000
36