Abschnitt 7 - Mathematisches Institut der Universität Bonn

7. Grenzwertsätze
Dr. Antje Kiesel
Institut für Angewandte Mathematik
WS 2011/2012
Mittelwerte von Zufallsvariablen
◮ Wir betrachten die arithmetischen Mittelwerte
1
X n = · ( X1 + X2 + · · · + Xn )
n
von unabhängigen Zufallsvariablen X1 , X2, . . ..
◮
Beipiel 1: Stichprobenmittelwerte
◮
◮
◮
◮
X1 , X2, . . . sind die beobachteten Ausprägungen X (ωi ) eines
quantitativen Merkmals X bei Entnahme unabhängiger
Einzelstichproben ω1 , ω2 , . . . aus der Grundgesamtheit
(Ziehen mit Zurücklegen).
X n ist dann das n-te Stichprobenmittel.
Wir erwarten, daß für große n der Stichprobenmittelwert
ungefähr gleich dem Mittelwert des Merkmals in der
Grundgesamtheit ist, da sich Fluktuationen in verschiedene
Richtungen ”wegmitteln” sollten
(⇒ Gesetz der großen Zahlen).
Außerdem interessiert uns die Größe und Art der zufälligen
Fluktuationen von X n um den Prognosewert
(⇒ zentraler Grenzwertsatz).
1
X n = · ( X1 + X2 + . . . + Xn )
n
Beipiel 2: Relative Häufigkeiten
◮ Wir beobachten die Ausprägungen Y ( ωi ) eines qualitativen oder
diskreten Merkmals Y . Uns interessiert die relative Häufigkeit
hn (a) einer bestimmten Merkmalsausprägung a unter den ersten n
Beobachtungswerten.
◮ Setzen wir
Xi =
dann ergibt sich
1
hn (a) = ·
n
1, falls Y (ωi ) = a
0, falls Y (ωi ) 6= a,
( X1 + X2 + · · · + Xn ) = X n .
{z
}
|
Häufigkeit von
◮
◮
a
unter
Y ( ω1 ),...,Y ( ωn )
X n ist also gerade die gesuchte relative Häufigkeit.
Ähnlich wie oben erwarten wir, daß X n für große n ungefähr gleich
der W’keit (=relative H’keit in der Grundgesamtheit) der
Merkmalsausprägung a ist.
Das Gesetz der großen Zahlen
Theorem
Sind X1 , X2, . . . unabhängige Zufallsvariablen mit Erwartungswert m und
Var (Xi ) ≤ C für alle i, dann konvergieren die empirischen Mittelwerte
1
X n = · ( X1 + X2 + · · · + Xn )
n
für n → ∞ im folgenden Sinne gegen m: Für jedes ε > 0 gilt:
◮ Für große
P Xn − m > ε → 0
für n → ∞.
n gilt also mit hoher Wahrscheinlichkeit:
Xn ≈ m
”Der Zufall mittelt sich weg”
Gesetz der großen Zahlen
Beweis: Für eine vorgegebene Abweichung ε > 0 von Stichprobenmittel
und Erwartungswert gilt
P Xn − m > ε = P Xn − E Xn > ε
1
≤ 2 Var(X n )
ε
1
=
(Var(X1 ) + · · · + Var(Xn ))
2
2
n ε
C
≤ 2 →0
ε n
Dabei wurde im zweiten Schritt die Tschebyscheffsche Ungleichung
verwendet.
Gesetz der großen Zahlen
Beispiel: Mittlere Augenzahl bei n mal Würfeln:
Anwendung des Gesetzes der großen Zahlen auf relative
Häufigkeiten
◮ Angewandt auf die relativen Häufigkeiten
hn (a) einer
Merkmalsausprägung a in n einzelnen Zufallsstichproben aus einer
Grundgesamtheit besagt das Gesetz der großen Zahlen:
◮
Für große n gilt näherungsweise:
hn (a) ≈ p.
◮ Dabei ist
p die Wahrscheinlichkeit der Merkmalsausprägung a, also
die relative Häufigkeit von a in der Grundgesamtheit.
Fluktuationen von Mittelwerten
◮ Die Größe der zufälligen Fluktuationen der Mittelwerte
X n um den
Erwartungswert m läßt sich mit Hilfe der Tschebyscheffschen
Ungleichung nach oben abschätzen.
◮ Die so erhaltene Abschätzung ist aber sehr grob.
◮ Bessere Abschätzungen erhält man mit Hilfe des zentralen
Grenzwertsatzes:
Der zentrale Grenzwertsatz
Theorem
Sind X1 , X2, . . . unabhängige, identisch verteilte Zufallsvariablen mit
Erwartungswert m und Varianz σ2 , dann gilt für große n näherungsweise:
1
X n = · ( X1 + X2 + · · · + Xn ) ∼ N
n
◮ Die Verteilung der Mittelwerte
m,
σ2
n
X n nähert sich also einer
Normalverteilung an, die sich immer stärker in der Nähe des
Erwartungswerts m konzentriert.
◮ Wie stark, hängt von der Varianz
Zufallsvariablen ab.
σ2 der gemittelten
Anwendung des zentralen Grenzwertsatzes auf
Stichprobenmittelwerte
◮ Für große
n gilt näherungsweise:
1
X n = · ( X1 + X2 + · · · + Xn ) ∼ N
n
◮ Also ist die standardisierte Zufallsvariable
Zn : =
√
m,
σ2
n
Xn − m
n·
σ
näherungsweise standardnormalverteilt !
◮ Dies können wir benutzen, um abzuschätzen, wie stark das
Stichprobenmittel vom zu schätzenden Erwartungswert m
(=Mittelwert in der Grundgesamtheit) abweicht:
√ ε· n
P X n − m ≤ ε = P | Zn | ≤
σ
√
ε· n
−1
≈ 2·Φ
σ
Anwendung des zentralen Grenzwertsatzes auf relative
Häufigkeiten
◮ Die relative Häufigkeit
hn (a) einer Ausprägung a eines Merkmals Y
bei n unabhängigen Stichproben ist
◮
1
hn ( a ) = · ( X 1 + X 2 + · · · + X n ) = X n
n
1, falls Y (ωi ) = a
wobei die Zufallsvariablen Xi =
0, falls Y (ωi ) 6= a
unabhängig und Bernoulli(p ) verteilt sind mit p =W’keit von a.
Aus dem zentralen Grenzwertsatz folgt daher für große n:
p (1 − p )
hn (a) ∼ N p,
n
◮ Dies ist nichts anderes als die Normalapproximation der
binomialverteilten absoluten Häufigkeit.
Verallgemeinerungen des zentralen Grenzwertsatzes
◮ Der zentrale Grenzwertsatz in der Formulierung von oben läßt sich
noch deutlich verallgemeinern.
◮ Eine wichtige Erweiterung ist der Satz von Lindeberg-Feller, dessen
Aussage wir hier nur ganz grob anschaulich wiedergeben wollen:
◮
Zentraler Grenzwertsatz von Lindeberg-Feller:
”Ist X eine reelle Zufallsgröße, die durch additive Überlagerung
vieler kleiner unabhängiger Zufallsgrößen Xi entsteht (d.h.
X = ∑ Xi ), dann ist unter geeigneten Voraussetzungen (die wir
nicht ausführen wollen) die standardisierte Zufallsvariable
X − E [X ]
σ (X )
näherungsweise standardnormalverteilt.”
◮
Zentraler Grenzwertsatz von Lindeberg-Feller:
”Ist X eine reelle Zufallsgröße, die durch additive Überlagerung
vieler kleiner unabhängiger Zufallsgrößen Xi entsteht (d.h.
X = ∑ Xi ), dann ist unter geeigneten Voraussetzungen (die wir
nicht ausführen wollen) die standardisierte Zufallsvariable
X − E [X ]
σ (X )
näherungsweise standardnormalverteilt.”
◮ Der Satz von Lindeberg-Feller liefert das theoretische Fundament
für die häufige mathematische Modellierung von unbekannten
Zufallsgrößen durch normalverteilte Zufallsvariablen (Gaußmodelle) !