Woche 6: Zentraler Grenzwertsatz und Vertrauensintervalle

Teil VIII
Woche 6: Zentraler Grenzwertsatz und
Vertrauensintervalle
Zentraler Grenzwertsatz und
Vertrauensintervalle
Patric Müller <[email protected]>
ETHZ
WBL 17/19, 29.05.2017
Wahrscheinlichkeit und Statistik
Patric Müller
WBL 2017
Lernziele
2 / 23
WBL 2017
Typische Situation
Man möchte den (unbekannten) Erwartungswert µ einer messbaren
Grösse anhand von Messungen bestimmen / schätzen.
Sie können. . .
. . . den zentralen Grenzwertsatz erläutern
. . . den Standardfehler des arithmetischen Mittels berechnen
. . . den Unterschied zwischen Standardfehler und Standardabweichung
erläutern
. . . ein approximatives Vertrauensintervall für einen Erwartungswert
berechnen
. . . eine Binomialverteilung durch eine Normalverteilung approximieren
Vorlesung basiert auf Kapitel 4.6 im Skript
Wahrscheinlichkeit und Statistik
Wahrscheinlichkeit und Statistik
3 / 23
Womöglich möchte man auch noch die Qualität der Schätzung
bewerten können.
Beispiele:
I
I
I
I
WBL 2017
Geschwindigkeit einer Internetverbindung bestimmen
Merkmal einer Bevölkerung bestimmen (Lebenserwartung,
Lohnerwartung)
Resistenzrate eines Bakteriums eines bestimmten Antibiotikums
bestimmen
...
Wahrscheinlichkeit und Statistik
4 / 23
WBL 2017
Mathematisches Modell
Das arithmetische Mittel
Wiederholte Messungen einer Zufallsgrösse könne wie folgt
mathematisch modelliert werden:
I
I
I
Das arithmetische Mittel (Stichprobenmittel) ist definiert als:
X1 , X2 , . . . , Xn sind unabhängige und identisch verteilte
Zufallsvariablen ( i.i.d.“)
”
Alternative Interpretation: X1 , X2 , . . . , Xn sind unabhängige Kopien
einer Zuvfallsvariable X .
x1 , x2 , . . . , xn sind die Realisierungen der Zufallsvariablen X1 , . . . , Xn
X =
Bemerke, dass X auch eine Zufallsvariable ist.
Aus den Rechenregeln für Erwartungswert und Varianz wissen wir
bereits:
σ2
σ
, σX = √
E(X ) = µ, Var (X ) =
n
n
Folgende theoretische Aussagen treffen zu:
I
1
(X1 + X2 + . . . Xn )
n
Alle Messungen haben denselben Erwartungswert:
E(X1 ) = . . . = E(Xn ) = µ
(Vgl. Woche 5, Slide 9 und Woche 4, Slide 21)
I
Alle Messungen haben dieselbe Varianz:
Das arithmetische Mittel aus wiederholten Messungen X ist ein
Schätzer für den Erwartungswert µ einer Zufallsvariablen!
Var (X1 ) = . . . = Var (Xn ) = σ 2
Zentrale Frage: X ist zufällig. Wie “gut” ist dann die Schätzung für µ?
WBL 2017
Mit wachsender Stichprobengrösse n wird die Varianz von X kleiner.
Definition (Standardfehler des arithmetischen Mittels)
Die Grösse sex = √sxn heisst Standardfehler des arithmetischen Mittels
(sx bezeichnet die empirische Standardabweichung der Stichprobe).
sex ist ein Schätzer für die Standardabweichung des arithmetischen
Mittels X .
Abkürzung für den Standardfehler des arithmetischen Mittels: SEM
(“standard error of the mean”)
7 / 23
WBL 2017
Beispiel: Standardfehler eines durchschnittlichen
Geburtsgewichts
Je kleiner die Varianz von X ist, desto präziser wird die Schätzung.
Wahrscheinlichkeit und Statistik
6 / 23
WBL 2017
Datensatz mit Geburtsgewichten
von 44 Neugeborenen (in g):
Mittelwert x = [3276]g
0.0015
Standardfehler des arithmetischen Mittels
Wahrscheinlichkeit und Statistik
emp. St.abw. sx = [528]g
x
Dichte
0.0005 0.0010
5 / 23
SEM sex = [80]g
sex
sx
Wenn die Stichprobengrösse n
wächst, konvergiert . . .
. . . x → E(X ),
0.0000
Wahrscheinlichkeit und Statistik
. . . sx → σ(X ),
. . . sex → 0.
2000 2500 3000 3500 4000
Gewicht [g]
Wahrscheinlichkeit und Statistik
8 / 23
WBL 2017
Der zentrale Grenzwertsatz
Der zentale Grenzwertsatz
Bis jetzt haben wir Erwartungswert und Varianz des
Stichprobenmittels X bestimmt. Wir können aber viel mehr tun und
sogar die ganze kumulative Verteilungsfunktion von X bestimmen.
Definition (standardisierte Stichprobenmittel)
Zn bezeichnet das standardisierte Stichprobenmittel
Zn =
Theorem (Zentraler Grenzwertsatz)
X sei eine Zufallsvariable mit Erwartungswert µ und Varianz σ 2 , und
X1 , . . . , Xn sind i.i.d. Kopien davon. Dann ist
Der zentrale Grenzwertsatz sagt, dass für alle reellen Zahlen z gilt
lim P(Zn ≤ z) = lim FZn (z) = Φ(z) ;
σ2
) für grosse n .
n
n→∞
Φ(z): kumulative Verteilungsfunktion von N (0, 1)
In Worten: die kumulative Verteilungsfunktion des standardisierten
Stichprobenmittels nähert sich mit wachsender Stichprobengrösse
mehr und mehr der kumulativen Verteilungsfunktion der
Standard-Normalverteilung an.
Für die mathematisch Interessierten: man nennt das schwache
”
Konvergenz“
Gleichwertige Aussage:
X −µ
√ ≈ N (0, 1) für grosse n .
σ/ n
9 / 23
WBL 2017
Simulation zum zentralen Grenzwertsatz
6
8 10
x
6
8
10
2
3
4
x
5
n = 500
n = 1000
6
3.3
3.5
3.7
3.9
abs. Häufigkeit
50 100
0
3.0
4.0
3.0
3.4
x
3.6
x
3.8
3.5
4.0
x
x
n = 5000
n = 10000
abs. Häufigkeit
100 200
4
x
0
2
4
0
0
2
abs. Häufigkeit
50
150
0
n = 100
4.5
abs. Häufigkeit
50 100
0
0.00
E[X]
n = 50
0
0.30
p(x)
0.15
Dichte
E[X]
abs. Häufigkeit
0 50
150
250
n = 10
Dichte
0
Diese Simulation wird jeweils R = 2000
mal wiederholt. Die R = 2000
berechneten Mittelwerte
(Stichprobenmittel) werden in ein
Histogramm gezeichnet.
WBL 2017
Die Verteilung des Stichprobenmittels gleicht mehr und mehr einer
Normalverteilung:
p(x)
0.15 0.30
Mittelwert X der n Messwerte
berechnen.
10 / 23
Zentraler Grenzwertsatz: Illustration
0.00
n unabhängige Messungen simulieren;
Verteilung einer Einzelmessung durch
Dichte rechts gegeben (klar nicht
normalverteilt!).
Wahrscheinlichkeit und Statistik
abs. Häufigkeit
50 100
Wahrscheinlichkeit und Statistik
n→∞
abs. Häufigkeit
50
150
X ≈ N (µ,
X −µ
√
σ/ n
3.50
3.60
x
3.70
3.55
3.60
x
3.65
Histogramme: empirische Verteilung der Stichprobenmittel für
unterschiedliches n
Wahrscheinlichkeit und Statistik
11 / 23
WBL 2017
Wahrscheinlichkeit und Statistik
12 / 23
WBL 2017
Zentraler Grenzwertsatz: Illustration
Bemerkungen zum ZGS
Die Verteilung des Stichprobenmittels gleicht mehr und mehr einer
Normalverteilung:
0
8
10
2
3
4
x
n = 1000
5
6
3
4
x
5
6
abs. Häufigkeit
50 100
3
4
x
5
6
3
4
x
5
6
3
4
x
5
Aber: Konvergenz ist nur für kumulative Verteilungsfunktion wahr,
nicht für die Dichte: unter Umständen ist X diskret und hat keine
Dichte!
6
n = 10000
0
2
2
n = 5000
0
0
2
2
abs. Häufigkeit
50 100
6
abs. Häufigkeit
100 200
4
abs. Häufigkeit
50
150
x
n = 500
Die kumulative Verteilungsfunktion des standardisierten
Stichprobenmittels nähert sich mit wachsender Stichprobengrösse
mehr und mehr der kumulativen Verteilungsfunktion der
Standard-Normalverteilung an.
n = 100
0
abs. Häufigkeit
50
150
p(x)
0.15
0.00
2
abs. Häufigkeit
50 100
0
n = 50
Der ZGS ist tatsächlich auch für wiederholte Messungen diskreter
Zufallsvariablen richtig! (Anwendung: Normalapproximation einer
Binomialverteilung)
0
0.30
E[X]
abs. Häufigkeit
0 50
150
250
n = 10
Dichte
2
3
4
x
5
6
2
3
4
x
5
6
Histogramme: empirische Verteilung der Stichprobenmittel für
unterschiedliches n
Wahrscheinlichkeit und Statistik
13 / 23
WBL 2017
Anwendungen des zentralen Grenzwertsatzes
Wahrscheinlichkeit und Statistik
14 / 23
WBL 2017
Normalapproximation einer Binomialverteilung
X ∼ Bin(n, π) sei eine binomialverteilte Zufallsvariable.
Dann ist X = Y1 + . . . + Yn , wobei Y1 , . . . Yn sind i.i.d. Kopien von
Y ∼ Bernoulli(π)
X
1
(Y1 + . . . Yn ) =
n
n
Falls n gross genug ist,
können wir den
Zentralen Grenzwertsatz auf
Y anwenden. Y ≈ N π, π(1 − π)/n .
Y =
Normalapproximation einer Binomialverteilung
(Approximative) Vertrauensintervalle für den Erwartungswert
Das heisst für X :
X ≈ N nπ, nπ(1 − π)
In Worten: Die Verteilungsfunktion einer Binomialverteilung mit
Parametern n und π nähert sich (wenn n gross genug ist) der
Normalverteilung mit Parametern µ = nπ und σ 2 = nπ(1 − π) an
Wahrscheinlichkeit und Statistik
15 / 23
WBL 2017
Wahrscheinlichkeit und Statistik
16 / 23
WBL 2017
Normalapproximation einer Binomialverteilung
Vertrauensintervalle
Faustregel: Approximation darf verwendet werden, falls nπ > 5 und
n(1 − π) > 5
Beachte: Approximation macht nur Sinn, wenn wir uns für die
kumulative Verteilungsfunktion interessieren. Die
Wahrscheinlichkeitsverteilung von X kann natürlich nicht durch eine
Dichte approximiert werden!
Modell für Messungen: X1 , X2 , . . . , Xn : i.i.d. Messungen mit
E (Xi ) = µ und Var (Xi ) = σ 2 .
Zentraler Grenzwertsatz besagt, dass
X −µ
√ ≈ N 0, 1
Z :=
σ/ n
Das heisst: Z liegt mit 95% Wahrscheinlichkeit zwischen dem 2.5%und dem 97.5%-Quantil der Standard-Normalverteilung (also
zwischen Φ−1 (0.025) = −1.96 und Φ−1 (0.975) = 1.96)
P Z ∈ [q2.5% ; q97.5% ] = P Z ∈ [−1.96; 1.96] = 0.95
Konsequenz 1:
P
Wahrscheinlichkeit und Statistik
17 / 23
WBL 2017
Vertrauensintervall für den Erwartungswert
18 / 23
WBL 2017
I heisst Vertrauensintervall für µ zum Konfidenzniveau 95%.
Definition (Vertrauensintervall für den Erwartungswert)
X ist ein Schätzer für µ (Punktschätzung).
Dank Konsequenz 2 kann man auch ein sogenanntes
“Vertrauensintervall” angeben: ein “range” in dem der wahre
(unbekannte) Parameter µ mit Wahrscheinlichkeit 0.95 liegt.
Ein Vertrauensintervall zu einem Konfidenzniveau 1 − α ist ein Intervall
I ⊂ R mit der Eigenschaft, dass P(µ ∈ I ) = 1 − α.
Problem: wahre Standardabweichung σ ist nicht bekannt.
Wir können aber Unter- und Obergrenze dieses Bereichs (des
Vertrauensintervalls!) abschätzen, indem wir σ durch die empirische
Standardabweichung sx der Stichprobe ersetzen.
Wahrscheinlichkeit und Statistik
= 0.95
Der Erwartungswert
µ liegt mit (ungefähr)
h
i 95% Wahrscheinlichkeit im
s
s
Intervall I = X − 1.96 √xn , X + 1.96 √xn .
Idee–Vertrauensintervall:
I
Wahrscheinlichkeit und Statistik
!
Vertrauensintervall für den Erwartungswert
Konsequenz 2: µ liegt mit 95% Wahrscheinlichkeit in
σ
σ
X − 1.96 √ ; X + 1.96 √
n
n
I
σ
σ
X ∈ µ − 1.96 √ ; µ − 1.96 √
n
n
19 / 23
WBL 2017
Ein Vertrauensintervall für µ zu einem beliebigen Konfidenzniveau 1 − α
ist gegeben durch
α sx
α sx
x − Φ−1 (1 − ) √ , x + Φ−1 (1 − ) √
2
2
n
n
Wahrscheinlichkeit und Statistik
20 / 23
WBL 2017
Beispiel 2 – Simulation
Simulation: R =50 mal wird eine Poisson-verteilte Stichprobe (mit
Parameter λ = 2) der Grösse n = 40 gezogen und jedesmal ein
95%-Vertrauensintervall für den Erwartungswert berechnet.
2.5
Schüler Buck hat folgende 5 Prüfungsnoten bekommen:
Pr. Nr. 1 2
3 4 5
Note
5 4.5 5.5 6 5.5
Mathematische Annahmen: Die Prüfungsnoten sind “i.i.d.” verteilt mit
unbekanntem Erwartungswert µ (“richtige Note für den Schüler”).
3.0
Beispiel 1 – Prüfungsnoten
λ
Problem: Korrekte Semesternote dem Schüler geben.
1.0
Zudem: n = 5, s = 0.57. Ein 95% Vertrauensintervall für µ ist
sx
sx
I = X − 1.96 √ , X + 1.96 √ = [4.8; 5.8]
n
n
1.5
2.0
x = 5.3 (Punktschätzer von µ).
Berechnete Vertrauensintervalle für die 50 Stichproben
Wahrscheinlichkeit und Statistik
21 / 23
WBL 2017
Bemerkungen zum Vertrauensintervall
Vertrauensintervalle hängen von den Daten ab. Sie sind deswegen
zufällig!
Wahl des Konfidenzniveaus hängt vom Kontext ab. Für
nicht-sicherheitsrelevante Anwendungen verwendet man häufig
1 − α = 0.95.
Häufiges Missverständnis: die Aussage P(µ ∈ I ) = 1 − α bedeutet
nicht, dass der Erwartungswert µ eine Zufallsvariable ist!! Zufällig
sind die Grenzen des Vertrauensintervalls, da sie mit Hilfe von
zufälligen Messwerten berechnet werden.
Beim Vergrössern der Stichprobe: wird das Vertrauensintervall grösser
oder kleiner? Und beim Erhöhen des Konfidenzniveaus?
Wahrscheinlichkeit und Statistik
23 / 23
WBL 2017
Wahrscheinlichkeit und Statistik
22 / 23
WBL 2017