methods_deutsch_03 [Schreibgeschützt]

Parameterschätzung
Numero, pondere et mensura Deus omnia condidit
Population, Zufallsvariable, Stichprobe
Population
Zufallsvariable
X
Stichprobe
x
eine"Realisierung” von X
(Beobachtung)
alle männlichen Rekruten der US Armee
(Population)
die ersten 10 männlichen Wehrpflichtigen, die am 11. Mai 2004
das Rekrutierungsbüro der US Armee in Concord NH betreten
(Stichprobe)
BMI eines zu einem zufälligen Zeitpunkt in einem zufällig
gewählten Rekrutierungsbüro anzutreffenden Rekruten
(Zufallsvariable)
Einige Konventionen
Zufallsvariable werden mit Großbuchstaben bezeichnet.
Mögliche Werte oder tatsächliche Beobachtungen
("Realisierungen") werden mit kleinen Buchstaben bezeichnet.
P(X≤x)
Wahrscheinlichkeit, dass der BMI eines zufällig ausgewählten
Rekruten höchstens den Wert x annimmt
P(X>18)
Wahrscheinlichkeit, dass ein zufällig ausgewählter Rekrut nicht
untergewichtig ist
P(24<X<30)
Wahrscheinlichkeit, dass ein zufällig ausgewählter Rekrut
übergewichtig, aber nicht fettleibig ist
Schätzung aus Stichproben
Grundidee
Population
X
Zufallsvariable
θ: Parameter
Stichprobe
Stichprobe
Ziehen
Schlussfolgerung
θ̂
Schätzung
x1,...,xn
Realisierungen
Daten Sammeln
Inferenz
Bilden
ˆ
θ( x1 ,..., x n )
Schätzer
Schätzung aus Stichproben
Grundidee
Parameter
θ
π
Wahrscheinlichkeit
µ
Erwartungswert
σ2
Varianz
Beobachtungen
x1,...,xn
Schätzer
)
θ( x1 ,..., x n )
0,0,1,1,0,1,...
π = k /n
ˆ
1.23,4.81,7.55,...
µ
ˆ=x
12.4,19.6,20.4,...
Anteil
Stichprobenmittel
2
2
σ
=
s
ˆ
Stichprobenvarianz
Werfen einer Münze
π: Wahrscheinlichkeit für Kopf
k
6
π= =
= 0.6
ˆ
n 10
0.30
0.25
0.20
X: Anzahl Kopf in 10 Würfen
0.15
0.10
X hat eine Bin(π,10) Verteilung
0.05
Pπ ( X = 6) = 210 ⋅ π6 ⋅ (1 − π) 4
0.00
0.0
0.2
0.4
π
0.6
0.8
1.0
Likelihood und Wahrscheinlichkeit
Die Likelihood eines Parameters,
gegeben die Beobachtungen,
ist die Wahrscheinlichkeit der Beobachtungen,
gegeben der Parameter.
L (θ | x ) = Pθ ( X = x )
Das Maximum-Likelihood-Prinzip
Auf der Basis von Beobachtungen wird ein Parameter
durch dessen mutmaßlichsten Wert geschätzt, d.h.
durch den Wert, der die Wahrscheinlichkeit der
Beobachtungen maximiert.
D.h. θ̂ wird so gewählt, dass
L (ˆ
θ | x ) = max θ L (θ | x )
AB0-Blutgruppen
In einer Stichprobe von
75 Individuen aus einer
bestimmten Population
hatten 10 Personen die
Blutgruppe B. Wie groß
ist die Häufigkeit π der
Blutgruppe B in dieser
Population?
0.16
8.3 × 1011 ⋅ π10 ⋅ (1 − π)65
0.12
0.08
0.04
10
π=
= 0.133
ˆ
75
0.00
0.0
0.2
0.4
π
0.6
0.8
1.0
Das Maximum-Likelihood-Prinzip
Binomialverteilung
n k
L (π | k ) =   ⋅ π ⋅ (1 − π)n−k
k 
log{L(π | k )} = const + k ⋅ log(π) + (n − k ) ⋅ log(1 − π)
δ log{L (π | k )} k n − k
= −
=0
δπ
π 1−π
k
π=
n
π = k / n ist der Maximum-Likelihood-Schätzer von π
ˆ
Weiblicher Body-Mass-Index (BMI)
Welchen Erwartungswert µ
hat der BMI einer US
Schönheitskönigin?
Liegt µ ungefähr bei
x = 18.6 ?
Jahr
Name
BMI
1984
1985
1986
1987
1988
1989
1990
1991
1998
1999
2001
2002
Suzette Charles
Sharlene Wells
Susan Akin
Kellye Cash
Kaye Lani Rae Rafko
Gretchen Carlson
Debbye Turner
Marjorie Vincent
Kate Shindle
Nicole Johnson
Angela Perez Baraquio
Katie Harman
17.7
18.2
16.8
17.6
18.8
19.1
17.9
17.8
20.2
19.6
20.3
19.5
Das Maximum-Likelihood-Prinzip
Normalverteilung
L (µ | x1 ,..., x n ) =∏i=1
n
1
σ 2π
⋅e
−
( x i −µ )2
σ2
1
log{L (µ | x 1 ,..., x n )} = const − 2
σ
(
2
(
x
−
µ
)
∑i=1 i
n
)
δ log{L (µ | x1 ,..., x n )}
2
n
= − 2 n ⋅ µ − ∑i=1 x i = 0
δµ
σ
1
n
µ = ⋅ ∑i=1 x i
n
µ
ˆ = x ist der Maximum-Likelihood-Schätzer von µ
Schätzer als Zufallsvariable
Wegen der zufälligen Natur von Stichproben ist
jeder Schätzer θ̂ selbst eine Zufallsvariable mit
Erwartungswert E( θ̂) und Varianz Var( θ̂ ).
Var(θˆ )
wird als "Standardfehler" von θ̂ bezeichnet.
Verteilung des Stichprobenmittels
Seien X1,...,Xn unabhängig und identisch verteilt mit
E(Xi)=µ und Var(Xi)=σ2.
1
n
n
1
 1
E( X ) = E ⋅ ∑i=1 X i  = ⋅ ∑i=1 E( X i ) = ⋅ n ⋅ µ = µ
n
n
 n
2
1
σ
n
n
1
 1
Var( X) = Var  ⋅ ∑i=1 X i  = 2 ⋅ ∑i=1 Var( X i ) = 2 ⋅ n ⋅ σ2 =
n
n
n
 n
σ
Standardfehler:
n
Genauigkeit und Präzision
Genauigkeit bezieht sich auf die Differenz zwischen dem
Erwartungswert eines Schätzers und dem wahren
Parameter.
Präzision bezieht sich auf die Varianz eines Schätzers.
genau
präzise
genau
nicht präzise
nicht genau
präzise
nicht genau
nicht präzise
"Gute" Schätzer
Ein guter Schätzer ist
θ) = θ
unverzerrt: E(ˆ
"100% genau, d.h. er liefert im Durchschnitt den wahren Parameter"
θn − θ |> ε) →
0
konsistent: P(| ˆ
n
"liefert mit wachsendem Stichprobenumfang immer genauere und
präzisere Schätzungen, die dem wahren Parameter zustreben"
θ) minimal
effizient: Var (ˆ
"kein anderer unverzerrter (d.h. 100% genauer) Schätzer liefert
präzisere Schätzungen”
"Gute" Schätzer
unverzerrt (100% genau)
konsistent (Genauigkeit und
Präzision streben mit
wachsendem Umfang der
Stichprobe 100% zu)
effizient (der präziseste
Schätzer unter allen 100%
genauen Schätzern)
"Gute" Schätzer
Maximum-Likelihood
Maximum-Likelihood-Schätzer sind generell
konsistent
asymptotisch effizient
aber NICHT immer
unverzerrt
Unverzerrte Schätzer
Wahrscheinlichkeit
X habe eine Bin(π,n) Verteilung
k
π=
ˆ
n
n k
1
n
X 1
E(ˆ
π) = E  = ⋅ E( X) = ⋅ ∑k =0 k ⋅   ⋅ π ⋅ (1 − π)n−k = ...
n
n n
k 
1
= ⋅n⋅ π = π
n
π = k / n ist ein unverzerrter Schätzer von π
ˆ
Werfen einer Münze
π̂
: Anteil von Kopf unter n Würfen
0.8
100 Wiederholungen
0.7
0.6
π̂
0.5
0.4
0.3
0.2
n=50
n=100
n=500
Unverzerrte Schätzer
Erwartungswert
X1,...,Xn seien identisch verteilt mit E(Xi)=µ
µ
ˆ=x=
1
n
⋅ ∑i=1 x i
n
1
n
n
1
 1
E(µ
ˆ) = E ⋅ ∑i=1 X i  = ⋅ ∑i=1 E( X i ) = ⋅ n ⋅ µ = µ
n
n
 n
µ
ˆ = x ist ein unverzerrter Schätzer von µ
Würfelspiel
Xi: Augenzahl eines einzelnen Wurfs (i=1,...,n)
X : durchschnittliche Augenzahl aus n Würfen
5.5
100 Wiederholungen
5.0
4.5
4.0
X
3.5
3.0
2.5
2.0
1.5
n=10
n=100
n=500
Unverzerrte Schätzer
Varianz
X1,...,Xn seien unabhängig und identisch verteilt
mit Var(Xi)=σ2
2
2
σ
ˆ =s =
1
n
⋅ ∑i=1 ( x i − x )2
n −1
n
 1
2
E(σ
⋅ ∑i=1 ( X i − X)  = ...
ˆ ) = E
n −1

1
=
⋅ (n − 1) ⋅ [E( X12 ) − µ 2 ] = σ 2
n −1
2
2
2
ist ein unverzerrter Schätzer von σ2
σ
=
s
ˆ
Die (stetige) Gleichverteilung
f(x) =
1
b−a
für a≤x≤b
0
sonst
b+a
E( X ) =
2
(b − a) 2
Var ( X ) =
12
1
b−a
a
b
Gleichverteilung
µ=6, σ2=1.33
a=4, b=8
3.5
100 Wiederholungen
3.0
2.5
s
2 2.0
1.5
1.0
0.5
0.0
5
10
15
20
Stichprobenumfang (n)
25
Konsistente Schätzer
Ein Schätzer heißt "konsistent", wenn seine Genauigkeit
und Präzision mit zunehmendem Stichprobenumfang
wachsen und jeweils gegen 100% streben.
P(| ˆ
θn − θ |> ε) → 0
n
π = k / n ist ein konsistenter Schätzer von π
ˆ
µ
ˆ = x ist ein konsistenter Schätzer von µ
2
2
σ
=
s
ist ein konsistenter Schätzer von σ2
ˆ
Effiziente Schätzer
Ein unverzerrter Schätzer heißt "effizient", wenn jeder
andere unverzerrte Schätzer mehr streut.
Var (ˆ
θ) minimal
π = k / n ist ein effizienter Schätzer von π
ˆ
µ
ˆ = x ist meistens ein effizienter Schätzer von µ
2
2
σ
=
s
ist meistens ein effizienter Schätzer von σ2
ˆ
Konfidenzintervall
Für die meisten stetigen Zufallsvariablen gilt
P(ˆ
θ = θ) = 0
d.h. es ist unmöglich, dass ein Schätzer
den wahren Parameter "auf den Kopf trifft".
Meistens ist es sinnvoller, θ durch ein Intervall zu
schätzen, das θ mit einer gewissen "Sicherheit"
enthält.
Konfidenzintervall
Definition
Ein Konfidenzintervall ist eine Vorschrift, die einer
Stichprobe x ein Intervall I(x) so zuordnet, dass für
jeden möglichen Wert θ des zu schätzenden Parameters
Pθ ( x : θ ∈ I( x )) ≥ 1 − α
gilt. Wurde die Stichprobe x erhoben und das
Konfidenzintervall I(x) berechnet, so besteht ein
Vertrauen 1-α, dass I(x) das wahre θ auch enthält.
1-α heißt "Konfidenzniveau" (üblicherweise 0.95)
Konfidenzintervall
Erwartungswert
Aus dem Zentralen Grenzwertsatz folgt, dass
X−µ
σ
n
für großes n eine N(0,1)-Verteilung hat.
P(−1.96 ≤
P( X − 1.96 ⋅
σ
n
X−µ
σ
n
≤ 1.96) = 0.95
≤ µ ≤ X + 1.96 ⋅
σ
n
) = 0.95
Konfidenzintervall
Erwartungswert
x ± 1.96 ⋅
σ
n
markiert ein Intervall, das den wahren Erwartungswert mit
Wahrscheinlichkeit 0.95 (d.h. in 95% aller unabhängigen
Wiederholungen des Experiments) enthalten wird.
µ
Weiblicher Body-Mass-Index (BMI)
95% Konfidenzintervall
für den
Erwartungswert
(Annahme: σ=1.2)
18.6 ± 1.96 ⋅
1.2
12
oder
(17.9,19.3)
Jahr
Name
BMI
1984
1985
1986
1987
1988
1989
1990
1991
1998
1999
2001
2002
Suzette Charles
Sharlene Wells
Susan Akin
Kellye Cash
Kaye Lani Rae Rafko
Gretchen Carlson
Debbye Turner
Marjorie Vincent
Kate Shindle
Nicole Johnson
Angela Perez Baraquio
Katie Harman
17.7
18.2
16.8
17.6
18.8
19.1
17.9
17.8
20.2
19.6
20.3
19.5
Konfidenzintervall
Erwartungswert
σ bekannt:
x ± z1−α / 2 ⋅
σ
n
σ unbekannt:
α/2
zα/2
1-α
α/2
z1-α/2
x ± t1−α / 2 ,n−1 ⋅
s
n
wobei t1-α/2,n-1 das Quantil
einer t-Verteilung mit n-1
Freiheitsgraden ist.
Student t-Verteilung
0.4
f(x)
0.3
0.2
0.1
0.0
William S. Gosset
(1876-1937)
-4
-2
0
2
x
1 Freiheitsgrad
2 Freiheitsgrade
3 Freiheitsgrade
500 Freiheitsgrade
4
Wie man bessere Schätzungen bekommt
Erwartungswert
σ
Var(X) =
n
d.h. der Standardfehler des Stichprobenmittels sinkt mit
wachsendem Stichprobenumfang.
KI : x ± z1−α / 2 ⋅
σ
n
KI : x ± t1−α / 2 ,n−1 ⋅
s
n
d.h. die Breite eines Konfidenzintervalls verringert sich mit
wachsendem Stichprobenumfang.
Wie man bessere Schätzungen bekommt
Erwartungswert
Breite W des KI:
W = 2 ⋅ z1−α / 2 ⋅
1-α
α/2
α/2
σ
n
1-α steigt
z1-α/2 steigt
zα/2
z1-α/2
W steigt
Die Breite eines Konfidenzintervalls steigt mit
steigender Sicherheit.
Konfidenzintervall
Stichprobenumfang
W = 2 ⋅ z1 − α / 2 ⋅
σ
n
 2 ⋅ z1− α / 2 ⋅ σ 

n = 
W


2
Wie viele Beobachtungen sind nötig, um den
Erwartungswert des männlichen BMI mit einem 95%
Konfidenzintervall von höchsten 2 kg/m2 Breite zu
schätzen (Annahme: BMI ist normalverteilt mit σ=2.5)?
2
 2 ⋅ 1.96 ⋅ 2.5 
Antwort: n = 
 = 24 .01
2


Zusammenfassung
- Schätzen bezeichnet den wissenschaftlichen Vorgang des
Erschließens von Populationsparametern aus Stichproben.
- Ein Schätzer ist eine mathematische Vorschrift für die
Berechnung von Parameterschätzungen aus Daten.
- Schätzer wie z.B. das Stichprobenmittel sind selbst wieder
Zufallsvariable, mit Erwartungswert und Varianz.
- Gute Schätzer sollten unverzerrt (genau), effizient (am
präzisesten) und konsistent (zunehmend präzise) sein.
- Statt "Punktschätzungen" liefern Konfidenzintervalle Bereiche,
die einen gesuchten Parameter mit bestimmter Sicherheit
enthalten.