Eigenschaften der arithmetischen Mittel Schätzer für die Varianz

Eigenschaften der
arithmetischen Mittel
Statistik 2
2. Vorlesung, September 16, 2009
für alle Fälle wo die Stichprobenelemente
haben die selbe Verteilung und sind
unabhängig:
E ( X ) = m,Var ( X ) = σ 2 / n
Standardabweichung (Standardfehler):
D( X ) = σ / n
Korrektur für Stichproben aus endliche
Grundgesamtheit (mit Umfang N):
σ 2 ( N − n)
E ( X ) = m, Var ( X ) =
Gütekriterien für Schätzfunktionen
Erwartungstreuheit: für alle mögliche
Parameterwerte im Durchschnitt bekommen wir den
schätzenden Parameter
Konsistenz: mit zunehmender Stichprobenumfang
der Parameter wird immer genauer nähert.
Effizienz: der kleinste Varianz zwischen alle
Erwartungstreuen Schätzer.
Schätzer für die Varianz
Schätzer für die
Wahrscheinlichkeit
n
σˆ =
X 1 + ... + X n
n
wo Xi ist 1, falls wir bei der Stichprobenelement Nummer i das
Ereiginis A beobachteten (ansonsten ist Xi=0).
Beispiel: aus 100 Kunden in unserem Geschäft haben 15
wirklich was gekauft. Davon bekommen wir
pˆ = X = 15%
∑(X
i
− X )2
i =1
n
ist nicht erwartungstreu, also man soll die korrigierte
Version anwenden (es ist erwartungstreu):
n
σˆ =
2
∑(X
i
− X )2
i =1
n −1
Beide sind aber konsistent, und das Differenz
zwischen die beide Schätzer nähern 0 als n immer
grösser wird.
Allgeimeines Method:
Likelihood Funktion
Schätzer für die Wahrscheinlichkeit von einer Ereignis A:
pˆ = X =
Die bis jetzt benutzter Schätzer:
2
θˆ = X
ist erwartungstreu und konsistent. In meissen Fällen
(d.H. für die Verteilung der Grundgesamtheit) es ist
auch effizient.
n( N − 1)
Deren Varianz ist
p (1 − p ) / n
Wie kommt man zu einen Schätzer?
Beispiel: die Wahrscheinlichkeit von einer Ereignis A.
Falls P(A)=p, man hat als Verteilung der Erfolge
 n
  n
P ∑ X i = k  =   p k (1 − p) n − k
 i =1
 k 
Wir betrachten es jetzt als eine Funktion von p
(Likelihood Funktion).
und der Grenzwertsatz sichert wieder dass es ist wenigstens
nahe zur Normalverteilung.
1
die Verteilung der
Grundgesamtheit
Maximum Likelihood Schätzer
lik e lih o o d f ü g g v é n y , n = 1 0 0
lik e lih o o d f ü g g v é n y , n = 2 0
0.3
0.2
y
0.1
0.0
0 .4
0 .6
0 .8
1 .0
0 .0
0 .2
0 .4
x
0 .6
0 .8
1 .0
x
pˆ = 0
falls wir die relative Häufigkeit als Schätzer
anwenden.
Aber man kann die Daten mit verschiedene
Verteilungen nähern, und davon können wir es
versuchen, z.B. eine Normalverteilung mit diesen
Parametern anzuwenden. Auch andere Verteilungen
sind möglich, z.B. die Gamma Verteilung.
Eigenschaften der Varianz
Damit können wir Schätzer für die Wahrscheinlichkeit
grosser Differenzen von der Erwartungswert
bekommen:
P(|X-EX| ≥ ε)≤Var(X) /ε2 (Tschebischev’sche
Ungleichung)
Beispiele: Falls E=100, Standardabweichung=20,
dann P(|X-100| ≥ 40)≤400 /1600=1/4.
P(|X-100| ≥ 60)≤400 /3600=1/9.
Für unsere Schätzer: man kann die nötige
Stichprobenumfang bestimmen um eine gegebene
Genauigkeit zu erreichen.
0.012
was ist das Anteil diejenige Arbeitnehmer, die mehr
als 300 TFt pro Monat verdienen? Falls wir haben
eine Stichprobe: 50,60,80, 100, 130, 280 - davon
sehen wir, das
x = 116,7;σˆ =
36133
= 85
5
0.010
Monatsgehalt-verteilung
Beispiel/2
0.008
Beispiel
Dichte
0 .2
Daraus können wir die
Verteilungen bestimmen.
Rot: Normal
Blau: Gamma
P(X>300)=1.5%
P(X>300)=4%
Aus diesen Modell bekommen
0
wir einen realistischeren Antwort.
0.004
0 .0
Falls wir einen Idee haben, welche
Verteilung (z.B. Normal, Gamma,...)
unser Grundgesamtheit beschreibt, wir
können deren Parametern schätzen,
und so die Verteilung bestimmen.
Daraus können wir die für uns
interressante Wahrscheinlichkeiten
nähern.
0.002
X 1 + ... + X n
n
k = 1 , m a x = 0 .0 5
k = 5 ,m a x = 0 .2 5
k = 1 0 ,m a x = 0 .5
0.000
pˆ = X =
0.00
Man kann es
mathematisch
beweisen, dass
die Lösung lautet
0.05
y
0.10
0.15
k = 5 , m a x = 0 .0 5
k = 2 5 ,m a x = 0 .2 5
k = 5 0 ,m a x = 0 .5
0.006
Wir suchen
diejeniges p,
für welchen die
Likelihood-Funktion
maximal ist.
100
200
300
400
500
TFt
Beispiel
pˆ = X = 15%
Var ( pˆ ) = p (1 − p ) / n
ˆ
Also für n=100 wir haben Var=0,001275. Ep
Daraus
=p
P (| pˆ − p |> 0,1) ≤ 0,001275 / 0,01 = 12,75%
Nicht sehr genau (aber sicher). Wir bekommen
Pünktlichere Ergebnisse, wenn wir die Verteilung unser
Schätzer auch betrachten. Für die selbe Differenz,
aufgrund der Normalverteilung:
P(| pˆ − p |> 0,1) ≈ P (| Z |> 0,1 / 0,035) = 0,5%
2
Bootstrap
Bootstrap-Beispiel
Schaetzungen aufgrund der bootstrap Stichproben
100
Die beobachtete
Wahrscheinlichkeit für
Insgesamt: 1%, also ein
wenig grösser als der
Ergebnis durch die
Normalverteilung.
60
Frequency
40
P( pˆ > 25%) = 0.8%
80
P( pˆ < 5%) = 0.2%
20
Falls wir können die Verteilung unser
Schätzer nicht bestimmen, können wir eine
Simulationstechnik anwenden:
Nehmen wir mehrere Stichproben aus unser
Stichprobe (mit Zurücklegen, und mit dem
selben Umfang als die originale). Wenn wir
die Schätzung für diese „Bootstrap”
Stichproben ausrechnen, bekommen wir eine
Näherung zu seiner Verteilung.
0
0.05
0.10
0.15
0.20
0.25
0.30
p
Verteilung der Schätzer für den
Mittelwert der Normalverteilung
Intervallschätzung
Die wahren Parameter der
Grundgesamtheit sind unbekannt
Antwort: aufgrund der Stichprobe
geben wir ein Schätzwert, aber es ist
nur ein Näherungswert. Wichtig: den
Fehler zu quantifizieren.
Dazu braucht man die Eigenschaften
(die Verteilung) der Schätzungen.
1. σ ist bekannt
Falls σ sei bekannt, wir können die Verteilung
unseren Schätzfunktion X genau bestimmen: es hat
Normalverteilung mit Parametern
(m,σ / n). Daraus folgt, dass wir können den
Unterschied zwischen unseren Schätzung und den
wahren Parameter schätzen. Aber dessen
Eigenschaften hängen von n und σ ab, also es ist
einfacher die standardisierte Version:
n ( X − m)
σ
zu benutzen.
Interpretation
Vertrauensintervall
Es ist nämlich standard Normalverteilt, also z.B. man
weisst, dass

P


Daraus kann man ein Vertrauensintervall
(Konfidenzintervall) für m konstruieren:


2σ
2σ  
P m ∈  X −
,X +
  ≈ 0,95
n
n  



n ( X − m)
> 2  ≈ 0,05

σ

natürlich geht es ebenso, generell für Sicherheit 1-α:

σ
σ
z
z

P m ∈  X − 1−α / 2 , X + 1−α / 2
n
n



  = 1 − α

wenn man mit vielen Stichproben die
selben m Schätzt, wird m in 100(1-α)
Prozent aller Fälle in diesem Intervall
liegen.
Korrektur für Stichproben aus endlichen
Grundgesamtheit (mit Umfang N):


z
σ
P m ∈  X − 1−α / 2

n


z
σ
N −n
, X + 1−α / 2
N −1
n
N − n  
 = 1−α
N − 1  
3
Vertrauensintervall mit
Falls σ ist nicht bekannt
In diesem Fall können wir die Verteilung unseren
Schätzfunktion nicht genau bestimmen, wir müssen
dazu auch noch die Varianz (und daraus die
Standardabweichung) schätzen:
n
σˆ 2 =
n
∑ ( X i − X )2
i =1
∑(X
i
− X)
2
σˆ = i =1
n −1
n −1
Die Standardisierung:
n ( X − m)
σˆ
Es ist nicht mehr standard Normalverteilt, sondern
Student (t)-verteilt.
Deckungswahrscheinlichkeit 1-α
t
t

σˆ
σˆ  

P m ∈  X − 1−α / 2,n−1 , X + 1−α / 2,n −1   = 1 − α
n
n



Für n>50 die t-Quantil geht in die standard
Normalquantil über. Ebenso wenn die Verteilung der
Merkmal ist unbekannt, für n>50 kann man die
Konfidenzbereich für die Mittelwert von Punkt 1 (σ
bekannt)benutzen.
Oft wählt man der Stichprobenunfang so, dass für
gegebene Sicherheit 1-α die Intervallbreite eine
gegebene Zahl d nicht überschreitet. Dazu:
4( z1−α / 2 ) 2 σ 2
n≥
(Fall 1: σ soll bekannt sein)
2
d
Vertrauensintervall für die
Wahrscheinlichkeit
In diesem Fall für die Einzelbeobachtung
(Indikatorfunktion) σ2=p(1-p), also wir
bekommen für p die folgenden Intervall (mit
Sicherheit 1-α)

z
pˆ (1 − pˆ )
z
pˆ (1 − pˆ ) 
 X − 1−α / 2

, X + 1−α / 2


n
n


k
wobei pˆ = n (die relative Häufigkeit). Um diese
Approximation gültig zu sein, brauchen wir
Beispiel
Wenn aus 100 Studenten 25 die erste Prüfung
nicht bestanden haben, was kann man als
Vertrauensintervall mit α=0,05 (α=0,01) für den
Durchfallwahrscheinlichkeit geben?
Für α=0,05: 0,25-1,96*(0,25*0,75)1/2/10=0,165;
0,25+1,96*(0,25*0,75)1/2/10=0,335; Also das
Intervall lautet: (0,165;0,335)
Für α=0,01: 0,25-2,58*(0,25*0,75)1/2/10=0,138;
0,25+2,58*(0,25*0,75)1/2/10=0,362; Also das
Intervall lautet: (0,138;0,362)
dass n ist gross genug (n>50).
Stichprobenumfang
Wieder können wir die Stichprobenumfang so
wählen, dass für gegebene Sicherheit 1-α die
Intervallbreite eine gegebene Zahl d nicht
überschreitet. Dazu:
4( z1−α / 2 ) 2 pˆ (1 − pˆ )
n≥
d2
Aber p und sein Schätzer sind unbekannt bei
der Planung der Untersuchung, so man kann
eine obere Schranke wählen:
2
z
n ≥ 1−α2/ 2
d
Beispiel
Wieviel Studenten sollen wir fragen, um das
95%-Vertrauensintervall für den
Durchfallwahrscheinlichkeit kürzer als 0,1 zu
haben? 1,962/0,01=384 Studenten sind nötig.
Um die Länge zu halbieren braucht man 4
Mal so viel Beobachtungen.
Für die 99%-Vertrauensintervall:
2,582/0,01=666 Studenten sollen gefragt
werden.
4
Vertrauensintervall für die
Standardabweichung
Voraussetzung: die Beobachtungen sind Normalverteilt.
n
Man kann es bewiesen, dass
( X − X )2
∑
Statistische Testverfahren
i
i =1
σ2
hat ein Chi-Quadrat Verteilung mit Freiheitsgrad n-1, und
davon der Konfidenzbereich:
n

 n


 ∑ ( X i − X ) 2 ∑ ( X i − X )2  
2

 = 1−α
Pσ ∈  i =1
, i =1
 h1−α / 2, n−1

hα / 2,n −1






wobei hα/2,n-1 und h1-α/2,n-1 sind die α/2 und 1- α/2 Quantile
der Chi-Quadrat Verteilung mit FG=n-1.
Wir haben eine Vermutung, die wir statistisch
beweisen möchten (Sachhypothese).
Formulierung dieser Aussage:
Alternativhypothese: HA (H1).
Gegenteilige Behauptung: Nullhypothese H0.
Beispiel: In diesem Jahr haben wir höheres
Monatsumsätze, als erwartet. HA: m>m0
(wobei m0 ist die Erwartung). Die
Nullhypothese (H0) lautet: m≤m0
Allgemeine Testverfahren
Gleichheit („erwartete” Wert) gehört immer zur
Nullhypothese.
Antwort: aufgrund der Stichprobe berechnen wir
einen Statistik, T.
Irrtumwahrscheinlichkeit α (es soll festgelegt
werden, allgemein α=0,05 oder noch kleiner) – dazu
gehört eine kritische Schranke der Testfunktion (cα).
Mögliche Entscheidungen:
H0 ablehnen (verwerfen) – falls |T|> cα . Es ist informativ:
fast sicher, dass H0 ist nicht wahr.
H0 annehmen (beibehalten). Es bedeutet nur, dass wir
haben nicht genügend Information um wegwerfen zu
können (also es ist gar nicht sicher, dass in diesem Fall H0
ist wahr).
5