Vorlesung 2

Schliessende (Induktive) Statistik
Statistik 2
2. Vorlesung, Oktober 10, 2012
Vergleich
Deskriptive Statistik
(beschreibende Statistik)
Beschreibung und
Zusammenfassung
Darstellung von Daten
(Tabellen u. Grafiken)
Kennzahlen (z.B.
Mittelwerte, Streuungsmaße)
Einführung
Induktive Statistik
(schließende Statistik)
Von Stichproben auf
Grundgesamtheiten
Schätzer
Tests
Entscheidungstheorie
Statistisches Schätzen
Bestimmung (Näherungsweise) der Parameter θ der
Verteilung der Grundgesamtheit aus der Stichprobe
X1,...,Xn . (Man kann es als eine Reihe von
Zufallsvariablen betrachten)
Beispiele für Parameter:
Die wahren Parameter der Grundgesamtheit sind unbekannt (vielleicht weisst man auch die Verteilung nicht)
Fragen:
Was sind die Werte dieser Parameter?
Antwort: aufgrund der Stichprobe (Schätzen), aber es
gibt nur einen Näherungswert. Wichtig: der Fehler zu
quantifizieren. Methoden: Punktschätzen,
Konfidenzintervalle (Intervallschätzen).
Sind unsere Hypothese wahr? (z.B läuft das Produktion
plangemäss, also haben unsere Waren die gewünschte
Eigenschaften?) Antwort: durch Hypothesen-Tests.
Erwartungswert,
Standardabweichung,
Quantile usw.
Schätzfunktion: auch eine Zufallsvariable
Schätzwert: Näherungswert, bestimmt aus der
Stichprobenwerten.
Grundgesamtheit: davon möchten wir möglichst
genaue Ergebnisse bekommen durch eine
repräsentative Stichprobe.
Auswahl der Stichprobe: Zufallsexperiment, also die
beobachtete Merkmalausprägung ist ein Wert von
eine Zufallsvariable X.
Parameter der Grundgesamtheit sind also die
Parameter der Verteilung von X (z.B. Erwartungswert, Varianz oder die Wahrscheinlichkeit P(X<x)).
Falls n Einheiten zufällig ausgewählt sind: X1,...,Xn
sind unabhängig und identisch verteilt (Realisationen:
x1,...,xn sind die Werte der konkreten Stichprobe).
Beispiel
Die mittlere Grösse unseren Schrauben ist zu
bestimmen.
Dazu nehmen wir eine einfache Stichprobe
(Umfang: n).
Die Verteilung der Anzahl der Schrauben in
die Stichprobe mit eine bestimmte
Eigenschaft: Hypergeometrisch (für grosse
Grundgesamtheiten man kann es mit der
Binomialverteilung nähern).
1
Beispiel/2
Wir können davon ausgehen, dass die
Grundgesamtheit normalverteilt ist (oder
wenigstens das Grenzwertssatz sichert eine
Näherung mit der Normalverteilung).
0.4
0.3
Eigenschaften des
arithmetischen Mittels
Standardabweichung (Standardfehler):
D( X ) = σ / n
n
σˆ =
∑(X
2
i
n( N − 1)
σˆ 2 =
n
∑(X
i
− X)
n −1
Beide sind aber konsistent, und das Differenz
zwischen den beiden Schätzer nähert sich der 0 als n
immer grösser wird.
52
53
1
n
n
wo Xi ist 1, falls wir bei der Stichprobenelement Nummer
i das Ereignis A beobachteten (ansonsten ist Xi=0).
Beispiel: aus 100 Kunden in unserem Geschäft haben 15
wirklich was gekauft. Davon bekommen wir
2
i =1
51
Schätzer für die Wahrscheinlichkeit von einem Ereignis
A:
X + ... + X
pˆ = X =
− X )2
n
50
mm
Schätzer für die
Wahrscheinlichkeit
i =1
ist nicht erwartungstreu, also man soll die korrigierte
Version anwenden (es ist erwartungstreu):
49
ist erwartungstreu und konsistent für den
Erwartungswert. In die meissten Fällen (d.H. für die
Verteilung der Grundgesamtheit) es ist auch effizient.
σ 2 ( N − n)
Die bis jetzt benutzter Schätzer:
48
θˆ = X
Schätzer für die Varianz
47
Erwartungstreuheit: für alle möglichen
Parameterwerte bekommen wir den schätzenden
Parameter im Durchschnitt.
Konsistenz: mit zunehmender Stichprobenumfang wird
der Parameter immer genauer appriximiert.
Effizienz: die kleinste Varianz zwischen alle
Erwartungstreuen Schätzer.
Korrektur für Stichproben aus endliche
Grundgesamtheit (mit Umfang N):
E ( X ) = m, Var ( X ) =
46
Gütekriterien
für alle Fälle wo die n Stichprobenelemente
die selbe Verteilung haben und unabhängig
sind:
E ( X ) = m,Var ( X ) = σ 2 / n
His togr am m v on S c hra ube nlae nge
0.2
D ichte
X 1 + ... + X n
n
θˆ = X =
Die Normalität kann durch z.B.
ein Histogram untersucht werden
Wir haben auch die
Dichtefunktion von der am besten
passenden Normalverteilung
dargestellt
Dazu soll man der
Erwartungswert und auch den
Varianz schätzen
0.1
In unserem Fall (Schrauben) die
Grundgesamtheit ist ziemlich gross, also man
kann es voraussetzen, dass die
Stichprobenelemente unabhängig sind.
Schätzfunktion:
0.0
Beispiel/3
pˆ = X = 15%
Deren Varianz ist
p (1 − p ) / n
und der Grenzwertsatz sichert wieder, dass der Schätzer
wenigstens nahe zur Normalverteilung ist.
2
Allgemeine Methode:
Likelihood Funktion
Maximum Likelihood Schätzer
lik e lih o o d f ü g g v é n y , n = 1 0 0
0.012
0.008
0.006
Daraus können wir die
Verteilungen bestimmen.
Rot: Normal
Blau: Gamma
P(X>300)=1.5%
P(X>300)=4%
Aus diesen Modellen bekommen 0
wir einen realistischeren Antwort.
0.000
0.002
0.004
100
y
0.1
0.0
0 .4
0 .6
0 .8
1 .0
0 .0
0 .2
0 .4
x
0 .6
0 .8
1 .0
x
200
300
was ist das Anteil diejenige Arbeitnehmer, die mehr
als 300 TFt pro Monat verdienen? Falls wir eine
Stichprobe haben: 50, 60, 80, 100, 130, 280 (TFt) davon sehen wir, das
falls wir die relative Häufigkeit als Schätzer
anwenden.
Aber man kann die Daten mit verschiedene
Verteilungen nähern, und davon können wir es
versuchen, z.B. eine Normalverteilung mit diesen
Parametern anzuwenden. Auch andere Verteilungen
sind möglich, z.B. die Gamma Verteilung.
Eigenschaften der Varianz
0.010
36133
= 85
5
0 .2
pˆ = 0
Monatsgehalt-verteilung
Dichte
x = 116,7;σˆ =
0 .0
Beispiel
Falls wir eine Idee haben, welche
Verteilung (z.B. Normal, Gamma,...)
unsere Grundgesamtheit beschreibt, wir
können deren Parametern schätzen,
und so die Verteilung bestimmen.
Daraus können wir die für uns
interessante Wahrscheinlichkeiten
nähern.
Beispiel/2
k = 1 , m a x = 0 .0 5
k = 5 ,m a x = 0 .2 5
k = 1 0 ,m a x = 0 .5
0.3
0.15
die Verteilung der
Grundgesamtheit
X 1 + ... + X n
n
0.05
y
pˆ = X =
0.00
Man kann es
mathematisch
beweisen, dass
die Lösung lautet
Wir betrachten es jetzt als eine Funktion von p
(Likelihood Funktion).
k = 5 , m a x = 0 .0 5
k = 2 5 ,m a x = 0 .2 5
k = 5 0 ,m a x = 0 .5
0.10
 n
  n
P ∑ X i = k  =   p k (1 − p) n − k
 i =1
 k 
lik e lih o o d f ü g g v é n y , n = 2 0
0.2
Wir suchen
diejeniges p,
für welchen die
Likelihood-Funktion
maximal ist.
Wie kommt man zu einem Schätzer?
Beispiel: die Wahrscheinlichkeit von einem Ereignis A.
Falls P(A)=p, man hat als Verteilung der Erfolge
400
500
Damit können wir Schätzer für die Wahrscheinlichkeit
grossen Differenzen von dem Erwartungswert
bekommen:
P(|X-EX| ≥ ε)≤Var(X) /ε2 (Tschebischev’sche
Ungleichung)
Beispiele: Falls E=100, Standardabweichung=20,
dann P(|X-100| ≥ 40)≤400 /1600=1/4.
P(|X-100| ≥ 60)≤400 /3600=1/9.
Für unsere Schätzer: man kann die nötige
Stichprobenumfang bestimmen um eine gegebene
Genauigkeit zu erreichen.
TFt
3
Beispiel
pˆ = X = 15%
Bootstrap
Var ( pˆ ) = p (1 − p ) / n
ˆ=p
Also für n=100 wir haben Var=0,001275. Ep
Daraus
P (| pˆ − p |> 0,1) ≤ 0,001275 / 0,01 = 12,75%
Nicht sehr genau (aber sicher). Wir bekommen
Pünktlichere Ergebnisse, wenn wir die Verteilung unser
Schätzer auch betrachten. Für die selbe Differenz,
aufgrund der Normalverteilung:
P(| pˆ − p |> 0,1) ≈ P (| Z |> 0,1 / 0,035) = 0,5%
Bootstrap-Beispiel
Intervallschätzung
Schaetzungen aufgrund der bootstrap Stichproben
100
Die beobachtete
Wahrscheinlichkeit für
Frequency
60
40
20
Insgesamt: 1%, also ein
wenig grösser als das
Ergebnis durch die
Normalverteilung.
Die wahren Parameter der
Grundgesamtheit sind unbekannt
Antwort: aufgrund der Stichprobe
geben wir ein Schätzwert, aber es ist
nur ein Näherungswert. Wichtig: den
Fehler zu quantifizieren.
Dazu braucht man die Eigenschaften
(die Verteilung) der Schätzungen.
0
P( pˆ > 25%) = 0.8%
80
P( pˆ < 5%) = 0.2%
Falls wir können die Verteilung unser
Schätzer nicht bestimmen, können wir eine
Simulationstechnik anwenden:
Nehmen wir mehrere Stichproben aus unser
Stichprobe (mit Zurücklegen, und mit dem
selben Umfang als die originale). Wenn wir
die Schätzung für diese „Bootstrap”
Stichproben ausrechnen, bekommen wir eine
Näherung zu der Verteilung unser Schätzer .
0.05
0.10
0.15
0.20
0.25
0.30
p
Verteilung der Schätzer für die
Mittelwert der Normalverteilung
Vertrauensintervall
1. σ ist bekannt
Falls σ sei bekannt, wir können die Verteilung
unseren Schätzfunktion X genau bestimmen: es hat
Normalverteilung mit Parametern
(m, σ / n ). Daraus folgt, dass wir können den
Unterschied zwischen unsere Schätzung und den
wahren Parameter schätzen. Aber dessen
Eigenschaften hängen von n und σ ab, also es ist
einfacher die standardisierte Version:
n ( X − m)
σ
zu benutzen.
Es ist nämlich standard Normalverteilt, also z.B. man
weisst, dass

P


n ( X − m)
σ

> 2  ≈ 0,05


Daraus kann man ein Vertrauensintervall
(Konfidenzintervall) für m konstruieren:

2σ
2σ  

,X +
P m ∈  X −
  ≈ 0,95
n
n  


natürlich geht es ebenso, generell für Sicherheit 1-α:

z
z
σ
σ

P m ∈  X − 1−α / 2 , X + 1−α / 2
n
n



  = 1 − α

4
Falls σ ist nicht bekannt
Interpretation
wenn man mit vielen Stichproben die
selben m Schätzt, wird m in 100(1-α)
Prozent aller Fälle in diesen Intervall
liegen.
Korrektur für Stichproben aus endlichen
Grundgesamtheit (mit Umfang N):


σ
z
P m ∈  X − 1−α / 2

n


σ
z
N −n
, X + 1−α / 2
N −1
n
N − n  
 = 1−α
N − 1  
Vertrauensintervall mit
Deckungswahrscheinlichkeit 1-α
σˆ
σˆ  

t
t

P m ∈  X − 1−α / 2,n−1 , X + 1−α / 2,n −1   = 1 − α
n
n



Für n>50 die t-Quantil geht in die standard
Normalquantil über. Ebenso wenn die Verteilung der
Merkmal ist unbekannt, für n>50 kann man die
Konfidenzbereich für die Mittelwert von Punkt 1 (σ
bekannt) benutzen.
Oft wählt man der Stichprobenumfang so, dass für
gegebene Sicherheit 1-α die Intervallbreite eine
gegebene Zahl d nicht überschreitet. Dazu:
4( z1−α / 2 ) 2 σ 2
n≥
(Fall 1: σ soll bekannt sein)
2
n
σˆ =
2
∑(X
i =1
Wenn aus 100 Studenten 25 die erste Prüfung
nicht bestanden haben, was kann man als
Vertrauensintervall mit α=0,05 (α=0,01) für den
Durchfallwahrscheinlichkeit geben?
Für α=0,05: 0,25-1,96*(0,25*0,75)1/2/10=0,165;
0,25+1,96*(0,25*0,75)1/2/10=0,335; Also das
Intervall lautet: (0,165;0,335)
Für α=0,01: 0,25-2,58*(0,25*0,75)1/2/10=0,138;
0,25+2,58*(0,25*0,75)1/2/10=0,362; Also das
Intervall lautet: (0,138;0,362)
n
− X )2
σˆ =
∑(X
i
− X )2
i =1
n −1
n −1
Die Standardisierung:
n ( X − m)
σˆ
Es ist nicht mehr standard Normalverteilt, sondern
Student (t)-verteilt.
In diesem Fall für die Einzelbeobachtung
(Indikatorfunktion) σ2=p(1-p), also wir
bekommen für p die folgenden Intervall (mit
Sicherheit 1-α)

z
pˆ (1 − pˆ ) 
z
pˆ (1 − pˆ )

 X − 1−α / 2
, X + 1−α / 2


n
n


k
wobei pˆ = n (die relative Häufigkeit). Um diese
Approximation gültig zu sein, brauchen wir
dass n ist gross genug (n>50).
d
i
Vertrauensintervall für die
Wahrscheinlichkeit
Beispiel
In diesem Fall können wir die Verteilung unseren
Schätzfunktion nicht genau bestimmen, wir müssen
dazu auch noch die Varianz (und daraus die
Standardabweichung) schätzen:
Stichprobenumfang
Wieder können wir die Stichprobenumfang so
wählen, dass für gegebene Sicherheit 1-α die
Intervallbreite eine gegebene Zahl d nicht
überschreitet. Dazu:
4( z1−α / 2 ) 2 pˆ (1 − pˆ )
n≥
d2
Aber p und sein Schätzer sind unbekannt bei
der Planung der Untersuchung, so man kann
eine obere Schranke wählen:
2
z
n ≥ 1−α2/ 2
d
5
Vertrauensintervall für die
Standardabweichung
Beispiel
Wieviel Studenten sollen wir fragen, um das
95%-Vertrauensintervall für den
Durchfallwahrscheinlichkeit kürzer als 0,1 zu
haben? 1,962/0,01=384 Studenten sind nötig.
Um die Länge zu halbieren braucht man 4
Mal so viel Beobachtungen.
Für die 99%-Vertrauensintervall:
2,582/0,01=666 Studenten sollen gefragt
werden.
Voraussetzung: die Beobachtungen sind Normalverteilt.
n
Man kann es bewiesen, dass
( X − X )2
∑
i
i =1
σ2
hat ein Chi-Quadrat Verteilung mit Freiheitsgrad n-1, und
davon der Konfidenzbereich:
n


 n

 ∑ ( X i − X ) 2 ∑ ( X i − X )2  

2
i =1
i =1
 = 1−α

,
P σ ∈

 h1−α / 2, n−1
hα / 2,n −1






wobei hα/2,n-1 und h1-α/2,n-1 sind die α/2 und 1- α/2 Quantile
der Chi-Quadrat Verteilung mit FG=n-1.
6