7. Schätztheorie - Statistik und Ökonometrie

Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7. Schätztheorie
Nur durch eine Totalerhebung kann man die Verteilung einer Zufallsvariablen X in
einer Grundgesamtheit vollständig beschreiben. Häufig ist jedoch eine Totalerhebung
entweder unmöglich oder einfach zu teuer. Deswegen versucht man mit Hilfe von
Teilerhebungen ((Zufalls-)Stichproben) Anhaltspunkte über die Verteilung einer
Grundgesamtheit und über deren Parameter zu gewinnen.
Unterscheidungen der Schätzungen:
- mit oder ohne Zurücklegen
- homograder Fall vs. heterograder Fall
- homograde Variablen unterscheiden, ob ein Objekt eine bestimmte Eigenschaft
besitzt oder nicht, (0,1)-Variable: Schätzung von Anteilssätzen
- heterograde Variablen (metrisch skalierte ZV): Schätzung von Mittelwerten und
Varianzen
1
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
- Punkt- oder Intervallschätzungen
Bei der Punktschätzung handelt es sich um die Bestimmung eines einzelnen Wertes zur
Schätzung eines unbekannten Parameters.
Da Punktschätzungen mit sehr hoher Wahrscheinlichkeit mit dem wahren Wert des
Parameters nicht übereinstimmen, ergänzt man eine Punktschätzung oft durch eine
Intervallschätzung. Dabei berechnet man ein Intervall, das den wahren unbekannten
Wert des Parameters der Grundgesamtheit mit einer vorgegebenen Wahrscheinlichkeit
überdeckt.
2
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.1. Punktschätzung von Parametern einer Grundgesamtheit
7.1.1. Punktschätzung für den Mittelwert (heterograder Fall)
Der unbekannte Mittelwert µ der metrischen Zufallsvariablen X einer Grundgesamtheit
soll anhand einer Zufallsstichprobe von Umfang n geschätzt werden.
Das arithmetische Mittel der Stichprobenelemente stellt den Schätzwert µ̂ für den unbekannten Mittelwert µ dar:
{x1 , x2 ,..., xn } ⇒ x = 1 ∑ xi
n
µ̂ = x
Die Punktschätzung µ̂ = x ist die Realisation der Zufallsvariablen X n .
Der geschätzte Wert µ̂ ist von dem wahren Mittelwert µ der Grundgesamtheit sorgfältig
zu unterscheiden. Die Abweichung des geschätzten Wertes µ̂ vom wahren Mittelwert µ
wird Schätzfehler genannt: e = µ − µˆ
3
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Bei den meisten Schätzungen treten Schätzfehler auf. Entscheidend ist aber, ob die
Punktschätzung den wahren Wert im Durchschnitt trifft.
1
1
1
E ( µ ) = E ( X n ) = E ( ∑ X i ) = ∑ E ( X i ) = nµ ⇒ E ( µˆ ) = µ
n
n
n
⇒ µ̂ ist
eine erwartungstreue Schätzung für µ.
Die für die Schätzung des Mittelwertes der Grundgesamtheit verwendete Schätzmethode
nennt man Momentenmethode. Sie schätzt das unbekannte 1. unzentrierte Moment der
Grundgesamtheit (Mittelwert) mit dem entsprechenden 1. unzentrierten Moment der
Stichprobe.
4
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.1.2. Punktschätzung für die Varianz (heterograder Fall)
Wenn man bei der Punktschätzung der Varianz die Momentenmethode direkt anwendet
2
(d.h. als Schätzwert für die unbekannte Varianz der Grundgesamtheit σ̂ die empirische
Varianz der Stichprobe s2 verwendet), bekommt man nicht erwartungstreue, sondern
verzerrte Schätzer:
1
2
2
Das 2. zentrale Moment (= empirische Varianz der Stichprobe): s = n ∑ ( xi − x )
1

E (S 2 ) = E  ∑ ( X i − µ ) 2  − E ( X n − µ ) 2
n

1
1
n −1 2
σ
= ∑ E ( X i − µ ) 2 − E ( X n − µ ) 2 = ∑V ( X i ) − V ( X n ) = σ 2 − σ 2 n =
n
n
n
Diese Punktschätzung ist somit um den Faktor (n-1)/n verzerrt.
(S2: Zufallsvariable, s2: Realisation der Zufallsvariablen).
5
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Da die Verzerrung durch den Faktor (n-1)/n ausgedrückt wird, korrigiert man mit dem
Umkehrwert dieses Faktors:
n 2
1 n
σ̂ =
s =
( xi − x ) 2
∑
n −1
n − 1 i =1
2
(n-1 ist die Zahl der Freiheitsgrade)
Mit dieser Formel erhält man erwartungstreue Schätzer für die Varianz.
Die obige Formel gilt für den Fall mit Zurücklegen.
Im Fall ohne Zurücklegen muss noch der Korrekturfaktor berücksichtigt werden:
Kf =
N −n
<1
N −1
Schätzformel für die Varianz im Fall ohne Zurücklegen:
σˆ 2 =
N −1 n 2
s
N n −1
6
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.1.3. Punktschätzung für den Anteilswert (homograder Fall)
Analog zur Schätzung des unbekannten Mittelwertes einer Grundgesamtheit durch das
arithmetische Mittel der Stichprobe ist zur Schätzung eines unbekannten Anteilwertes p
einer Grundgesamtheit die Punktschätzung durch den Stichprobenanteilswert sehr gut
geeignet:
pˆ = h
mit pˆ : Schätzwert für den Anteilsatz in der Grundgesamtheit
h : Anteilsatz in der Stichprobe
Diese Schätzung ist eine erwartungstreue und konsistente Schätzung.
1
1
1
E ( pˆ ) = E ( H n ) = E (∑ Bi ) = ∑ E ( Bi ) = np ⇒ E ( pˆ ) = p ( Erwartungstreue)
n
n
n
1
1
1
V ( pˆ ) = V ( H n ) = V ( ∑ Bi ) = 2 ∑ V ( B i ) = 2 npq = pq / n
⇒ ( Konsistenz )
n
n
n
Mit zunehmendem Stichprobenumfang wird die Varianz immer kleiner und die Schätzung genauer.
7
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.1.4. Eigenschaften von Punktschätzungen
Schätzwert einer Punktschätzung eines Parameters ist eine Zufallsvariable und kann
viele mögliche Werte annehmen.
Der unbekannte Parameter selbst ist eine konstante Größe.
Allgemeine Schreibweise:
θ : der wahre Wert der Grundgesam theit
θˆ : Schätzwert des Parameters
θˆ = θˆ( X 1 ,..., X n ) : Schätzfunk tion
Schätzfunktionen sind durch bestimmte stochastische Eigenschaften charakterisiert, die
Auskunft darüber geben, wie gut Schätzfunktionen für bestimmte Zwecke geeignet sind.
8
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Erwartungstreue
Ein Schätzer θˆ ist erwartungstreu oder unverzerrt („unbiased“), wenn sein Erwartungswert dem wahren Wert des zu schätzenden Parameters entspricht:
E (θˆ ) = θ
Asymptotische Erwartungstreue
Die asymptotische Erwartungstreue ist eine schwächere Eigenschaft als die Erwartungstreue. Bei nicht erwartungstreuen Schätzern impliziert sie, dass die Verzerrung mit
zunehmendem Stichprobenumfang geringer wird und für n → ∞ verschwindet:
lim E (θˆ) = θ
n →∞
9
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Konsistenz
Ein Schätzer ist konsistent, wenn er erwartungstreu (oder mindestens asymptotisch
erwartungstreu) ist und seine Varianz bei zunehmendem Stichprobenumfang gegen Null
geht:
P (| θˆ − θ |> ε ) → 0 für n → ∞
oder p lim θˆ = θ
n→ ∞
Effizienz
Ein Schätzer heißt effizient, wenn er in der Klasse aller erwartungstreuen Schätzer die
kleinste Varianz besitzt:
V (θ *) < V (θˆ)
10
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.2. Zufallsstichproben und Stichprobenfunktionen
Grundlegend für das statistische Schließen ist der Begriff der Stichprobe. Auf der Basis
der Stichprobe werden die Aussagen über eine Grundgesamtheit getroffen. Umgangssprachlich versteht man unter einer Stichprobe eine Auswahl aus einer größeren Gesamtheit. In der schließenden Statistik muss eine Stichprobe allerdings bestimmte Anforderungen erfüllen.
7.2.1. Zufallsstichproben
Sei X eine Zufallsvariable und seien X1, X2, …, Xn Zufallsvariablen mit gemeinsamer
Verteilung,
- dann heißen X1, X2, …, Xn Zufallsstichprobe aus X, wenn jedes Xi wie X verteilt ist. n
ist Stichprobenumfang und die Werte x1, …, xn der Zufallsvariablen X1, …, Xn heißen
Realisierung oder Wert der Stichprobe.
- Eine Zufallsstichprobe X1, X2, …, Xn heißt einfache Stichprobe aus X, wenn X1, X2,
…, Xn außerdem stochastisch unabhängig sind.
11
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Eine Zahl, die von der Verteilung von X abhängt, nennt man einen Verteilungsparameter. Die wichtigsten Parameter sind der Erwartungswert, die Varianz, die Quantile sowie die Interwallwahrscheinlichkeiten.
Beispiel: Die untersuchte Grundgesamtheit G besteht aus allen Haushalten in
Deutschland im Jahr 2001. Untersuchungsmerkmal ist das verfügbare monatliche
Haushaltseinkommen. Da die Grundgesamtheit sehr groß ist, soll nur ein Teil der
Einkommen statistisch erhoben werden. Durch ein Experiment wird ein Haushalt zufällig
ausgewählt (zufällig heißt, jeder Haushalt besitzt die gleiche Chance, ausgewählt zu
werden). Dann werden durch erneute Zufallsauswahl aus der Grundgesamtheit G unabhängig voneinander weitere Haushalte gezogen und entsprechende Einkommen
festgestellt.
Durch Xi (verfügbares monatliches Einkommen des Haushalts i) ist eine Zufallsvariable
X gegeben. Die Einkommenswerte x1, x2, …, xn können als Realisierungen einer
Stichprobe aus X1, X2, …, Xn aus X aufgefasst werden.
12
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.2.2. Stichprobenfunktionen
Statistische Verfahren beruhen auf Zufallsstichproben aus einer oder mehreren Zufallsvariablen. Eine Stichprobe X1, X2, …, Xn aus X geht jedoch meistens nicht direkt, sondern
über eine Funktion
g(X1, X2, …, Xn)
in das Verfahren ein. Die Funktion g(X1, X2, …, Xn) ist selbst eine Zufallsvariable und
wird Stichprobenfunktion genannt.
Wichtige Stichprobenfunktionen sind das Stichprobenmittel und die Stichprobenvarianz.
Das arithmetische Mittel der Beobachtungen Xi heißt Stichprobenmittel:
1
X =
n
n
∑
i =1
X
i
Stichprobenvarianz:
1 n
1 n 2
2
S = ∑(X i − X ) = ∑ Xi − X 2
n i =1
n i =1
2
13
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.3. Stichprobenverteilungen
Die Stichprobenparameter wie Mittelwert, Anteilswert, Varianz und andere sind Realisationen von Zufallsvariablen. Ihre Wahrscheinlichkeitsverteilungen nennt man Stichprobenverteilungen.
Sei X ~ N ( µ , σ ) und sei X1, X2, …, Xn eine Stichprobe aus X (normalverteilte Stichprobe). Dann gilt für den Stichprobenmittel:
X ~ N (µ ,
σ
n
)
und für das standardisierte Stichprobenmittel:
X −µ
σ / n ~ N(0, 1)
14
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.3.1. Chi-Quadrat-Verteilung
Seien U1, U2, …, Uυ unabhängige N(0,1)-verteilte Zufallsvariablen. Dann besitzt
ν
Q = ∑i =1U i2 ~ χν2 eine Chi-Quadrat-Verteilung (υ: Anzahl der Freiheitsgrade).
Chi-Quadrat-Verteilung ist eine stetige Verteilung auf [0,∞]. Diese Verteilung ist asymmetrisch und rechtsschief:
15
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Der Erwartungswert und die Varianz dieser Verteilung sind:
E[Q] = υ und V[Q] = 2υ
Sei X1, X2, …, Xn eine Stichprobe aus X ~ N ( µ , σ ) . Aus der Definition der Chi-QuadratVerteilung folgt, dass
 Xi − µ 

 ~ χ
∑

i=1  σ
2
n
2
n
Es gilt außerdem
2
 Xi − X 
2

 ~
=
(
−
)
=
X
X
∑
i
2
2 ∑
σ 
σ
σ i=1
i =1 
nS2
1
n
n
χ n2−1
Die Stichprobenvarianz S2 ist somit verteilt wie das
σ2
n
-fache einer
χ n2−1 -verteilten Zu-
fallsvariable.
16
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.3.2. t-Verteilung
Seien U und Q stochastisch unabhängig, wobei U standardnormal verteilt U ~ N(0,1) und
2
Q Chi-Quadrat-verteilt Q ~ χ n ist.
U
W
=
ν heißt t-Verteilung (auch Student-Verteilung genannt) mit
Die Verteilung von
Q
Parameter υ:
W=
U
ν ~ t ν (mit υ: Anzahl der Freiheitsgrade).
Q
Für diese Verteilung gilt:
E[W] = 0, falls υ ≥ 2,
ν
und V[W] = ν − 2 , falls υ ≥ 3.
17
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Die Dichtefunktion der t-Verteilung ähnelt der Dichte der Standardnormalverteilung: sie
ist symmetrisch um null. An den Flanken weist jedoch die Dichte der t-Verteilung mehr
Masse als die N(0,1)-Dichte auf. Mit steigender Anzahl der Freiheitsgrade (für υ ≥ 40)
konvergiert die t-Verteilung gegen die Standardnormalverteilung.
18
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.3.3. F-Verteilung
Seien Qn und Qm zwei unabhängige Chi-Quadrat-verteilte Zufallsvariablen. Die Verteilung des Quotienten Z nennt man dann + F-Verteilung mit n und m Freiheitsgraden:
Qn
Z = n
Qm
m
~ Fn,m
mit n: Anzahl der Zählerfreiheitsgrade und m: Anzahl der Nennerfreiheitsgrade
Der Erwartungswert und die Varianz werden wie folgt bestimmt:
E [Z ] =
m
m−2
falls m ≥ 3
2 m 2 ( n + m − 2)
V [Z ] =
n ( m − 2) 2 ( m − 4)
falls m ≥ 5
19
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Die F-Verteilung ist eine stetige Verteilung. Sie ist asymmetrisch rechtsschief (linkssteil).
Für große m lässt sich die F-Verteilung durch die Chi-Quadrat-Verteilung approximieren.
Die F-Verteilung wird zum Vergleich von Streuungen verwendet.
20
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.3.4. Verteilung des Stichprobenmittelwertes
Bei großem Stichprobenumfang n gilt für die Verteilung des Stichprobenmittelwertes X :
σ
E ( X ) = µ, σ X =
n
X ist annähernd normalverteilt (nach dem zentralen Grenzwertsatz).
Man geht davon aus, dass bei einem Stichprobenumfang von n > 30 die Ausgangsverteilung keine Rolle spielt.
X −µ
σ / n
ist annähernd standardnormalverteilt.
Daraus folgt die Wahrscheinlichkeitsaussage
P(µ − z ⋅ σ X < X < µ + z ⋅ σ X ) = D( z)
(direkter Schluss)
Direkter Schluss: Schluss von der Grundgesamtheit auf die Stichprobe.
21
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
7.4. Intervallschätzungen mit großen Stichproben
Trotz der guten Eigenschaften der Punktschätzungen, weiß man nicht, welches Vertrauen
man in sie legen kann. Anders ist das bei den Intervallschätzungen. Bei Intervallschätzungen kann man die Wahrscheinlichkeiten angeben, mit denen ein Schätzer in ein
bestimmtes Intervall fällt.
Begriff des Konfidenzintervalls:
Gilt für das Zufallsintervall [Q1;Q2] und einen bestimmten Parameter q
P(Q1 ≤ q ≤ Q2 ) = 1 − α , d.h. überdeckt das Intervall den unbekannten Parameter q mit
einer vorgegebenen Wahrscheinlichkeit 1-α, dann heißt [Q1;Q2] Konfidenzintervall für q
zum Konfidenzniveau 1-α.
• 1-α: Konfidenzwahrscheinlichkeit. Sie gibt an, inwieweit man darauf vertrauen kann,
dass der unbekannte Wert q im Konfidenzintervall liegt.
• α: Irrtumswahrscheinlichkeit. Sie gibt an, wie oft man sich im Mittel irrt, wenn man
Konfidenzintervalle aufstellt.
• Q1; Q2: Konfidenz- oder Vertrauensgrenzen.
22
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Konfidenzintervalle für Mittelwerte
Die Intervallschätzung stellt die Umkehrung des direkten Schlusses (s. o.) dar und heißt
auch Umkehrschluss oder Rückschluss (indirekter Schluss).
Indirekter Schluss: Schluss von der Stichprobe auf die unbekannte Grundgesamtheit.
Konfidenzintervall um den Mittelwert µ:
KONF ( x − z σ X ≤ µ ≤ x + z σ X ) = 1 − α
In den meisten Fällen ist aber auch die Varianz des Merkmals in der Grundgesamtheit
unbekannt, so dass man sie schätzen muss, um das Konfidenzintervall zu bestimmen:
KONF ( x − z σˆ X ≤ µ ≤ x + z σˆ X ) = 1 − α
Dadurch entsteht eine zusätzliche Ungenauigkeit.
23
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Konfidenzintervalle für Anteilswerte:
Bei großen Stichproben werden die Intervalle für Anteilswerte analog geschätzt:
KONF( p − z
pq
pq
≤ P ≤ p+z
) = 1− α
n
n
(Rückschluss)
7.5. Intervallschätzung mit kleinen Stichproben
Bei großen Stichproben lassen sich die Konfidenzintervalle leicht konstruieren, da nach
dem zentralen Grenzwertsatz die Normalverteilung eine gute Näherung für die wahre
Stichprobenverteilung darstellt.
Bei kleinen Stichproben ist es jedoch nicht gegeben. Nur in den Situationen, wenn das
Merkmal bereits in der Grundgesamtheit normalverteilt ist, wird die Konstruktion von
Konfidenzintervallen wieder einfach. Wegen der Reproduktionseigenschaft der Normalverteilung ist der Stichprobenmittelwert auch normalverteilt.
24
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Konfidenzintervalle für Mittelwerte
Wenn die Stichprobe aus einer normalverteilten Grundgesamtheit stammt, ist der Quotient X σˆ− µ auch für kleine Stichproben STUDENT-t-verteilt mit n-1 Freiheitsgraden.
X
Hieraus folgt die Wahrscheinlichkeitsaussage:
P (−t ≤
X − µ
≤ + t ) = FT (t ) − FT ( − t )
σˆ X
Das Konfidenzintervall für µ lautet:
KONF ( x − t n−1σˆ X ≤ µ ≤ x + t n −1σˆ X ) = 1 − α
mit dem (1- α/2)-Quantil: tn−1[1−α / 2] = −tn−1[α / 2]
25
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Konfidenzintervalle für Varianzen
Die Varianz S2 einer Stichprobe ist eine Zufallsvariable. Ihre Verteilung lässt sich berechnen für den Fall, dass das Merkmal in der Grundgesamtheit annähernd normalverteilt
ist und die einzelnen Stichproben unabhängig gezogen werden.
Wenn das Merkmal in der Grundgesamtheit normalverteilt ist, so ist der Quotient
n
S2
σ
2
= χ n2−1 Chi-Quadrat-verteilt mit n–1 Freiheitsgraden.

n ⋅ s2
n ⋅ s2 
2
 = 1 − α
KONF  2
≤σ ≤ 2
χ n−1[α / 2] 
 χ n−1[1 − α / 2]
26
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Chi-Quadrat-Verteilung ist keine symmetrische Verteilung,
2
F ( χ unten
) =α /2
2
F ( χ oben
) = 1−α / 2
beide Stellen sind positiv.
Quelle: J. Schira (2003), S. 461.
27