Kap. 4: Lineare Mehrfachregression

Kap. 4: Lineare Mehrfachregression
• Diskussion der bisherigen Ergebnisse
• Verzerrung durch vergessene Variablen
• Multiple lineare Regression und OLS
• Annahmen im multiplen linearen Regressionsmodell
• Verteilung der KQ-Schätzer
• Tests und Konfidenzintervalle für einzelne Koeffizienten
• Testen mehrerer Koeffizienten: Der F -Test
• Testen einer Linearkombination
• Konfidenzbereiche für mehrere Koeffizienten
• Empirisches Beispiel: Fortsetzung
• Modellspezifikation
4.1
Diskussion der bisherigen Ergebnisse
• Zwischenfazit: lineare Einfachregression zeigt (schwachen) linearen Zusammenhang zwischen Schüler-Lehrer-Quotient und Testergebnis.
• Interessierende Frage: was ist Effekt einer Veränderung (“Behandlung”) des SchülerLehrer-Quotienten auf Testergebnisse? (“Behandlung”: Einstellung neuer Lehrer)
Dies ist Frage nach kausalem Zusammenhang.
• Unsere Regression liefert keine befriedigende Antwort: Bezirke mit kleinem stratio haben
i.d.R. hohes Einkommen – lässt vermuten, dass Schüler bessere Lernumgebung zu Hause
vorfinden, eher Nachhilfeunterricht erhalten können, etc.
Vermutlich E(ui|Xi) 6= 0 und damit Cor(ui, Xi) 6= 0.
C. Kleiber: Ökonometrie 1
Kap. 4-1
U Basel, HS 2009
4.1
Diskussion der bisherigen Ergebnisse
Kausaler Effekt: Effekt in einem idealen randomisierten kontrollierten Experiment.
• ideal: alle Untersuchungseinheiten folgen “Behandlungsprotokoll”
• randomisiert: Teilnehmer werden zufällig auf beide Gruppen (Behandlung, Kontrolle)
verteilt
• kontrolliert: Vorhandensein von Kontrollgruppe erlaubt Messung des differentiellen Effekts
• Experiment: Zuweisung der Behandlung ist Teil des Experiments – Teilnehmer können
nicht wählen, ob sie Behandlung erhalten oder nicht.
In einem idealen randomisierten kontrollierten Experiment gibt es (evtl.) weitere Einflussgrössen für Y , aber es gilt E(u|X) = 0.
Haben wir Beobachtungsdaten mit E(u|X) = 0, kann man X interpretieren als wäre es
zufällig zugewiesen worden.
Wichtig für Verständnis von Regression bei Beobachtungsdaten: warum könnte E(u|X) von
Null verschieden sein? Es könnte vergessene Variablen geben, die mit X zusammenhängen.
C. Kleiber: Ökonometrie 1
Kap. 4-2
U Basel, HS 2009
4.1
Diskussion der bisherigen Ergebnisse
Bei Schulbezirken:
• Was ist ein ideales randomisiertes kontrolliertes Experiment?
• unsere Analyse von Beobachtungsdaten weicht von Ideal ab, da
–
–
–
–
Behandlung nicht zufällig
Bezirke mit hohem Einkommen haben i.d.R. kleines stratio und gute Testergebnisse.
E(ui|Xi) 6= 0 zu erwarten
damit dürfte Annahme (A1) verletzt sein – Folgerung: β̂1 ist verzerrt!
Naheliegende Frage: ist Schüler-Lehrer-Quotient alleinige Einflussgrösse oder müssen weitere
Variablen berücksichtigt werden?
Dies führt zur multiplen linearen Regression.
C. Kleiber: Ökonometrie 1
Kap. 4-3
U Basel, HS 2009
4.2
Verzerrung durch vergessene Variablen
OLS-Ergebnisse für Schulbezirke:
score = 698.93 −
2.28
· stratio
(10.34)
(0.52)
Glaubhafte Schätzung für Zusammenhang zwischen Schüler-Lehrer-Quotient und Testergebnissen? Nein – es gibt bisher unberücksichtigte Variablen (Einkommen, Muttersprache, ...),
die OLS verzerren. stratio könnte deren Einfluss aufgreifen.
Verzerrung von OLS, die sich durch unberücksichtigte Einflussfaktoren ergibt, heisst Verzerrung durch vergessene Variablen (“omitted variable bias”)
Verzerrung ergibt sich, falls vergessene Variable Z
• Einfluss auf Y hat und
• mit X korreliert
Beide Bedingungen müssen erfüllt sein!
Beispiel: Variable english (Prozentsatz Schüler, deren Muttersprache nicht Englisch ist)
• Sprachkenntnisse Z beeinflussen score
• Bezirke mit hohem Immigrantenanteil sind im Mittel ärmer, haben daher kleineres Schulbudget und deshalb höheres stratio: Z korreliert mit X.
C. Kleiber: Ökonometrie 1
Kap. 4-4
U Basel, HS 2009
4.2
Verzerrung durch vergessene Variablen
Formal:
Pn
i=1 (Xi − X̄)ui
P
=
β̂1 − β1 =
n
2
(X
−
X̄)
i
i=1
1
n
Pn
i=1 vi
n−1 2
n sX
mit vi = (Xi − X̄)ui ≈ (Xi − µX )ui.
Unter (A1) gilt: E[(Xi − µX )ui] = Cov(Xi, ui) = 0. Was gilt, wenn Cov(Xi, ui) 6= 0?
β̂1 − β1 =
1
n
Pn
i=1 vi
n−1 2
n sX
≈
1
n
Pn
i=1 (Xi −
n−1 2
n sX
µX )ui
Damit sollte ohne (A1) gelten
σXu
ρXuσuσX
β̂1 −→ β1 + 2 = β1 +
2
σX
σX
P
Fazit: ist ρXu = Cor(Xi, ui) 6= 0, so ist β̂1 verzerrt.
C. Kleiber: Ökonometrie 1
Kap. 4-5
U Basel, HS 2009
4.2
Verzerrung durch vergessene Variablen
Interpretation:
• Problem verschwindet auch in grossen Stichproben nicht: OLS ist hier inkonsistent mit
Verzerrung σσu ρXu
X
• Ausmass der Verzerrung hängt wesentlich von |ρXu| ab
• Richtung der Verzerrung hängt von Vorzeichen von ρXu ab
Im Beispiel: wir erwarten, dass Bezirke mit wenig Immigranten (1) besser in Tests abschneiden
und (2) kleine Klassen aufweisen. Also positive Korrelation zwischen stratio und english.
Weglassen von english sollte daher den Einfluss von stratio (absolut) zu hoch angeben.
Was sagen die Daten? Wir teilen nun die Bezirke mit kleinen und grossen Klassen jeweils weiter
in Untergruppen ein, nach den Quartilen der Variable english im gesamten Datensatz:
R> summary(CASchools$english)
Min. 1st Qu.
0.00
1.94
C. Kleiber: Ökonometrie 1
Median
8.78
Mean 3rd Qu.
15.80
23.00
Kap. 4-6
Max.
85.50
U Basel, HS 2009
4.2
Verzerrung durch vergessene Variablen
alle Bezirke
str ≤ 20
Mittelwert n
657.25
239
str > 20
Mittelwert n
650.08
181
english < 1.94%
1.94% ≤ english < 8.78%
8.78% ≤ english < 23%
23% ≤ english
664.07
666.08
654.63
636.63
665.37
661.83
649.71
634.88
78
61
55
45
27
44
50
60
Fazit:
• Bezirke mit wenig Einwanderern haben tendenziell gute Testergebnisse
• Bezirke mit wenig Einwanderern haben tendenziell kleine Klassen
• vergleicht man Bezirke mit ähnlichem Prozentsatz an Einwanderern, scheint Effekt von
stratio klein
C. Kleiber: Ökonometrie 1
Kap. 4-7
U Basel, HS 2009
4.2
Verzerrung durch vergessene Variablen
Potentielle Massnahmen gegen Verzerrung wegen vergessener Variablen:
• randomisiertes kontrolliertes Experiment, d.h. stratio wird “zufällig verordnet”. Dann
beeeinflusst english zwar immer noch score, aber nun sind english und stratio
unkorreliert.
(In Praxis kaum möglich.)
• Verfeinerte Tabellen (s.o.). Aber Daten bald erschöpft!
• Verwende english als zusätzlichen Regressor.
C. Kleiber: Ökonometrie 1
Kap. 4-8
U Basel, HS 2009
4.3
Multiple lineare Regression und OLS
Multiples lineares Regressionsmodell:
Yi = β0 + β1Xi1 + β2Xi2 + · · · + βk Xik + ui,
i = 1, . . . , n
mit
E(Yi|Xi1, Xi2, . . . , Xik ) = β0 + β1Xi1 + β2Xi2 + · · · + βk Xik
Interpretation der Koeffizienten:
βj =
∂E(Yi|Xi1, Xi2, . . . , Xik )
∂Xij
erwartete Änderung in Yi bei Änderung von Xij um eine Einheit, wenn alle anderen Variablen konstant gehalten werden (die “ceteris paribus”-Bedingung der Wirtschaftstheorie)
C. Kleiber: Ökonometrie 1
Kap. 4-9
U Basel, HS 2009
4.3
Multiple lineare Regression und OLS
Definiere KQ-Schätzer über
Q(β̂0, β̂1, . . . , β̂k ) :=
n
X
i=1
û2i =
n
X
(yi − β̂0 − β̂1xi1 − · · · − β̂k xk1)2
→
min!
i=1
Partielles Differenzieren liefert die OLS-Schätzgleichungen (“Normalengleichungen”):
∂Q
∂ β̂j
= −2
n
X
xij (yi − β̂0 − β̂1xi1 − · · · − β̂k xik ) = 0,
j = 1, . . . , k
i=1
∂Q
∂ β̂0
= −2
n
X
(yi − β̂0 − β̂1xi1 − · · · − β̂k xik ) = 0
i=1
C. Kleiber: Ökonometrie 1
Kap. 4-10
U Basel, HS 2009
4.3
Multiple lineare Regression und OLS
Ausführlicher: löse die Gleichungen
n
X
i=1
n
X
xi1(yi − β̂0 − β̂1xi1 − · · · − β̂k xik ) = 0
xi2(yi − β̂0 − β̂1xi1 − · · · − β̂k xik ) = 0
i=1
.. = ..
n
X
xik (yi − β̂0 − β̂1xi1 − · · · − β̂k xik ) = 0
i=1
n
X
(yi − β̂0 − β̂1xi1 − · · · − β̂k xik ) = 0
i=1
Es gibt explizite Lösungen dieser k + 1 Gleichungen in k + 1 Variablen, man kann sie aber für
beliebiges k nur unter Verwendung von Vektoren und Matrizen kompakt aufschreiben.
C. Kleiber: Ökonometrie 1
Kap. 4-11
U Basel, HS 2009
4.3
Multiple lineare Regression und OLS
Im Beispiel:
R> fm <- lm(score ~ stratio + english, data = CASchools)
R> coeftest(fm, vcov = sandwich)
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 686.0322
8.6970
78.88
<2e-16
stratio
-1.1013
0.4313
-2.55
0.011
english
-0.6498
0.0309 -21.01
<2e-16
Beachte: Koeffizient für stratio nur noch halb so gross!
C. Kleiber: Ökonometrie 1
Kap. 4-12
U Basel, HS 2009
4.3
Multiple lineare Regression und OLS
Welcher Anteil der Variation in den Daten wird durch das Modell erklärt?
Definiere wie bisher
ESS
RSS
2
R =
=1−
T SS
T SS
Hinzunahme beliebiger Regressoren vergrössert R2. Modell wird aber nicht notwendig besser.
Alternative: verwende korrigiertes R2 (adjustiertes R2)
R̄2 = 1 −
RSS/(n − k − 1)
n − 1 RSS
=1−
T SS/(n − 1)
n − k − 1 T SS
Eigenschaften:
• (n−1)/(n−k−1) immer grösser als 1 (ein“Strafterm”für mehr Variablen), also R̄2 ≤ R2.
• Hinzunahme eines Regressors verkleinert RSS und vergrössert (n − 1)/(n − k − 1),
Nettoeffekt a priori offen.
Im Beispiel steigen R2 und R̄2 beide von ca. 5% auf über 40%: Hinzunahme von english
hat sich also gelohnt!
C. Kleiber: Ökonometrie 1
Kap. 4-13
U Basel, HS 2009
4.3
Multiple lineare Regression und OLS
Call:
lm(formula = score ~ stratio + english, data = CASchools)
Residuals:
Min
1Q
-48.845 -10.240
Median
-0.308
3Q
9.815
Max
43.461
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 686.0322
7.4113
92.6
<2e-16
stratio
-1.1013
0.3803
-2.9
0.004
english
-0.6498
0.0393
-16.5
<2e-16
Residual standard error: 14.5 on 417 degrees of freedom
Multiple R-squared: 0.426,
Adjusted R-squared: 0.424
F-statistic: 155 on 2 and 417 DF, p-value: <2e-16
C. Kleiber: Ökonometrie 1
Kap. 4-14
U Basel, HS 2009
4.3
Multiple lineare Regression und OLS
Standardfehler der Regression ist nun
v
u
u
SER := t
n
X
1
û2i
n − k − 1 i=1
misst wieder Streuung der û.
Warum n − k − 1? Wir mussten k + 1 Parameter schätzen, β0 und β1, . . . , βk .
C. Kleiber: Ökonometrie 1
Kap. 4-15
U Basel, HS 2009
4.4
Annahmen der KQ-Methode
Alle Eigenschaften der KQ-Schätzer werden aus folgenden Annahmen hergeleitet:
(A1) E(ui|Xi) = 0
(A2) (Xi1, Xi2, . . . , Xik , Yi), i = 1, . . . , n, sind u.i.v.
(A3) Xi1, Xi2, . . . , Xik und ui haben je 4 Momente, d.h.
4
4
4
E(Xi1
) < ∞, E(Xi2
) < ∞, . . . , E(Xik
)<∞
und
E(u4i ) < ∞
(A4) die Regressoren sind nicht linear abhängig (keine “perfekte Multikollinearität”)
C. Kleiber: Ökonometrie 1
Kap. 4-16
U Basel, HS 2009
4.4
Annahmen der KQ-Methode
Diskussion der Annahmen (A1)–(A3):
• (A1) bedeutet wieder, dass Fehlerterm unsystematisch ist für verwendete Regressoren.
Nach wie vor gilt: wenn Variablen vergessen wurden, ist möglicherweise (A1) verletzt und
dies führt zu verzerrten Schätzungen! (omitted variable bias)
• (A2) erfüllt, falls Daten aus einfacher Zufallsstichprobe.
• (A3) ist wieder eine technische Annahme für Beweise.
Automatisch erfüllt, falls Variablen beschränkten Wertebereich haben (Testergebnisse, Prozentsätze, Anteile, . . . )
C. Kleiber: Ökonometrie 1
Kap. 4-17
U Basel, HS 2009
4.4
Annahmen der KQ-Methode
Zur neuen Annahme (A4): wann liegt perfekte Multikollinearität vor?
Beispiele für Regressoren, die zu perfekter Multikollinearität führen:
• Prozentsatz Nicht-Muttersprachler und Anteil Nicht-Muttersprachler
• Prozentsatz Nicht-Muttersprachler und Prozentsatz Muttersprachler
• Bsp.: definiere Indikatorvariable “keine sehr kleinen Klassen” als stratio ≥ 12.
Problem: alle Bezirke im Datensatz haben diese Eigenschaft – die Variable enthält also
keine Information.
Häufiges praktisches Problem: schlecht definierte Indikatorvariablen.
• Konstante, Indikatorvariable Di = 1 für “kleine Klassen” (stratio ≤ 20) und Indikatorvariable Bi = 1 für “grosse Klassen” (stratio > 20). Problem: Bi = 1 − Di.
(Dieses Problem heisst in der Ökonometrie oft “dummy variable trap”.)
Lösung des Problems: verwende nur zwei dieser drei Variablen.
Welche? Praxis: nehme Konstante und eine der beiden Indikatorvariablen.
C. Kleiber: Ökonometrie 1
Kap. 4-18
U Basel, HS 2009
4.5
Verteilung der KQ-Schätzer
Unter den Annahmen (A1)–(A4) gilt analog zur linearen Einfachregression:
(1) E(β̂j ) = βj , d.h. β̂j ist erwartungstreu, und Varianz proportional zu 1/n.
(2) die exakte Verteilung von β̂j ist kompliziert und hängt von der Verteilung von (X, u) ab
P
(3) β̂j −→ βj , d.h. der Schätzer ist konsistent.
(4) Es gilt
β̂j − E(β̂j ) d
q
−→ N (0, 1)
c β̂j )
Var(
c β̂j )) benutzt werden.
d.h. für grosse n darf β̂j ≈ N (βj , Var(
Einzelheiten dieser Resultate lassen sich nur mit Matrixalgebra kompakt formulieren. (später!)
C. Kleiber: Ökonometrie 1
Kap. 4-19
U Basel, HS 2009
4.5
Verteilung der KQ-Schätzer
Diese Verteilungsaussagen werden wie immer i.w. für Tests und Konfidenzintervalle gebraucht.
Hypothesen in Regressionsmodellen:
• Hypothesen vom Typ H0 : βj = 0
→ t-Test
Anwendung: Darf Regressor j weggelassen werden?
• Hypothesen vom Typ H0 : βi = 0 und βj = 0 und H0 : βk = 0
→ F -Test
Anwendung: Dürfen mehrere Regressoren weggelassen werden?
• Hypothesen vom Typ H0 : βi = βj oder H0 : 3β1 − 5β2 + 8β5 = 3
(allgemeine lineare Hypothese)
Einheitliche Behandlung aller 3 Typen möglich, erfordert aber etwas Matrixalgebra.
C. Kleiber: Ökonometrie 1
Kap. 4-20
U Basel, HS 2009
4.6
•
Tests und Konfidenzintervalle für einzelne Koeffizienten
β̂ −E(β̂j )
qj
d
Var
(β̂j )
≈ N (0, 1) für n “gross” (approximative Normalverteilung)
• Hypothesen H0 : βj = βj,0 können deshalb mit der üblichen t-Statistik getestet werden:
t=
β̂j − βj,0
SE(β̂j )
• (approximative) 95%-Konfidenzintervalle ergeben sich wieder mit {β̂j ± 1.96 · SE(β̂j )}
• gleiches gilt für β2, . . . , βk
• β̂i und β̂j sind i.a. nicht unabhängig (da aus gleichen Daten berechnet), gleiches gilt
für zugehörige t-Statistiken (s.u.)
C. Kleiber: Ökonometrie 1
Kap. 4-21
U Basel, HS 2009
4.6
Tests und Konfidenzintervalle für einzelne Koeffizienten
Beispiel: Hat stratio einen Effekt, wenn english kontrolliert wird?
R> fm2 <- lm(score ~ stratio + english, data = CASchools)
R> (sfm2 <- coeftest(fm2, vcov = sandwich))
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 686.0322
8.6970
78.88
<2e-16
stratio
-1.1013
0.4313
-2.55
0.011
english
-0.6498
0.0309 -21.01
<2e-16
• Koeffizient für stratio ist Effekt einer Änderung von stratio um 1, wenn english
konstant gehalten wird
• stratio immer noch signifikant, aber nicht mehr zum 1%-Niveau
• 95% Konfidenzintervall für Koeffizienten für stratio ist gegeben durch
{−1.1013 ± 1.96 · 0.4313} = [−1.9466, −0.256]
C. Kleiber: Ökonometrie 1
Kap. 4-22
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Nullhypothese sei: “Ausstattung der Schule ist irrelevant für Testergebnis”. Zur Ausstattung
gehören sowohl die Lehrerzahl als auch die Ausgaben pro Schüler.
Betrachte deshalb zusätzlich die Variable “Ausgaben pro Schüler” (expenditure) und neues
Modell
scorei = β0 + β1stratioi + β2expenditurei + β3englishi + ui
Formal: teste
H0 : β1 = 0 und β2 = 0 vs. H1 : entweder β1 6= 0 oder β2 6= 0 oder beide 6= 0
Dies ist eine gemeinsame Hypothese (spezifiziert Restriktion für q ≥ 2 Koeffizienten)
Wie testet man hier?
Naiver Ansatz: lehne H0 zum Niveau α ab, falls mindestens eine t-Statistik den krit. Wert
zum Niveau α überschreitet.
Aber: naiver Ansatz funktioniert nicht – dieser Test hat nicht das richtige Signifikanzniveau!
C. Kleiber: Ökonometrie 1
Kap. 4-23
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Was ist das Problem des naiven Tests?
Vereinfachung (Annahme):
β̂1 und β̂2 bzw. zugehörige t-Statistiken t1 und t2 seien unabhängig.
Dann sagt naiver Ansatz: lehne zum Niveau α = 0.05 die Hypothese
H0 : β1 = 0 und β2 = 0 ab, falls |t1| > 1.96 und/oder |t2| > 1.96
Gesucht: W’keit, dass dieser Test H0 ablehnt, obwohl H0 wahr ist (W’keit für Fehler 1. Art).
Hoffnung: 5% . . . aber . . .
C. Kleiber: Ökonometrie 1
Kap. 4-24
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
W’keit für Fehler 1. Art = PH0 (|t1| > 1.96 und/oder |t2| > 1.96)
= PH0 (|t1| > 1.96, |t2| > 1.96) + PH0 (|t1| > 1.96, |t2| ≤ 1.96)
+PH0 (|t1| ≤ 1.96, |t2| > 1.96)
= PH0 (|t1| > 1.96) · PH0 (|t2| > 1.96)
+PH0 (|t1| > 1.96) · PH0 (|t2| ≤ 1.96)
+PH0 (|t1| ≤ 1.96) · PH0 (|t2| > 1.96)
= 0.05 · 0.05 + 0.05 · 0.95 + 0.95 · 0.05
= 0.0975
6= 0.05 (!!!)
Der naive Test hält damit das vorgegebene Niveau nicht ein. Das vorgegebene (gewünschte)
Signifikanzniveau ist 5%, das wahre Niveau der naiven Prozedur ist aber 9.75%.
[Dies wurde zur Vereinfachung unter der Annahme unabhängiger t-Statistiken berechnet. Im
allg. Fall liegt das wahre Niveau zwischen 5% und 9.75%.]
C. Kleiber: Ökonometrie 1
Kap. 4-25
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Lösungen:
• Behandle Problem als multiples Testproblem (an gleichem Datensatz werden simultan
mehrere Hypothesen getestet):
Benutze weiterhin t-Statistiken, aber kritische Werte, die Simultanität berücksichtigen.
Einfachste Methode, verbreitet z.B. in Biostatistik: Bonferroni-Methode (SW, App.
7.1): verteile α gleichmässig auf die q Hypothesen und teste jede zum Niveau α/q (und
verwende damit andere kritische Werte).
Im Beispiel: α = 0.05 und q = 2, teste also jede Hypothese zum Niveau 0.05/2 = 0.025
mit kritischem Wert 2.2414.
Rechtfertigung: Bonferroni-Ungleichung.
Bisher in Ökonometrie wenig verbreitet, in letzten Jahren aber verstärktes Interesse!
• Benutze andere Teststatistik, die β1 und β2 simultan testet: die F -Statistik.
Dies ist die übliche, klassische Methode.
C. Kleiber: Ökonometrie 1
Kap. 4-26
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
F -Statistik (für q = 2 Hypothesen) ist
1
F =
2
t21 + t22 − 2ρ̂t1,t2 t1t2
1 − ρ̂2t1,t2
dabei ist ρ̂t1,t2 Schätzung der Korrelation zwischen t1, t2.
Lehne H0 ab, falls F “zu gross”.
• F gross, wenn t1 und/oder t2 gross
• F korrigiert für die Korrelation zwischen t1 und t2
• im Fall einer einzigen Hypothese ist F -Statistik das Quadrat der t-Statistik
Die allgemeine Form von F für q ≥ 3 Hypothesen lässt sich wieder nur mit Matrixalgebra
übersichtlich darstellen.
Aus obiger Form lässt sich die approximative Verteilung ableiten:
C. Kleiber: Ökonometrie 1
Kap. 4-27
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Exkurs: (Wiederholung Grundvorlesung Statistik)
Aus der Normalverteilung abgeleitete Verteilungen:
• Sei Z ∼ N (0, 1). Dann gilt Z 2 ∼ χ21
• Seien Zi ∼ N (0, 1) u.i.v. Dann gilt
n
X
Zi2 ∼ χ2n
i=1
• Seien X1 ∼ χ2q und X2 ∼ χ2r stoch. unabh. Dann gilt
X1/q
∼ Fq,r
X2/r
In Statistik II wird dies bei Varianzvergleichen benutzt.
P
Im linearen Regressionsmodell wird dies benutzt für X2/r = (Yi − Ŷi)2/(n − k − 1) und
dies ist unter Homoskedastie (approximativ) χ2-verteilt.
C. Kleiber: Ökonometrie 1
Kap. 4-28
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Was ist die (approximative) Verteilung von F ?
P
Seien zur Vereinfachung t1 und t2 stochastisch unabhängig, d.h. ρ̂t1,t2 −→ 0, dann gilt in
grossen Stichproben
1
F =
2
t21 + t22 − 2ρ̂t1,t2 t1t2
1 − ρ̂2t1,t2
1 2
2
≈
t + t2
2 1
• unter H0 sind t1, t2 (approximativ) standardnormalverteilt und (per Annahme) unabhängig
• also ist approximative Verteilung die Verteilung des arithmischen Mittels der Quadrate
zweier unabhängig standardnormalverteilter ZVen
• die Summe von q Quadraten von unabhängig standardnormalverteilten ZVen ist ChiQuadrat-verteilt mit q Freiheitsgraden (χ2q )
• also ist F approximativ χ2q /q-verteilt, bzw. q · F ist approximativ χ2q -verteilt
C. Kleiber: Ökonometrie 1
Kap. 4-29
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Umsetzung in R mit heteroskedastie-robusten Standardfehlern:
Zunächst Schätzung des allgemeineren Modells: (Vorsicht: SW schätzen mit expenditure/1000!)
R> fm3 <- lm(score ~ stratio + expenditure + english, data = CASchools)
R> coeftest(fm3, vcov = sandwich)
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 649.57795
15.38456
42.22
<2e-16
stratio
-0.28640
0.47977
-0.60
0.551
expenditure
0.00387
0.00157
2.46
0.014
english
-0.65602
0.03163 -20.74
<2e-16
Also kann auf stratio sogar verzichtet werden, vorausgesetzt, expenditure und english
sind im Modell!
C. Kleiber: Ökonometrie 1
Kap. 4-30
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Nun der Test von H0 : β1 = 0 und β2 = 0 vs. H1 : β1 6= 0 und/oder β2 6= 0:
R> fm1 <- lm (score ~ english, data = CASchools)
R> waldtest(fm1, fm3, vcov = sandwich)
Wald test
Model 1: score ~ english
Model 2: score ~ stratio + expenditure + english
Res.Df Df
F Pr(>F)
1
418
2
416
2 5.49 0.0044
Bem.: die Funktion waldtest() befindet sich im R-Paket lmtest, das aber beim Laden von
Paket AER automatisch mitgeladen wird.
C. Kleiber: Ökonometrie 1
Kap. 4-31
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
• da der F -Test für grosse Werte von F ablehnt, wird der p-Wert berechnet nach
p − Wert = PH0 (χ2q /q > F ∗) = PH0 (χ2q > q · F ∗)
dabei F ∗ aus Daten berechnetes F .
• weitere Hypothese: haben alle echten Regressoren (d.h. alle ohne die Konstante) überhaupt
einen Einfluss? Also H0 : β1 = β2 = · · · = βk = 0 vs. H1: mindestens ein βj 6= 0.
Die zugehörige F -Statistik ist die Statistik aus dem Standard-Regressionsoutput.
• “Wald-Tests” kommen aus einem allgemeinen Prinzip zur Konstruktion von statistischen
Tests, der F -Test ist ein Spezialfall. Wir müssen diese Funktion nur verwenden, weil der
Standard-Regressionsoutput in R die klassischen Standardfehler unter Homoskedastie liefert.
Dies führt auf
C. Kleiber: Ökonometrie 1
Kap. 4-32
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
F -Statistik und Homoskedastie:
Zwei Wege zur Bestimmung der F -Statistik im klassischen Fall (Homoskedastie):
• benutze bisherige Formel, aber mit unter Homoskedastie berechneten Standardfehlern
• schätze zwei Regressionen, eine unter H0 (“restringiert”), eine unter H1 (“unrestringiert”)
Zweite Version führt auf einfache Formeln:
Seien RSSr und RSSu restringierte und unrestringierte Fehlerquadratsummen, dann
(Ru2 − Rr2)/q
(RSSr − RSSu)/q
=
F =
RSSu/(n − ku − 1) (1 − Ru2 )/(n − ku − 1)
wobei ku die Anzahl der echten Regressoren im unrestringierten Modell und q Anzahl der
Restriktionen
C. Kleiber: Ökonometrie 1
Kap. 4-33
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Beispiel:
Restringiertes Modell
R> fm1 <- lm(score ~ english, data = CASchools)
hat R2 = 0.4149.
Unrestringiertes Modell
R> fm3 <- lm(score ~ stratio + expenditure + english, data = CASchools)
hat R2 = 0.4366.
Damit
(0.4366 − 0.4149)/2
(Ru2 − Rr2)/q
=
= 8.0114
F =
(1 − Ru2 )/(n − ku − 1) (1 − 0.4366)/(420 − 3 − 1)
C. Kleiber: Ökonometrie 1
Kap. 4-34
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Dies muss natürlich nicht selbst programmiert werden: in R gibt es dafür die Funktion anova()
(“Analysis of variance”, Varianzanalyse)
R> anova(fm1, fm3)
Analysis of Variance Table
Model 1:
Model 2:
Res.Df
1
418
2
416
score ~ english
score ~ stratio + expenditure + english
RSS Df Sum of Sq
F Pr(>F)
89000
85700
2
3300 8.01 0.00039
C. Kleiber: Ökonometrie 1
Kap. 4-35
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Bemerkungen:
• Die F -Statistik für den Spezialfall Homoskedastie
(Ru2 − Rr2)/q
F =
(1 − Ru2 )/(n − ku − 1)
lehnt H0 ab, falls Hinzunehmen der q Variablen das R2 “deutlich” erhöht
• falls die Fehlerterme homoskedastisch sind, ist die approximative Verteilung dieser F Statistik wieder χ2q /q, bzw. die von q · F ist χ2q
• falls die Fehlerterme heteroskedastisch sind, ist die approximative Verteilung dieser F Statistik nicht mehr χ2q /q (sondern hoffnungslos kompliziert)
C. Kleiber: Ökonometrie 1
Kap. 4-36
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Regressionsmodelle und F -Verteilung:
Falls (A1)–(A4) gelten und zusätzlich noch
• ui homoskedastisch (für gegebene Xi)
• u1, . . . , un normalverteilt
dann hat die Homoskedastie-Version der F -Statistik eine (exakte!) Fq,n−ku−1-Verteilung.
Dabei ist q die Anzahl der Restriktionen und ku Anzahl Regressoren unter Alternative.
Eigenschaften:
• F -Verteilung tabelliert
• für “grosses” n wird Fq,n−ku−1 approximiert durch χ2q /q.
Manche Autoren bezeichnen deshalb χ2q /q auch als Fq,∞.
Für kleines q und n ≥ 100 sind beide Verteilungen i.w. identisch.
• die meisten Softwarepakete berechnen p-Werte auf der Basis der F -Verteilung
• viele empirische Arbeiten arbeiten deshalb mit F -Verteilung
C. Kleiber: Ökonometrie 1
Kap. 4-37
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Zusammenfassung zum Testen gemeinsamer Hypothesen:
• der naive Ansatz (teste q Hypothesen mittels q einzelner t-Tests) funktioniert nicht, da
diese Prozedur das Signifikanzniveau nicht einhält
• Methode für simultanes Testen mehrerer Hypothesen ist der F -Test, vorzugsweise
heteroskedastie-robust
• für grosses n ist die Statistik χ2q /q-verteilt (bzw. q · F ist χ2-verteilt)
• die Homoskedastie-Version ist historisch wichtig, aber oft zu restriktiv und deshalb potentiell gefährlich
C. Kleiber: Ökonometrie 1
Kap. 4-38
U Basel, HS 2009
4.7
Testen mehrerer Koeffizienten: Der F -Test
Exkurs:
Bemerkungen zur Geschichte der Statistik
• die Theorie der Homoskedastie-Version der F -Statistik und auch der F -Verteilung basieren
auf starken Annahmen, die in den Wirtschafts- und Sozialwissenschaften oft zu stark sind
• die Theorie stammt aus der “Vor-Computer-Zeit” und war damals ein grosser Durchbruch:
einfache Formel und zugehörige Tabellen, die universal verwendbar waren.
• starke Annahmen wurden als akzeptabler Preis für diese Leistung angesehen
• diese Geschichte wirkt immer noch nach in moderner Software, wo die HomoskedastieVersion die Voreinstellung ist und p-Werte aus der Fq,n−ku−1-Verteilung kommen.
• im PC-Zeitalter sind heteroskedastie-robuste F -Statistiken sowie p-Werte für χ2/q leicht
berechenbar – und diese benötigen viel schwächere Annahmen (nämlich nur (A1)–(A4))!
C. Kleiber: Ökonometrie 1
Kap. 4-39
U Basel, HS 2009
4.8
Testen einer Linearkombination
Betrachte
Yi = β0 + β1Xi1 + β2Xi2 + ui,
i = 1, . . . , n
Wie test man Hypothese vom Typ
H0 : β1 = β2
vs.
H1 : β1 6= β2?
Dies ist einzelne Restriktion für mehrere Koeffizienten – nicht mehrere Restriktionen wie beim
F -Test.
Zwei Methoden:
• Methode 1: transformiere Modell in ein äquivalentes Modell, so dass in äquivalentem Modell
ein einzelner Koeffizient getestet werden kann
• Methode 2: direkter Test (nicht in allen Softwarepaketen möglich)
C. Kleiber: Ökonometrie 1
Kap. 4-40
U Basel, HS 2009
4.8
Testen einer Linearkombination
Methode 1: transformiere Modell
Yi = β0 + β1Xi1 + β2Xi2 + ui
zu
Yi = β0 + (β1 − β2)Xi1 + β2(Xi1 + Xi2) + ui
bzw.
Yi = β0 + γXi1 + β2Zi + ui
Teste nun in diesem Modell
H0 : γ = 0
vs.
H1 : γ 6= 0
verwende dabei üblichen t-Test
Erfordert nur Manipulation von Variablen
C. Kleiber: Ökonometrie 1
Kap. 4-41
U Basel, HS 2009
4.8
Testen einer Linearkombination
Methode 2: direkter Test (in R möglich)
R> linear.hypothesis(fm3, "stratio = expenditure", vcov = sandwich)
Linear hypothesis test
Hypothesis:
stratio - expenditure = 0
Model 1: score ~ stratio + expenditure + english
Model 2: restricted model
Note: Coefficient covariance matrix supplied.
Res.Df
1
416
2
417
Df
F Pr(>F)
-1 0.37
C. Kleiber: Ökonometrie 1
0.54
Kap. 4-42
U Basel, HS 2009
4.9
Konfidenzbereiche für mehrere Koeffizienten
Konfidenzbereich für einzelnen Koeffizienten ist ein Intervall – was ist ein (simultaner) Konfidenzbereich für mehrere Koeffizienten?
Konkret: Modell sei
Yi = β0 + β1Xi1 + β2Xi2 + β3Xi3 + ui
Was ist ein (gemeinsamer) Konfidenzbereich für die Parameter β1 und β2?
Ein 95%-Konfidenzbereich ist
• eine Stichprobenfunktion (mengenwertig), die die wahren Parameter in wiederholten Stichproben in 95% der Fälle überdeckt
• die Menge der Parameter, die als Nullhypothese von einem Test zum Niveau 5% nicht
verworfen werden können
C. Kleiber: Ökonometrie 1
Kap. 4-43
U Basel, HS 2009
4.9
Konfidenzbereiche für mehrere Koeffizienten
Naiver Konfidenzbereich: nehme Vereinigung der Konfidenzbereiche für die einzelnen Parameter, d.h.
{β̂1 ± 1.96 · SE(β̂1), β̂2 ± 1.96 · SE(β̂2)}
Was ist das Konfidenzniveau (Überdeckungsw’keit) dieses Konfidenzbereiches?
Hoffnung: 95% ... aber:
h
i
P (β1, β2) ∈ {β̂1 ± 1.96 · SE(β̂1), β̂2 ± 1.96 · SE(β̂2)} =
h
P β̂1 − 1.96 · SE(β̂1) ≤ β1 ≤ β̂1 + 1.96 · SE(β̂1),
i
β̂2 − 1.96 · SE(β̂2) ≤ β2 ≤ β̂2 + 1.96 · SE(β̂2) =
"
#
β̂1 − β1
β̂2 − β2
P −1.96 ≤
≤ 1.96, −1.96 ≤
≤ 1.96
=
SE(β̂1)
SE(β̂2)
P [|t1| ≤ 1.96, |t2| ≤ 1.96] 6= 0.95
denn dieses Konfidenzintervall invertiert einen Test, dessen wahres Niveau ≥ 5% ist (s.o.).
Damit ist Überdeckungsw’keit des Konfidenzbereichs ≤ 95%.
C. Kleiber: Ökonometrie 1
Kap. 4-44
U Basel, HS 2009
4.9
Konfidenzbereiche für mehrere Koeffizienten
Wie geht es richtig?
Invertiere einen Test, der das korrekte Signifikanzniveau hat – das ist der F -Test.
Sei F (β1,0, β2,0) die (heteroskedastie-robuste) F -Statistik für die gemeinsame Hypothese
β1 = β1,0 und β2 = β2,0:
95%-Konfidenzbereich = {(β1,0, β2,0) : F (β1,0, β2,0) ≤ 2.9957}
• 2.9957 ist kritischer Wert der F2,∞-Verteilung zum Signifikanzniveau α = 0.05.
• Konfidenzbereich hat per Konstruktion Konfidenzniveau 95%.
C. Kleiber: Ökonometrie 1
Kap. 4-45
U Basel, HS 2009
4.9
Konfidenzbereiche für mehrere Koeffizienten
Wie sieht der Konfidenzbereich geometrisch aus?
(β1, β2) : F =
1
2
t21
+
t22
− 2ρ̂t1,t2 t1t2
1 − ρ̂2t1,t2
≤ 2.9957
Ausführlicher ist dies
F
=
=
t21
t22
− 2ρ̂t1,t2 t1t2
1 − ρ̂2t1,t2

!2
1
 β̂1 − β1,0
+
2
2(1 − ρ̂t1,t2 )
SE(β̂1)
1
2
+
β̂2 − β2,0
SE(β̂2)
!2
− 2ρ̂t1,t2
β̂1 − β1,0
SE(β̂1)
!
β̂2 − β2,0 
SE(β̂2)
Dies ist eine “quadratische Form” in β1,0 und β2,0 – damit wird Grenze des Konfidenzbereichs
durch eine Ellipse beschrieben. Die Grenze ist die Menge aller Punkte mit F ∗ = 2.9957.
C. Kleiber: Ökonometrie 1
Kap. 4-46
!
U Basel, HS 2009
4.9
Konfidenzbereiche für mehrere Koeffizienten
(Konfidenzbereich für (β1, β2))
0.005
^ ^
(β1,β2)
0.003
●
0.001
expenditure
0.007
Beispiel:
−1.5
−1.0
−0.5
0.0
0.5
stratio
C. Kleiber: Ökonometrie 1
Kap. 4-47
U Basel, HS 2009
4.10
Empirisches Beispiel: Fortsetzung
Variablen, die wir gerne hätten:
• Eigenschaften der Schulen:
Schüler-Lehrer-Quotient, Qualität der Lehrer und des Lehrplans, . . .
• Eigenschaften der Schüler:
Englischkenntnisse, ausserschulische Lernangebote, häusliche Umgebung, Ausbildung der
Eltern, . . .
Variablen, die wir haben:
• Eigenschaften der Schulen:
Schüler-Lehrer-Quotient
• Eigenschaften der Schüler:
Prozentsatz Nicht-Muttersprachler, Prozentsatz mit Essenszuschuss, Prozentsatz Sozialhilfe, Durchschnittseinkommen (Bezirk)
C. Kleiber: Ökonometrie 1
Kap. 4-48
U Basel, HS 2009
4.10
Empirisches Beispiel: Fortsetzung
Ziel: Zur weiteren Vermeidung von Verzerrung durch vergessene Variablen werden diverse
sozioökonomische Merkmale der Bezirke eingeschlossen
• Prozentsatz Englisch-Lernender (english) (wie bisher)
• Prozentsatz Schüler mit Essenszuschuss (lunch)
• Prozentsatz Schüler aus Haushalten, die Sozialhilfe beziehen (calworks)
C. Kleiber: Ökonometrie 1
Kap. 4-49
U Basel, HS 2009
4.10
Empirisches Beispiel: Fortsetzung
0
20
40
60
english
C. Kleiber: Ökonometrie 1
80
0
20
40
60
lunch
Kap. 4-50
80
100
700
680
660
640
620
●
●
●
●
●
●
●●
●●
●●● ●
●
●
●● ● ●
●
● ●● ●
●
●●
●●●
● ● ●●●
●
●
●
●● ●
●
● ●● ● ●●
●
●
●●
●
●●
●●
●●●
●
● ●●
●●●
●
●
● ●● ●
●
●
●
●
●
●
●
●●● ●
●
● ●● ● ●
● ●●
●●●
●●● ●●
● ● ● ●● ●
●
●●
● ●●
●
●●●●
●●● ● ●
● ● ●● ●
●●●
●
●
●
●
●
●
● ● ●●●●
●●●
●
●● ●
●
●●
●●
●● ●
●●●●
●
●
●●
● ● ●
●
●
●●
●
●● ● ●●
●●
●● ● ●
●
●
●●●
●●
●● ● ●
● ●
●● ●●
● ●●
● ●
●●●
●●
● ●
●
●●●
●
● ● ●●
● ●
●
●●
●
●
●
●
● ● ● ●●
●● ● ●●
●
●
●
●●
●●● ● ● ●
● ●
●●
● ●●●
● ●●
●● ●● ●● ●
●
● ●●
● ●●●
●
●
● ● ●●●
●●
●●
●●
●
●
● ●
●
●●
●
●
●
● ● ●
●
●
●
●●
●●
● ●●
● ●●
●●
●
●
●
●
● ●
●
● ●●●
●
●
● ●
●
●
●●
●
●
● ● ● ●●●●
●
● ●●●
● ●
●●
●
●●● ●
●
●
●●
●
●
●
●●●
●
●
●● ●
● ●
●
●●
●
●
●
●
●
● ●
●
● ●
score
700
680
660
640
620
●
●
●
●
●
●●
●●
●
●●
●● ● ●
●
●
● ●
● ● ●
●
●
●
●● ● ●
●●
●
●●●●
●●
●
●
●
●
●●●
●
●
●●
●
●
●●● ●
●
●
●
●●
●●
●
●
●
●●
● ●●●● ● ● ●
●
●
●
●
●●
●●
●●
●●●●● ●
●●
●
● ●
●
●●
●●
●
●●
● ●●●
●
●
● ● ●
●
●
●
●
●
●●
●
●
●
●
● ●
●
●
●
●
●
●● ●●
●
●
●
●
●
●●●
●●● ●
●
●
●●●●
●
● ●●
●●
●●
●
●● ●●
●
●
●
●
●
●
●●● ●●
●● ● ●●
●●
●
●●
●
●● ●
● ●
●
●● ●
●●
●
●●
●●
●
●
●● ●●● ●●●● ● ●
●
● ● ●
●
●
●
●●●
●
●
● ●● ● ●
●
●
●
●
●●
●
●●
●● ●●● ●
●
●● ●
●●●
● ●●●
●
●
●●
●
●● ●●●●
●● ●
●●
●
●
●
●
●
●
●
●
● ●
● ●
●
●
●● ●
●● ●●●● ●● ● ● ●● ●
●
●
●●
●
●
●●●●
●
●●
●
●● ●● ● ● ●
●
●
● ●
●
●
●
●●
●●
●●
●●
●
●
● ●● ●
●● ●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
score
660
620
640
score
680
700
Streudiagramme:
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
● ●
●●●
●
●●
●
●●
●
●
●●
●●●
●
●
●
●
●●
●●
●
●
●●
●●
●●
●
●
●
●
●
●● ● ●
●
●
●
●
●
●●●
●
●
●
●
●
●
●
●●
●●●
●
● ●
●●
●
●
●
●●
●●
●
●●
●●
●●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●
●
●
● ●
●
●
●●
●●● ●●
●●
●
●●●
●
●●
●●●
●
● ● ●
● ●●
●●●●
●●
●● ●
●
● ●●
●
● ●●
●● ●●
●
●●
●
●●
●
●●
●●●●
●
●
●●
●
●●●●● ●● ●● ●● ●
● ●
● ●
●●●●
●●●● ●● ●● ●
●
●
●
●●●
●●
●●
●
●
●
●
●
●
●
●
●
●
● ●●
●
●● ●
● ●
●
●● ●
●●●
●●● ●●● ●
●
●
●● ●●●● ●●
●
● ●
●
● ●● ●● ● ●
●
●
●●
● ●●
●
● ● ●●
●
●
●●
●●
●
●
●
●
●
●
●● ●●
● ●
●●●●●
●
● ●●
●
●
●
● ●●
● ●● ●●●
● ●
●● ●
●● ●
●
●
●● ●●●●●
●
● ●●●
● ●
●
●●
● ●
●
●
●●
●
●●
●●
●
● ● ●●
●
●
●
●
0
20
40
60
●
●
80
calworks
U Basel, HS 2009
4.10
Empirisches Beispiel: Fortsetzung
Einige Regressionen im Vergleich:
Regressor
(intercept)
stratio
(1)
698.933
(10.34)
−2.28
(0.518)
english
(Vgl. SW, Tabelle 7.1, S. 242)
(2)
686.032
(8.697)
−1.101
(0.431)
−0.65
(0.031)
lunch
(3)
700.15
(5.542)
−0.998
(0.269)
−0.122
(0.033)
−0.547
(0.024)
calworks
R̄2
SER
C. Kleiber: Ökonometrie 1
0.049
18.581
0.424
14.464
Kap. 4-51
0.773
9.08
(4)
697.999
(6.887)
−1.308
(0.337)
−0.488
(0.029)
−0.79
(0.067)
0.626
11.654
(5)
700.392
(5.504)
−1.014
(0.267)
−0.13
(0.036)
−0.529
(0.038)
−0.048
(0.058)
0.773
9.084
U Basel, HS 2009
4.10
Empirisches Beispiel: Fortsetzung
Ergebnisse:
• Einbeziehung von sozioökonomischen Merkmalen reduziert Koeffizienten von stratio um
ca. 50%. Sobald solche Variablen einbezogen sind, ändert sich dieser Koeffizient nur noch
wenig.
• Anpassung im Sinn von R̄2 verbessert sich dramatisch, auf bis zu 77.3% (ungewöhnlich
gut für Querschnittsregressionen!)
• nicht alle sozioökonomischen Merkmale sind jeweils signifikant.
Vorsicht: dies bedeutet immer nur, dass dieses Merkmal nicht mehr viel erklärt – gegeben, die anderen Merkmale sind schon im Modell!
Bsp.: calworks bringt nicht mehr viel, wenn lunch bereits im Modell enthalten ist.
C. Kleiber: Ökonometrie 1
Kap. 4-52
U Basel, HS 2009
4.11
Modellspezifikation
Es gibt kein einfaches Rezept zu entschieden, welche Variablen in eine Regression gehören.
Gesichtpunkte:
• Welcher Effekt soll geschätzt werden?
• Welche Variablen müssen mindestens verwendet werden, um Verzerrung durch vergessene
Variablen zu vermeiden?
• Spezifiziere Ausgangsmodell aufgrund von Vorwissen (Wirtschaftstheorie, Erfahrung, Wissen über Datengewinnung ...)
• Spezifiziere einige inhaltlich plausible Alternativen, die auch potentielle weitere Regressoren
enthalten
• verändert sich die Schätzung für den/die interessierenden Parameter (im Beispiel: stratio) durch Änderung des Modells?
• sind potentielle Regressoren (statistisch) signifikant?
C. Kleiber: Ökonometrie 1
Kap. 4-53
U Basel, HS 2009
4.11
Modellspezifikation
Modellspezifikation und R2, R̄2:
• grosses R2 oder R̄2 bedeutet, dass Regressoren Variation in den Daten gut beschreiben
• grosses R2 oder R̄2 bedeutet nicht, dass Verzerrung durch vergessene Variablen ausgeschlossen werden kann
• grosses R2 oder R̄2 bedeutet nicht, dass Regressoren alle statistisch signifikant sind – das
muss mit Hypothesentests überprüft werden
• grosses R2 oder R̄2 bedeutet nicht, dass Regressoren kausal für Y sind
• grosses R2 oder R̄2 bedeutet nicht, dass wir die “besten” Regressoren gefunden haben
C. Kleiber: Ökonometrie 1
Kap. 4-54
U Basel, HS 2009