Document

Zur Erinnerung: Annahmen
Vorlesung 5: Spezifikation der
Regressionsfunktion
1.
2.
Definition: Linearität und Additivität
Nicht-lineare Modelle
a.
b.
c.
3.
Nicht-additive Modelle
a.
b.
4.
5.
Einige Beispiele
Transformation in ein lineares Regressionsmodell
Interpretation der Regressionskoeffizienten ausgewählter nichtlinearer Modelle
Interaktionseffekte mit kategorialen Variablen
Interaktionseffekte mit kontinuierlichen Variablen
Auswirkungen einer Fehlspezifikation
Tests auf Fehlspezifikation der funktionalen Form
a.
b.
c.
Vergleich hierarchischer Modelle (F Test)
Vergleich nicht hierarchischer Modelle (Davidson-MacKinnon
Test)
Regression Specification Error Test (RESET) von Ramsey (1969)
Teil 1
Definition
Linearität und Additivität
Linearität
15
y
10
5
0
0
1
2
3
4
5
4
5
x
nicht-linear: y = √(x)
1.5
y
1
.5
0
¾ Unabhängigkeit von
der Größe von x
2
2.5
• Der Effekt der
unabhängigen
Variablen x ist immer
gleich groß, egal
welchen Wert die
Variable x aufweist.
20
linear: y = 2 + 3*x
0
1
2
3
x
Additivität
15
y
10
5
0
0
1
2
3
4
5
x
nicht-additiv: y = 2 + 0,5*x1 *x2
10
• Der Effekt der
unabhängigen
Variablen xi hängt
nicht davon ab,
welche Werte andere
unabhängige
Variablen xj haben.
20
additiv: y = 2 + 3*x1 – 1,5*x2
8
6
x2=2
4
y
x2=1
2
¾ Unabhängigkeit von
anderen Variablen xj
x2=3
0
1
2
3
x
4
5
Zusammenfassung
Linear-additive Modelle implizieren
kontextunabhängige Effekte!
Effekte sind unabhängig
– von der Größe der jeweiligen unabhängigen
Variablen
– von den Werten der anderen unabhängigen
Variablen
Teil 2
Nicht-lineare Modelle
Teil 2.a
Einige Beispiele
Polynomregression
y = β 0 + β1 x1 + β 2 x12 + β 3 x13 + K + β m x1m + u
60
• erlaubt zunehmende, abnehmende und sich
umkehrende Effekte von x
0
10
20
y
30
40
50
y = 30 − 9 x + 3 x 2
0
1
2
3
x
4
5
Exponentialmodell (Typ 1)
y = β 0 ⋅ x1β1 ⋅ x2β 2 ⋅ u ⇔ ln y = ln β 0 + β1 ln x1 + β 2 ln x2 + ln u
60
• erlaubt zunehmende oder abnehmende Effekte
• entspricht Modell mit Logarithmen
• auch bei schiefer Verteilung, Heteroskedaszität
0
10
20
y
30
40
50
β1 > 1
β1 = 1
β1 < 1
0
.5
1
x
1.5
2
Exponentialmodell (Typ 2)
y = exp( β 0 + β1 x1 + β 2 x2 + u ) ⇔ ln y = β 0 + β1 x1 + β 2 x2 + u
60
• erlaubt zunehmende oder abnehmende Effekte
• entspricht semi-logarithmischem Modell
• auch bei schiefer Verteilung, Heteroskedaszität
10
20
y
30
40
50
β1 > 0
0
β1 < 0
0
.5
1
x
1.5
2
Teil 2.b
Transformation in ein lineares
Modell
Polynomregression
Modell
y = β 0 + β1 x1 + β 2 x12 + β 3 x13 + K + β m x1m + u
Definiere
z1 = x1
z 2 = x12
z3 = x13
z m = x1m
OLS - Schätzung mit transformierten Variablen
y = δ 0 + δ 1 z1 + δ 2 z 2 + δ 3 z3 + K + δ m z m + v
Koeffizientenvergleich
δ 0 = β 0 δ 1 = β1 δ 2 = β 2 δ 3 = β 3 δ m = β m
Exponentialmodell (Typ 1)
Modell
y = β 0 ⋅ x1β1 ⋅ x2β 2 ⋅ u ⇔ ln y = ln β 0 + β1 ln x1 + β 2 ln x2 + ln u
Definiere
y * = ln y
z1 = ln x1
z 2 = ln x2
OLS − Schätzung mit transformierten Variablen
y * = δ 0 + δ 1 z1 + δ 2 z 2 + v
Koeffizientenvergleich
δ 0 = ln β 0 δ 1 = β1 δ 2 = β 2
Exponentialmodell (Typ 2)
Modell
y = exp( β 0 + β1 x1 + β 2 x2 + u ) ⇔ ln y = β 0 + β1 x1 + β 2 x2 + u
Definiere
y * = ln y
OLS − Schätzung mit transformierten Variablen
y * = δ 0 + δ 1 x1 + δ 2 x2 + v
Koeffizientenvergleich
δ 0 = β 0 δ 1 = β1 δ 2 = β 2
Nicht transformierbar
y = β 0 ⋅ x1β1 + u ⇔ ln y = ln( β 0 ⋅ x1β1 + u )
wegen additivem Fehlerterm
• Alle nicht-linearen Modelle, die sich nicht durch
Variablentransformation in ein linear-additives
Modell (mit additivem Fehlerterm) überführen
lassen, können nicht mit OLS geschätzt werden.
• Genauer: Alle nicht-linearen Modelle, bei denen
die Optimierungsfunktion keine lineare Funktion
der Regressionskoeffizienten ist, können nicht
mit OLS geschätzt werden.
Teil 2.c
Interpretation der
Regressionskoeffizienten
nicht-linearer Modelle
Quadratische Terme
y = β 0 + β1 x1 + β 2 x12 + u
Effekt
β1 + 2 β 2 x1
Minimum / Maximum
− β1 2 β 2
60
Modell
50
1,5 = − (−9) 2 ⋅ 3
30
40
Beispiel :
y = 30 − 9 x + 3 x 2
0
10
20
y
y = −9 + 2 ⋅ 3 x
0
1
2
3
x
4
5
Logarithmierte Variablen
Modell Abhängig Unabhängig
Interpretation
a
y
x
∆y = β1∆x
b
y
log x
∆y = ( β1 / 100)%∆x
c
log y
x
%∆y = (100 β1 )∆x
d
log y
log x
%∆y = β1 %∆x
Wenn man x um eine Einheit erhöht, verändert sich y um β1
Einheiten.
b. Näherungsweise (wenn β1 < 0,25): Wenn man x um ein
Prozent erhöht, verändert sich y um β1/100 Einheiten.
c. Näherungsweise (wenn β1 < 0,25): Wenn man x um eine
Einheit erhöht, verändert sich y um 100β1 Prozent (SemiElastizität).
d. Wenn man x um ein Prozent erhöht, verändert sich y um β1
Prozent (Elastizität).
a.
Teil 3
Nicht-additive Modelle
Interaktion mit einer kategorialen Variablen
Beispiel: Bildungsrenditen nach Geschlecht
income = 3,70 + 1,37 ⋅ educ − 0,46 ⋅ sex − 0,98 ⋅ iakt mit iakt = sex ⋅ educ
Geschlechterunterschied (Niveau) : − 0,46
Bildungseffekt (Männer) : 1,37
30
Bildungseffekt (Frauen) : 1,37 − 0,98 = 0,39
income/Fitted values
15
20
25
Männer
5
10
Frauen
8
10
12
14
educ
16
18
Interaktion mit einer kontinuierlichen Variablen
Beispiel: Bildung und Berufserfahrung
wage = 271,9 + 35,1 ⋅ educ − 32,7 ⋅ exper − 3,9 ⋅ iakt mit iakt = exper ⋅ educ
= 271,9 + 35,1 ⋅ educ + (−32,7 − 3,9 ⋅ educ) ⋅ exper
= 271,9 + (35,1 − 3,9 ⋅ exper ) ⋅ educ − 32,7 ⋅ exper
Effekt Education | Experience
-60
-100
-40
-90
-20
e duc
e xper
0
-80
20
-70
40
Effekt Experience | Education
8
10
12
14
x
16
18
0
5
10
15
x
20
25
Teil 4
Auswirkungen einer
Fehlspezifikation der funktionalen
Form
Verzerrung durch Unterspezifikation
income = β 0 + β1educ + β 2 sex + β 3 ⋅ sex ⋅ educ
• Wenn geschlechtsspezifische Bildungsrenditen
existieren, vernachlässigt folgendes Modell eine
wichtige Variable: income = β 0 + β1educ + β 2 sex
wage = β 0 + β1educ + β 2 exper + β 3 ⋅ exper ⋅ educ
• Wenn die Effekte von Ausbildung und
Berufserfahrung gegenseitig voneinander
abhängen, vernachlässigt folgendes Modell eine
wichtige Variable: wage = β 0 + β1educ + β 2 exper
Heteroskedastizität
5
-10
10
-5
r esidwrong
0
income/Fitted values
15
20
5
25
30
10
• Fehlspezifikation: Ignorierung der Geschlechterunterschiede in den Bildungsrenditen.
• Die Fehlerterme sind weiterhin im Mittel Null,
aber die Varianz der Fehlerterme steigt mit
zunehmender Bildung.
8
10
12
14
educ
16
18
8
10
12
14
educ
16
18
Teil 5
Tests auf Fehlspezifikation der
funktionalen Form
Exkurs: Hierarchische Modelle
• Zwei Modelle A und a sind hierarchisch (nested),
wenn die Parameter des Modells a eine
Teilmenge der Parameter des Modells A sind.
• Das (restringierte) Modell a ergibt sich aus dem
(nicht restringierten) Modell A, indem man für die
Parameter in A lineare Restriktionen formuliert.
(nicht restringiertes) Modell A : y = β 0 + β1 x1 + β 2 x2 + β 3 x3 + u
Zwei Restriktionen :
β 2 = 0 und β 3 = 0
ergibt (restringiertes) Modell a : y = β 0 + β1 x1 + u
Exkurs: Test linearer Restriktionen
mit einem F-Test
(nicht restringiertes) Modell A : y = β 0 + β1 x1 + β 2 x2 + β 3 x3 + u
Zwei Restriktionen :
β 2 = 0 und β 3 = 0
ergibt (restringiertes) Modell a : y = β 0 + β1 x1 + u
H 0 : β 2 = 0 und β 3 = 0
F=
H1: H 0 trifft nicht zu
( SSRr − SSRur ) q
SSRur (n − k − 1)
q = Anzahl der Restriktionen
SSRr = Summe der quadrierten Residuen im restringierten Modell a
SSRur = Summe der quadrierten Residuen im nicht restringierten Modell A
k = Anzahl der Regressionskoeffizienten (ohne Konstante) in Modell A
n = Stichprobenumfang
Anwendung: Test auf Fehlspezifikation der funktionalen Form
1. Test auf Weglassung quadratischer, kubischer
usw. Terme der x-Variablen
2. Test auf Weglassung allgemeiner nichtlinearer Abhängigkeiten (Trick: Test auf
Weglassung quadratischer, kubischer usw.
Terme der Modellprognosen als x-Variablen)
¾ Regression Specification Error Test (RESET)
von Ramsey (1969)
-
einfach möglich mit Stata: Kommando ovtest
Anwendung: Test auf Fehlspezifikation der funktionalen Form
1. Weglassung x-Variablen
y = β 0 + β1 x1 + β 2 x12 + β 3 x13 + β 4 x2 + β 5 x22 + β 6 x23 + u
H 0 : β2 = β3 = β5 = β6 = 0
2. Weglassung Modellprognosen
y = β 0 + β1 x1 + β 2 x2 + β 3 x3 + u
Prognose : yˆ = βˆ0 + βˆ1 x1 + βˆ2 x2 + βˆ3 x3
Schritt 1 :
Schritt 2 :
y = δ 0 + δ 1 x1 + δ 2 x2 + δ 3 x3 + δ 4 yˆ 2 + δ 5 yˆ 3 + v
H0 : δ 4 = δ5 = 0
Vergleich nicht hierarchischer
Modelle
• Nicht hierarchische Modelle: Modell B
ergibt sich nicht durch lineare
Parameterrestriktionen aus Modell A
• Modell A : y = β 0 + β1 x1 + β 2 x2 + u
Modell B : y = δ 0 + δ 1 ln x1 + δ 2 ln x2 + u
• Test von Davidson / MacKinnon (1981)
– weitere Einzelheiten bei WO (294-295)
Zum Schluss
Zusammenfassung
Linear-additive
Modelle
Alternativen
Folgen einer
Fehlspezifikation
Gegenmaßnahmen
Kontextunabhängigkeit
Nicht-lineare Funktionen
Interaktionseffekte
Verzerrungen
Heteroskedastizität
Theorie
Spezifikationstests
Wichtige Fachausdrücke
Deutsch
Englisch
Deutsch
Englisch
linear-additives
Modell
linear-additive
model
restringiertes
Modell
restricted model
nicht-lineares
Modell
non-linear
model
nicht
restringiertes
Modell
unrestricted
model
Interaktionseffekt
interaction effect
Restriktion
restriction
hierarchisches
Modell
nested model
Spezifikationstest
specification test
Weiterführende Literatur
• Berry / Feldman 1985
– Kapitel 5 (BF 51-72): Fehlspezifikation der funktionalen Form gewidmet
• Wooldridge (2003)
– Abschnitt 6.2 (WO 187-196): Überblick über nicht-lineare Funktionen
und die Modellierung nicht-additiver Effekte mit Interaktionen
unabhängiger Variablen.
– Abschnitt 7.4 (WO 232-240): Interaktionseffekte mit kategorialen
Variablen
– Abschnitt 9.1 (WO 289-295): Tests auf Fehlspezifikation der
funktionalen Form
– Zum Verständnis benötigt man Kenntnisse des F-Testes: Abschnitt 4.5
(WO 142-154), für alle Teilnehmer kopiert.
– Anhang A.4 (WO 682-689): mathematische Grundlagen quadratischer,
logarithmischer und exponentieller Funktionen