Multiples Regressionsmodell
Werbung
Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Multiples Regressionsmodell • In vielen Anwendungen: mehr als ein Regressor notwendig • Beispiel: Schülerleistungen nicht nur von KG abhängig, sondern auch z. B. von o Schulcharakteristika (Lehrerqualität, Ausstattung etc.) o Schülercharakteristika (Intelligenz, Familienhintergrund, Muttersprache etc.) • Beispielvariable: PctEL (Percentage of English Learners) o Gibt an wieviel Prozent der Schüler im Schulbezirk, für die Englisch nicht die Muttersprache ist 1 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Multiples Regressionsmodell • Zwei Fragen: o Inwiefern hilft die Variable PctEL, die Variation in den TE besser zu erklären? (strukturelle Erklärung, Prognose) o Welchen Einfluss hat das Auslassen der Variable PctEL auf die Schätzung des Regressionskoeffizienten (β1) für KG? 2 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Verzerrung durch ausgelassene Variablen • Wenn Auslassen von PctEL oder anderen Variablen zu einer verzerrten Schätzung von β1 im einfachen Regressionsmodell führt, dann sprechen wir von Verzerrung durch ausgelassene Variablen (Omitted Variable Bias) o β̂1 ist ein verzerrter Schätzer des marginalen Effektes der KG • Verzerrung tritt ein, falls o ausgelassene Variable mit berücksichtigtem Regressor Xi korreliert ist und o ausgelassene Variable Determinante von abhängiger Variable Yi ist 3 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Verzerrung: Beispiel • Percentage of English Learners (PctEL) o positiv korreliert mit KG (0.15) o plausibel: Schüler, für die Englisch nicht Muttersprache ist, schneiden bei Test im Durchschnitt schlechter ab als Muttersprachler ⇒ PctEL hat Erklärungsgehalt für TE o Verzerrung durch ausgelassene Variable bzgl. Effekt von KG wahrscheinlich 4 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Verzerrung: Weitere Beispiele • Tageszeit des Tests o falls Variation der Tageszeit nicht systematisch mit KG variiert, ist erste Bedingung nicht erfüllt ⇒ keine Verzerrung o Tageszeit hat vermutlich Einfluss auf TE • Parkplätze pro Schüler o Plausibel: Schulen mit mehr Lehrer pro Schüler, haben mehr Parkplätze pro Schüler ⇒ negative Korrelation zw. KG und Parkplätze pro Schüler o Parkplätze sollten keinen Einfluss auf TE haben ⇒ keine Verzerrung 5 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Formel für Verzerrung • Wenn Bedingungen für Verzerrung durch ausgelassene Variable erfüllt sind, ist KQ-Annahme # 1: E[ui|Xi] = 0 verletzt o ausgelassene Variable erklärt Y ⇒ ist in Fehlerterm ui enthalten o ausgelassene Variable ist mit Regressor korreliert ⇒ ui und Xi sind korreliert ⇒ E[ui|Xi] 6= 0 • Konsequenz: β̂1 ist verzerrt σu • β̂1 → β1 + ρXu σX p o ρXu = Corr(Xi, ui) 6 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Formel für Verzerrung • β̂1 ist kein konsistenter Schätzer für β1 falls ρXu 6= 0 o Verzerrung geht nicht gegen Null für n → ∞ • |ρXu| ⇑ ⇒ Verzerrung ⇑ • Richtung der Verzerrung hängt von Vorzeichen von ρXu ab 7 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Richtung der Verzerrung: Beispiel PctEL • PctEL hat vermutlich negativen Einfluss auf TE o PctEL geht mit negativem Vorzeichen in ui ein • KG ist positiv mit PctEL korreliert ⇒ KG negativ mit Fehlerterm ui korreliert, d. h. ρXu < 0 • β̂1 ist in negativer Richtung verzerrt o Überschätzen negativen Einfluss von KG auf TE o β̂1 misst zum Teil negativen Effekt von PctEL o KG könnte keinen signifikanten Einfluss auf TE haben 8 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Verzerrung d. ausgelassenen Variablen: Problemlösung • Multiples Regressionsmodell mit mehreren Regressoren • Beispiel: TEi = β0 + β1KGi + β2PctELi + ui • Interpretation o Durch Berücksichtigung von PctEL kontrollieren wir für den Effekt von PctEL auf TE o Isolieren Effekt von KG auf TE ∆TE β1 = ∆KG = b wobei PctEL konstant gehalten wird marginaler Effekt von KG auf TE • wird KG um einen Schüler erhöht, gegeben PctEL (d. h. PctEL wird konstant gehalten), ändern sich TE um β1 Punkte 9 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Multiples Regressionsmodell Yi = β0 + β1X1i + β2X2i + ... + βk Xki + ui, i = 1, ..., n • Yi ist abhängige Variable • X1i, ..., Xki sind k Regressoren (erklärende Variable) • ui ist Fehlerterm • Y = β0 + β1X1 + ... + βnXk ist Regressionsgerade der GG • β0, β1, ..., βk sind Regressionsparameter der GG o β0 : Konstante o β1, ..., βk : Steigungsparameter der Regressoren 1 bis k 10 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Multiples Regressionsmodell • β1, ..., βk messen marginale Effekte der Regressoren 1 bis k, gegeben dass jeweils alle anderen Regressoren konstant gehalten werden: ∆Y βj = ∆Xj ∀ Xi6=j sind konstant, i, j = 1, ..., k • Yi = β0X0i + β1X1i + ... + βk Xki + ui X0i = 1 ist konstanter Regressor: Konstante 11 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell KQ-Schätzung • Minimiere Residuenquadratsumme Pn S(β̂0, β̂1, ..., β̂k ) = i=1(Yi − β̂0 − β̂1X1i − ... − β̂k Xki)2 bzgl. β̂0, β̂1, ..., β̂k • Schätzer β̂0, β̂1, ..., β̂k , die S(.) minimieren, werden als KQ-Schätzer bezeichnet o Ableitung wie bei einfachem Regressionsmodell o Formeln in Summenschreibweise sehr komplex → Matrixnotation • KQ-Regressionsgerade: β̂0 + β̂1X1i + ... + β̂k Xki • Prognosewert für Yi gegeben X1i, ..., Xki : Ŷi = β̂0 + β̂1X1i + ... + β̂k Xki • KQ-Residuum ûi = Yi − Ŷi 12 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell KQ-Schätzung: Beispiel c = 698.9 − 2.28 × KG • TE c = 686.0 − 1.10 × KG − 0.65 × PctEL • TE o PctEL: Prozent d. Schüler in Schulbezirk i, für die Englisch nicht Muttersprache ist • Geschätzter Effekt der KG ist nur noch halb so groß o bei einfacher Regression wird PctEL nicht konstant gehalten o negativer Effekt von PctEL wird bei einfacher Regression mit ” gemessen “ o negative Verzerrung durch Auslassen von PctEL bestätigt 13 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Modellgüte • Standardfehler der Regression r r Pn 1 SSR 2 = o sû = û n − k − 1 i=1 i n−k−1 o Anpassung für k + 1 geschätzte Parameter • Bestimmtheitsmaß R2 = SSR ESS =1− TSS TSS • Problem: R2 steigt immer, wenn ein Regressor hinzugefügt wird. Es sei denn, der geschätzte Koeffizient ist genau Null. o nicht geeignet für Modellvergleich o Verwendung des sog. angepasste R2 “ ” 14 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Angepasstes R2 • Angepasstes R2 ist modifizierte Version des R2 2 n − 1 SSR s R̄2 = 1 − = 1 − 2û n − k − 1 TSS sY n−1 ↑ (R̄2 ↓) n−k−1 SSR • k↑ ⇒ und ↓ (R̄2 ↑) TSS µ ¶ n−1 o R̄2 wägt zusätzliche Schätzunsicherheit ↑ und bessere n−k−1 ¶ µ SSR ↓ ab Modellanpassung TSS o R̄2 steigt nur, falls sich SSR ausreichend reduziert, um Anstieg in n−1 auszugleichen n−k−1 15 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Angepasstes R2 n−1 • R̄ < R , da >1 n−k−1 2 2 • R̄2 kann negativ sein • Probleme bei Anwendung von R̄2 und R2 werden später diskutiert 16 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Modellgüte: Beispiel c = 698.9 − 2.28 × KG, • TE R2 = 0.051, R̄2 = 0.049 sû = 18.6 c = 686.0 − 1.10 × KG − 0.65 × PctEL, • TE R2 = 0.426, R̄2 = 0.424 sû = 14.5 • R2 erhöht sich deutlich durch Berücksichtigung von PctEL o sagt aber nichts über statistische oder inhaltliche Signifikanz von β2 aus • Reduktion von sû besagt, dass Prognosen bzgl. TE genauer sind bei Berücksichtigung von PctEL 17 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell KQ-Annahmen für Multiples Regressionsmodell • Annahme # 1: E[ui|X1i, X2i, ..., Xki] = 0 • Annahme # 2: (X1i, X2i, ..., Xki, Yi), i = 1, ..., n, sind identisch und unabhängig verteilt • Annahme # 3: Extreme Ausreißer sind unwahrscheinlich: 4 E[Xji ] < ∞ für j = 1, ..., k , ∀i E[Yi4] < ∞ , ∀i 18 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell KQ-Annahmen für Multiples Regressionsmodell • Neue Annahme # 4: keine perfekte Multikollinearität • Perfekte Multikollinearität: ein Regressor ist eine perfekte Linearkombination der anderen Regressoren o Beispiel: X1i = δ0X01 + δ2X2i + ... + δk Xki ∀i o Interpretation: X1i ist ein überflüssiger Regressor, da er durch die anderen Regressoren bereits perfekt erklärt wird • KQ-Schätzer können nicht berechnet werden, da durch Null geteilt werden muss • Ausweg: Änderung der Regressorenauswahl 19 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Multikollinearität: Beispiele • TEi = β0 + β1KGi + β2PctELi + β3FracELi + ui o FracELi: Anteil der Schüler, für die Englisch nicht Muttersprache ist o PctELi = 100 · FracELi ⇒ perfekte Multikollinearität o KQ-Schätzung kann nicht durchgeführt werden o β3: Effekt einer Änderung von FracEL um eine Einheit auf TE, wenn KG und PctEL konstant gehalten werden → macht keinen Sinn 20 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Multikollinearität: Beispiele • TEi = β0 + β1KGi + β2PctELi + β3NVSi + ui ½ N V Si = 1 falls KG ≥ 12 0 falls KG < 12 o Im Datenbeispiel liegt perfekte Multikollinearität vor, da KG≥12 für alle Schulbezirke ⇒ N V Si = X0i (X0i = 1) o perfekte MK kann von konkreten empirischen Daten abhängen 21 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Multikollinearität: Beispiele • TEi = β0 + β1KGi + β2PctEL + β3PctES + ui o PctES: Percentage of English Speaker Prozent der Schüler, für die Englisch Muttersprache ist o PctES = 100X0i − PctEL ⇒ perfekte MK o MK ist Eigenschaft aller Regressoren ⇒ Herausnahme von X0i oder PctEL löst Problem 22 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Dummyvariablenfalle • Perfekte MK kann leicht auftreten bei Verwendung von binären bzw. Dummyvariablen • Beispiel: Dummyvariablen: Land, Vorstadt, Stadt o Dummyvariablen sind jeweils gleich 1, falls Schulbezirk i in ländlicher Region, Vorstadt bzw. Stadt liegt, sonst gleich Null o jeder Schulbezirk fällt in genau eine Kategorie o werden alle 3 Dummyvariablen und eine Konstante ins Modell aufgenommen, liegt perfekte MK vor Landi + Vorstadti + Stadti = X0i (Konstante) o eine der Dummyvariablen oder Konstante müssen herausgenommen werden (Konstante bleibt üblicherweise im Modell) ⇒ Dummyvariablenfalle 23 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Dummyvariablenfalle • Beispiel TEi = β0X0i + β1KGi + β2Vorstadti + β3Stadti + ui o Landi wird ausgelassen ⇒ Land ist Referenzkategorie o β2 misst durchschnittliche Abweichung der TE zwischen Vorstadt- und ländlichen Schulbezirken, gegeben dass alle anderen Regressoren (KG, Stadt) konstant sind o β3 analog • weitere Beispiele: Saisondummyvariablen, Regressionen mit vielen Dummyvariablen, z.B. Entscheidungen von Individuen und Haushalten 24 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Eigenschaften der KQ-Schätzung • Wenn Annahmen A1–A4 gelten, haben β̂0, β̂1, ..., β̂k entsprechende Eigenschaften wie β̂0 und β̂1 im einfachen Regressionsmodell • Einige Eigenschaften (Optimalität, Varianzen d. Schätzer) hängen davon ab, ob die Fehlerterme homoskedastisch oder heteroskedastisch sind o Homoskedastie: Var[ui|X1i, X2i, ..., Xki] = σu2 2 o Heteroskedastie: Var[ui|X1i, X2i, ..., Xki] = σui ∀i ist nicht konstant 25 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Eigenschaften der KQ-Schätzung • Wichtige Eigenschaft: d β̂j → N (βj , σβ2j ), j = 0, 1, ..., k o β̂j ‘s sind für große Stichproben annähernd normalverteilt mit Erwartungswert βj und Varianz σβ2j o β̂j ‘s sind gemeinsam normalverteilt (multivariate Normalverteilung) 26 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Hypothesentests im multiplen RM • Tests und Konfidenzintervalle bzgl. einzelner Parameter wie im einfachen Regressionsmodell • Neu: Tests bzgl. zwei oder mehrerer Parameter • Beispiel für Einzelparametertest und Konfidenzintervalle: siehe Illustration 27 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Verbundene Hypothesentests • Hypothesentest, der mehrere Parameter gleichzeitig betrifft • Beispiel: c = 694.6 − 0.29 KG + 3.87 Aus − 0.656 PctEL TE (15.5) (0.48) (1.55) (0.032) o sind Klassengröße u. Ausgaben pro Schüler (Aus) gemeinsam signifikant, d. h. haben sie Einfluss auf TE? o H0 : β1 = 0 und β2 = 0 vs. H1 : β1 6= 0 und/oder β2 6= 0 28 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Verbundene Hypothesentests • H0 : β1 = 0 und β2 = 0 o zwei Restriktionen o zwei oder mehrere Restriktionen werden unter H0 überprüft: verbundene Hypothese 29 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Verbundene Hypothesentests • Warum nicht mehrere einzelne t-Tests (Testsequenz) durchführen? • Problem 1: β̂1 und β̂2 sind Zufallsvariablen, die i. A. nicht unabhängig sind o gemeinsame Normalverteilung für große Sichproben • Problem 2: Fehler 1. Art/Signifikanzniveau d. Testsequenz steigt mit jedem Testschritt an o Beispiel falls β̂1 u. β̂2 unabhängig bei 5% Niveau für Einzeltests ⇒ Fehler 1. Art/Signifikanzniveau d. Teststatistik beträgt 9.75% • Lösung: F -Test 30 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell F -Test mit 2 Restriktionen • Teststatistik 1 F = 2 µ t21 + t22 − 2ρ̂t1,t2 t1t2 1 − ρ̂2t1,t2 ¶ o ρ̂t1,t2 : Schätzer für Korrelation d. beiden t-Statistiken für t1 : H0 : β1 = 0 und t2 : H0 : β2 = 0 ¢ 1¡ 2 2 • Annahme ρ̂t1,t2 = 0 ⇒ F = t + t2 2 1 o F -Statistik ist Durchschnitt d. quadrierten t-Statistiken • ρ̂t1,t2 6= 0 ⇒ F -Statistik korrigiert für Korrelation zw. t-Tests 31 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell F -Test mit 2 Restriktionen • t1 und t2 können unter Homoskedastie- od. Heteroskedastie-Annahme berechnet werden • Wieso Quadrate von t1 und t2? • Lehne für große Werte von F ab! • Verteilung für große Stichproben (n → ∞) unter H0 d F → F2,∞ H0 bzw. d 2F → χ22, H0 da qFq,∞ = χ2q • p-Wert = PF [F > F act] = Pχ2 [χ > qF act] • Beispiel: siehe Illustration 32 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell F -Test mit q Restriktionen • F -Test kann für q Restriktionen verallgemeinert werden o Verteilung: d F → Fq,∞ H0 bzw. d qF → χ2q H0 • Teststatistik auf Basis von t-Statistiken sehr komplex • Kompakte Form d. F -Statistik: Matrixnotation o für Homo- u. Heteroskedastizität • bei Homoskedastizität: Verwendung R2 oder SSR 33 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell F -Test mit q Restriktionen • F -Test auf Modellsignifikanz “ testet, ob alle Steigungsparameter Null ” sind • H0 : H1 : β1 = 0, β2 = 0, ..., βk = 0 vs. mindestens ein βj 6= 0, j = 1, ..., k 34 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Formeln für F -Statistik bei Homoskedastizität: Idee • Restriktionen unter H0 bedeuten Einschränkung, z. B. β1 und β2 dürfen nur Wert Null annehmen ⇒ eingeschränkte Modellgüte • Frage: In welchem Ausmaß verbessert sich Modellgüte bzw. Modellanpassung, wenn Restriktionen unter H0 aufgehoben werden? • Wenn sich Modellanpassung deutlich verbessert, lehne H0 ab • Verwende R2 oder Residuenquadratsumme (SSR) als Maß für Modellgüte 35 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Formeln für F -Statistik bei Homoskedastizität • Vergleich von SSR für restringiertes Modell unter H0(SSRR) und unrestringiertes Modell unter H1(SSRU ) 2 2 und RU • Äquivalent für RR 2 2 (SSRR − SSRU )/q (RU − RR )/q • F = = 2 )/(n − k − 1) SSRU /(n − kU − 1) (1 − RU U o kU + 1 = # β-Parameter im unrestringierten Modell • verlangt Schätzung d. Modells unter H0: restringierte KQ-Schätzung und unter H1 : normale KQ-Schätzung 36 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Tests für einzelne Restriktionen mit mehreren Parametern • Beispiel: H0 : β1 = β2 vs. H1 : β1 6= β2 • Allg. F -Test-Formeln finden Anwendung (Matrixnotation) 37 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Hohe Regressorkorrelation: Probleme • Oft als imperfekte Multikollinearität bezeichnet • Problem 1: Mindestens ein Parameter wird sehr ungenau geschätzt o Beispiel: Yi = β0 + β1X1i + β2X2i + ui, X1i = PctEli X1i var(ui|X1i, X2i) = σu2 und X2i = PctImii und X2i sind stark positiv korrelliert wobei PctImii = Prozentsatz von Immigranten in Schulbezirk i o Intuition: es ist schwierig zwischen dem Einfluss von PctEli und PctImii zu unterscheiden 38 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Hohe Regressorkorrelation: Probleme " o σβ̂2 1 # 1 1 σu2 = 2 n 1 − ρ2X1,X2 σX 1 ρ2X1,X2 ↑ ⇒ σβ̂2 ↑ 1 39 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Hohe Regressorkorrelation: Probleme • Problem 2: Interpretation der βj Parameter als marginale Effekte ∆Y o βj = , ∆Xj gegeben dass Xl6=j konstant sind = partieller od. marginaler Effekt von Regressor j auf Y o technisch kontrollieren wir für andere Regressoren, auch bei hoher Korrelation o Interpretation von βj als marginaler Effekt ist für Politikempfehlungen oft wenig hilfreich, und zwar dann, wenn Regressor nich exogen variiert werden kann o Beispiele Können wir PctEli entscheidend reduzieren ohne PctImii zu verändern? KG könnte verändert werden ohne Gesamtausgaben zu verändern 40 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Modellspezifikation • Welche Regressoren in Regression aufnehmen? • Entscheidung entsprechend ökonomischer Theorie, Expertenwissen und Überlegungen zu Verzerrung durch ausgelassene Variablen (OV-Bias) o OV-Bias auch im multiplen Regressionsmodell relevant! • 1. Schritt: Basisregression o interresierende Variablen + Kontrollvariablen entsprechend ökonom. Theorie und Expertenwissen 41 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Modellspezifikation • 2. Schritt: Alternative Spezifikationen (Regressionen) o Auswahl weiterer potentiell relevanter Variablen o Ergebnisse für interessierende Variablen bleiben konstant ⇒ Basisregression zuverlässig o Ergebnisse variieren deutlich ⇒ vermutlich OV-Bias • Problem: Gefahr eines trial-and-error Vorgehens, kann sehr beliebig sein o möglichst Theorie-getrieben Variablen auswählen 42 Empirische Volkswirtschaftslehre 2.2 Multiples Regressionsmodell Interpretation von R2/R̄2 bzgl. Modellspezifikation • R2/R̄2 beschreiben Güte d. Stichprobenanpassung für abhängige Variable Y • R2 und R̄2 sagen jedoch nicht aus, o dass ein zusätzlicher Regressor notwendigerweise statistisch signifikant ist, falls R2 ↑ und R̄2 ↑ o ob Regressoren kausal für unabhängige Variable Y sind o ob ein OV-Bias vorliegt o ob wir die geeignetste Gruppe an Regressoren ausgewählt haben 43