gen Stichwörter: t-Test F-Test Akaike`s Informations Kriterium

Statistische Bewertung von Regressionsbeziehungen
Stichwörter:
t-Test
F -Test
Akaike’s Informations Kriterium (AIC)
Durbin-Watson Test
Bera-Jarque Test
o1-04.tex/0
Testen von Hypothesen
Für die Parameter β im Regressionsmodell
y = Xβ + u
ergibt sich unter den klassischen Annahmen und
u ∼ N (0, σ 2I) der KQ-Schätzer b mit
b ∼ N [β, σ 2(X 0X)−1] .
Für den Varianzschätzer σ̂ 2 gilt
(n − k)σ̂ 2
∼ χ2(n − k) .
2
σ
o1-04.tex/1
t-Test
Die Testverteilung von bj ist
bj ∼ N (βj , ajj σ 2)
mit ajj = [(X 0X)−1]jj ; oder, bei unbekanntem σ 2,
tj =
bj − βj
∼ t(n − k) ;
√
σ̂ ajj
√
σ̂ ajj heißt “Standard-Fehler” von bj .
Dementsprechend kann mit dem t-Test H0: βj = βj0 gegen H1: βj 6= βj0 getestet werden: Üblicherweise wird der
Wert der t-Teststatistik (und eine entsprechende Irrtumswahrscheinlichkeit) angegeben.
In analoger Weise kann H0: σ 2 = σ02 gegen H1: σ 2 6= σ02 mit
einem Chi-Quadrat Test überprüft werden.
o1-04.tex/2
Konfidenzintervall für βj
Aus
bj ∼ N (βj , ajj σ 2)
ergibt sich das 100γ%-Konfidenzintervall für βj :
√
√
bj − t 1+γ σ̂ ajj ≤ βj ≤ bj − t 1+γ σ̂ ajj
2
2
Die Verteilung der Linearkombination w0b erhält man zu
w0b ∼ N (w0β, w0(X 0X)−1wσ 2)
das 100γ%-Konfidenzintervall für w0βj lautet damit
w0b − t 1+γ σ̂w0(X 0X)−1w ≤ βj ≤ w0b − t 1+γ σ̂w0(X 0X)−1w
2
o1-04.tex/3
2
Cobb-Douglas Produktionsfunktion
log Q = γ + α log K + βlogL
Q: Output (value added), K: Kapital (capital stock),
L: Arbeit (labor input), α, β ∈ (0, 1); wenn α + β = 1:
konstante Skalenerträge
Beispiel: Produktions-Daten für SIC 33 (Primary Metals)
nach Hildebrand & Liu (1957), Aigner et al. (1977)
o1-04.tex/4
Cobb-Douglas Produktionsfunktion,
Forts.

2
0
σ̂ (X X)
−1
=







0.1068 −0.0198 0.0012 


−0.0198 0.0159 −0.0096 


0.00159 −0.0096 0.0073
das 95%-Konfidenzintervall für α + β lautet
0.979 − (2.064)(0.626) ≤ α + β ≤ 0.979 + (2.064)(0.626)
oder
0.850 ≤ α + β ≤ 1.108
o1-04.tex/5
Test aller Regressionskoeffizienten
Es soll H0: β = β 0 gegen H1: β 6= β 0 getestet werden.
(i)
(i)
(a) Simultaner t-Test von H0 : βi = βi0 gegen H1 :
βi 6= βi0 für i = 1, . . . , k: H0 wird verworfen, wenn
(i)
mindestens ein H0 verworfen wird.
Achtung! Keine Kontrolle über die Wahrscheinlichkeit,
den Fehler 1. Art zu begehen.
(b) Globaler Test: F -Test auf Basis der Test-Statistik
(b − β 0)0X 0X(b − β 0) n − k
F =
e0 e
k
und F ∼ F (k, n − k).
o1-04.tex/6
(1)
Interpretation des F -Tests
Der Zähler der Teststatistik F ,
(b − β 0)0X 0X(b − β 0)
= (y − Xβ 0)0(y − Xβ 0) − e0e ,
(2)
gibt an, um wieviel sich die Summe der quadrierten Abweichungen der Yt vom hypothetischen Wert Xtβ 0 von der
Summe der quadrierten Residua unterscheidet. Die Teststatistik ist das Verhältnis dieser Differenz zu k σ̂ 2.
o1-04.tex/7
Test von r Regressionskoeffizienten
Es soll eine Teilmenge β1 von r (1 < r < k) der Regressionskoeffizienten getestet werden. Wir schreiben
y = X1β̄1 + X2β̄2 + u ;
X1 (X2) enthält r (k − r) Spalten, β̄1 (β̄2) enthält r (k − r)
Komponenten.
Zu testen sei H0: β̄1 = β̄10 gegen H1: β̄1 6= β̄10; die Komponenten von β̄2 sind beliebig.
Der Test von H0 erfolgt als F -Test mittels der Teststatistik
(1), wobei β 0 ersetzt wird durch

0
 β̄1

b̄2



β̄10



 = 
0
−1 0
0  .
(X2X2) X2(y − X1β̄1 )
Der KQ-Schätzer b̄2 ergibt sich durch Anpassung von
y − X1β̄10 = X2β̄2 + u ;
dabei wird die Gültigkeit von H0 vorausgesetzt!
Die Test-Statistik lautet damit
(b − β 0)0X 0X(b − β 0) n − k
F =
e0 e
r
und folgt der F -Verteilung F (r, n − k).
o1-04.tex/8
(3)
Zerlegung von y − Xβ 0
Der k-Vektor β 0 sei der wahre Parametervektor.
Mit
u = y − Xβ 0 = y − Xb + X(b − β 0) = e + X(b − β 0)
ergibt sich
(y − Xβ 0)0(y − Xβ 0) = e0e + (b − β 0)0X 0X(b − β 0) ;
gilt β = β 0, so erhalten wir wegen
b − β 0 = b − β = (X 0X)−1X 0u
und
(b − β 0)0X 0X(b − β 0) = u0X(X 0X)−1X 0u = u0P u
mit e = M u die Beziehung
u0u = (y − Xβ 0)0(y − Xβ 0) = u0M u + u0P u .
Wegen r(M ) = n−k, r(P ) = k und P M = 0 folgt aus dem
Cochran’schen Theorem [siehe (A4) im Anhang A: Wahrscheinlichkeitsverteilungen]
(b − β 0)0X 0X(b − β 0) n − k
∼ F (k, n − k) .
e0 e
k
o1-04.tex/9
ANOVA-Test
Test von H0: β2 = . . . = βk = 0 gegen eine nicht spezifizierte
Alternative, wobei das Interzept β1 beliebig ist; Spezialfall
des Testens einer Teilmenge der Regressionskoeffizienten mit
β̄2 = β1.
Mit b1 = Y ergibt sich für den Zähler von (3)
(b − β 0)0X 0X(b − β 0) =
X
t
(Ŷt − Y )2
[vergleiche (2)]. Damit erhalten wir für die Teststatistik (3)
P
F =
− Y )2 n − k
∼ F (k − 1, n − k)
P
2
k
−
1
e
t t
t (Ŷt
Beachte! Die ANOVA-Tafel
Sum of
Mean
Source
df Squares
Square
F Wert
Regression k − 1 ESS
ESS/(k − 1)
(3)
Residua
n − k RSS RSS/(n − k)
Total
n − 1 TSS
macht Gebrauch von der Zerlegung der Variation der erklärten Variablen (siehe Vorlesung 3)
TSS =
=
o1-04.tex/10
X
t
X
t
(Yt − Y )2
(Ŷt − Y )2 +
X
t
e2t = ESS + RSS
Konsumfunktion für Österreich,
1954-1999
o1-04.tex/11
Computer-Standardergebnisse
am Beispiel von EViews (siehe auch unter “Ordinary Least
Squares” im “Help System” von EViews)
• angepaßte Regression
zu jedem Regressor und zum Interzept:
coefficient: geschätzter Regressionskoeffizient bj
Std.Error: Standardfehler von bj
t-Statistic: t-Statistik zu bj
Prob.: p-Wert zum Test von H0: βj = 0
• Allgemeine Statistiken (Summary Statistics)
R-squared: Bestimmtheitsmaß R2
2
Adjusted R-squared: adjustiertes Bestimmtheitsmaß R
S.E. of regression: Standardfehler der Regression σ̂)
Sum of squared resid: RSS, e0e
Log Likelihood:


n
e0 e 
` = − 1 + log(2π) + log 
2
n
Durbin-Watson stat: Durbin-Watson Statistik zum Test
auf serielle Korrelation der Störgrößen
o1-04.tex/12
Computer-Standardergebnisse, Forts.
• Allgemeine Statistiken, Forts.
Mean dependent var: Mittelwert von Y
S.D. dependent var: Standardfehler von Y
Akaike info criterion: Akaike’s Information Kriterium
2` 2k
e0e 2k
AIC = − +
= konst + log
+
n
n
n
n
0
n
Schwarz criterion: SC = log ene + k log
n
F -statistic, Prob(F -statistic): Test-Statistik (3) und
p-Wert zum Test von H0, dass alle βj = 0
• Spezifikations- und diagnostische Tests
Coefficient Tests
Residual Tests
Test auf Normalität (Bera-Jarque Statistik)


2
γ̂22 
 γ̂1
BJ = n  + 
6
24
Stability Tests
o1-04.tex/13