Kapitel 1 Das Lineare Regressionsmodell

Kapitel 1
Das Lineare Regressionsmodell
Angewandte Ökonometrie I
SS 2016
Nikolaus Hautsch, Christopher Walsh
Universität Wien
1. Modell und Annahmen | 1.1 Modellgleichung und Variablen
Outline I
1. Modell und Annahmen
1.1 Modellgleichung und Variablen
1.2 Standardannahmen
2. KQ-Schätzung
2.1 Der KQ-Schätzer
2.2 Eigenschaften
2.3 Der KQS als ML Schätzer
3. Lineare Hypothesentests
3.1 Beschränkte KQ-Schätzung
3.2 Der F-Test
4. Illustrationen
AÖI - Kapitel 1
2 | 57
1. Modell und Annahmen | 1.1 Modellgleichung und Variablen
3 | 57
Modellgleichung und Variablen
I n Beobachtungen einer abhängigen (metrischen) Variable y :
y1 , . . . , yn
I K erklärende Variablen x(1) , x(2) , . . . , x(K ) mit
xi := (xi1 , . . . , xiK )0 für i = 1, . . . , n
I Ziel: Bestimmung des Zusammenhanges zwischen y und den
erklärenden Variablen x(1) , . . . , x(K ) .
AÖI - Kapitel 1
1. Modell und Annahmen | 1.1 Modellgleichung und Variablen
Modellgleichung
I Summennotation
(K )
(2)
yi = β1 + xi β2 + ... + xi
βK + εi ,
i = 1, ..., n
I Vektornotation
yi =
K
X
k=1
AÖI - Kapitel 1
(k)
βk xi
+ εi = x0i β + εi
4 | 57
1. Modell und Annahmen | 1.1 Modellgleichung und Variablen
I Matrixnotation:



y=

y1
y2
..
.
yn
y = Xβ + ε,








ε=

,
(n×1)

x11
 x21

X=
 ···
xn1
x12
x22
x13
x23
···
xn2
···
xn3
= [x (1) , . . . , x (K ) ],
(1)
wobei xi
AÖI - Kapitel 1
5 | 57
= 1 für i = 1, . . . , n.
ε1
ε2
..
.
εn
···
···
..
.
···






,
(n×1)
β1
 β2

β= .
 ..
βK

 0
x1K
x1
x2K 
 x02


=

···
··· 
x0n
xnK (n×K )





(K ×1)




1. Modell und Annahmen | 1.1 Modellgleichung und Variablen
6 | 57
Variablen
I yi - beobachtbare zufällige Variable:
Output, Zielgröße, abhängige Variable, Regressand, ...
(“endogene” Variable)
I xik - beobachtbare deterministische Variable:
Input, Eingangsgrößen, unabhängige Variable, Regressoren, ...
(“exogene” Variable)
I β1 , β2 , ...., βK - unbekannte Parameter (konstant)
I εi - unbeobachtbare Zufallsgrößen, Fehler, Störungen, ...
AÖI - Kapitel 1
1. Modell und Annahmen | 1.2 Standardannahmen
Outline I
1. Modell und Annahmen
1.1 Modellgleichung und Variablen
1.2 Standardannahmen
2. KQ-Schätzung
2.1 Der KQ-Schätzer
2.2 Eigenschaften
2.3 Der KQS als ML Schätzer
3. Lineare Hypothesentests
3.1 Beschränkte KQ-Schätzung
3.2 Der F-Test
4. Illustrationen
AÖI - Kapitel 1
7 | 57
1. Modell und Annahmen | 1.2 Standardannahmen
Standardannahmen
I. Annahmen über die Regressoren
(a) Die Regressoren xi1 , . . . , xiK sind deterministisch
⇒ X ist deterministisch
(b) X hat vollen Rang K , d.h., die Spalten von X sind linear
unabhängig:
rk(X) = K
AÖI - Kapitel 1
⇒
erfordert N ≥ K !
8 | 57
1. Modell und Annahmen | 1.2 Standardannahmen
II. Annahmen über die Fehlerterme
ε ∼ (0, σ 2 In )
(a)
(b)
(c)
(d)
Die Fehler haben den Erwartungswert Null: E[εi ] = 0 ∀ i
Die Fehler sind homoskedastisch: V[εi ] = σ 2 ∀ i
Die Fehler sind unkorreliert: E[εi εj ] = 0 für i 6= j
Manchmal (für Inferenz): Die Fehler sind normalverteilt.
ε ∼ N(0, σ 2 In )
εi ∼ N(0, σ 2 ) i.i.d.
AÖI - Kapitel 1
9 | 57
1. Modell und Annahmen | 1.2 Standardannahmen
10 | 57
III. Annahmen über die Modellstruktur
(a) Die unbekannten Parameter β und σ 2 sind konstant.
(b) Das lineare Modell ist adäquat (”korrekt” spezifiziert), d.h.
E[yi ] = x0i β
oder E[y] = Xβ
⇒ Beobachtungen sind unkorreliert mit gleicher Varianz:
yi ∼ (x0i β, σ 2 ) unkorreliert
⇔
AÖI - Kapitel 1
y ∼ (Xβ, σ 2 In )
2. KQ-Schätzung | 2.1 Der KQ-Schätzer
Outline I
1. Modell und Annahmen
1.1 Modellgleichung und Variablen
1.2 Standardannahmen
2. KQ-Schätzung
2.1 Der KQ-Schätzer
2.2 Eigenschaften
2.3 Der KQS als ML Schätzer
3. Lineare Hypothesentests
3.1 Beschränkte KQ-Schätzung
3.2 Der F-Test
4. Illustrationen
AÖI - Kapitel 1
11 | 57
2. KQ-Schätzung | 2.1 Der KQ-Schätzer
12 | 57
KQ-Schätzer
e ein beliebiger Schätzer von β.
I Sei β
I Die entsprechenden Residuen sind gegeben durch
e
eei := yi − x0i β,
e
e
e := y − Xβ.
⇔
I Kleinstquadratefunktion (zu minimieren):
2
n
n k
X
X
X
2
e
e
S(β) =
eei =
yi −
βj xij
i=1
0
i=1
j=1
0
e (y − Xβ)
e
= e
ee
e = (y − Xβ)
0
0
e X0 y + β
e X0 Xβ.
e
= y 0 y − 2β
AÖI - Kapitel 1
2. KQ-Schätzung | 2.1 Der KQ-Schätzer
13 | 57
I Kleinst-Quadrate (KQ) Schätzer:
b = argmin S(β)
e
β
βe
I Bedingung erster Ordnung (F.O.C.):
e ∂S(β)
0
0 b
e b = −2X y + 2X Xβ = 0.
e
∂ β β=β
⇒ KQ Schätzer:
b = (X0 X)−1 X0 y.
β
I Bedingung zweiter Ordnung (S.O.C.):
e
∂ 2 S(β)
0
0 = 2X X pos. def.
e
e
∂ β∂ β
AÖI - Kapitel 1
2. KQ-Schätzung | 2.2 Eigenschaften
Outline I
1. Modell und Annahmen
1.1 Modellgleichung und Variablen
1.2 Standardannahmen
2. KQ-Schätzung
2.1 Der KQ-Schätzer
2.2 Eigenschaften
2.3 Der KQS als ML Schätzer
3. Lineare Hypothesentests
3.1 Beschränkte KQ-Schätzung
3.2 Der F-Test
4. Illustrationen
AÖI - Kapitel 1
14 | 57
2. KQ-Schätzung | 2.2 Eigenschaften
Residuen
I Der KQ Residuenvektor ist gegeben durch
 
e1
e2 
 
b
e =  .  = y−b
y = y − Xβ.
 .. 
en
I Vektor der gefitteten abhängigen Variablen:
b
b
y = Xβ
= X(X0 X)−1 X0 y
= Py,
wobei P :=
bezeichnet.
AÖI - Kapitel 1
X(X0 X)−1 X0
die sog. Projektionsmatrix
15 | 57
2. KQ-Schätzung | 2.2 Eigenschaften
16 | 57
Numerische Eigenschaften des KQ Schätzers
I In termini des Residuenvektors, ergibt sich die F.O.C. durch
X0 e =
n
X
xi ei = 0.
i=1
. Jede Spalte X ist orthogonal zu e.
⇒ b
y0 e = 0
I Falls die Regressionsgleichung einen Interzept enthält:
n
X
i=1
AÖI - Kapitel 1
xi1 · ei =
n
X
i=1
ei = 0.
2. KQ-Schätzung | 2.2 Eigenschaften
17 | 57
Eigenschaften in endlichen Stichproben
I Proposition (Unverzerrtheit): Unter den Annahmen I,
b unverzerrt, d.h.
II(a)-(c) und III, ist der KQ-Schätzer β
b =β
E[β]
(∀β).
I Proposition (Varianz des KQ-Schätzers): Unter den
Annahmen I, II(a)-(c) und III, ist die Varianz-Kovarianz Matrix
b gegeben durch
des KQ-Schätzers β
b = σ 2 (X0 X)−1 .
V[β]
AÖI - Kapitel 1
2. KQ-Schätzung | 2.2 Eigenschaften
18 | 57
2
b
Unverzerrte Schätzung von σ
b and V[β]
I Proposition (Erwartungswert von SSE=
Pn
2
i=1 ei ):
E[SSE ] = E[e0 e] = (n − k)σ 2 .
I Damit ist
σ
b2 =
e0 e
SSE
=
n−k
n−k
SSE
ein unverzerrter Schätzer von σ 2 , d.h. E[ n−k
] = σ2.
I Entsprechend ist
b =σ
b β]
V[
b2 (X0 X)−1
b
ein unverzerrter Schätzer von V[β],
2
0
−1
b
d.h. E[b
σ (X X) ] = V[β].
AÖI - Kapitel 1
2. KQ-Schätzung | 2.2 Eigenschaften
19 | 57
Gauss-Markov Theorem
I Theorem (Gauss-Markov): Unter den Annahmen I, II(a)-(c)
b der beste lineare unverzerrte
und III, ist der KQ-Schätzer β
Schätzer (BLUE) von β, d.h.
2 0
e − V[β
b
V[β]
OLS ] = σ D D pos. semi-def.,
e ein beliebiger linearer unverzerrter Schätzer von β ist
wobei β
und D gegeben ist durch
0
e −β
b
β
OLS = D y.
AÖI - Kapitel 1
2. KQ-Schätzung | 2.2 Eigenschaften
20 | 57
2
Bestimmtheitsmaß (R )
I Bestimmtheitsmaß:
R 2 :=
b ybi ]
V[
SSR
=
.
b i]
SST
V[y
I Wenn das Modell einen Interzept enthält, gilt
X
X
X
=
+
(b
yi − y )2
ei2
(yi − y )2
i
i
SST
= SSR
i
+ SSE
I Daraus folgt:
R 2 := 1 −
AÖI - Kapitel 1
b i]
SSE
V[e
=1−
.
b i]
SST
V[y
2. KQ-Schätzung | 2.2 Eigenschaften
21 | 57
Eigenschaften des R 2
I R 2 = ρ2y ,by , wobei ρ die empirische Korrelation bezeichnet.
I Falls das Modell einen Interzept enthält, gilt 0 ≤ R 2 ≤ 1.
I Die Verteilung von R 2 ist unbekannt.
I Hinzunahme weiterer Regressoren führt zu einer Erhöhung des
R 2.
I Scheinregressionen auf Basis (unverbundener) nicht-stationärer
Regressoren können ein hohes R 2 liefern.
I Lineare Transformationen des Regressionsmodells führen zu
keiner Veränderung des R 2 .
AÖI - Kapitel 1
2. KQ-Schätzung | 2.2 Eigenschaften
22 | 57
Statistische Eigenschaften unter Normalität
I Proposition (KQ-Schätzung unter Normalität): Unter den
b gegeben durch:
Annahmen I, II und III, ist die Verteilung von β
b ∼ N(β, σ 2 (X0 X)−1 ).
β
I Theorem: Im normalverteilten linearen Regressionsmodell ist
die Statistik e0 e/σ 2 verteilt gemäß
e0 e
∼ χ2(n−k) .
σ2
AÖI - Kapitel 1
2. KQ-Schätzung | 2.2 Eigenschaften
23 | 57
I Proposition (Varianz von σ
b2 ): Im normalverteilten linearen
Regressionsmodell ist die Varianz von σ
b2 gegeben durch
V[b
σ2] =
2σ 4
.
n−k
b und σ
I Proposition (Unabhängigkeit von β
b2 ): Im
b und σ
normalverteilten linearen Regressionsmodell sind β
b2
unabhängige Zufallsvariablen.
AÖI - Kapitel 1
2. KQ-Schätzung | 2.3 Der KQS als ML Schätzer
Outline I
1. Modell und Annahmen
1.1 Modellgleichung und Variablen
1.2 Standardannahmen
2. KQ-Schätzung
2.1 Der KQ-Schätzer
2.2 Eigenschaften
2.3 Der KQS als ML Schätzer
3. Lineare Hypothesentests
3.1 Beschränkte KQ-Schätzung
3.2 Der F-Test
4. Illustrationen
AÖI - Kapitel 1
24 | 57
2. KQ-Schätzung | 2.3 Der KQS als ML Schätzer
25 | 57
I Wir unterstellen ein homoskedastisches normalverteiltes
lineares Modell
yi = x0i β + εi ,
i.i.d.
εi ∼ N(0, σ 2 ).
i.i.d.
I Damit ist yi ∼ N(x0i β, σ 2 ) mit
2
2 −1/2
fyi (yi |β, σ ) = (2πσ )
AÖI - Kapitel 1
(yi − x0i β)2
exp −
.
2σ 2
2. KQ-Schätzung | 2.3 Der KQS als ML Schätzer
26 | 57
I Die Log Likelihood Funktion ist gegeben durch
`(y , β, σ 2 ) =
n
X
ln f (yi |β, σ 2 )
i=1
n
n
1 X 2
n
εi
= − ln(2π) − ln σ 2 − 2
2
2
2σ
i=1
n
n
1
= − ln(2π) − ln σ 2 − 2 ((y − Xβ)0 (y − Xβ))
2
2
2σ
n
1
= constant − ln σ 2 − 2 ε0 ε.
2
2σ
AÖI - Kapitel 1
2. KQ-Schätzung | 2.3 Der KQS als ML Schätzer
I Der Score (Gradient) berechnet sich durch
1
∂`(y , β, σ 2 )
= 2 X0 (y − Xβ)
∂β
σ
n
1
∂`(y , β, σ 2 )
= − 2 + 4 (y − Xβ)0 (y − Xβ)
2
∂σ
2σ
2σ
AÖI - Kapitel 1
27 | 57
2. KQ-Schätzung | 2.3 Der KQS als ML Schätzer
28 | 57
I Der ML Schätzer für θ := (β, σ 2 ) ergibt sich Nullsetzen des
Scores und Auflösen nach θ:
2
b ,σ
∂`(y , β
1
ML bML )
b ) = 0(k×1)
= 2 X0 (y − Xβ
ML
∂β
σ
bML
2
b ,σ
∂`(y , β
n
1
ML bML )
b )0 (y − Xβ
b )
= − 2 + 4 (y − Xβ
ML
ML
2
∂σ
2b
σML 2b
σML
=0
I Damit erhalten wir
b = (X0 X)−1 X0 y = β
b
β
ML
OLS
1
2
2
b )0 (y − Xβ
b ) = 1 e0 e = n − k σ
σ
bML
= (y − Xβ
bKQ
ML
ML
n
n
n
AÖI - Kapitel 1
2. KQ-Schätzung | 2.3 Der KQS als ML Schätzer
29 | 57
I Theorem. Unter gegebenen Regularitätsbedingungen ist die
asymptotische Varianz des ML-Schätzers gegeben durch
bML ] = I(θ 0 )−1 ,
V[θ
wobei
∂`(y , θ) ∂`(y , θ)
I(θ) := E
.
∂θ
∂θ 0
I Theorem. Unter gegebenen Regularitätsbedingungen gilt
2
∂`(y , θ) ∂`(y , θ)
∂ `(y , θ)
I(θ) = E
·
=E −
=: −H(θ).
∂θ
∂θ 0
∂θ∂θ 0
AÖI - Kapitel 1
2. KQ-Schätzung | 2.3 Der KQS als ML Schätzer
I Im normalverteilten Regressionsmodell ergibt sich
# " ∂ 2 `(·)
∂ 2 `(·)
1 0
0
XX
2
∂σ ∂β
σ2
=
−H(θ) = −E ∂β∂β
2
2
∂ `(·)
∂ `(·)
00
2
2
2
∂σ ∂β
∂σ ∂σ
wobei 0 einen (k × 1) Null-Vektor bezeichnet.
I Damit ergibt sich
b ] = V[β
b ] = σ 2 (X0 X)−1
V[β
ML
KQ
2
V[b
σML
] = V[e0 e/n] = 2σ 4 /n.
AÖI - Kapitel 1
30 | 57
0
n
2σ 4
,
3. Lineare Hypothesentests | 3.1 Beschränkte KQ-Schätzung
Outline I
1. Modell und Annahmen
1.1 Modellgleichung und Variablen
1.2 Standardannahmen
2. KQ-Schätzung
2.1 Der KQ-Schätzer
2.2 Eigenschaften
2.3 Der KQS als ML Schätzer
3. Lineare Hypothesentests
3.1 Beschränkte KQ-Schätzung
3.2 Der F-Test
4. Illustrationen
AÖI - Kapitel 1
31 | 57
3. Lineare Hypothesentests | 3.1 Beschränkte KQ-Schätzung
32 | 57
Beschränkter KQ-Schätzer
I Wir nehmen an, dass der Parameter β m lineare Restriktionen
Rβ = r,
erfüllt, wobei R eine bekannte (m × k) matrix und r ein
bekannter (m × 1) Koeffizientenvektor bezeichnen.
I Der beschränkte KQ-Schätzer ist definiert durch
b = argmin e
e = r,
β
e0 e
e s.t. Rβ
R
e
β
wobei
e
e
e = y − Xβ.
AÖI - Kapitel 1
3. Lineare Hypothesentests | 3.1 Beschränkte KQ-Schätzung
33 | 57
I Lagrange Funktion:
e λ) = e
e
L(β,
e0 e
e + 2λ0 (r − Rβ)
0
e X0 y + β
e 0 X0 Xβ
e + 2λ0 (r − Rβ)
e
= y 0 y − 2β
mit Lagrange Multiplikatoren λ := (λ1 , . . . , λm )0 .
I Eine Lösung des Lagrange Optimierungsproblems liefert den
beschränkten KQ-Schätzer
b =β
b + (X0 X)−1 R0 R(X0 X)−1 R0 −1 (r − Rβ).
b
β
R
AÖI - Kapitel 1
3. Lineare Hypothesentests | 3.1 Beschränkte KQ-Schätzung
34 | 57
Eigenschaften
I Erwartungswert:
b ] = β + (X0 X)−1 R0 (R(X0 X)−1 R0 )−1 (r − Rβ)
E[β
R
= β if Rβ = r
6= β if Rβ 6= r.
I Darüber hinaus ist
b − V[β
b ] = σ 2 (X0 X)−1 R0 R(X0 X)−1 R0 −1 R(X0 X)−1 ,
V[β]
R
b ist effizienter als β!
b
eine positiv semi-definite Matrix ⇒ β
R
b ist BLUE in der Klasse aller linearen unverzerrten Schätzer
I β
R
e die die Bedingung Rβ
e = r erfüllen.
β,
AÖI - Kapitel 1
3. Lineare Hypothesentests | 3.2 Der F-Test
Outline I
1. Modell und Annahmen
1.1 Modellgleichung und Variablen
1.2 Standardannahmen
2. KQ-Schätzung
2.1 Der KQ-Schätzer
2.2 Eigenschaften
2.3 Der KQS als ML Schätzer
3. Lineare Hypothesentests
3.1 Beschränkte KQ-Schätzung
3.2 Der F-Test
4. Illustrationen
AÖI - Kapitel 1
35 | 57
3. Lineare Hypothesentests | 3.2 Der F-Test
36 | 57
Prinzip des Testens
I Θ bezeichne den Raum aller möglichen Realisierungen von θ.
I Wir nehmen an, dass
Θ = Θ0 ∪ Θ1 ,
Θ0 ∩ Θ1 = ∅
. Θ0 ist der zulässige Parameterraum unter der
Null-Hypothese.
. Θ1 ist der zulässige Parameterraum unter der
Alternativhypothese.
I Entscheidungsproblem:
H0 : θ ∈ Θ0
AÖI - Kapitel 1
vs. H1 : θ ∈ Θ1
3. Lineare Hypothesentests | 3.2 Der F-Test
37 | 57
Signifikanztests
I Definition. Fehler erster Art: Ablehnen der Nullhypothese
obwohl sie erfüllt ist.
I Definition. Fehler zweiter Art: Akzeptieren der Nullhypothese
obwohl sie falsch ist.
I Für eine gegebene Stichprobengröße können die W’keiten für
beide Fehler nicht simultan kontrolliert werden!
⇒ (Neyman-Pearson) Beschränken des Fehlers erster Art
innerhalb einer Grenze α ∈ (0, 1), und Minimierung des Fehlers
2. Art unter dieser Bedingung.
AÖI - Kapitel 1
3. Lineare Hypothesentests | 3.2 Der F-Test
38 | 57
Signifikanzniveau
I Definition: Die W’keit (α) für das Auftreten des Fehlers
1. Art bezeichnet man als Signifikanzniveau.
I Die W’keit für den Fehler 1. Art erfüllt demnach
P [verwerfe H0 |H0 ist wahr ] ≤ α für alle θ ∈ Θ0
I p-Wert (marginales Signifikanzniveau) : höchstmögliches
Signifikanzniveau (d.h. niedrigstes α) zu dem die H0 nicht
verworfen werden kann.
AÖI - Kapitel 1
3. Lineare Hypothesentests | 3.2 Der F-Test
39 | 57
Macht eines Tests
I Definition. Macht eines Tests: W’keit für die Verwerfung der
Nullhypothese.
I Machtfunktion:
Π(θ) := P [verwerfe H0 |θ ]
⇒ W’keit für Fehler 1. Art:
P [verwerfe H0 |H0 ist wahr ] = Π(θ),
θ ∈ Θ0
⇒ W’keit für Fehler 2. Art:
β(θ) = P [akzeptiereH0 |H1 ist wahr ]
= 1 − Π(θ)
AÖI - Kapitel 1
für
θ ∈ Θ1
3. Lineare Hypothesentests | 3.2 Der F-Test
40 | 57
F-Test
I Hypothese:
H0 : Rβ = r
H1 : Rβ 6= r,
wobei R eine bekannte (m × k) Matrix und r ein bekannter
(m × 1) Koeffizientenvektor bezeichnen.
I Teststatistik:
b − r,
z = Rβ
b den KQ-Schätzer bezeichnet.
wobei β
AÖI - Kapitel 1
3. Lineare Hypothesentests | 3.2 Der F-Test
Eigenschaften von z
I Erwartungswert und Varianz von z:
b − r = Rβ − r,
E[z] = RE[β]
b 0 = σ 2 R(X0 X)−1 R0 .
V[z] = RV[β]R
b liefert
Ausnützen der Normalität von β
z ∼ N Rβ − r , σ 2 R(X0 X)−1 R0 .
I Verteilung von z unter der Nullhypothese:
z|H0 ∼ N 0 , σ 2 R(X0 X)−1 R0 .
AÖI - Kapitel 1
41 | 57
3. Lineare Hypothesentests | 3.2 Der F-Test
42 | 57
I Univariate Teststatistik:
b − r).
b − r)0 1 [R(X0 X)−1 R0 ]−1 (Rβ
u = z0 V[z]−1 z = (Rβ
σ2
I Unter H0 :
u|H0 ∼ χ2(m) .
I Problem: Teststatistik hängt von unbekannten Größen ab!
AÖI - Kapitel 1
3. Lineare Hypothesentests | 3.2 Der F-Test
43 | 57
I Modifizierte Teststatistik:
1
u
b − r )0 [R(X0 X)−1 R0 ]−1 (Rβ
b − r)/m
(Rβ
m
σ2
=
v
1 0
e e/(n − k)
n−k
σ2
b − r)0 [R(X0 X)−1 R0 ]−1 (Rβ
b − r)/m
(Rβ
=: F
=
SSEU /(n − k)
(SSER − SSEU )/m
=
SSEU /(n − k)
I Lemma: Die Statistiken u und v sind unabhängig.
I Daraus folgt:
F =
(SSER − SSEU )/m
.
∼F
SSEU /(n − k) H0 (m,n−k)
⇒ Entscheidung (F -Test auf Niveau α ): verwerfe H0 wenn
1−α
F > F(m,n−k)
.
AÖI - Kapitel 1
3. Lineare Hypothesentests | 3.2 Der F-Test
Spezialfall: t-Test
I H0 : βj = b vs. H1 : βj 6= b.
I In diesem Fall ergibt sich die F -Statistik durch
(βbj − b)2
∼F
b βbj ] H0 (1,n−k)
V[
und (t-Statistik)
βbj − b
∼ t(n−k) .
t := q
b βbj ] H0
V[
⇒ Entscheidung (t-Test auf Niveau α): verwerfe H0 wenn
1−α/2
|t| > t(n−k) .
AÖI - Kapitel 1
44 | 57
3. Lineare Hypothesentests | 3.2 Der F-Test
45 | 57
Signifikanz einer Regressionsgleichung
I Hypothesen: H0 : β2 = β3 = . . . = βk = 0.
I Dann folgt:
SSER =
n
X
i=1
2
eiR
=
n
X
(yi − y )2 = SST .
i=1
I Da m = k − 1, ergibt sich die F -Statistik durch
F =
(SSER − SSEU )/(k − 1)
∼ F(k−1,n−k) .
H0
SSEU /(n − k)
⇒ Entscheidung (auf α-Niveau): verwerfe H0 wenn
1−α
F > F(k−1,n−k)
.
AÖI - Kapitel 1
4. Illustrationen |
46 | 57
Beispiel
I Daten: wages1.dta
I Daten der U.S.-Studie ”National Longitudinal Survey” von
1987.
I Querschnittsdaten von 3294 Individuen und folgenden
Variablen:
.
.
.
.
wage: Stundenlohn (in $)
female: Geschlecht (1: weiblich)
exper: Berufserfahrung (in Jahren)
school: Schulbildung (in Jahren)
AÖI - Kapitel 1
4. Illustrationen |
KQ Schätzung
AÖI - Kapitel 1
47 | 57
4. Illustrationen |
Residuen
AÖI - Kapitel 1
48 | 57
4. Illustrationen |
Abhängige Variable, Fit und Residuen
AÖI - Kapitel 1
49 | 57
4. Illustrationen |
Verteilung der Residuen
AÖI - Kapitel 1
50 | 57
4. Illustrationen |
Abhängige Variable y vs. Fit yb
Cor[y , yb] = 0.36
AÖI - Kapitel 1
51 | 57
4. Illustrationen |
Schätzung ohne Interzept
AÖI - Kapitel 1
52 | 57
4. Illustrationen |
Deskr. Stat. der Residuen mit/ohne
Interzept
AÖI - Kapitel 1
53 | 57
4. Illustrationen |
b
b β]
Geschätzte Kovarianzmatrix V[
AÖI - Kapitel 1
54 | 57
4. Illustrationen |
Beschränkte & Unbeschränkte KQS
AÖI - Kapitel 1
55 | 57
4. Illustrationen |
Beschränkte & Unbeschränkte KQS
AÖI - Kapitel 1
56 | 57
4. Illustrationen |
Test linearer Restriktionen
AÖI - Kapitel 1
57 | 57