2. Vorlesung

3 Einfache lineare Regression
Parameterschätzung 3.3
Eigenschaften der Schätzfunktionen βb0 und βb1 II
βb0 und βb1 sind erwartungstreu für β0 und β1 , denn wegen E(ui ) = 0 gilt
I
I
I
E(yi ) = β0 +P
β1 · xi +
) = β0 + β1 · xi ,P
E(ui P
E(y ) = E n1 ni=1 yi = n1 ni=1 E(yi ) = n1 ni=1 (β0 + β1 · xi ) = β0 + β1 · x,
P
P
E(xy ) = E n1 ni=1 xi yi = n1 ni=1 xi (β0 + β1 · xi ) = β0 · x + β1 · x 2
und damit
xy − x · y
E(xy ) − x · E(y )
=
x2 − x2
x2 − x2
β0 · x + β1 · x 2 − x · (β0 + β1 · x)
β1 · (x 2 − x 2 )
=
=
= β1
x2 − x2
x2 − x2
E(βb1 ) = E
sowie
E(βb0 ) = E(y − x βb1 ) = E(y ) − x E(βb1 ) = β0 + β1 · x − x · β1 = β0 .
Diese beiden Eigenschaften folgen bereits mit dem Satz von Gauß-Markov.
Ökonometrie (SS 2017)
Folie 157
3 Einfache lineare Regression
Parameterschätzung 3.3
Eigenschaften der Schätzfunktionen βb0 und βb1 III
Für die Varianzen der Schätzfunktionen erhält man (mit der Darstellung aus
Folie 156):
Var(βb1 ) =
σ2
n · sX2
sowie
Var(βb0 ) =
σ2 · x 2
n · sX2
Diese hängen von der unbekannten Varianz σ 2 der ui ab.
Eine erwartungstreue Schätzfunktion für σ 2 ist gegeben durch
n
1 X 2
bi
u
n−2
i=1
n
n
· sY2 · (1 − R 2 ) =
· (sY2 − βb1 · sX ,Y )
=
n−2
n−2
p
c2 dieser Schätzfunktion heißt auch
Die positive Wurzel σ
b=+ σ
Standard Error of the Regression (SER) oder residual standard error.
c2 := Var(u
\i ) =
σ
Ökonometrie (SS 2017)
Folie 158
3 Einfache lineare Regression
Parameterschätzung 3.3
Eigenschaften der Schätzfunktionen βb0 und βb1 IV
c2 für σ 2 liefert die geschätzten Varianzen der
Einsetzen des Schätzers σ
Parameterschätzer
\
c2 b := Var(
σ
βb1 ) =
β1
c2
sY2 − βb1 · sX ,Y
σ
=
n · sX2
(n − 2) · sX2
und
2
c2 2
2
b
\
c2 b := Var(
b0 ) = σ · x = (sY − β1 · sX ,Y ) · x .
β
σ
β0
n · sX2
(n − 2) · sX2
q
q
c2 b und σ
c2 b dieser geschätzten
Die positiven Wurzeln σ
bβb0 = σ
bβb1 = σ
β0
β1
Varianzen werden wie üblich als (geschätzte) Standardfehler von βb0 und βb1
bezeichnet.
Ökonometrie (SS 2017)
Folie 159
3 Einfache lineare Regression
Konfidenzintervalle und Tests 3.4
Konfidenzintervalle und Tests
unter Normalverteilungsannahme für ui
Häufig nimmt man weitergehend für die Störgrößen an, dass speziell
iid
ui ∼ N(0, σ 2 )
gilt, d.h. dass alle ui (für i ∈ {1, . . . , n}) unabhängig identisch normalverteilt
sind mit Erwartungswert 0 und (unbekannter) Varianz σ 2 .
In diesem Fall sind offensichtlich auch y1 , . . . , yn stochastisch unabhängig und
jeweils normalverteilt mit Erwartungswert E(yi ) = β0 + β1 · xi und Varianz
Var(yi ) = σ 2 .
Da βb0 und βb1 linear in yi sind, folgt insgesamt mit den bereits berechneten
Momenten von βb0 und βb1 :
!
2
2
σ
·
x
σ2
b
b
β0 ∼ N β0 ,
und
β1 ∼ N β1 ,
n · sX2
n · sX2
Ökonometrie (SS 2017)
Folie 160
3 Einfache lineare Regression
Konfidenzintervalle und Tests 3.4
Konfidenzintervalle
unter Normalverteilungsannahme für ui
Da σ 2 unbekannt ist, ist für Anwendungen wesentlich relevanter, dass im
Falle unabhängig identisch normalverteilter Störgrößen ui mit den
c2 b für Var(βb0 ) und σ
c2 b für Var(βb1 ) gilt:
Schätzfunktionen σ
β0
β1
βb0 − β0
∼ t(n − 2)
σ
bβb0
und
βb1 − β1
∼ t(n − 2)
σ
bβb1
Hieraus erhält man unmittelbar die Formeln“
”
h
i
b
α
β0 − tn−2;1− 2 · σ
bβb0 , βb0 + tn−2;1− α2 · σ
bβb0
für (symmetrische) Konfidenzintervalle zur Vertrauenswahrscheinlichkeit
1 − α für β0 bzw.
h
i
βb1 − tn−2;1− α2 · σ
bβb1 , βb1 + tn−2;1− α2 · σ
bβb1
für (symmetrische) Konfidenzintervalle zur Vertrauenswahrscheinlichkeit
1 − α für β1 .
Ökonometrie (SS 2017)
Folie 161
3 Einfache lineare Regression
Konfidenzintervalle und Tests 3.4
Beispiel: Ausgaben in Abhängigkeit vom Einkommen II
Im bereits erläuterten Beispiel erhält man als Schätzwert für σ 2 :
2
b
c2 = n · (sY − β1 · sX ,Y ) = 7 · (8.6938 − 0.26417 · 30.2449) = 0.9856
σ
n−2
7−2
b
Die (geschätzten) Standardfehler für β0 und βb1 sind damit
s
r
c2 · x 2
0.9856 · 1031.71429
σ
=
= 1.1264 ,
σ
bβb0 =
2
7 · 114.4901
n · sX
s
r
c2
σ
0.9856
σ
bβb1 =
= 0.0351 .
=
7 · 114.4901
n · sX2
Für α = 0.05 erhält man mit tn−2;1− α2 = t5;0.975 = 2.571 für β0 also
[1.14228 − 2.571 · 1.1264, 1.14228 + 2.571 · 1.1264] = [−1.7537, 4.0383]
als Konfidenzintervall zur Vertrauenswahrscheinlichkeit 1 − α = 0.95 bzw.
[0.26417 − 2.571 · 0.0351, 0.26417 + 2.571 · 0.0351] = [0.1739, 0.3544]
als Konfidenzintervall zur Vertrauenswahrscheinlichkeit 1 − α = 0.95 für β1 .
Ökonometrie (SS 2017)
Folie 162
3 Einfache lineare Regression
Konfidenzintervalle und Tests 3.4
Hypothesentests
unter Normalverteilungsannahme für ui
Genauso lassen sich unter der Normalverteilungsannahme (exakte) t-Tests für
die Parameter β0 und β1 konstruieren.
Trotz unterschiedlicher Problemstellung weisen die Tests Ähnlichkeiten zum
t-Test für den Mittelwert einer normalverteilten Zufallsvariablen bei
unbekannter Varianz auf.
Untersucht werden können die Hypothesenpaare
H0 : β0 = β00
gegen
H1 : β0 6= β00
H0 : β0 ≤ β00
gegen
H1 : β0 > β00
H0 : β0 ≥ β00
gegen
H1 : β0 < β00
H0 : β1 = β10
gegen
H1 : β1 6= β10
H0 : β1 ≤ β10
gegen
H1 : β1 > β10
H0 : β1 ≥ β10
gegen
H1 : β1 < β10
bzw.
Besonders anwendungsrelevant sind Tests auf die Signifikanz“ der Parameter
”
(insbesondere β1 ), die den zweiseitigen Tests mit β00 = 0 bzw. β10 = 0
entsprechen.
Ökonometrie (SS 2017)
Folie 163
3 Einfache lineare Regression
Konfidenzintervalle und Tests 3.4
Zusammenfassung: t-Test für den Parameter β0
im einfachen linearen Regressionsmodell mit Normalverteilungsannahme
Anwendungsvoraussetzungen
Nullhypothese
Gegenhypothese
iid
exakt: yi = β0 + β1 · xi + ui mit ui ∼ N(0, σ 2 ) für i ∈ {1, . . . , n},
σ 2 unbekannt, x1 , . . . , xn deterministisch und bekannt,
Realisation y1 , . . . , yn beobachtet
H0 : β0 = β00
H1 : β0 6= β00
Teststatistik
H0 : β0 ≤ β00
H1 : β0 > β00
t=
Verteilung (H0 )
H0 : β0 ≥ β00
H1 : β0 < β00
βb0 − β00
σ
bβc0
t für β0 = β00 t(n − 2)-verteilt
s
(sY2 − βb1 · sX ,Y ) · x 2
b
b
, β0 = y − β1 · x, σ
bβc0 =
(n − 2) · sX2
Benötigte Größen
sX ,Y
βb1 = 2
sX
Kritischer Bereich
zum Niveau α
(−∞, −tn−2;1− α2 )
∪(tn−2;1− α2 , ∞)
(tn−2;1−α , ∞)
(−∞, −tn−2;1−α )
2 · (1 − Ft(n−2) (|t|))
1 − Ft(n−2) (t)
Ft(n−2) (t)
p-Wert
Ökonometrie (SS 2017)
Folie 164
3 Einfache lineare Regression
Konfidenzintervalle und Tests 3.4
Zusammenfassung: t-Test für den Parameter β1
im einfachen linearen Regressionsmodell mit Normalverteilungsannahme
Anwendungsvoraussetzungen
Nullhypothese
Gegenhypothese
iid
exakt: yi = β0 + β1 · xi + ui mit ui ∼ N(0, σ 2 ) für i ∈ {1, . . . , n},
σ 2 unbekannt, x1 , . . . , xn deterministisch und bekannt,
Realisation y1 , . . . , yn beobachtet
H0 : β1 = β10
H1 : β1 6= β10
Teststatistik
H0 : β1 ≤ β10
H1 : β1 > β10
t=
Verteilung (H0 )
H0 : β1 ≥ β10
H1 : β1 < β10
βb1 − β10
σ
bβc1
t für β1 = β10 t(n − 2)-verteilt
s
sY2 − βb1 · sX ,Y
=
(n − 2) · sX2
Benötigte Größen
sX ,Y
βb1 = 2 , σ
bβc1
sX
Kritischer Bereich
zum Niveau α
(−∞, −tn−2;1− α2 )
∪(tn−2;1− α2 , ∞)
(tn−2;1−α , ∞)
(−∞, −tn−2;1−α )
2 · (1 − Ft(n−2) (|t|))
1 − Ft(n−2) (t)
Ft(n−2) (t)
p-Wert
Ökonometrie (SS 2017)
Folie 165
3 Einfache lineare Regression
Konfidenzintervalle und Tests 3.4
Beispiel: Ausgaben in Abhängigkeit vom Einkommen III
Im bereits erläuterten Beispiel soll zum Signifikanzniveau α = 0.05 getestet
werden, ob β0 signifikant von Null verschieden ist. Geeigneter Test:
t-Test für den Regressionsparameter β0
1
2
3
4
5
Hypothesen:
H0 : β0 = 0
gegen
H1 : β0 6= 0
Teststatistik:
βb0 − 0
t=
ist unter H0 (für β0 = 0) t(n − 2)-verteilt.
σ
bβc0
Kritischer Bereich zum Niveau α = 0.05:
K = (−∞, −tn−2;1− α2 ) ∪ (tn−2;1− α2 , +∞) = (−∞, −t5;0.975 ) ∪ (t5;0.975 , +∞)
= (−∞, −2.571) ∪ (2.571, +∞)
Berechnung der realisierten Teststatistik:
βb0 − 0
1.14228 − 0
t=
=
= 1.014
σ
bβc0
1.1264
Entscheidung:
t = 1.014 ∈
/ (−∞, −2.571) ∪ (2.571, +∞) = K ⇒ H0 wird nicht abgelehnt!
(p-Wert: 2 − 2 · Ft(5) (|t|) = 2 − 2 · Ft(5) (|1.014|) = 2 − 2 · 0.8215 = 0.357)
Der Test kann für β0 keine signifikante Abweichung von Null feststellen.
Ökonometrie (SS 2017)
Folie 166
3 Einfache lineare Regression
Konfidenzintervalle und Tests 3.4
Beispiel: Ausgaben in Abhängigkeit vom Einkommen IV
Nun soll zum Signifikanzniveau α = 0.01 getestet werden, ob β1 positiv ist.
Geeigneter Test:
t-Test für den Regressionsparameter β1
1
2
3
4
5
Hypothesen:
H0 : β1 ≤ 0
gegen
H1 : β1 > 0
Teststatistik:
βb1 − 0
ist unter H0 (für β1 = 0) t(n − 2)-verteilt.
t=
σ
bβc1
Kritischer Bereich zum Niveau α = 0.01:
K = (tn−2;1−α , +∞) = (t5;0.99 , +∞) = (3.365, +∞)
Berechnung der realisierten Teststatistik:
βb1 − 0
0.26417 − 0
t=
=
= 7.5262
σ
bβc1
0.0351
Entscheidung:
t = 7.5262 ∈ (3.365, +∞) = K
⇒
H0 wird abgelehnt!
(p-Wert: 1 − Ft(5) (t) = 1 − Ft(5) (7.5262) = 1 − 0.9997 = 0.0003)
Der Test stellt fest, dass β1 signifikant positiv ist.
Ökonometrie (SS 2017)
Folie 167
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Punkt- und Intervallprognosen
im einfachen linearen Regressionsmodell mit Normalverteilungsannahme
Neben Konfidenzintervallen und Tests für die Parameter β0 und β1 in linearen
Regressionsmodellen vor allem Prognosen wichtige Anwendung.
Zur Erstellung von Prognosen: Erweiterung der Modellannahme
yi = β0 + β1 · xi + ui ,
iid
ui ∼ N(0, σ 2 ),
i ∈ {1, . . . , n}
auf (zumindest) einen weiteren, hier mit (x0 , y0 ) bezeichneten Datenpunkt,
bei dem jedoch y0 nicht beobachtet wird, sondern lediglich der Wert des
Regressors x0 bekannt ist.
Ziel: Schätzung“ (Prognose) von y0 = β0 + β1 · x0 + u0 bzw.
”
E(y0 ) = β0 + β1 · x0 auf Grundlage von x0 .
Wegen E(u0 ) = 0 und der Erwartungstreue von βb0 für β0 bzw. βb1 für β1 ist
[
yb0 := βb0 + βb1 · x0 =: E(y
0)
offensichtlich erwartungstreu für y0 bzw. E(y0 ) gegeben x0 .
[
yb0 bzw. E(y
0 ) wird auch (bedingte) Punktprognose für y0 bzw. E(y0 )
gegeben x0 genannt.
Ökonometrie (SS 2017)
Folie 168
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Prognosefehler
Zur Beurteilung der Genauigkeit der Prognosen:
Untersuchung der sogenannten Prognosefehler
yb0 − y0
bzw.
[
E(y
0 ) − E(y0 ) .
Qualitativer Unterschied:
I
Prognosefehler
[
b
b
b
b
E(y
0 ) − E(y0 ) = β0 + β1 · x0 − (β0 + β1 · x0 ) = (β0 − β0 ) + (β1 − β1 ) · x0
I
resultiert nur aus Fehler bei der Schätzung von β0 bzw. β1 durch βb0 bzw. βb1 .
Prognosefehler
yb0 − y0 = βb0 + βb1 · x0 − (β0 + β1 · x0 + u0 ) = (βb0 − β0 ) + (βb1 − β1 ) · x0 − u0
ist Kombination von Schätzfehlern (für β0 und β1 ) sowie zufälliger
Schwankung von u0 ∼ N(0, σ 2 ).
[
Zunächst: Untersuchung von eE := E(y
0 ) − E(y0 )
Ökonometrie (SS 2017)
Folie 169
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Wegen der Erwartungstreue stimmen mittlerer quadratischer (Prognose-)
[
Fehler und Varianz von eE = E(y
0 ) − E(y0 ) überein und man erhält
[
[
b
b
Var(E(y
0 ) − E(y0 )) = Var(E(y0 )) = Var(β0 + β1 · x0 )
= Var(βb0 ) + x 2 Var(βb1 ) + 2 · x0 · Cov(βb0 , βb1 ).
0
Es kann gezeigt werden, dass für die Kovarianz von βb0 und βb1 gilt:
x
x
Cov(βb0 , βb1 ) = −σ 2 · Pn
= −σ 2 ·
2
n · sX2
i=1 (xi − x)
Insgesamt berechnet man so die Varianz des Prognosefehlers
σe2E := Var(eE ) =
σ2 · x 2
σ2
σ2 · x
2
+
x
·
−
2
·
x
·
0
0
n · sX2
n · sX2
n · sX2
= σ2 ·
x 2 + x02 − 2 · x0 · x
n · sX2
(x 2 − x 2 ) + (x 2 + x02 − 2 · x0 · x)
n · sX2
2
2
s + (x0 − x)
1 (x0 − x)2
2
.
= σ2 · X
=
σ
·
+
n
n · sX2
n · sX2
= σ2 ·
Ökonometrie (SS 2017)
Folie 170
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Die Linearität von βb0 und βb1 (in yi ) überträgt sich (natürlich) auch auf
[
E(y
0 ), damit gilt offensichtlich
2
[
eE = E(y
0 ) − E(y0 ) ∼ N 0, σeE
bzw.
[
E(y
0 ) − E(y0 )
∼ N(0, 1) .
σeE
Da σ 2 unbekannt ist, erhält man durch Ersetzen von σ 2 durch die
c2 die geschätzte Varianz
erwartungstreue Schätzfunktion σ
c2 e := Var(e
c2 ·
d E) = σ
σ
E
1 (x0 − x)2
+
n
n · sX2
[
von E(y
0 ) und damit die praktisch wesentlich relevantere Verteilungsaussage
[
eE
E(y
0 ) − E(y0 )
=
∼ t(n − 2) ,
σ
beE
σ
beE
aus der sich in bekannter Weise (symmetrische) Konfidenzintervalle (und
Tests) konstruieren lassen.
Ökonometrie (SS 2017)
Folie 171
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Prognoseintervalle für E(y0 ) gegeben x0
Intervallprognosen zur Vertrauenswahrscheinlichkeit 1 − α erhält man also als
Konfidenzintervalle zum Konfidenzniveau 1 − α für E(y0 ) in der Form
h
[
[
·σ
beE , E(y
·σ
beE
E(y
0 ) + tn−2;1− α
0 ) − tn−2;1− α
2
2
i
i
h
beE , (βb0 + βb1 · x0 ) + tn−2;1− α2 · σ
beE .
= (βb0 + βb1 · x0 ) − tn−2;1− α2 · σ
Im Beispiel (Ausgaben in Abhängigkeit vom Einkommen) erhält man zu
gegebenem x0 = 38 (in 100 e)
1 (x0 − x)2
1 (38 − 30.28571)2
c
c
2
2
σ eE = σ ·
+
= 0.9856 ·
+
= 0.214
n
7
7 · 114.4901
n · sX2
[
b
b
die Punktprognose E(y
0 ) = β0 + β1 · x0 = 1.14228 + 0.26417 · 38 = 11.1807
(in 100 e) sowie die Intervallprognose zur Vertrauenswahrscheinlichkeit 0.95
i
h
√
√
11.1807 − 2.571 · 0.214 , 11.1807 + 2.571 · 0.214
= [9.9914 , 12.37] (in 100 e) .
Ökonometrie (SS 2017)
Folie 172
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Prognosefehler e0 := yb0 − y0
Nun: Untersuchung des Prognosefehlers e0 := yb0 − y0
Offensichtlich gilt für e0 = yb0 − y0 die Zerlegung
yb0 − y0 = (βb0 + βb1 · x0 ) −(β0 + β1 · x0 +u0 )
{z
}
|
{z
} |
[
=E(y
0)
=
[
E(y
0 ) − E(y0 )
|
{z
}
Fehler aus Schätzung von
β0 und β1
=E(y0 )
−
u0
|{z}
.
zufällige Schwankung
der Störgröße
[
b
b
E(y
0 ) hängt nur von u1 , . . . , un ab (über y1 , . . . , yn bzw. β0 und β1 ) und ist
iid
wegen der Annahme ui ∼ N(0, σ 2 ) unabhängig von u0 .
Damit sind die beiden Bestandteile des Prognosefehlers insbesondere auch
unkorreliert und man erhält:
[
σe20 := Var(yb0 − y0 ) = Var(E(y
0 ) − E(y0 )) + Var(u0 )
1 (x0 − x)2
1 (x0 − x)2
2
2
2
=σ ·
+
+σ =σ · 1+ +
n
n
n · sX2
n · sX2
Ökonometrie (SS 2017)
Folie 173
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Aus der Unkorreliertheit der beiden Komponenten des Prognosefehlers folgt
auch sofort die Normalverteilungseigenschaft des Prognosefehlers
e0 = y0 − yb0 , genauer gilt:
e0 = yb0 − y0 ∼ N 0, σe20
bzw.
yb0 − y0
∼ N(0, 1) .
σe0
c2 ersetzt werden, um mit Hilfe der geschätzen
Wieder muss σ 2 durch σ
Varianz
2
c2 e := Var(
c2 · 1 + 1 + (x0 − x)
d yb0 − y0 ) = σ
σ
0
n
n · sX2
des Prognosefehlers die für die Praxis relevante Verteilungsaussage
e0
yb0 − y0
=
∼ t(n − 2) ,
σ
be0
σ
be0
zu erhalten, aus der sich dann wieder Prognoseintervalle konstruieren lassen.
Ökonometrie (SS 2017)
Folie 174
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Prognoseintervalle für y0 gegeben x0
Intervallprognosen für y0 zur Vertrauenswahrscheinlichkeit 1 − α erhält man
also analog zu den Intervallprognosen für E(y0 ) in der Form
yb0 − tn−2;1− α2 · σ
be0 , yb0 + tn−2;1− α2 · σ
be0
i
h
be0 , (βb0 + βb1 · x0 ) + tn−2;1− α2 · σ
be0 .
= (βb0 + βb1 · x0 ) − tn−2;1− α2 · σ
Im Beispiel (Ausgaben in Abhängigkeit vom Einkommen) erhält man zu
gegebenem x0 = 38 (in 100 e)
2
(38 − 30.28571)2
1
c2 e = σ
c2 · 1 + 1 + (x0 − x)
= 1.1996
σ
+
=
0.9856·
1
+
0
n
7
7 · 114.4901
n · sX2
[
mit der bereits berechneten Punktprognose yb0 = E(y
0 ) = 11.1807 (in 100 e)
die zugehörige Intervallprognose für y0 zur Vertrauenswahrscheinlichkeit 0.95
h
i
√
√
11.1807 − 2.571 · 1.1996 , 11.1807 + 2.571 · 1.1996
= [8.3648 , 13.9966] (in 100 e) .
Ökonometrie (SS 2017)
Folie 175
3 Einfache lineare Regression
Punkt- und Intervallprognosen 3.5
Prognose: Ausgaben in Abhängigkeit vom Einkommen
15
βb0 = 1.14228, βb1 = 0.26417, x0 = 38, yb0 = 11.1807, 1 − α = 0.95
●
y = y^
x
10
●
●
●
yi
●
●
0
5
●
0
10
20
30
40
50
xi
Ökonometrie (SS 2017)
Folie 176