Formelsammlung zur Ökonometrie I

Prof. Dr. Reinhold Kosfeld
Institut für Volkswirtschaftslehre
Universität Kassel
Formelsammlung
zur
Ökonometrie I
(Ökonometrische Eingleichungsmodelle)
1. Das multiple Regressionsmodell
2. Signifikanztests und Konfidenzintervalle
3. Multikollinearität
4. Heteroskedastizität
5. Autokorrelation
2
1.
Das multiple Regressionsmodell
1.1
Modellspezifikation
Multiples Regressionsmodell für die t-te Periode (bzw. t-te statistische Einheit):
yt  1  2  x 2t 
  j  x jt 
 k  x kt  u t , t=1,2,...,n
k
oder
y t    j  x jt  u t  x 't β  u t , t=1,2,...,n
j1
mit
x 't  1 x 2 t
1k
 x kt  und β '  1  2   k 
1k

y t : t-te Beobachtung der abhängigen (endogenen, zu erklärenden) Variablen

1 : absolutes Glied (Regressionskoeffizient der Scheinvariablen x1)

 j : Regressionskoeffizienten

x jt : t-te Beobachtung der j-ten unabhängigen (exogenen, erklärenden) Variablen

u t : Störvariable (Fehlervariable, latenten Variable) der t-ten Periode (bzw. der t-ten
statischen Einheit)
Modellannahmen:

Eu t   0 für alle t=1,2,…,n

Var u t   E u 2t   2 für alle t=1,2,…, n

Cov u t , u t  j  E u t , u t  j  0 für j≠0

 
 

Geschätzte Regressionsgleichung für die t-te Periode (bzw. t-te statistische Einheit):
y t  ˆ 1  ˆ 2  x 2t    ˆ k  x kt  û t , t  1, 2,
,n
mit:

ŷ t : t-te geschätzte Beobachtung der abhängigen (endogenen, zu erklärenden)
Variablen

1 : geschätztes absolutes Glied (Regressionskoeffizient der Scheinvariablen x1)

 j : geschätzte Regressionskoeffizienten

x jt : t-te Beobachtung der j-ten unabhängigen (exogenen, erklärenden) Variablen

û t : geschätzter t-ter Wert der Störvariablen (= Residuum, Residualwert)
3
Multiples Regressionsmodell für alle n Perioden (bzw. alle n statistischen Einheiten):


ohne Matrixschreibweise:
y1  1   2 x 21   3 x 31     k x k1
y2

 1   2 x 22   3 x 32     k x k 2
 




yn
 1   2 x 2n   3 x 3n     k x kn
in Matrixschreibweise:
y  X  β
nx1 ( nxk ) ( kx1)
mit:
 ŷ1 
1 x 21
 

 ŷ 2 
1 x 22
y  , X

 

 ŷ 
1 x
2n
 n


 ˆ 1 
x k1 
 û1 
 

 
x k2 
 û 2  ˆ  ˆ 2 
 , uˆ     , β    
 

 
 û 
 ˆ 
x kn 
 n
 k
Modellannahmen:

Eu   0
n1

Covu   Euu'   2 I
nn 
Regressionswerte (= geschätzte Werte der abhängigen Variablen):

Regressionswerte der t-ten Periode:
ŷt  ˆ 1  ˆ 2  x 2t    j  x jt   ˆ k  x kt , t=1,2,…,n

Vektor der Regressionswerte:
yˆ  X  βˆ
( nx1)
( nxk ) ( kx1)
mit:
 ŷ1 
1 x 21
 

ŷ 2 
1 x 22

yˆ 
, X
 

 

 ŷ n 
1 x 2n
 ˆ 1 
x k1 
 

xk2 
 ˆ 
, βˆ   2  .

 

 ˆ 
x kn 
 k
Residuen (= geschätzte Werte der Störvariablen):

Residuen der t-ten Periode:
uˆ t  yt  yˆ t , t=1,2,…,n

Vektor der Residuen:
uˆ  y  yˆ
( nx1)
( nx1)
( nx1)
4
1.2
Methode der kleinsten Quadrate
Kleinst-Quadrate-Kriterium:
S(β) 
n
 u 2t  u' u  (y  Xβ)' (y  Xβ)  Min!
β
t 1
Rangbedingung: rg(X) = rg(X’X) = k < n
[für Berechnung der Inversen (X’X)-1]
Kleinst-Quadrate-Schätzer (OLS-Schätzer):
βˆ  X' X1 X' y
beim Modell der einfachen Regression (k=2) y t  1   2  x t  u t :
Steigungsmaß:
nx t y t  x t y t
ˆ 2 
nx 2t  x t 2
Absolutes Glied:
x 2t y t  x t x t y t
ˆ 1 
nx 2t  x t 2
oder (mit ̂ 2 )
y t ˆ x t
ˆ 1 
 2 
n
n
Eigenschaften der OLS-Schätzung:
Vektor der OLS-Residuen (Residualvektor):
uˆ  y  Xβˆ
Normalgleichungen:
X' Xβˆ  X' y
X' y  X' Xβˆ  0
oder
Orthogonalitätsbedingung:
X' uˆ  0
Die Orthogonalitätsbedingung impliziert:
û 
1 n
 û t  0
n t 1
s û ,x 
(= Mittelwert der Residuen gleich 0)
1 n
 û t  x jt  0
n t 1
(= Residuen und exogene Variablen unkorreliert)
5
1.3
Schätzeigenschaften der OLS-Methode
Gauß-Markow-Theorem
Der OLS-Schätzer β̂ ist die beste lineare unverzerrte Schätzfunktion [best linear unbiased
estimator (blue)].
Erwartungstreue
 

E βˆ  β , d.h. E ˆ j   j für alle j=1,2,…,k.
Varianz-Kovarianzmatrix des OLS-Schätzers β̂
  

    
 
Var ˆ   E ˆ   2
1
1
1

ˆ ˆ

 Cov 2 , 1 
Cov βˆ  E βˆ  E βˆ βˆ  E βˆ '
 E βˆ  β βˆ  β

Cov ˆ , ˆ
k 1



 
  
Cov ˆ 1 , ˆ 2
Var ˆ 2  E ˆ 2   2


Cov ˆ k , ˆ 2

2
 
 2 k





2
 E ˆ k   k 
 Cov ˆ 1 , ˆ k
 Cov ˆ , ˆ
 
  
 Var ˆ k


Cov βˆ   2 X' X 1
 x11
 21
2 x


 k1
 x
x12
x 22

x k2
 x1k 

 x 2k 
  

 x kk 
xjj: j-tes Diagonalelement der Inversen X' X1
xij, i≠j: Nichtdiagonalelemente der Inversen X' X1
Effizienz
̂ j :
~
j :
OLS-Schätzer für j
alternativer linearer Schätzer für j
~
Var ˆ j  Var  j für alle j=1,2,…,k
 
 
Der OLS-Schätzer β̂ wird als bester (=effizienter) Schätzer bezeichnet, da seine
Komponenten ̂ j von allen linearen Schätzern die kleinste Varianz besitzen.
Konsistenz
Der OLS-Schätzer β̂ ist eine konsistente Schätzfunktion für den Parametervektor , da er
stochastisch gegen  konvergiert:
1. lim E(βˆ )  β
n 
und
2. lim Cov(βˆ )  0
n 
6
1.4
Bestimmheitsmaß und multipler Korrelationskoeffizient
Streuungszerlegung
s 2y  =
Varianz von y
 
Varianz der Regressionswerte ŷ s 2ŷ
+ Varianz der Residuen û (Residualvarianz s 2û )
1 n
1 n 2
1
2
2
2
 y t  y    y t  y  y ' y  y
n t 1
n t 1
n
1 n
2
1 n
1
s 2ŷ   ŷ t  ŷ   ŷ 2t  y 2  yˆ ' yˆ  y 2
n t 1
n t 1
n
s 2y 


(wegen ŷ n  y )
s 2û 
1 n 2 1
 û t  n uˆ ' uˆ (wegen û  0)
n t 1
Bestimmtheitsmaß (Determinationskoeffizient)
2
s2
durch die Regression " erklärte" Varianz von y s ŷ
R 
 2  1  û2
Gesamtvarianz von y
sy
sy
2
Eigenschaft: 0≤R2≤1
Berechnungsformeln für R2:
2
R 
2
 ( ŷ t  y)
2
 ( y t  y)

2
2
 ŷ t  n  y
2
2
 yt  n  y

yˆ ' yˆ  n  y 2
y' y  n  y 2

βˆ ' X' y  n  y 2
y' y  n  y 2
Multipler Korrelationskoeffizient
(=Korrelation zwischen den endogenen Variablen y und den Regressionswerten ŷ ):
R  ryŷ  ryx1, 2,...,k
bei einfacher Regression:
R  rxy
mit
rxy 
s xy
sx  sy
Korrigiertes Bestimmtheitsmaß
R 2  1

n 1
1 R2
nk

7
2.
Signifikanztests und Konfidenzintervalle
2.1
Signifikanztests für einzelne Regressionskoeffizienten
Testablauf:
1. Schritt Hypothesenformulierung:
Nullhypothese:
H0: ßj = 0
Alternativhypothese: H1: ßj  0
(bei zweis. Test)
2. Schritt Festlegung des Signikanzniveaus α
3. Schritt Berechnen der Prüfgröße:
t
ˆ j
Vâr (ˆ j )

ˆ j
ˆ  x jj
mit:
n
der Residualvarianz ˆ 2u 
 û
t 1
2
t
nk

uˆ   uˆ
und
nk
xjj als j-tem Diagonalelement der Inversen (X’X)-1
4. Schritt Tabellarische Ermittlung des kritischen Wertes:
tn-k;1-/2
5. Schritt Testentscheidung:
t > tn-k;1-/2  Nullhypothese ablehnen
Varianzschätzer für ̂1 und ̂ 2 bei einfacher Regression (k=2):
^
Var (ˆ 1 )  ˆ 2
^
Var (ˆ 2 )  ˆ 2
2
xt
n  x 2t  ( x t ) 2
n
n  x 2t  ( x t ) 2
8
Verallgemeinerung des Signifikanztests::
Die Nullhypothese
H0: ßj = c
lässt sich analog unter Verwendung folgender Prüfgröße testen:
ˆ j  c
t
2.2
Vâr (ˆ j )

ˆ j  c
ˆ  x jj
Tests von linearen Restriktionen
Lineare Restriktion: r1ß1 + r2ß2 + … + rkßk = r’ß = c
Testablauf:
1. Schritt Hypothesenformulierung:
Nullhypothese:
H0: r’ß = c mit r’ = (r1 r2 … rk)
Alternativhypothese: H1: r’ß  c (bei zweis. Test)
2. Schritt Festlegung des Signikanzniveaus α
3. Schritt a) t-Test
Berechnen der Prüfgröße:
t
r' βˆ  c
σ̂ r ' ( X' X) 1 r
n
mit der Residualvarianz ˆ 2u 
 û
t 1
2
t
nk

uˆ   uˆ
und
nk
b) F-Test
Berechnen der Prüfgröße:
F
(r' βˆ  c) 2
σ̂ 2  r ' ( X' X) 1 r
4. Schritt Tabellarische Ermittlung des kritischen Wertes:
a) bei t-Test: tn-k;1-/2,
b) bei F-Test: F1;n-k;1-α
5. Schritt Testentscheidung:
a) bei t-Test: t > tn-k;1-/2  Nullhypothese ablehnen
b) bei F-Test: F > F1;n-k;1-α  Nullhypothese ablehnen
9
2.3
Konfidenzintervalle für die Regressionskoeffizienten
Ablauf der Intervallschätzung:
1. Schritt Festlegung des Konfidenzniveaus 1- α
2. Schritt (1-)-Konfidenzintervall für ßj
P(ˆ j  t n  k;1  / 2  ˆ ˆ   j  ˆ j  t n  k;1  / 2  ˆ ˆ ) 
j
j
P(ˆ j  t n  k;1  / 2  ˆ  x jj   j  ˆ j  t n  k;1  / 2  ˆ  x jj )  1  
mit:
n
der Residualvarianz ˆ 2u 
 û
t 1
2
t
nk

uˆ   uˆ
und
nk
jj
x als j-tem Diagonalelement der Inversen (X’X)-1
3. Schritt Tabellarische Ermittlung des (1-/2)-Quantils der t-Verteilung:
tn-k;1-/2
4. Schritt Bestimmung des konkreten (1-)-Konfidenzintervalls:
ˆ

ˆ
 j  t n k;1   ˆ ˆ j ;  j  t n k;   ˆ ˆ j  =

2
2

ˆ  t
 ˆ  x jj ; ˆ j  t n  k;1  / 2  ˆ  x jj 
 j n  k;1  / 2

Varianzschätzer für ̂1 und ̂ 2 bei einfacher Regression (k=2):
^
Var (ˆ 1 )  ˆ 2
^
Var (ˆ 2 )  ˆ 2
2
xt
n  x 2t  ( x t ) 2
n
n  x 2t  ( x t ) 2
10
2.4
Varianzanalyse und Signifikanz des Gesamtzusammenhangs
ANOVA-Tabelle für eine Regressionsanalyse
Quelle der
Streuung
Regression
(erklärt)
Residuen
(unerklärt)
Summe der Abweichungsquadrate
Freiheits- Mittlere Abweichungsgrade
quadratsumme
 ŷ t  y2  yˆ 'yˆ  ny 2  βˆ ' X'y  ny 2
 û 2t  uˆ 'uˆ
2
 y t  y  y'y  ny 2
gesamt
k-1
βˆ ' X'y  ny  k  1
n-k
uˆ 'uˆ n  k 
n-1
Testablauf:
1. Schritt Formulierung der Nullhypothese
H0: 2  3  ...  k  0
2. Schritt Festlegung des Signikanzniveaus
3. Schritt Berechnen der Prüfgröße:
1. Variante: mit OLS Schätzer ̂
F
(βˆ ' X' y  n  y 2 ) /( k  1)
uˆ ' uˆ /( n  k )
2. Variante: mit Bestimmtheitsmaß R²
F
R 2 /( k  1)
(1  R 2 ) /( n  k )
4. Schritt Tabellarische Ermittlung des kritischen Wertes:
Fk 1;n k;1
k-1: Zahl der Freiheitsgrade des Zählers
n-k: Zahl der Freiheitsgrade des Nenners
5. Schritt Testentscheidung:
F > Fk 1;n k;1  Nullhypothese ablehnen
2
11
3.
Multikollinearität
3.1
Begriff und Auswirkungen der Multikollinearität

Perfekte Multikollinearität
Lineare Abhängigkeit der Spalten der Beobachtungsmatrix X:
rgX  rgX' X  k .
Die Inverse X' X1 existiert dann nicht, so dass der OLS-Schätzer nicht berechenbar ist.
[Anmerkung: Da perfekte lineare Zusammenhänge (|r|=1) zwischen ökonomischen Variablen
in der Regel nur aufgrund definitorischer Zusammenhänge auftreten, liegt im Fall einer
perfekten Multikollinearität im Allgemeinen ein Spezifikationsfehler vor.]

Nicht-perfekte Multikollinearität
Die Spalten der Beobachtungsmatrix sind zwar nicht exakt linear abhängig, d.h. es gilt
rgX  rgX' X  k ,
jedoch führen absolut hohe Korrelationen zwischen den x-Variablen dazu, dass nicht mehr
ihre Einzeleinflüsse, sondern nur noch der Gesamteinfluss zuverlässig geschätzt werden kann.
Regressionsmodell:
~
y   ~
x
t
2
2t
 3  ~
x 3t  u t
~
yt  y t  y , ~
x 2t  x 2t  x 2
mit
 
Var β̂ 2 
 2n
1  r232   ~x 22t
und
und ~
x 3t  x 3t  x 3
 
Var β̂ 3 
Korrelation zwischen den Regressionskoeffizienten:
3.2
 2n
1  r232   ~x 32t
rβ̂ ,β̂  r23
2 3
Aufdeckung von Multikollinearität

Einfache Korrelationsanalyse
Paarweise Beurteilung der Korrelationskoeffizienten r23, r24,…, rk-1,k der X-Variablen
Faustregel: |rij|>0,8 , i,j=2,3,…k; i ≠ j
12

Erweiterte einfache Korrelationsanalyse
rij  R yx 2,3,...,k , i, j  2,3,..., k; i  j
R yx 2,3,...,k :

multipler Korrelationskoeffzient
Determinante der Korrelationsmatrix und der Produktmatrix X’X
R: Korrelationsmatrix der x-Variablen
1
r
R   32
 

rk 2
r23  r2k 
1  r3k 
   

rk 3  1 
bei perfekter Multikollinearität:
|R|=0 und |X’X|=0
bei nicht-perfekter Multikollinearität: |R|≈0 und |X’X|≈0

- Konditionszahl der Produktmatrix X‘X
Konditionszahl:
C   max /  min
λmax: größter Eigenwert von X‘X, λmin: kleinster Eigenwert von X‘X
Faustregel: Multikollinearität falls C > 30

Verfahren der Hilfsregressionen (auxiliary regressions)
Für jede der k-1 (echten) exogenen Variablen wird eine Regression auf die Scheinvariable x1 und die verbleibenden (echten) k-2 Regressoren durchgeführt:
Regression von x2t auf x1t, x3t, ..., xkt
Regression von x3t auf x1t, x2t, ..., (x3t),..., xkt



Regression von xkt auf x1t, x2t, ..., xk-1,t
Bestimmheitsmaße der Hilfsregressionen: R 2j
- F-Test:
Prüfgröße: Fj 
R2j/(k  2)
(1  R2j )/(n  k  1)
~ Fk 2;nk 1, j  2,3,...,k
- Toleranzkoeffizienten: tolj = 1- R 2j
bei Multikollinearität: tolj  0  Faustregel: tolj < 0.05
- Variance inflation factors (VIP): VIPj = 1 / tolj
13
3.3
Überwindung der Multikollinearität

Erweiterung der Datenbasis (z.B. Paneldaten)

Externe Informationen über bestimmte Parameter

Verfahren der Variablenunterdrücken

Verfahren der Differenzenbildung

Hauptkomponentenregression
4. Heteroskedastizität
4.1
Form und Auswirkungen des Modelldefekts
 Verletzung der Annahme:
Covu   Euu'   2 I
 Heteroskedastizität:
Unterschiedliche Varianzen der Störvariablen in den verschiedenen Perioden (bzw. für
verschiedene statistische Einheiten):
12 0  0 


0  22  0 

Cov(u) = Euu' 
 
   


0   2n 
 0
Annahme:
Cov(u) = E((uu’) = ²
1 0  0 
0   0 
2

mit Ω  

   


0  n 
0
t: Skalierungsvariable

Auswirkung auf die OLS-Schätzung:
- Der OLS-Schätzer ̂ ist nicht mehr der beste lineare unverzerrte Schätzer (Verlust der
Effizienzeigenschaft).
- Verzerrte Varianzschätzer für ̂ j führen zu verzerrten t-Werten, so dass die Konfidenzintervalle und Signifikanztests nicht mehr valide sind
14
4.2
Tests auf Heteroskedastizität
 Goldfeld-Quandt-Test
Testablauf:
1. Schritt
Ordnen der Beobachtungsdaten nach den aufsteigenden Werten des j-ten
Regressors, auf den die Heteroskedastizität zurückgeführt wird.
2. Schritt
Aufteilung der Beobachtungsdaten in 2 gleich große Gruppen mit jeweils
(n-c)/2 Beobachtungen unter Herauslassung der c mittleren Werte.
Faustregel: c=4 für n=30 und c=10 für n=60
3. Schritt
Hypothesenformulierung:
H 0 : 12   22   2
H1 : 12   22
4. Schritt
Festlegung des Signifikanzniveaus 
5. Schritt
Durchzuführende Regressionen:
1. Stichprobe:
y1  X1β1  u1
2. Stichprobe:
Residualvektor: uˆ 1  y1  X1βˆ 1
y 2  X 2β 2  u 2
Residualvektor: uˆ  y  X βˆ
2
6. Schritt
2
2 2
Berechnen der Prüfgröße:
û ' û
GQ  2 2
û1' û1
Falls û1' û1  û '2 û 2 gilt, wird anstelle von GQ der Kehrwert 1/GQ als
Prüfgröße verwendet.
7. Schritt
Tabellarische Ermittlung des kritischen Wertes:
Fn c  2k;n c  2k;1
8. Schritt
Testentscheidung:
GQ  Fn  c 2  k; n  c  2  k;1   H0 ablehnen
15
 Breusch-Pagan-Test
Ansätze:
 2t  exp z t    oder  2t  z' t  2
Der Vektor zt enthält hierbei eine oder mehrere exogene Variablen, auf die die
Heteroskedastizität zurückgeführt wird.
Fall einer z-Variablen:  2t  1   2  z t
z ist hierin eine bestimmte exogene Variablen z.B. x2 oder x2², auf die die
Heteroskedastizität zurückgeführt wird
Testablauf:
1. Schritt
Formulierung der Nullhypothese
H0 :  2  3     p  0 ,
d.h.  2t   2
für alle t  1,2,, n
2. Schritt
Festlegung des Signifikanzniveaus 
3. Schritt
Durchführung der Regression
y t  x 't β  u t  Re siduen : û t  y t  x 't βˆ
4. Schritt
Durchführung der Hilfsregression:
û 2t ˆ 2ML  z 't α  v t
n
mit ˆ 2ML   û 2t n
t 1
Fall einer z-Variablen: û 2t / ˆ 2ML  1   2  z t  v t
5. Schritt
Berechnen der Prüfgröße:
1
a) BP1  SS E
2
mit SS E  SS T  SS R
SST: Summe der Abweichungsquadrate von û 2t ˆ 2ML
SSE: erklärte Summe der Abweichungsquadrate der Hilfsregression
SSR: Summe der quadrierten Residuen der Hilfsregression
b) BP2  n  R 2
R2: Bestimmtheitsmaß der Hilfsregression
6. Schritt
Tabellarische Ermittlung des kritischen Wertes:
 2p1;1
7. Schritt
Testentscheidung:
BP1 BP2    2p 1;1   H0 ablehnen
16
 White-Test
Testablauf:
1. Schritt
Formulierung der Nullhypothese
H 0 :  2t   2 für alle t  1,2,, n
2. Schritt
Festlegung des Signifikanzniveaus 
3. Schritt
Durchführung der Regression:
y t  x 't β  u t  Re siduen : û t  y t  x 't βˆ
4. Schritt
Durchführung der Hilfsregression
k
k
k
û 2t   0    i  x it     ij  x it x jt
i2
i  2 j i
Anmerkung: Bei großer Anzahl von Regressoren kann der White-Test unter
Vernachlässigung der Kreuzprodukte xtixtj, ij, durchgeführt werden.
5. Schritt
Berechnen der Prüfgröße:
W = nR²
R2: Bestimmtheitsmaß der Hilfsregression
6. Schritt
Tabellarische Bestimmung des kritischer Wertes:
 2r;1
(k  1)(k  2) / 2 mit Kreuzprodukte
mit r  
k
ohne Kreuzprodukte

7. Schritt
Testentscheidung:
W   2r;1 
 H 0 ablehnen
17
4.3
WLS-Schätzung bei Heteroskedastizität
WLS-Methode:
Gewichtete Kleinst-Quadrate-Methode (Weighted Least Squares)
[Spezialfall der verallgemeinerten Kleinst-Quadrate-Methode (GLS,
Generalized Least Squares)]
Ansatz:
 2t   2  z 2t , t  1,2,, n
z12

2
2 0
Covu    Ω  


 0
0
z 22

0
0

 0
  

 z 2n 

Wahl für z: j-te exogene Variable xj
 2t   2  x 2jt , t  1,2,..., n
Transformiertes Regressionsmodell:
(*)
y*
 X*β  u*
mit
y*
 Ty, X*  TX , u*  Tu
T: Transformationsmatrix mit der Eigenschaft Ω 1  T' T
0
1 / x j1
 0
1 / x j2
T
 


0
 0

0 

0 
,

 

 1 / x jn 
1 / x 2
0
j1

1 / x 2j2
1  0
Ω 

 
 0
0

0 


0 


 
 1 / x 2jn 


Transformierte Regressionsgleichung für die t-te Periode (bzw. t-te statistische Einheit):
yt
x jt

y*t
 ˆ 1
1
x jt

x1t*
 ˆ 2
x 2t
x jt

x*2t
 ˆ j
x jt
x jt


x 1
*
jt
Transformierter Vektor der abhängigen Variablen y:
 y1*  y1 1 x j1 
 *

y 2  y 2 1 x j2 
*

y 


 *

 y  y 1 x 
n
jn 
 n
 ˆ k
x kt
x jt

x*kt

uˆ t
x jt

uˆ *t
18
Transformierte Beobachtungsmatrix X* :
 *
1
 x11 
x j1


 x*  1
 12 x j2


*
X 
 x*  1
 1j x jj



 x*  1
 1n x jn

x j1
x *21 
x 21
x j1
x *j1 
x *22 
x 22
x j2
x *j2 
x *2 j 
x2 j
x *jj 
x *2n 
x 2n
x jn
x jj
x j1
x *jn 
x j2
x j2
x jj
x jj
x jn
x jn
x k1 

x j1 

xk2 
*
xk2 
x j1 



x kj 
*
x kj 
x jj 



x kn 
*
x kn 
x jn 
1
x *k1 
1
1
1
Die Schätzung des Parametervektors  in dem transformierten Modell (*) mit der OLSMethode führt zu dem WLS-Schätzer (weighted least-squares) β̂ WLS :


1
βˆ WLS  X*' X *1 X*' y*  X' Ω 1X X' Ω 1y .
beim Modell der einfachen Regression (k=2):
n   x1*t y*t   x1*t  y*t
Absolutes Glied: ˆ 1, WLS 
n   ( x1*t ) 2  ( x1*t ) 2
*
y *t ˆ
 x1t
 1,WLS 
n
n
Steigungsmaß: ˆ 2,WLS  
Geschätzte Kovarianzmatrix von β̂ WLS :




1
Côv βˆ WLS  ˆ 2WLS X*' X *1  ˆ 2WLS X' Ω 1X
û*' û *
mit ˆ 2WLS 
nk
WLS-Residuen: uˆ *  y * X * ˆ WLS
19
4.4
Heteroskedastizitäts-konsistente (HC) Varianz-Kovarianz-Matrix
 Varianz-Kovarianz-Matrix von β̂ bei heteroskedastischen Störtermen:
Cov(βˆ )  2 (X' X)1 X' ΩX(X' X)1
mit
12 0  0 
2

0
Cov(u)  2  Ω  diag (12 , 22 ,..., 2n )   0 2   
  
 0 0  2 
n

oder
Cov(βˆ )  (X' X)1 X' diag(12, 22,..., 2n )X(X' X)1
Unter Verwendung der Matrix
S0 
1
1 n
X' diag (12 , 22 ,..., 2n )X   2t  x t x t'
n
n t 1
lautet die Varianz-Kovarianz-Matrix von β̂ :
Cov(βˆ )  n(X' X)1S0 (X' X)1
 Whites Heteroskedastizitäts-konsistenter (HC) Schätzer für Cov(βˆ ) :

ˆ (X' X)1
C o v(βˆ )  n(X' X)1S
0
mit
n
ˆ  1 X' diag (uˆ 2, uˆ 2,..., uˆ 2 )X  1  uˆ 2  x x '
S
0
1 2
n
t
t t
n
n t 1
oder

C o v(βˆ )  (X' X)1 X' diag (uˆ 12, uˆ 22,..., uˆ 2n )X(X' X)1
HC-Schätzer für Steigungsmaß β̂ 2 bei einfacher Regression (k=2):

V a r(ˆ 2 ) 
2 2
 x t  x  uˆ t
 x  x  
22
t
 Modifikationen des HC-Schätzers von White (= HC0-Schätzer):
- HC1-Schätzer
HC1 
n
n
)
 HC0 (Adjustierungsfaktor:
nk
nk
- HC2-Schätzer
HC2  (X' X)1 X' diag[uˆ 12 /(1  h11),..., uˆ 2n /(1  h nn )]X(X' X)1
htt: Hauptdiagonalelemente der Hat-Matrix H (Projektionsmatrix):
H  X(X' X)1 X'
20
h tt  x t' (X' X)1 x t
x t' : t-te Zeile der Beobachtungsmatrix X
- HC3-Schätzer
HC3  (X' X)1 X' diag[uˆ 12 /(1  h11)2,..., uˆ 2n /(1  h nn )2 ]X(X' X)1
5.
Autokorrelation
5.1
Form und Auswirkungen des Modelldefekts
 Verletzung der Annahme:
Covu   Euu'   2 I
 Autokorrelation :
Abhängigkeit der Störvariablen in den verschiedenen Perioden
  2 12


2
Cov(u) = Euu'   21
 


 n1  n 2
 1n 

  2n 

 

  2 
Annahme:
Cov(u) = E(uu’) = ²
 1



1
bei autoregressivem Prozess 1. Ordnung mit Ω  
 

 n 1
n 2


  n 1 

 n  2 

 


1 
Autoregressiver Prozess 1. Ordnung (Markov-Prozess):
ut = ut-1 + vt,
<1
: Autoregressiver Parameter (Autokorrelationskoeffizient 1. Ordnung)

Auswirkung auf die OLS-Schätzung:
- Der OLS-Schätzer ̂ ist nicht mehr der beste lineare unverzerrte Schätzer (Verlust der
Effizienzeigenschaft).
- Verzerrte Varianzschätzer für ̂ j führen zu verzerrten t-Werten, so dass die Konfidenzintervalle und Signifikanztests nicht mehr valide sind
21
5.2
Autokorrelationskoeffizient
Konzept: Messung der Autokorrelation der Störgröße u

Theoretische Autokorrelationskoeffizient j-ter Ordnung:

j 

Cov u t , u t  j
Var u t 
  Eu t  u t  j    t, t  j
 
E u 2t
2
Annahme: homoskedastischer Störprozess
bei unkorrelierten Störgrößen:
j  0,

j  1,2, 
Empirischer Autokorrelationskoeffizient 1. Ordnung:
Korrelation zwischen den Paaren û 2 , û1 , û 3 , û 2 , , û n , û n 1 
n

t 2
ˆ 1  ˆ 
û t  û t 1
n
 û 2t
t 1

Empirischer Autokorrelationskoeffizient 2. Ordnung
Korrelation zwischen den Paaren û 3 , û1 , û 4 , û 2 ,, û n , û n  2 
n
 û t  û t  2
ˆ 2  t 3 n
2
 û t
t 1

Empirischer Autokorrelationskoeffizient j-ter Ordnung:
n

ˆ j 
û t  û t  j
t  j 1
n

t 1
,
û 2t
j  1,2, 
22
5.3
Kovarianzmatrix der Störgröße bei Autokorrelation
 Autoregressiver Prozess 1. Ordnung [AR(1)-Prozess, Markov-Prozess]:
ut = ut-1 + vt,
<1
vt: White-Noise-Störvariable
 Erwartungswert der Störvariablen u
E(ut) = 0, t=1,2,...,n
 Varianz der Störvariablen u
Var (u t )   2 
 2v
1  2
, t  1,2,..., n
 Autokovarianzen der Störvariablen u
-
Autokovarianz 1. Ordnung:
Cov(u t , u t 1 )   
-
 2v
1 
2
   Var (u t )     2
Autokovarianz j-ter Ordnung:
j
Cov(u t , u t 1 )   
 2v
1 
2
  j  Var (u t )   j   2
 Autokorrelationskoeffizienten der Störvariablen u
-
Autokorrelationskoeffizient 1. Ordnung:
1 =  = 
-
Autokorrelationskoeffizient j-ter Ordnung:
j = j, j=1,2,...
 Kovarianzmatrix der Störvariablen u
 1



1
Cov(u) = E(uu’) = ² = ² 
 

 n 1
n 2


  n 1 

 n  2 

 


1 
23
5.4
Tests auf Autokorrelation
 Durbin-Watson-Test
Durbin-Watson-Test: Test auf Autokorrelation 1. Ordnung
-
Autoregressiver Prozess 1. Ordnung (Markov-Prozess):
u t    u t 1  v t ,
  1, t  1,2, , n
vt: White-Noise-Störvariable
Schätzgleichung für den autoregressiven Parameter :
-
û t    û t 1  v t ,
 1
û t : OLS-Residuen aus multiplem Regressionsmodell y t  x 't β  u t
n
ˆ 
OLS-Schätzer für :
-
 û t  û t 1
t 2
n
 û 2t
 ˆ 1 
t 1
Testablauf:
Schritt 1:
Formulierung der Nullhypothese:
H0 :   0
ˆ 1  0
Schritt 2:
Festlegung des Signifikanzniveaus 
Schritt 3:
Berechnen der Prüfgröße:
n
 û t  û t 1 
DW  t  2
2
,
n
2
 û t
t 1
Schritt 4:
DW  21  ˆ 1 
Bestimmung der kritischen Werte:
pos.
Autokorrelation
0
keine
Autokorrelation
Unschärfebereich
du
do
2
Unschärfebereich
4-do
neg.
Autokorrelation
4-du
4
DW
Die kritischen Werte du und do für die DW-Statistik sind im Anhang B (Tabelle
B5) für Signifikanzniveaus von 5% und 1% tabelliert.
Schritt 5:
Testentscheidung:
DW  0; d u   pos. Autokorr.
DW  4  d u ;4  neg. Autokorr.
DW  d u ; d o   4  d o ;4  d u   keine Aussage über Autokorr.
DW  d o ;4  d o   keine Autokorr.
24
 Breusch-Godrey-Test
Breusch-Godfrey-Test: Test auf Autokorrelation beliebiger Ordnung
-
Multiples Regressionsmodell
(*) y t  x 't β  u t
Das multiple Regressionsmodell (*) kann um m verzögerte endogene Variablen
y t 1 , y t 2 ,, y t m erweitert werden:
mit
und
-
y t  y t ' γ  X 't β  u t
y '  y t 1 y t  2  y t  m 
1 m
γ '  1  2   m 
1 m
Autoregressiver Prozess -ter Ordnung für die Störvariable u:
u t  1u t 1   2 u t 2       u t   v t
vt: White-Noise-Störvariable
Testablauf:
Schritt 1:
Formulierung der Nullhypothese:
H 0 : 1   2       0
Schritt 2:
Festlegung des Signifikanzniveaus 
Schritt 3:
Durchführung der Hilfsregression:
û t   0  x 't β  1û t 1   2 û t  2      û t    v t
Allgemeinerer Ansatz:
û t   0  z 't δ  1û t 1   2 û t  2      û t    v t


z 't  y t ' x 't , δ'  γ ' β'
Schritt 4:
Berechnen der Prüfgröße:
BG  n  R 2
R2: Bestimmtheitsmaß der Hilfsregression
Schritt 5:
Tabellarische Ermittlung des kritischen Wertes:
 2;1
Schritt 6:
Testentscheidung:
BG   2;1  H 0 ablehnen
25
5.5
Schätzverfahren bei autokorrelierten Störvariablen
 Cochran-Orcutt-Methode
- Multiples Regressionsmodell mit autokorrelierten Störvariablen:
y t  x 't β  u t
mit
u t    u t 1  v t
(Markov-Prozess)
- Transformiertes Modell:
y*t  x*'
t β  vt
mit
y*t  y t    y t 1 und x*t  x t    x t 1
Schätzverfahren:
1. Schritt:
Durchführung der Regression (originäre Variablen):
y t  x 't β  u t
 OLS-Residuen: û t  y t  x 't βˆ
2. Schritt:
Durchführung der Hilfsregression:
û t    û t 1  v t
n
 OLS-Schätzer für : ˆ 
 û t  û t 1
t 2
n
 û 2t
t 1
3. Schritt:
Variablentransformation:
y*t  y t  ˆ  y t 1 , t  2,3,, n
x*t  x t  ˆ  x t 1
4. Schritt:
Durchführung der Regression (transformierte Variablen):
(*)
y*t  x*'
t β  vt
 OLS-Schätzung des Parameters  im transformierten Regressionsmodell (*)
führt zum GLS-Schätzer nach dem Cochran-Orcutt-Verfahren:



βˆ CO
X * 
GLS   X*'
 kx ( n 1) (n 1) xk 
kx1
1
X*'
y*
kx ( n 1) ( n 1) x1
Anmerkung: Durch die Variablentransformation im 3. Schritt vermindert sich die
Anzahl der Beobachtungen um 1, d.h. X* ist eine (n-1)xk-Matrix und y* ist ein
(n-1)x1 Vektor.
26
beim Modell der einfachen Regression (k=2):
* *
*
*
Steigungsmaß: ˆ *CO  ˆ CO  (n  1)   x1t y t   x1t  y t
2, GLS
2, GLS
(n  1)   ( x1*t ) 2  ( x1*t ) 2
*
*
Absolutes Glied: ˆ *CO   y t  ˆ CO   x1t
1, GLS n  1
2, GLS n  1
ˆ *CO
ˆ
und ˆ 1CO
, GLS  1, GLS /(1  )
 Prais-Winston-Methode
Modellansatz: wie Cochran-Orcutt-Methode
Schätzverfahren:
1. Schritt
wie Cochran-Orcutt-Methode
2. Schritt
wie Cochran-Orcutt-Methode
3. Schritt:
Variablentransformation:
y1*  1  ˆ 2  y1 und x1*  1   2  x1
y*t  y t  ˆ  y t 1 und x*t  x t  ˆ  x t 1 , t  2,3,, n
4. Schritt:
Durchführung der Regression (transformierte Variablen):
y*t  x*'
t β  vt
 GLS-Schätzer (Prais-Winston-Verfahren):
PW
βˆ GLS
  X*' X *
 kxn nxk 
kx1

1
X*' y *

kxn nxk
ˆ 1X 1 X' Ω
ˆ 1y
 X' Ω
1
 ˆ
0
 ˆ
2
ˆ
 ˆ
  1  

 ˆ 1  ˆ 2
ˆ 1   0
mit Ω
nn


 
0
0
0

0
0
 0
0
0

0
0
0
0
 = T’T

 
 1  ˆ  ˆ 

  ˆ
1 



27
 1  ˆ 2

  ˆ

und der Transformationsmatrix T   0
nn 


 0
 0

0
0 
1 0 
 ˆ 1 


0
0 
0
0 
0

0 0

0 0
 

1 0
 ˆ 1
0
Anmerkung: Im Unterschied zum Cochran-Orcutt-Verfahren bleibt die Anzahl
der Beobachtungen bei der Modellschätzung erhalten, d.h. . X* ist eine nxkMatrix und y* ist ein nx1 Vektor.
 Verfahren nach Hildreth und Lu
Schätzverfahren:
1. Schritt:
Durchführung der Regression (originäre Variablen):
y t  x 't β  u t
 OLS-Residuen: û t  y t  x 't β
damit:  Test auf Autokorrelation
Testergebnis: signifikante Autokorrelation der OLS-Residuen
2. Schritt:
OLS-Schätzung des transformierten Modells:
y t  y t 1   x 't    x 't 1  β  v t
für ein Gitter von -Werten:
bei pos. Autokorrelation z.B.   0,1,   0,2 , ,   0,9 ,   1,0
3. Schritt:
Berechnung der Residuenquadratsummen
Werte
 v̂ 2t
für die verwendeten -
Wahl des -Wertes, min, der die Residuenquadratsumme
4. Schritt:
 v̂ 2t
Durchführung der Regression (transformierte Variablen):
y t   min  y t 1   x 't   min  x 't 1  β  v t


HL
ˆ 1X 1 X' Ω
ˆ 1y
 ˆ GLS
 X' Ω
minimiert
28
  min
0
 1
 
2
 min 1   min   min
1  0
  min 1   2min
ˆ
mit Ω



nn
 
 0
0
0

0
0
 0
5.6


0
0



0 

 
  min 

1 
0
0

0

 1   min
   min
Heteroskedastizitäts- und Autokorrelations-konsistente (HAC)
Varianz-Kovarianz-Matrix
 Varianz-Kovarianz-Matrix von β̂ bei autokorrelierten Störtermen unter Berücksichtigung von potenziell vorhandener Heteroskedastizität:
Cov(βˆ )  2 (X' X)1 X' ΩX(X' X)1
mit
  2 12

2
Cov(u)  2  Ω   21 

 
 n1  n 2
Unter Verwendung der Matrix
 1n 

 2n 
  
  2 


Sx  2 (X' ΩX) / n  t s tsx t xs' / n
lautet die Varianz-Kovarianz-Matrix von β̂ :
Cov(βˆ )  n(X' X)1Sx (X' X)1
 Newey-Wests Heteroskedastizitäts- und Autokorrelations-konsistente (HAC) Schätzer
für Cov(βˆ ) :

ˆ (X' X)1
C o v(βˆ )  n(X' X)1 S
x
mit

 

ˆ  n uˆ 2x x ' / n  p n (1  w )uˆ uˆ (x x '  x x ' / n
S
x
j t t j t t j
t j t
t 1 t t t
j1 t  j1
Gewichte: w j 
j
mit p  n1 / 4 (max. Lag nach Greene, 2003)
p 1
- bei ausschließlicher Berücksichtigung von Autokorrelation 1. Ordnung (p=1):

 

ˆ  n uˆ 2x x ' / n  0,5  n uˆ uˆ (x x '  x x ' ) / n
S
x
t 1 t
t 1 t t t
t  2 t t 1 t t 1
29
- Newey-West HAC-Schätzer für Steigungsmaß β̂ 2 bei einfacher Regression (k=2):

Var (βˆ 2 )HAC 
1
[nt 1(x t
 x) ]
2 2

n
ˆ 2t (x t
t 1 u
 Modifikation des HAC-Schätzers von Newey und West (= HAC0-Schätzer):
- HAC1-Schätzer
HAC1 

 x )2  pj1 nt  j1(1  w j )uˆ t uˆ t  j(x t  x )(x t  j  x )
n
n
)
 HAC0 (Adjustierungsfaktor:
nk
nk