3 Statistische Eigenschaften des KQ

Methoden der Ökonometrie — 3 Statistische Eigenschaften des KQ-Schätzers — U Regensburg — Okt. 2009
3 Statistische Eigenschaften des KQ-Schätzers:
Erwartungswert und Kovarianz
• Das multiple lineare Regressionsmodell (2.1):
Alternative Schreibweisen:
yt = β1xt1 + β2xt2 + · · · + βk xtk + ut,
yt = Xtβ + ut,
y = Xβ + u.
• KQ-Schätzer (2.2):
t = 1, . . . , n,
t = 1, . . . , n,
wobei Xt = xt1 · · · xtk ,
β̂ = (XT X)−1XT y.
72
Methoden der Ökonometrie — 3 Statistische Eigenschaften des KQ-Schätzers — U Regensburg — Okt. 2009
73
• Zur Beantwortung vieler Fragen ist die Kenntnis der algebraischen und geometrischen Eigenschaften des KQ-Schätzers (Kapitel 2) nicht ausreichend, sondern die
Kenntnis der statistischen Eigenschaften des KQ-Schätzers notwendig.
Beispiele:
– Angenommen, Ihnen stehen neben den k Regressoren noch weitere n − k
mögliche Erklärungsvariablen zur Verfügung.
∗ Können Sie die Residuenquadratsumme SSR (2.24) weiter reduzieren, indem
Sie zu den k Regressoren weitere Regressoren aufnehmen? Wenn ja wieweit?
∗ Wenn ja, können Sie dadurch yt besser erklären? Was verstehen Sie unter
besser erklären”?
”
– Angenommen, Ihnen liegt eine weitere Stichprobe mit k Regressoren zu derselben Fragestellung vor.
∗ Warum unterscheiden sich die beiden KQ-Schätzungen vermutlich?
∗ Welche der beiden KQ-Schätzungen wählen Sie?
Methoden der Ökonometrie — 3 Statistische Eigenschaften des KQ-Schätzers — U Regensburg — Okt. 2009
74
∗ Sollen Sie die KQ-Ergebnisse beider Stichproben zusammenfügen?
Die Analyse statistischer Eigenschaften erfordert zusätzliche Annahmen. Die Annahmen beziehen sich auf die Art der Datengenerierung, bzw. auf
die Eigenschaften der Grundgesamtheit.
Für die Analyse statistischer Eigenschaften sind die Konzepte datengenerierender Prozesse und ökonometrischer Modelle sehr hilfreich, siehe folgenden
Abschnitt.
Methoden der Ökonometrie — 3.1 Datengenerierende Prozesse & ökonometrische Modelle — U Regensburg — Okt. 2009
75
3.1 Datengenerierende Prozesse und ökonometrische
Modelle
• Grundgesamtheit (population): Menge aller Einheiten, über die man (statistische) Aussagen gewinnen möchte und aus der bei einer Stichprobenerhebung
gezogen werden kann.
Beispiele:
– Menge aller abhängig Beschäftigten in einem Land.
– Anzahl von Verspätungen von mehr als 10 Minuten pro Tag und Bahnhof.
Im zweiten Fall ist die Grundgesamtheit unendlich. Anstelle einer Grundgesamtheit
ist es u.U. verständlicher, sich einen stochastischen Mechanismus” vorzustellen,
”
der die Stichprobenwerte oder Stichprobendaten erzeugt haben könnte.
Dieser kann mit einer Wahrscheinlichkeitsdichtefunktion dargestellt werden.
Methoden der Ökonometrie — 3.1 Datengenerierende Prozesse & ökonometrische Modelle — U Regensburg — Okt. 2009
76
• Wiederholung aus der Wahrscheinlichkeitstheorie (Davidson & MacKinnon
2004, Section 1.2):
– Marginale Wahrscheinlichkeitsverteilung (marginal probability distribution, cumulative distribution function (CDF)) für eine Zufallsvariable X:
F (x) ≡ P (X ≤ x).
(3.1)
– Gemeinsame Wahrscheinlichkeitsverteilung (joint probability distribution function) für zwei oder mehr Zufallsvariablen X1, . . . , Xm:
F (x1, x2, . . . , xm) ≡ P ((X1 ≤ x1) ∩ · · · ∩ (Xm ≤ xm))
= P (X1 ≤ x1, . . . , Xm ≤ xm),
(3.2)
Methoden der Ökonometrie — 3.1 Datengenerierende Prozesse & ökonometrische Modelle — U Regensburg — Okt. 2009
77
– Beachte: Für jede stetige Zufallsvariable X ∈ R gilt P (X = x) = 0.
Wieso?
Deshalb Betrachtung von Wahrscheinlichkeitsdichten.
– Wahrscheinlichkeitsdichtefunktion (probability density function)
(PDF): Für eine stetige Zufallsvariable mit differenzierbarer Wahrscheinlichkeitsverteilung F (x) wird die Ableitung erster Ordnung Wahrscheinlichkeitsdichtefunktion genannt
dF (x)
,
(3.3)
f (x) ≡
dx
Z x
f (z)dz = F (x).
(3.4)
−∞
Interpretation: Die marginale Wahrscheinlichkeitsdichte f (x) für die Zufallsvariable X gibt die Rate an, mit der sich die Wahrscheinlichkeit P (X ≤ x) für
das Intervall (−∞, x] verändert, wenn das genannte Intervall um eine winzige
Intervalllänge (x, x + δ] zu (−∞, x + δ] verlängert wird:
P (x < X ≤ x + δ) = P (X ≤ x + δ) − P (X ≤ x) ≈ f (x)δ.
Siehe Eine kurze Einführung in die Wahrscheinlichkeitstheorie Sommer 2009”.
”
Methoden der Ökonometrie — 3.1 Datengenerierende Prozesse & ökonometrische Modelle — U Regensburg — Okt. 2009
78
– Marginale Wahrscheinlichkeitsdichtefunktion für eine stetige Zufallsvariable X: (3.3)
– Gemeinsame Wahrscheinlichkeitsdichtefunktion (joint density function) für zwei oder mehr stetige und Zufallsvariablen X1, . . . , Xm ∈ R mit
partiell differenzierbarer CDF:
∂ mF (x1, x2, . . . , xm)
f (x1, x2, . . . , xm) ≡
,
∂x
∂x
·
·
·
∂x
Z Z1 2 Z m
x1
x2
F (x1, . . . , xm) =
−∞
−∞
(3.5)
xm
···
−∞
F (x1) = F (x1, ∞, . . . , ∞).
f (z1 , z2, . . . , zm) dz1dz2 · · · dzm,
(3.6)
(3.7)
Zusammenhang zwischen marginalen und gemeinsamen Dichten:
Es gilt, z.B. im Fall von drei Zufallsvariablen
Z ∞Z ∞
f (x1) =
f (x1, z2, z3) dz2dz3.
(3.8)
−∞
−∞
Methoden der Ökonometrie — 3.1 Datengenerierende Prozesse & ökonometrische Modelle — U Regensburg — Okt. 2009
79
– Bedingte Wahrscheinlichkeitsdichte (conditional probability distribution function) für Zufallsvariable X1 gegeben eine Zufallsvariable X2 oder
mehrere Zufallsvariablen X2, . . . , Xm:
f (x1, x2)
,
f (x1|x2) ≡
f (x2)
vorausgesetzt, dass f (x2) > 0,
f (x1, x2, . . . , xm)
f (x1|x2, . . . , xm) ≡
,
f (x2, . . . , xm)
vorausgesetzt, dass f (x2, . . . , xm) > 0.
(3.9)
(3.10)
– Gilt
F (x1, x2) = F (x1, ∞)F (∞, x2) = P (X1 ≤ x1) P (X2 ≤ x2),
(3.11)
werden die Zufallsvariablen X1 und X2 als statistisch unabhängig oder
unabhängig bezeichnet und es gilt
f (x1, x2) = f (x1) f (x2).
(3.12)
Entsprechende Faktorisierungen gelten für mehr als zwei Zufallsvariablen.
Methoden der Ökonometrie — 3.1 Datengenerierende Prozesse & ökonometrische Modelle — U Regensburg — Okt. 2009
80
• Datengenerierender Mechanismus (data generating mechanism) (DGP)
in der Ökonometrie/Statistik:
– Stochastischer Mechanismus, der einen Teil oder alle beobachteten Stichprobendaten erzeugt haben kann.
– Ein stochastischer Mechanismus wird vollständig durch eine gemeinsame
Wahrscheinlichkeitsdichte f (·) der n Stichprobenbeobachtungen beschrieben
f (y1, X1, y2, X2, . . . , yn, Xn) = f (y, X).
(3.13)
– Es gilt wegen (3.10)
f (y, X) = f (y|X) f (X).
(3.14)
Ist für die interessierende (ökonomische) Fragestellung ausschließlich die Kenntnis des stochastischen Mechanismus von y gegeben X relevant und nicht wie
X generiert wird, so genügt die Analyse der bedingten Wahrscheinlichkeitsdichte
f (y|X) = f (y1 , y2, . . . , yn|X1, X2, . . . , Xn).
Methoden der Ökonometrie — 3.1 Datengenerierende Prozesse & ökonometrische Modelle — U Regensburg — Okt. 2009
81
Dies ist der für die klassische Regressionsanalyse typische Fall.
– Liegt eine Zufallsstichprobe vor, gilt wegen (3.12)
f (y, X) = f (y1, X1) f (y2, X2) · · · f (yn, Xn)
= f (y1|X1) f (X1 ) · · · f (yn |Xn) f (Xn )
(3.15)
und es ist ausreichend, die bedingte Dichte
f (yt |Xt),
t = 1, . . . , n,
zu betrachten.
– Liegen (univariate) Zeitreihendaten vor, ist es sinnvoll, die gemeinsame Dichte
(3.13) als
f (y) = f (y1 , y2, . . . , yn)
= f (yn |yn−1, . . . , y1)f (yn−1|yn−2, . . . , y1)
· · · f (y3|y2, y1) f (y2|y1) f (y1)
zu schreiben, wobei (3.10) mehrmals angewendet wird.
(3.16)