Lösung Blatt 10 - Luchsinger Mathematics AG

Dr. Christof Luchsinger
Übungsblatt 10 zur Vorlesung
”Statistische Methoden”
Einfache Regression
Herausgabe des Übungsblattes: Woche 19, Abgabe der Lösungen: Woche 20 (bis Freitag, 1615 Uhr), Besprechung: Woche 21
Must
Aufgabe 49 [Simulation einer Regression]
a) Sei xi := i, 1 ≤ i ≤ 100, eine feste Folge von erklärenden Daten (äquidistant). Es gelte
Yi = β0 + β1 xi + i ,
wobei ∼ N (0, 2) iid. Nehmen Sie β0 = 1 und für β1 nehmen Sie Ihre PN. Generieren Sie jetzt einen Vektor
(yi )100
i=1 .
b) Schätzen Sie jetzt β0 , β1 und die Varianz von mit R, indem Sie eine OLS-Schätzung machen.
c) Vertauschen Sie die Rollen von x und y und machen Sie nochmals eine OLS-Regression. Vergleichen Sie
die Resultate von b) und c).
Standard
Aufgabe 50 [Aufspaltung der Variation in den y] [3 Punkte]
Beweisen Sie mit der Notation aus 7.1.2, dass gilt
n
n
n
X
X
X
(yi − ȳ)2 =
(ŷi − ȳ)2 +
(yi − ŷi )2 .
i=1
i=1
i=1
Aufgabe 51 [Erwartungstreue Schätzer bei OLS] [2+1 Punkte]
Beweisen Sie, dass die Schätzer
β̂1 =
SSxy
SSxx
und
β̂0 = ȳ − β̂1 x̄
erwartungstreu sind. Tipps: Schätzer werden normalerweise auf der Ebene der Stichproben definiert. Um die
Erwartungstreue zu überprüfen, müssen Sie auf die Ebene der Zufallsgrössen wechseln (y durch Y ersetzen)
und mit Formel (7.1) arbeiten.
Aufgabe 52 [yi = β0 + i ] [1+1+1 Punkte]
Das Modell
Yi = β0 + i
ist offenbar ein Spezialfall von (7.1). Berechnen Sie in diesem Modell die OLS-Schätzung von β0 und die
ML-Schätzungen von β0 und σ 2 := V [i ].
Frühjahrsemester 2011
Olivier Warin
Seite 1 von 8
Dr. Christof Luchsinger
Aufgabe 53 [Testen, ob β1 = 0, β1 = P N ] [1+2 Punkte]
Testen Sie in der Situation von Aufgabe 49 (mit den dort erzeugten Daten), ob
a) β1 = 0 und
b) β1 = P N , wobei das P N das richtige (und uns in der Simulation ja bekannte) β1 ist.
Wir geben hier kein Signifikanzniveau vor. Geben Sie den P-Wert an, d.h. sagen Sie, bis zu welchem
Signifikanzniveau die H0 -Hypothese noch aufrecht erhalten wird.
Honours
Aufgabe 54 [Test, ob β0 = 0] [5 Punkte]
In 7.1.3 haben wir einen Test entwickelt, ob β1 = 0 oder nicht. Entwickeln Sie jetzt mit analogen Überlegungen einen Test für die Frage ob β0 = 0 oder nicht.
Frühjahrsemester 2011
Olivier Warin
Seite 2 von 8
Übungsblatt 10 zur Vorlesung “Statistische Methoden”
Seite 3 von 8
Übungsblatt 10 zur Vorlesung “Statistische Methoden”
Olivier Warin
22. Mai 2011
Aufgabe 49 [Simulation einer Regression]
5
10
15
20
25
> #Teilaufgabe a):
> PN <− 2
> N <− 100
> sigma <− sqrt ( 2 )
> b e t a 0 <− 1
> b e t a 1 <− PN
> x <− 1 :N
> y <− b e t a 0 + b e t a 1 ∗x + rnorm(N, 0 , sigma )
>
> #Teilaufgabe b):
> #Zuerst von Hand:
> SSxx <− sum( ( x−mean( x ) ) ^ 2 )
> SSxy <− sum( ( x−mean( x ) ) ∗ ( y−mean( y ) ) )
> b e t a 1 h u t <− SSxy/SSxx
> b e t a 0 h u t <− mean( y ) − b e t a 1 h u t ∗mean( x )
> yhut <− b e t a 0 h u t + b e t a 1 h u t ∗x
> sigma2hut <− 1/ (N−2)∗sum( ( y − yhut ) ^ 2 )
> beta0hut
[ 1 ] 0.998394
> beta1hut
[ 1 ] 2.001701
> sigma2hut
[ 1 ] 2.204446
> sqrt ( sigma2hut ) #(weil R die Standardabweichung angibt)
[ 1 ] 1.484738
> #Nun noch direkt mit R:
> mydata <− data . frame ( x , y )
> r e g r <− lm( y~x , mydata )
> summary( r e g r )
30
Call :
lm( formula = y ~ x , data = mydata )
35
40
45
Residuals :
Min
1Q
−3.44556 −1.00851
Median
0.02655
3Q
0.87074
Max
3.76095
Coefficients :
Estimate Std . E r r o r t v a l u e Pr ( >| t | )
( Intercept ) 0.998394
0.299189
3 . 3 3 7 0 . 0 0 1 2 0 ∗∗
x
2.001701
0 . 0 0 5 1 4 4 3 8 9 . 1 6 8 < 2 e −16 ∗∗∗
−−−
S i g n i f . codes : 0 ’ ∗∗∗ ’ 0 . 0 0 1 ’ ∗∗ ’ 0 . 0 1 ’ ∗ ’ 0 . 0 5 ’ . ’ 0 . 1 ’ ’ 1
R e s i d u a l s t a n d a r d e r r o r : 1 . 4 8 5 on 98 d e g r e e s o f freedom
M u l t i p l e R−s q u a r e d : 0 . 9 9 9 4 ,
Adjusted R−s q u a r e d : 0 . 9 9 9 3
Fr
>hjahrsemester 2011
Olivier Warin
Seite 3 von 8
Übungsblatt 10 zur Vorlesung “Statistische Methoden”
50
55
F− s t a t i s t i c : 1 . 5 1 5 e+05 on 1 and 98 DF, p−v a l u e : < 2 . 2 e −16
> #Das Resultat ist also dasselbe wie von Hand> plot ( x , y )
> abline ( r e g r )
>
> #Teilaufgabe c):
> r e g r c <− lm( x~y , mydata )
> regrc
Call :
lm( formula = x ~ y , data = mydata )
Coefficients :
( Intercept )
−0.4658
60
65
70
Seite 4 von 8
y
0.4993
> b e t a 1 h u t_c <− sum( ( x−mean( x ) ) ∗ ( y−mean( y ) ) ) /sum( ( y−mean( y ) ) ^ 2 )
> b e t a 0 h u t_c <− mean( x ) − b e t a 1 h u t_c∗mean( y )
> b e t a 0 h u t_c
[ 1 ] −0.4657943
> b e t a 1 h u t_c
[ 1 ] 0.4992521
>
> #Zum Vergleich:
> −b e t a 0 h u t / b e t a 1 h u t
[ 1 ] −0.4987728
> 1/ b e t a 1 h u t
[ 1 ] 0.4995752
>
100
0
50
y
150
200
Diese R-Session hat noch den foglenden Plot erzeugt:
0
20
40
60
80
100
x
Frühjahrsemester 2011
Olivier Warin
Seite 4 von 8
Übungsblatt 10 zur Vorlesung “Statistische Methoden”
Seite 5 von 8
Aufgabe 50 [Aufspaltung der Variation in den y]
Behauptung: In den Notationen aus 7.1.2 gilt
n
n
n
X
X
X
(yi − y)2 =
(ŷi − y)2 +
(yi − ŷi )2 .
i=1
i=1
i=1
Beweis: Nach 7.1.2 gilt
n
X
i=1
(yi − β̂0 − β̂1 xi ) = 0 und
n
X
i=1
xi (yi − β̂0 − β̂1 xi ) = 0.
(∗)
Daraus schliessen wir
0 = β̂0
n
n
n
X
X
X
(yi − β̂0 − β̂1 xi ) + β̂1
xi (yi − β̂0 − β̂1 xi ) =
(yi − β̂0 − β̂1 xi )(β̂0 + β̂1 xi )
i=1
i=1
i=1
n
n
X
X
=
(yi − ŷi )ŷi =
(yi ŷi − ŷi2 ).
i=1
i=1
Diese
Pn Gleichung
Pn werden wir gleich noch benutzen. Wenn wir noch beachten, dass aus (∗) sofort folgt
ŷ
=
i
i=1
i=1 yi , können wir nämlich schliessen
n
n
n
n
n
n
n
X
X
X
X
X
X
X
(yi − ŷi )2 =
yi2 +
y 2 − 2y
ŷi + 2
ŷi2 − 2
yi ŷi
(ŷi − y)2 +
i=1
i=1
=
i=1
i=1
i=1
i=1
n
X
n
X
n
X
n
X
yi2 +
i=1
i=1
y 2 − 2y
i=1
yi − 2
i=1
|
i=1
(yi ŷi − ŷi2 )
n
n
X
X
=
(yi + y − 2yyi ) =
(yi − y)2 .
i=1
{z
=0
}
i=1
Dies beweist natürlich die Behauptung.
Aufgabe 51 [Erwartungstreue Schätzer bei OLS]
Behauptung: Die Schätzer (in der Situation und den Notationen aus der Vorlesung)
β̂1 =
SSxy
und β̂0 = y − β̂1 x
SSxx
sind erwartungstreu.
Beweis: Da E[Yi ] = E[β0 + β1 xi + εi ] = β0 + β1 xi und E[Y ] = β0 + β1 x schliessen wir:
Pn
(xi − x)(Yi − Y )
SSxY
i=1
P
E[β̂1 ] = E
= E
n
2
SSxx
i=1 (xi − x)
Pn
n
X
+ β1 xi − (β0 + β1 x))
1
i=1 (xi − x)(β
Pn 0
= Pn
(x
−
x)(E[Y
]
−
E[Y
])
=
i
i
2
2
i=1 (xi − x) i=1
i=1 (xi − x)
Pn
(xi − x)2
β1
= Pn i=1
= β1 .
2
i=1 (xi − x)
Dies bedeutet genau, dass β̂1 ein erwartungstreuer Schätzer von β1 ist.
Es folgt:
E[β̂0 ] = E[Y − β̂1 x] = E[Y ] − E[β̂1 ]x = β0 + β1 x − β1 x = β0 .
Also ist β̂0 ein erwartungstreuer Schätzer von β0 .
Frühjahrsemester 2011
Olivier Warin
Seite 5 von 8
Übungsblatt 10 zur Vorlesung “Statistische Methoden”
Seite 6 von 8
Aufgabe 52 [yi = β0 + εi ]
Wir vereinfachen das Modell von der Gleichung (7.1) auf
Yi = β0 + εi ,
wobei ε1 , · · · , εn iid sind mit ε1 ∼ N (0, σ 2 ).
Nun bestimmen bestimmen wir in diesem Modell ein paar Schätzer:
• Zuerst wollen wir den OLS-Schätzer β̂0OLS von β0 bestimmen. Die Schätzung ŷiOLS von yi ist dann
natürlich einfach durch ŷ OLS = β̂0OLS gegeben. Dazu müssen wir die Funktion
n
X
i=1
(yi − β0 )2 = nβ02 − 2nβ0 y +
n
X
i=1
yi2 = n(β0 − y)2 +
n
X
i=1
yi2 − y 2
bezüglich β0 minimieren. In obiger Form können wir die Stelle, an der das Minimum angenommen
wird, gleich ablesen und erhalten so
β̂0OLS = y.
• Jetzt möchten wir den ML-Schätzer β̂0ML von β0 bestimmen. Dazu müssen wir uns die gemeinsame
Dichtefunktion fβ0 von Y1 , . . . , Yn bestimmen. Da Yi = β0 +εi , hat Yi klar eine N (β0 , σ 2 )-Verteilung.
Es folgt
n
Y
1
1
iid
2
√
fβ0 (y1 , . . . , yn ) =
exp − 2 (x − β0 ) .
2σ
2πσ 2
i=1
Da wir uns bei der ML-Schätzung nur für die Stelle des Maximums (bezüglich β0 ) interessieren,
können wir gerade so gut den Logarithmus davon betrachten:
log fβ0 (y1 , . . . , yn ) = −
n
n
1 X
n
log(2π) − log(σ 2 ) − 2
(yi − β0 )2 .
2
2
2σ i=1
Für die Stelle des Maximums bezüglich β0 sind die Summanden, die nicht von β0 abhängen, natürlich
irrelevant. Ausserdem spielt der Faktor 2σ1 2 (> 0) natürlich auch keine Rolle. Daher reicht es wenn
wir die Maximumsstelle der Funktion
−
n
X
i=1
(yi − β0 )2
bestimmen. Bis auf das Vorzeichein ist das genau die gleiche Funktion, wie diejenige die wir für β̂0OLS
minimiert haben. Wegen dem anderen Vorzeichen wird natürlich aus dem Minimum ein Maximum.
Wir schliesen also
β̂0ML = β̂0OLS = y.
ML
• Zum Schluss bestimmen wir noch den ML-Schätzer σˆ2
von σ 2 . Dazu müssen wir fσ2 (y1 , . . . , yn )
2
bzw. log fσ2 (y1 , . . . , yn ) bezüglich σ (und β0 ) maximieren. Nach obigem gilt:
log fσ2 (y1 , . . . , yn ) = −
n
n
1 X
log(2π) − n log(σ) −
(yi − β0 )2 .
2
2σ i=1
Der Summand, der nicht von σ 2 abhängt spielt hier keine Rolle. Ausserdem haben wir oben gezeigt,
dass das Maximum bezüglich β0 unabhänig von σ 2 an der Stelle β0 = y angenommen wird. Aus
Gründen der Bequemlichkeit multiplizieren wir die Funktion auch noch mit 2. Konkret müssen wir
also noch die Funktion
−n log(σ 2 ) −
Frühjahrsemester 2011
n
1 X
Syy
(yi − y)2 = −n log(σ) − 2
2
σ i=1
σ
Olivier Warin
Seite 6 von 8
Übungsblatt 10 zur Vorlesung “Statistische Methoden”
Seite 7 von 8
bezüglich σ 2 minimieren. Ableiten nach σ 2 liefert:
−
Syy
n
+ 2 2.
σ2
(σ )
Ausserdem lautet die zweite Ableitung nach σ 2 :
Syy
n
− 2 2 3.
2
2
(σ )
(σ )
Die Nullstelle (bezüglich σ 2 ) von der ersten Ableitung lautet
σ2 =
Syy
.
n
Wenn wir dies in der zweiten Ableitung einsetzen erhalten wir:
−
n3
< 0,
Syy
also handelt es sich um ein Maximum. Somit kommen wir zu dem folgenden Ergebnis:
n
ML
1
1X
(yi − y)2 .
σˆ2
= Syy =
n
n i=1
Aufgabe 53 [Testen, ob β1 = 0, β1 = PN]
Dies ist die Fortsetzung der R-Session von Aufgabe 49:
5
10
> #Teilaufabe a)
> t <− b e t a 1 h u t /sqrt ( sigma2hut /SSxx )
> pt ( abs ( t ) ,N−2,lower . t a i l =F) #P−Wert
[ 1 ] 2 . 1 2 4 2 1 6 e −158
>
> #Teilaufgabe b)
> t <− ( b e t a 1 h u t − PN) /sqrt ( sigma2hut /SSxx )
> pt ( abs ( t ) ,N−2,lower . t a i l =F) #P−Wert
[ 1 ] 0.3707982
>
Wir haben dabei die Teststatistik aus der Vorlesung benutzt.
Aufgabe 54 [Test, ob β0 = 0]
Wir wollen nun in Analogie zu 7.1.3 einen Test entwickeln, ob β0 = 0 oder nicht. Dazu betrachen wir die
Definition von β̂0 :
β̂0 = Y − β̂1 x.
σ2
Wir wissen bereits aus 7.1.3, dass β̂1 eine N β1 , SS
-Verteilung hat. Ausserdem hat Y klar eine
xx
2
N (β0 + β1 x, σn )-Verteilung. Wir schliessen (siehe auch Aufgabe 51)
(SSxx + x2 n)σ 2
β̂0 ∼ N β0 ,
.
nSxx
Pn
1
2
2
Wie in 7.1.3, benutzen wir jetzt die Schätzung σ̂ 2 = n−2
i=1 (yi − ŷi ) für σ . Damit erhalten wir die
folgende Teststatistik
T =q
β̂0
(SSxx +x2 n)σ̂ 2
nSxx
,
welche unter H0 (also β0 = 0) eine tn−2 -Verteilung hat. Wir werden die H0 -Hypothese verwerfen, sobald
diese Teststatistik Werte annimmnt, welche weiter als ein bestimmter kritischer Wert von Null entfernt
sind.
Frühjahrsemester 2011
Olivier Warin
Seite 7 von 8
Übungsblatt 10 zur Vorlesung “Statistische Methoden”
Seite 8 von 8
Bemerkung: In obiger Herleitung haben wir zwei Sachen benutzt, die eigentlich nicht offensichtlich sind:
• Bei der Bestimmung von der Verteilung von β̂0 haben wir Unabhängigkeit von Ȳ und β̂1 benutzt.
Denn sie Summe von zwei normalverteilten Zufallsgrössen ist im Allgemeinen nur dann normalverteilt, wenn die beiden Summanden unabhängig sind. Ausserdem haben wir die Unabhängigkeit
(oder mindestens Unkorreliertheit) benutzt, um die Varianz zu berechnen.
• Das zweite ist das Einsetzen von σ̂ 2 statt σ 2 . Denn auch hier ist a priori die Unabhängigkeit nicht
klar und damit auch nicht die tn−2 -Verteilung.
Im freiwilligen Teil von Kapitel 7 werden wir diesen Test nochmals in einer etwas allgemeineren Situation
sehen. Dort werden sich diese zwei Punkte noch klären.
Frühjahrsemester 2011
Olivier Warin
Seite 8 von 8