4 Punkte - Ruhr-Universität Bochum

Prof. Dr. Holger Dette
Dr. Melanie Birke
Sommersemester 2009
Blatt 5
Musterlösung Statistik I
Aufgabe 1:
(4 Punkte)
Sei X eine Poisson(λ)–verteilte Zufallsvariable mit λ > 0, und die Verlustfunktion L sei definiert durch
2
L(λ̃, λ) = (λ̃−λ)
1+λ2 .
(a) Man betrachte den linearen Schätzer λ̂(x) = a + bx für a, b ≥ 0 und bestimmen dessen Risiko
Ra,b (λ) zur Verlustfunktion L.
(b) Man zeige folgende Äquivalenz:
lim Ra,b (λ) = 0 ⇔ b = 1.
λ→∞
(c) Man zeichne die Risikofunktion zu folgenden Schätzern:
√
x + 0.5
√ ; λ̂3 (x) = 2x; λ̂4 (x) = 0; λ̂5 (x) = 1.
λ̂1 (x) = x; λ̂2 (x) =
1 + 0.5
Lösung: (a) Es sei λ̂(x) = a + bx, a, b ≥ 0. Dann gilt
L(λ̂(x), λ)
=
b2 x2 + 2b(a − λ)x + (a − λ)2
(a + bx − λ)2
=
1 + λ2
1 + λ2
und für das Risiko erhalten wir
Ra,b (λ)
=
Eλ [L(λ̂(X), λ)] = Eλ
b2 X 2 + 2b(a − λ)X + (a − λ)2
1 + λ2
1
(b2 Eλ [X 2 ] + 2b(a − λ)Eλ [X] + (a − λ)2 )
1 + λ2
Linearität
=
Eλ [X]=λ
Eλ [X 2 ]=λ(1−λ)
=
1
(b2 λ(1 − λ) + 2b(a − λ)λ + (a − λ)2 )
1 + λ2
(b) Es ist
2
Ra,b (λ)
=
b2 − 2b + 1 + bλ + 2ab
λ +
1
1 + λ2
a2
λ2
−
2a
λ
und
lim Ra,b (λ)
λ→∞
=
(b − 1)2 .
Damit sieht man leicht, dass der Grenzwert 0 ist genau dann, wenn b = 1 gilt.
(c) Die Risikofunktionen zu den 5 Schätzern sind
R1 (λ)
=
R4 (λ)
=
λ
λ(4 + λ)
0.5
√
, R3 (λ) =
, R2 (λ) =
2
1 + λ2
1 + λ2
(1 + 0.5)
2
2
λ
(1 − λ)
, R5 (λ) =
.
2
1+λ
1 + λ2
3
2.5
R3
R4
R5
R2
R1
2
1.5
1
0.5
1
2
3
4
5
6
7
(blau)
(gelb)
(hellblau)
(grün)
(rot)
Aufgabe 2:
(4 Punkte)
2
Seien X1 , . . . , Xn , Y1 , . . . , Ym unabhängige Zufallsvariablen mit Xi ∼ N (µ1 , σ ) (1 ≤ i ≤ n) und Yi ∼
N (µ2 , σ 2 ) (1 ≤ i ≤ m) für unbekannte Parameter µ1 , µ2 , σ 2 .
(a) Man bestimme den Maximum Likelihood Schätzer für θ = (µ1 , µ2 , σ 2 ).
(b) Man zeige, dass für jedes α ∈ [0, 1]
2
Sα2 := αSX
+ (1 − α)SY2 ,
Pn
1
2
2
2
wobei SX
und X̄ durch SX
:= n−1
i=1 (Xi − X̄) und X̄ =
m) definiert sind, ein erwartungstreuer Schätzer für σ 2 ist.
1
n
Pn
i=1
Xi (SY2 , Ȳ entsprechend für
(c) Man berechne das Riskio von Sα2 für α ∈ [0, 1].
(d) Man zeige, dass der Schätzer S 2 := Sα2 ′ mit α′ :=
in {Sα2 : α ∈ [0, 1]} hat.
n−1
m+n−2
das kleinste Riskio von allen Schätzern
Lösung: (a) Die gemeinsame Dichte ist
f (x1 , . . . , xn , y1 , . . . , yn )
=
1
√
2πσ 2
n+m
1
exp − 2
2σ
( n
X
i=1
2
(xi − µ1 ) +
m
X
i=1
2
(yi − µ2 )
)!
und die Loglikelihood-Funktion somit
log f (x1 , . . . , xn , y1 , . . . , yn )
( n
X
1
n+m
(log(σ 2 ) + log(2π)) − 2
= −
2
2σ
i=1
2
(xi − µ1 ) +
m
X
i=1
2
(yi − µ2 )
)
.
Die partiellen ersten Ableitungen ergeben
1
∂
log f (x1 , . . . , xn , y1 , . . . , yn ) = − 2
∂µ1
σ
1
∂
log f (x1 , . . . , xn , y1 , . . . , yn ) = − 2
∂µ2
σ
n
X
i=1
m
X
xi + nµ1
!
yi + mµ2
i=1
n+m
1
∂
log f (x1 , . . . , xn , y1 , . . . , yn ) = −
+
∂σ 2
2σ 2
2(σ 2 )2
!
( n
X
i=1
2
(xi − µ1 ) +
m
X
i=1
2
(yi − µ2 )
)
.
Als Nullstellen erhält man daraus die Maximum-Likelihood-Schätzer
µ̂1
σ̂ 2
= X̄n , µ̂2 = Ȳm ,
( n
)
m
X
X
1
n−1 2
m−1 2
2
2
=
(Yi − Ȳm )
(Xi − X̄n ) +
=
SX +
S
n + m i=1
n
+
m
n
+m Y
i=1
(mit den Bezeichnungen aus Teil (b)).
(b) Der Erwartungswert von Sα2 ist
2
E[Sα2 ] = αE[SX
] + (1 − α)E[SY2 ].
2
Wir zeigen nun noch, dass SX
und SY2 erwartungstreu für σ 2 sind. Von Blatt 2, Aufgabe 3 wissen wir,
n−1 2
m−1 2
2
dass σ2 SX ∼ χn−1 und σ2 SY ∼ χ2m−1 gilt. Der Erwartungswert einer χ2 -verteilten Zufallsvariablen
mit k Freiheitsgraden ist k, deren Varianz (brauchen wir später) 2k.
σ2
n−1 2
σ2
2
E
S
(n − 1) = σ 2
E[SX
] =
X =
2
n−1
σ
n−1
m−1 2
σ2
σ2
E
S
(m − 1) = σ 2
E[SY2 ] =
Y =
2
m−1
σ
m−1
(c) das Risiko von Sα2 ist
{Xi },{Yi }unabh.
Rα (σ 2 )E[(Sα2 − σ 2 )2 ] =
2
V(Sα2 )
=
α2 V(SX
) + (1 − α)2 V(SY2 )
4
σ4
n−1 2
m−1 2
σ
2
2
+ (1 − α)
V
S
V
SY
= α
(n − 1)
σ2 X
(m − 1)2
σ2
2
α
(1 − α)2
= 2σ 4
+
n−1
m−1
(d) Man erhält leicht
2α(m + n − 2) − 2(n − 1)
∂
Rα (σ 2 ) =
∂α
(n − 1)(m − 1)
und erhält daraus die Minimalstelle α =
n−1
m+n−2 .
Aufgabe 3:
(4 Punkte)
Seien X1 , . . . , Xn unabhängig, identisch verteilt mit Xi ∼ P oisson(λ) (1 ≤ i ≤ n) mit unbekanntem
Parameter λ > 0.
(a) Zeigen Sie, dass X1 · X2 ein erwartungstreuer Schätzer für λ2 ist.
(b) Verbessern Sie den obigen Schätzer durch Anwendung der Rao–Blackwell Prozedur mit der Statistik
Pn
S = i=1 Xi . (Zur Kontrolle: Man erhält den Schätzer S(S−1)
.)
n2
Hinweis: Bestimmen Sie die bedingte Verteilung von (X1 , . . . , Xn ) bzgl. S.
Lösung: (a) Es ist
Eλ [X1 · X2 ] = Eλ [X1 ]Eλ [X2 ] = λ · λ = λ2 .
Somit ist X1 · X2 erwartungstreu für λ2 .
(b) Wir sehen schnell mit der Neyman-Charakterisierung
n
fλ (x1 , . . . , xn ) = e−nλ λΣi=1 xi
n
Y
IIN (xi )
i=1
dass S =
Pn
i=1
xi !
,
Xi suffizient für λ ist. Die bedingte Verteilung von (X1 , . . . , Xn ) gegeben S = k ist
P (X1 = x1 , . . . , Xn = xn |S = k) =
=
=
n−1
P(X1 = x1 , . . . , Xn = xn , S = k)
xi )
P(X1 = x1 , . . . , Xn = k − Σi=1
=
P(S = k)
P(S = k)
k!
e−nλ λk
n−1
−nλ
(nλ)k
x1 ! · . . . · xn−1 !(k − Σi=1 xi )! e
k
1
k!
.
n−1
n
x1 ! · . . . · xn−1 !(k − Σi=1 xi )!
Damit ist P(X1 ,...,Xn )|S=k M k, n1 , . . . , n1 -verteilt. Die gemeinsame Verteilung von (X1 , X2 )T gegeben
S = k ist damit
k
X
k!
1
P (X1 = x1 , X2 = x2 |S = k) =
n−1
n
x
)!
x
!
·
.
.
.
·
x
!(k
−
Σ
1
n−1
x3 ,...,xn
i=1 i
Σn xi =k−x1 −x2
i=3
=
=
x1 +x2 k−x1 −x2
2
1
k!
1−
x1 !x2 !(k − x1 − x2 )! n
n
k!
x1 !x2 !(k − x1 − x2 )!
X
x3 ,...,xn
Σn xi =k−x1 −x2
i=3
|
x1 +x2 k−x1 −x2
2
1
1−
.
n
n
=1da
(k − x1 − x2 )!
x3 ! · . . . · xn−1 !xn !
1
n−2
k−x1 −x2
{z
1
1
,..., n−2
(k−x1 −x2 , n−2
)-Verteilung
Dichte derM
}
Der bedingte Erwartungswert ergibt damit
Eλ [X1 · X2 |S = k]
=
k!
x1 x2
x1 !x2 !(k − x1 − x2 )!
X
k!
(x1 − 1)!(x2 − 1)!(k − x1 − x2 )!
x1 ,x2 ∈IN0
x1 +x2 ≤k
=
x1 ,x2 ∈IN
x1 +x2 ≤k
1
= k(k − 1) 2
n
=
x1 +x2 k−x1 −x2
2
1
1−
n
n
X
k(k − 1)
n2
X
x1 ,x2 ∈IN0
x1 +x2 ≤k−2
x1 +x2 k−x1 −x2
2
1
1−
n
n
(k − 2)!
x1 x2
x1 !x2 !(k − 2 − x1 − x2 )!
|
=1da
x1 +x2 k−2−x1 −x2
2
1
1−
n
n
{z
(k−2, n1 , n1 ,1− n2 )-Verteilung
Dichte derM
Mit Rao-Blackwell ist also
T ∗ (X)
=
E[X1 · X2 |S] =
1
S(S − 1)
n2
ein erwartungstreuer Schätzer mit gleichmäßig kleinerem Risiko als X1 · X2 .
Aufgabe 4:
(4 Punkte)
Seien X1 , . . . , Xn unabhängig, identisch verteilt mit Xi ∼ U (0, θ) (1 ≤ i ≤ n) und unbekanntem Parameter θ > 0.
1. Man betrachte den Maximum Likelihoodschätzer
M (X1 . . . , Xn ) = max Xi
1≤i≤n
und zeige, dass
T ∗ (X1 , . . . , Xn ) =
n+1
max Xi
n 1≤i≤n
ein UMVU-Schätzer für θ ist.
2. Man finde einen Schätzer T mit
R(θ, T ) < min{R(θ, M ), R(θ, T ∗ )}
und kommentiere kurz, welche weiteren Eigenschaften T besitzt und weshalb sein kleineres Risiko
nicht im Widerspruch zu der UMVU-Eigenschaft von T ∗ steht. (Hinweis: Man verwende den Ansatz
T = αM , und wähle α geschickt).
Lösung: 1. Wir wenden den Satz von Lehmann-Scheffé an. Dafür benötigen wir einen erwartungstreuen
Pn
Schätzer für θ und eine suffiziente und vollständige Statistik für θ. Beispiel 2.24 zeigt, dass n2 i=1 Xi
erwartungstreu ist für θ. Nach Beispiel 2.31 ist
#
" n
2 X ∗
T (X1 , . . . , Xn ) = E
Xi M (X1 . . . , Xn )
n i=1
und M (X1 . . . , Xn ) ist suffizient für θ. Wir zeigen nun, dass M (X1 . . . , Xn ) auch vollständig ist, dann
folgt mit Lehmann-Scheffé, dass T ∗ (X1 , . . . , Xn ) UMVU-Schätzer ist. Es sei
Eθ [g(M (X1 . . . , Xn ))] = Eθ [g( max Xi )] =
1≤i≤n
n
θn
Z
0
θ
g(t)tn−1 dt = 0 für alle θ ∈ IR+ .
Mit Lebesgue-Integration folgt dann, dass g(t) = 0 fast überall ist. Das bedeutet P(g(max1≤i≤n Xi ) =
0) = 1 und damit ist M (X1 . . . , Xn ) vollständig.
}
2. Das Risiko von M bzw. T ∗ ist nach Beispiel 2.24
M SEθ (M )
=
M SEθ (T ∗ )
e-treu
Für n = 1 sind beide Risiken gleich
θ2
n(n+2)
=
θ2
3 ,
2θ2
(n + 1)(n + 2)
2
n+1
θ2
∗
Vθ (T ) =
V(M ) =
.
n
n(n + 2)
für n ≥ 2 ist das Minimum
θ2
n(n+2) .
Um nun einen Schätzer mit
kleinerem Risiko als
zu finden, berechnen wir zuerst für aM , a > 0 das Risiko in Abhängigkeit
von a und vergleichen mit dem Risiko von T ∗
M SEθ (aM )
=
=
2
n
nθ2
Vθ (aM ) + (biasθ (aM )) = a
+ a
θ−θ
(n + 1)2 (n + 2)
n+1
1
a2 n(n + 1) − 2an(n + 2) + (n + 1)(n + 2) 2
θ <
θ2 .
(n + 2)(n + 1)
n(n + 2)
2
Die Ungleichung ist erfüllt für a ∈
insbesondere für a0 =
n+2
n+1 .
n+2
n+1
−
r
n+2
n+1
2
2
−
n(n+2)−1 n+2
, n+1
n2
−
r
n+2
n+1
2
−
n(n+2)−1
n2
!
, also
1
(n+1)2 . Das steht nicht im
n(n+2)
(n+1)2 θ. Damit ist a0 M nicht
Wir erhalten in diesem Fall M SEθ (a0 M ) =
Widerspruch zu der UMVU-Eigenschaft von T ∗ , denn es gilt Eθ [a0 M ] =
erwartungstreu, liegt also nicht in der Klasse von Schätzern, in denen der UMVU-Schätzer kleinstes Risiko
hat.