11 Likelihoodquotiententests

11 Likelihoodquotiententests
In den Paragraphen 7 - 10 wurden beste Tests, UMP-Tests oder UMPU-Tests in speziellen
Verteilungssituationen hergeleitet. Hier soll nun ein allgemeines Konstruktionsprinzip für
Tests von zusammengesetzten Hypothesen
H : ϑ ∈ Θ0 , K : ϑ ∈ Θ1 = Θc0 ,
behandelt werden, das unter sehr allgemeinen Verteilungsannahmen zu guten“ Tests
”
führt, das Prinzip der Likelihoodquotiententests “ :
”
Sei dazu X = (X1 , . . . , Xn ) und P X = PϑX = f (x; ϑ) µ : ϑ ∈ Θ . Θ sei
k-dimensional “ , d.h. Θ sei Teilmenge einer k-dimensionalen Hyperebene in einem
”
euklidischen Raum, aber nicht Teilmenge einer (k − 1)-dimensionalen Hyperebene . Man
teste zum Niveau α die Hypothesen
H : ϑ ∈ Θ0 , K : ϑ ∈
/ Θ0 ,
wobei Θ0 k0 -dimensional sei mit 0 ≤ k0 < k .
Beispiel 11.1. Sei X = (X1 , . . . , Xn ) , Xi
Niveau α ∈ (0, 1) :
i.i.d. N (a, σ 2 )-verteilt . Man teste zum
H : a = a0 , K : a 6= a0 .
Hier ist
Θ
Θ0
ϑ = (a, σ 2 ) (a, σ 2 ) ∈ R × R∗+
=
ϑ = (a0 , σ 2 ) σ 2 > 0
=
2-dimensional ,
1-dimensional ,
n
1 n2
1 X
2
f (x; ϑ) =
exp
−
(x
−
a)
.
i
2πσ 2
2σ 2 i=1
Der folgende Ansatz eines Likelihoodquotiententests basiert auf der Idee der MaximumLikelihood-Methode und verallgemeinert den Neyman-Pearson-Ansatz für beste Tests bei
einfachen Hypothesen :
(11.1)
ϕ(x) =

 1 ,
wobei
(11.2)
Eϑ ϕ(X) = Pϑ Λ(X) < `
<
max f (x; ϑ)
≥
ϑ∈Θ0
Λ(x) : =
 0 ,
max f (x; ϑ)
ϑ∈Θ
!
` ,
≤ α ∀ ϑ ∈ H (↔ Θ0 ) .
51
Bemerkung 11.1. Existieren ML-Schätzer ϑ̂ bzw. ϑ̂0 für ϑ unter Θ bzw. Θ0 , so
ist der Likelihoodquotient “ (LQ) im Test ϕ gemäß (11.1) , (11.2) von der Form
”
f (x; ϑˆ0 )
.
Λ(x) =
f (x; ϑ̂)
Beispiel 11.1 (Fortsetzung) Nach Beipiel 6.1 a) erhält man für ϑ ∈ Θ die ML-Schätzer
n
n
1 X
1 X
b
2
â = x̄ =
xi , σ =
(xi − x̄)2 .
n i=1
n i=1
Entsprechend ergibt sich für ϑ ∈ Θ0 , also a = a0 , als ML-Schätzer für σ 2 :
n
1 X
b
2
σ0 =
(xi − a0 )2 .
n i=1
Damit erhält man
max f (x; ϑ) = f x; â, σb2
ϑ∈Θ
=
max f (x; ϑ) = f x; a0 , σb02 =
ϑ∈Θ0
also
Λ(x) =
n
P
i=1
Beachtet man, dass
(xi − a0 )
n
P
2π
i=1
(xi − a0 )
− n2
2
n
e− 2 ,
− n2
n
e− 2 ,
.
2
(xi − a0 )2 =
1
1+
i=1
n
n P
n 2
(xi − x̄)
2
n
2
(xi − x̄) !
i=1
Λ(x) =
n
n2 P
2
i=1
n
P
n
2π
n (x̄−a0 )2
(xi −x̄)2
! n2
n
P
i=1
(xi − x̄)2 + n (x̄ − a0 )2 , so ergibt sich
,
d.h. Λ(x) ist streng monoton fallend in
n (x̄ − a0 )2
T (x) =
.
n
P
2
1
(x
−
x̄)
i
n−1
2
i=1
Damit ist der LQ-Test von der äquivalenten Form

 1 ,
>
ϕ(x) =
| T (x) |
c .
 0 ,
≤
52
Da unter ϑ ∈ Θ0 , also a = a0 , T (X) eine tn−1 -Verteilung besitzt , ist c = tn−1;1− α2
zu wählen .
Ergebnis : Als LQ-Test zum Niveau α für H : a = a0 , K : a 6= a0 ergibt sich
der (zweiseitige) Student-t-Test

 1 , √ | x̄ − a | >
0
ϕ(x) =
n
tn−1;1− α2 ,
 0 ,
s
≤
wobei s2 =
1
n−1
annahme PϑX =
n
P
i=1
n
N
(xi − x̄)2 .
ϕ ist damit UMPU-Test unter der Verteilungs-
N (a, σ 2 ) .
1
Die Verteilung des LQ-Tests unter der Nullhypothese H : ϑ ∈ Θ0 ist nicht immer
so direkt herzuleiten wie im Beispiel 11.1. Häufig muss man sich damit begnügen, den
kritischen Wert asymptotisch festzulegen. Dies soll im Folgenden untersucht werden
(vgl. auch Serfling (1980, Ch. 4.4)). Hierzu werden die Regularitätsbedingungen aus
Satz 6.3 vorausgesetzt , erweitert auf den Fall ϑ ∈ Θ , Θ offen und k-dimensional.
Mit den Bezeichnungen
n
n
>
1 X
∂
1 X ∂
log f1 (Xi ; ϑ), . . . ,
log f1 (Xi ; ϑ) ,
an (ϑ) :=
n i=1 ∂ϑ1
n i=1 ∂ϑk
dn (ϑ) := ϑ̂n − ϑ , ϑ = (ϑ1 , . . . , ϑk )>
ergibt sich (analog zum Beweis von Satz 6.3 unter Benutzung des k-dimensionalen
zentralen Grenzwertsatzes) :
Lemma 11.1. Sei X1 , X2 , . . . eine i.i.d. Folge mit Verteilung PϑX1 = f1 (x1 ; ϑ) µ1 ,
ϑ ∈ Θ k-dimensional , und sei
I(ϑ) = Eϑ
∂
∂
>
log f1 (X1 , ϑ)
log f1 (X1 , ϑ)
∂ϑ
∂ϑ
die Kovarianzmatrix des Gradienten
ritätsbedingungen ).
∂
∂ϑ
log f1 (x1 , ϑ) ( unter den genannten Regula-
Dann gelten die folgenden Verteilungskonvergenzaussagen :
53
a)
√
b)
√
D
n an (ϑ) −→ Y
D
n dn (ϑ) −→ Z
(n → ∞) mit PϑY = N 0 , I(ϑ) ,
(n → ∞) mit PϑZ = N 0 , I −1 (ϑ) ,
D
2
(n → ∞) mit Pϑχ = χ2k ,
c) n aTn (ϑ)I −1 (ϑ)an (ϑ) −→ χ2
D
2
d) n dTn (ϑ)I(ϑ)dn (ϑ) −→ χ2 (n → ∞) mit Pϑχ = χ2k ,
Pϑ
√
e) n an (ϑ) − I(ϑ)dn (ϑ) −→
0 (n → ∞) .
Bemerkung 11.2. Aus Lemma 11.1 d) erhält man sofort ein asymptotisches Konfidenz”
ellipsoid “ für ϑ zum Niveau 1 − α , nämlich
C1−α (x) =
denn
>
ϑ : n (ϑ̂n − ϑ) I(ϑ̂n )(ϑˆn − ϑ) ≤ χ2k;1−α ,
lim Pϑ C1−α (X1 , . . . , Xn ) 3 ϑ
n→∞
= Pϑ χ2 ≤ χ2k,1−α
= 1− α.
Hierbei wurden ( unter den genannten Regularitätsbedingungen ) Lemma 11.1 d) und
Pϑ
I(ϑ̂n ) − I(ϑ) −→
0 ausgenutzt.
Für die Loglikelihoodfunktion
ln (ϑ) = log L(X1 , . . . , Xn ; ϑ) =
n
X
log f1 (Xi ; ϑ)
i=1
erhält man nun die folgende Asymptotik :
Lemma 11.2. Unter den Voraussetzungen von Lemma 11.1 gilt :
a)
Pϑ
ln (ϑ̂n ) − ln (ϑ) − 12 n dn (ϑ)> I(ϑ)dn (ϑ) −→
0
D
b) 2 ln (ϑ̂n ) − ln (ϑ) −→ χ2
(n → ∞) ,
54
(n → ∞) ,
2
wobei Pϑχ = χ2k .
Asymptotischer LQ-Test
a) Einfache Nullhypothese
H : ϑ = ϑ0 ,
K : ϑ 6= ϑ0 .
Mit x = (x1 , . . . , xn ) , λn = −2 log Λ(x) ist der LQ-Test (11.1) äquivalent zu

 1 ,
>
(11.1’) ϕ(x) =
λn
c .
 0 ,
≤
Wegen Λ(x) = L(x; ϑ0 ) max L(x; ϑ) ( L : Likelihoodfunktion ) , ergibt sich nun
ϑ∈Θ
λn = 2 ln (ϑ̂n ) − ln (ϑ0 ) , ( ln : Loglikelihoodfunktion ) , so dass wegen Lemma 11.2
das Niveau asymptotisch zu α eingehalten wird , wenn c = χ2k;1−α !
Ergebnis : Asymptotischer LQ-Test zum Niveau α für H : ϑ = ϑ0 , K : ϑ 6= ϑ0 ,
ist

 1 ,
>
(11.1”) ϕ(x1 , . . . , xn ) =
− 2 log Λ(x1 , . . . , xn )
χ2k;1−α .
 0 ,
≤
Bemerkung 11.3. Mit Hilfe von Lemma 11.1 bzw. Lemma 11.2 erhält man sofort
auch die folgenden asymptotischen Tests zum Niveau α für H : ϑ = ϑ0 , K : ϑ 6= ϑ0 :
1) Wald-Test : Mit Wn : = n d>
n (ϑ0 )I(ϑ̂n )dn (ϑ0 ) ,

 1 ,
>
(11.3) ϕ(x
e 1 , . . . , xn ) =
Wn
χ2k;1−α ;
 0 ,
≤
Mit Vn : = naTn (ϑ0 )I −1 (ϑ0 )an (ϑ0 ) ,

 1 ,
>
≈
ϕ (x1 , . . . , xn ) =
Vn
χ2k;1−α .
 0 ,
≤
2) Rao-Test :
(11.4)
55
Die Tests (11.1”) , (11.3) , (11.4) halten alle unter ϑ = ϑ0 asymptotisch das Niveau α
ein .
Sie sind sogar äquivalent unter (so genannten)
lokalen Alternativen “ , d.h. unter
”
ϑn ∈ K der Form
1
ϑn = ϑ0 + √ ∆ , ∆ 6= 0
n
vgl. Serfling (1980, Ch. 4.4.3) , d.h. sie besitzen asymptotisch dieselbe Güte unter
ϑn ∈ K . Allerdings besitzt der asymptotische LQ-Test für n → ∞ und beliebiges
ϑ ∈ K beste Güte unter allen asymptotisch unverfälschten Tests zum Niveau α für
H : ϑ = ϑ0 , K : ϑ 6= ϑ0 vgl. Wilks (1962, Ch. 13.3-13.8) .
Die obigen Aussagen lassen sich wie folgt übertragen :
b) Zusammengesetzte Nullhypothese H : ϑ ∈ Θ0 ,
Θ0 k0 -dimensional , 1 ≤ k0 < k
Θ
k-dimensional
, K : ϑ ∈ Θc0 .
Hier ist der LQ-Test (11.1) äquivalent zu


>
 1 ,
e
(11.5) ϕ(x
e 1 , . . . , xn ) =
λn
e
c ,


0 ,
≤
wobei
en = − 2 log
λ
max L(x; ϑ) ϑ∈Θ0
max L(x; ϑ)
ϑ∈Θ
= 2 ln ϑ̂n − ln ϑ̂n,0 ,
ϑ̂n : ML-Schätzer unter ϑ ∈ Θ ,
ϑ̂n,0 : ML-Schätzer unter ϑ ∈ Θ0 .
Es lässt sich zeigen vgl. Serfling (1980, Ch. 4.4.4) :
D
2
(11.6) 2 ln ϑ̂n − ln ϑ̂n,0
−→ χ2 (n → ∞) mit Pϑχ = χ2k−k0
∀ ϑ ∈ Θ0 .
Damit erhält man den folgenden asymptotischen LQ-Test zum Niveau α für
H : ϑ ∈ Θ0 , K : ϑ ∈ Θc0 :


>
 1 ,
en
(11.7) ϕ(x
e 1 , . . . , xn ) =
λ
χ2k−k0 ;1−α .


0 ,
≤
56
Dieser Test ist ebenfalls optimal ( für n → ∞ ) unter allen asymptotisch unverfälschten
Tests zum Niveau α für H : ϑ ∈ Θ0 , K : ϑ ∈
/ Θ0 .
Beispiel 11.2. (Asymptotischer Homogenitätstest)
Seien X = (X1 , . . . , Xn ) , Y = (Y1 , . . . , Yn ) unabhängig ,
e , k-dimensional ,
Xi i.i.d. , PϑX11 = f1 (x1 ; ϑ1 ) µ1 -verteilt , ϑ1 ∈ Θ
e.
Yi i.i.d. , PϑY21 = f1 (y1 ; ϑ2 ) µ1 -verteilt , ϑ2 ∈ Θ
Man teste (asymptotisch) zum Niveau α die Hypothesen
H : ϑ1 = ϑ2 , K : ϑ1 6= ϑ2 .
Als gemeinsame Likelihoodfunktion ergibt sich :
L(x, y; ϑ1 , ϑ2 ) =
n
Y
f1 (xi ; ϑ1 )
i=1
n
Y
f1 (yi ; ϑ2 ) ,
i=1
e ×Θ
e , 2k-dimensional .
wobei (ϑ1 , ϑ2 ) ∈ Θ := Θ
Die Nullhypothese H ↔ Θ0 :=
e
(ϑ1 , ϑ1 ) : ϑ1 ∈ Θ
ist k-dimensional .
Als Teststatistik ergibt sich
en = 2 log L x, y; ϑ̂n,1 , ϑ̂n,2 − log L x, y; ϑ̂n,0 , ϑ̂n,0 ,
λ
wobei
ϑ̂n,1 , ϑ̂n,2
ϑ̂n,0 , ϑ̂n,0
ML-Schätzer für
ML-Schätzer für
ϑ1 , ϑ2 ∈ Θ ,
ϑ1 , ϑ1 ∈ Θ 0 .
Ergebnis : Asymptotischer Homogenitätstest zum Niveau α :


>
 1 ,
en
ϕ(x,
e y) =
λ
χ2k;1−α .


0 ,
≤
57