Signifikanztests in Normalverteilungsmodellen

Kapitel 3
Signifikanztests in
Normalverteilungsmodellen
3.1
χ2 -, t- und F-Verteilungen
• Chi-Quadrat-Verteilungen
¡
¢
Lebesgue-Dichte (λ
λ 1 -Dichte) der χ2n = Ga n2 , 12 - Verteilung (wobei n ∈ N) :
(
n
1
C x 2 −1 e− 2 x , falls x > 0
f (x) =
(x ∈ R) ,
0
, falls x ≤ 0
wobei C =
1
¡ ¢ .
2n/2 Γ n2
Lemma 3.1 (Generierung χ2 -verteilter ZV’en)
Seien X1 , . . . , Xn stochastisch unabhängige und identisch standard-normalverteilte reelle Zufallsvariablen (auf einem W-Raum (Ω, A, P) ). Dann gilt:
n
X
Xi2 ∼ χ2n .
i=1
• t-Verteilungen Lebesgue-Dichte (λ
λ 1 -Dichte) der tn - Verteilung (wobei n ∈ N) :
¡
¢
³
Γ n+1
x2 ´−(n+1)/2
2¡ ¢
f (x) = C 1 +
, (x ∈ R) , wobei C = √
.
n
nπ Γ n2
Lemma 3.2 (Generierung t-verteilter ZV’en)
Seien X ∼ N(0, 1) und Y ∼ χ2n stochastisch unabhängige reelle Zufallsvariablen (auf einem W-Raum
(Ω, A, P)). Dann gilt:
X
Z := q
∼ tn .
1
Y
n
Anmerkung: Es gilt P ( Y > 0 ) = 1; die Zufallsvariable Z ist hier nur auf der Menge {Y > 0} formuliert, und
man sollte sich irgend eine (messbare, reelle) Fortsetzung von Z auf ganz Ω denken. Wie diese Fortsetzung auch
immer gewählt wird, berührt nicht die Verteilung der Zufallsvariablen Z.
16
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
17
Zum Beweis von Lemma 3.2 ist das folgende Hilfsresultat nützlich.
Lemma 3.3 (Hilfsresultat)
Seien X und Y zwei stochastisch unabhängige Zufallsvariablen auf einem W-Raum (Ω, A, P),
X : (Ω, A) −→ (M1 , A1 ) ,
Y : (Ω, A) −→ (M2 , A2 ) ,
und sei G : (M1 × M2 , A1 ⊗ A2 ) −→ (M, A) eine (messbare) Abbildung,
wobei (Mi , Ai ), i = 1, 2, und (M, A) Messräume sind.
Betrachte die (neue) Zufallsvariable Z := G ◦ (X, Y ) : (Ω, A) −→ (M, A) .
Sei µ ein sigma-endliches Maß auf (M, A), und es gelte:
¡
¢
Für jedes y ∈ M2 ist die Verteilung der Zufallsvariablen Ω 3 ω 7−→ G X(ω), y ∈ M gegeben
durch gy · µ , und die Familie der µ-Dichten (gy )y∈M2 ist produkt-messbar, (d.h. die Funktion
M × M2 3 (z, y) 7−→ gy (z) ist messbar bezgl. A ⊗ A2 und B1 ) .
Z
Dann gilt:
Z ∼ f · µ mit f (z) :=
gy (z) dPY (y) , z ∈ M .
M2
Zum Beweis: Verifiziere:
R
A
f (z) dµ(z) = PG◦(X,Y ) (A) ∀ A ∈ A .
• F-Verteilungen Lebesgue-Dichte (λ
λ 1 -Dichte) der Fm,n -Verteilung (wobei m, n ∈ N) :
¡
f (x) = C · x(m/2)−1 1 +
¢−(m+n)/2
m
nx
∀ x ≤ 0,
¡ m ¢m/2 ± ¡ m
B 2 ,
wobei C := n
∀ x > 0,
f (x) = 0
n
2
¢
.
Wiederum mit dem Hilfsresultat (Lemma 3.3) lässt sich zeigen:
Lemma 3.4 (Generierung F-verteilter ZV’en)
Seien X und Y stochastische unabhängige reelle Zufallsvariablen (auf einem W-Raum (Ω, A, P) ) mit
X ∼ χ2m und Y ∼ χ2n . Dann gilt:
Z :=
1
m
1
n
X
n X
=
∼ Fm,n
m Y
Y
Anmerkung: Es gilt P ( Y > 0 ) = 1; die Bemerkung in Lemma 3.2 überträgt sich sinngemäß.
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
3.2
Lineare und quadratische Statistiken normalverteilter Zufallsvariablen
In diesem Abschnitt bezeichne X eine Rn -wertige normalverteilte Zufallsvariable:
X ∼ N(b, V ) ,
mit b ∈ Rn und V n × n p.d.
Die Vektoren seien hier als Spaltenvektoren geschrieben, (da etwas Matrizenrechnung verwendet wird).
Lemma 3.5 (Stoch. Unabhängigkeit linearer Statistiken in X)
Seien Ai reelle mi × n Matrizen, i = 1, . . . , r. Die folgenden beiden Bedingungen (i) und (ii) sind
äquivalent.
(i) Die Zufallsvariablen A1 X , . . . , Ar X sind stochastisch unabhängig.
(ii) Ai V Atj = 0 ∀ i 6= j (i, j = 1, . . . , r) .
Korollar 3.6 (Stoch. Unabhängigkeit quadratischer Statistiken in X)
Seien C 1 , . . . , C r positiv semi-definite n × n Matrizen mit C i V C j = 0 ∀ i 6= j (i, j = 1, . . . , r) .
Dann sind die (reellen) Zufallsvariablen X t C 1 X , . . . , X t C r X stochastisch unabhängig.
Lemma 3.7 (χ2 -verteilte quadratische Statistik in X)
Sei C eine positiv semi-definite n × n Matrix mit
m := Rang(C) ≥ 1 ,
Cb = 0 und CV C = C .
Dann gilt: X t CX ∼ χ2m .
Beispiel: (Interessant für lineares Normalverteilungsmodell)
Betrachte den Spezialfall: b = Bβ , V = σ 2 I n , also
X ∼ N(Bβ, σ 2 I n ) ,
wobei B eine n × k Matrix mit Rang(B) = k , β ∈ Rk und σ 2 > 0 gegeben seien, und es sei n > k .
Bezeichne: Q = B(B t B)−1 B t , (symmetrische n × n Matrix ; orthogonaler Projektor auf Bild(B) ).
Mit Lemma 3.5 und Lemma 3.7 erhält man:
Die beiden Zufallsvariablen B t X und (I n − Q)X sind stoch. unabhängig.
Die beiden Zufallsvariablen B t X und RSS := X t (I n − Q)X sind stoch. unabhängig.
1
RSS ∼ χ2n−k .
σ2
18
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
3.3
19
Lineares Normalverteilungsmodell
In diesem Abschnitt sei ein lineares Normalverteilungsmodell zu Grunde gelegt:
³
´
¡
¢
Rn , B n , N(Bβ , σ 2 I n ) (β,σ)∈Rk ×(0 , ∞) ,
wobei B eine gegebene n × k Matrix mit Rang(B) = k , und n > k .
3.3.1
Einseitige und zweiseitige t-Tests
Seien noch c ∈ Rk , c 6= 0 und c0 ∈ R gegeben. Wir betrachten die folgenden Testprobleme:
(TP1)
H0 : ct β ≤ c0
gegen H1 : ct β > c0 ;
(TP2)
H0 : ct β ≥ c0
gegen H1 : ct β < c0 ;
(TP3)
H0 : ct β = c0
gegen H1 : ct β 6= c0 .
Die Testprobleme (TP1) und (TP2) nennt man einseitige Testprobleme (über die Linearkombination ct β =
Pk
t
j=1 cj βj ), das Testproblem (TP3) ein zweiseitiges Testproblem (über die Linearkombination c β). Diese
Sprechweisen wie auch die etwas laxe Formulierung der Hypothesen der Testprobleme sollte aber nicht darüber
hinwegtäuschen, dass auch der Varianzparameter σ 2 im Parameterbereich Θ und in den jeweiligen Teilmengen
Θ0 und Θ1 der Testprobleme präsent ist. Z.B. für Testproblem (TP1) :
©
ª
©
ª
Θ0 = (β, σ 2 ) ∈ Rk ×(0 , ∞) : ct β ≤ c0 , Θ1 = (β, σ 2 ) ∈ Rk ×(0 , ∞) : ct β > c0 .
Die standardmäßig verwendeten α-Signifikanztests für die drei Testprobleme (sog. t-Tests, s. unten) lassen sich durch das folgende Resultat erklären (zumindest ihre Eigenschaft, tatsächlich αSignifikanztests zu sein).
Lemma 3.8
Bezeichne
wobei
q
1
b
β(x)
= (B t B)−1 B t x und s(x) =
(x ∈ Rn ) ,
n−k RSS(x) ,
¡
¢
RSS(x) = xt I n − Q x (Residual Sum of Squares) mit Q := B(B t B)−1 B t .
Definiere die Statistik T : (Rn , B n ) −→ (R, B1 ) durch
T (x) :=
b
ct β(x)
− c0
p
,
t
s(x) c (B t B)−1 c
Dann gilt, für jedes β ∈ Rk und jedes σ > 0 :
 st


 ≤
£
¤
T
2
=
N(Bβ , σ I n )


 st
≥
tn−k ,
x ∈ Rn .
≤
falls c β = c0 ,
≥
t
(dabei steht tn−k für die tn−k -Verteilung).
Anmerkung: Streng genommen haben wir T nur auf der Menge {s > 0} definiert. Man wähle irgend eine
messbare (reelle) Fortsetzung auf ganz Rn . Wie diese gewählt wird berührt nicht die Verteilungen von T , da
{s = 0} = Bild(B) eine λλn -Nullmenge ist.
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
Theorem 3.9 (t-Tests)
Mit der in Lemma 3.8 definierten Statistik T sind α-Signifikanztests für die Testprobleme (TP1),
(TP2) und (TP3) gegeben durch:
½
1
>
(TP1) H0 : ct β ≤ c0 gg. H1 : ct β > c0
ϕ∗1 (x) :=
, falls T (x)
F −1 (1 − α) ;
0
≤ tn−k
½
1
<
∗
t
t
(TP2) H0 : c β ≥ c0 gg. H1 : c β < c0
ϕ2 (x) :=
(1 − α) ;
, falls T (x)
− Ft−1
n−k
0
≥
½
¯
¯ >
1
∗
t
t
(TP3) H0 : c β = c0 gg. H1 : c β 6= c0
ϕ3 (x) :=
, falls ¯T (x)¯
F −1 (1 − α2 ) .
0
≤ tn−k
Dabei bezeichnet Ftn−k die Verteilungsfunktion der tn−k -Verteilung und Ft−1
ihre Umkehrfunktion.
n−k
Bemerkung: P-Value-Darstellungen der t-Tests
Die P-Value-Darstellungen der Tests von Theorem 3.9 lauten:
½
¡
¢ <
1
∗
, falls 1 − Ftn−k T (x)
α;
ϕ1 (x) =
0
≥
½
¡
¢ <
1
ϕ∗2 (x) =
, falls Ftn−k T (x)
α;
0
≥
½
£
¡
¢¤ <
1
∗
ϕ3 (x) =
, falls 2 1 − Ftn−k |T (x)|
α.
0
≥
Bemerkung: Optimalität der t-Tests
Die drei genannten t-Tests lassen sich in einer etwas kleineren Menge als der Menge aller α-Signifikanztests
(zum jeweiligen Testproblem) als gleichmäßig optimal nachweisen, nämlich in der Menge aller unverfälschten
(engl.
unbiased) α-Signifikanztests
(zum jeweiligen Testproblem). Allgemein, für irgend ein statistisches Modell
³
´
¡ ¢
M, A, Pϑ ϑ∈Θ und irgend ein Testproblem,
H0 : ϑ ∈ Θ 0
gegen H1 : ϑ ∈ Θ1 ,
nennt man einen α-Signifikanztest ϕ unverfälscht, wenn gilt:
¡ ¢
Eϑ ϕ ≥ α ∀ ϑ ∈ Θ1 .
Ein gleichmäßig optimaler unverfälschter α-Signifikanztests ϕ∗ , (engl. Uniformly Most Powerful Unbiased levelα test, abgekürzt: UMPU level-α test), ist ein unverfälschter α-Signifikanztest mit der Eigenschaft, dass für
jeden anderen unverfälschten α-Signifikanztest ϕ gilt:
¡ ¢
¡ ¢
Eϑ ϕ∗ ≥ Eϑ ϕ ∀ ϑ ∈ Θ1 .
Die t-Tests von Theorem 3.9 sind gleichmäßig optimale unverfälschte α-Signifikanztests für das jeweilige Testproblem (TP1), (TP2) oder (TP3).
Spezialfälle:
(1) t-Tests für eine einzelne Komponente von β.
Betrachte im linearen Normalverteilungsmodell spezieller die folgenden Testprobleme über die Komponente βj0 , (für ein gegebenes j0 ∈ {1, . . . , k}), des Parametervektors β = (β1 , . . . , βk )t .
(TP1-j0 )
H0 : βj0 ≤ 0 gegen H1 : βj0 > 0 ;
(TP2-j0 )
H0 : βj0 ≥ 0 gegen H1 : βj0 < 0 ;
(TP3-j0 )
H0 : βj0 = 0
gegen H1 : βj0 6= 0 .
20
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
21
Diese sind offensichtlich Testprobleme (TP1), (TP2), (TP3) von oben mit
c = ej0 ( = j0 -ter Einheitsvektor in Rk )
und c0 = 0 .
Die Statistik T der t-Tests gemäß Theorem 3.9 :
T (x) =
βbj0 (x)
,
√
s(x) wj0 j0
wobei
¡
¢−1
b
βbj0 (x) = j0 -te Komponente von β(x)
, wj0 j0 = Diagonaleintrag Nr. (j0 , j0 ) von B t B
.
(2) Regressionsgerade und t-Tests für den Steigungsparameter
Im Regressionsmodell y(t) = c + at , (t eine reelle Einflussgröße, y eine reelle Zielgröße), werden
zu gegebenen t-Werten t1 , . . ¡. , tn die ¢Werte y1 , . . . , yn der Zielgröße beobachtet, die als Werte von
stochastisch unabhängigen, N y(ti ), σ 2 -verteilten Zufallsvariablen Y1 , . . . , Yn aufgefasst werden. Dabei
sei n > 2, und die Werte t1 , . . . , tn seien nicht alle identisch. Die Parameter sind c, a ∈ R und σ > 0.
Das statistische Modell ist das spezielle lineare Normalverteilungsmodell mit


1 t1
 1 t2 


k=2, B =  . .  .
 .. .. 
1 tn
Interessant sind die folgenden Testprobleme über den Steigungsparameter a:
(TP1-slope)
H0 : a ≤ 0 gegen H1 : a > 0 ;
(TP2-slope)
H0 : a ≥ 0 gegen H1 : a < 0 ;
(TP3-slope)
H0 : a = 0
gegen H1 : a 6= 0 .
Mit Bezeichnung y = (y1 , . . . , yn )t anstatt x und den Abkürzungen
v
u n
n
q
X
u1 X
2
1
1
t
(t
−
(t
−
t)
,
s
=
t)(y
−
y)
,
s(y)
=
st =
i
ty
i
i
n
n
n−2 RSS(y) ,
i=1
i=1
lautet die Teststatistik T von Theorem 3.9
T (y) =
√
n
sty
.
s(y) st
(3) Modell mit u.i.v. normalverteilten reellen ZV’en
Dies ist der Spezialfall des linearen Normalverteilungsmodells mit k = 1 und B = 1n×1 . Interessant
sind hier die Testprobleme über den Erwartungswert β :
(TP1-mean)
H0 : β ≤ β0
gegen H1 : β > β0 ;
(TP2-mean)
H0 : β ≥ β0
gegen H1 : β < β0 ;
(TP3-mean)
H0 : β = β0
gegen H1 : β 6= β0 .
Dabei ist β0 ∈ R ein gegebener Wert. Diese Testprobleme sind Testprobleme (TP1), (TP2) und (TP3)
mit k = 1, c = 1, c0 = β0 . Die Teststatistik T von Theorem 3.9:
s
n
n
√ x − β0
1 P
1 P
T (x) = n
,
mit x = n
xi , s(x) = n−1
(xi − x)2 .
s(x)
i=1
i=1
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
22
(4) Zwei-Stichproben-Modell: Vergleich der Erwartungswerte
Modell: Stochastisch unabhängige reelle ZV’en X1 , . . . , Xn1 , Y1 , . . . , Yn2 mit
Xi ∼ N(β1 , σ 2 ) , (1 ≤ i ≤ n1 ) ,
Yj ∼ N(β2 , σ 2 ) , (1 ≤ j ≤ n2 ) ,
Parameter (β1 , β2 , σ) ∈ R2 × ( 0 , ∞).
Andere Modellformulierung:
³
´
¡
¢
Rn1 +n2 , B n1 +n2 , Pβ1 ,β2 ,σ (β1 ,β2 ,σ)∈R2 ×(0 , ∞) ,
n1
n2
wobei Pβ1 ,β2 ,σ = ⊗ N(β1 , σ 2 ) ⊗ ⊗ N(β2 , σ 2 ) = N(Bβ, σ 2 I n ) ,
·
B =
i=1
1n1 ×1 0n1 ×1
0n2 ×1 1n2 ×1
j=1
¸
,
µ
β =
β1
β2
¶
.
Interessant sind die Testprobleme H0 : β1 ≤ β2 gg. H1 : β1 > β2 (“einseitiges” TP) und H0 : β1 = β2
gg. H1 : β1 6= β2 (“zweiseitiges” TP). Das sind Testprobleme (TP1) und (TP3) mit c = ( 1, −1 )t
und c0 = 0 . Für die Teststatistik T gemäß Theorem 3.9 ergibt sich:
q
x−y
n1 n2
T (x, y) =
x = (x1 , . . . , xn1 ) , y = (y1 , . . . , yn2 ) , wobei
n1 +n2 s(x, y) ,
³P
´
n1
n2
n1
n2
P
P
P
x =
xi , y =
yj , s2 (x, y) = n1 +n1 2 −2
(xi − x)2 +
(yj − y)2 .
i=1
3.3.2
j=1
i=1
j=1
F-Tests für lineare Hypothesen
Sei C eine gegebene k × r Matrix mit Rang(C) = r und c0 ∈ Rr ein gegebener Vektor. Wir betrachten
das Testproblem, (“Testen einer linearen Nullhypothese”),
H0 : C t β = c0
(TP-lin)
gegen H1 : C t β 6= c0 .
Betrachte die quadratische Statistik auf Rn :
¢
¢t ¡
¢−1 ¡ t
¡
b
b
C β(x)
− c0 ,
q(x) := C t β(x)
− c0 C t (B t B)−1 C
b
wobei wie üblich β(x)
= (B t B)−1 B t x , sowie
RSS(x)
=
xt (I n − Q)x
s2 (x)
=
1
n−k RSS(x)
mit Q = B(B t B)−1 B t ,
.
Lemma 3.10 (Verteilungseigenschaften von RSS und q)
Sei (β, σ) irgendein Parameterpunkt. Dann gilt unter der Verteilung N(Bβ, σ 2 I n ) :
RSS und q sind stochastisch unabhängig;
(
∼
=
2
1
1
RSS
∼
χ
und
q
χ2r , falls C t β
c0 ;
st
2
2
n−k
σ
σ
6=
≥
1 q
r s2
(
∼
st
≥
Fr,n−k , falls C t β
=
c0 .
6
=
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
23
Theorem 3.11 (F-Test für eine lineare Hypothese)
Ein unverfälschter α-Signifikanztest für das Testproblem
H0 : C t β = c0
(TP-lin)
ist gegeben durch:
(
ϕ(x) =
1
0
, falls
1
r
gegen H1 : C t β 6= c0
±
>
q(x) s2 (x)
fr,n−k, 1−α ,
≤
wobei fr,n−k, 1−α das (1 − α)-Quantil der Fr,n−k -Verteilung bezeichnet.
Beispiel k-Stichproben-Modell: Vergleich der Erwartungswerte
k-Stichproben-Normalverteilungsmodell:
Stoch. unabhängige reelle ZV’en Xi,j ∼ N(βi , σ 2 ) , j = 1, . . . , ni , i = 1, . . . , k ;
P
Parameter sind β1 , . . . , βk und σ ; k ≥ 2 und n1 , . . . , nk ∈ N gegeben, n := ki=1 ni .
Das Modell ist ein lineares Normalverteilungsmodell mit:



et1 

..



.  n1 -mal 





et1







t


β1
e2 





 β2 
..



.  n2 -mal 
B = 
,
β
=

 ..  ,

t




.
e2




..
βk


.



 et 



k 


..
n
-mal


k
. 

t
ek
(e1 , e2 , . . . , ek die elementaren Einheitsvektoren in Rk ) .
Interessant ist das Testproblem
H0 : β1 = β2 = . . . = βk
gegen H1 : ∃ i1 6= i2 mit βi1 6= βi2 .
Dies ist ein (TP-lin) , H0 : C t β = 0 gegen H1 : C t β 6= 0 , wenn C eine k × (k − 1) Matrix ist,
deren Spalten eine Basis des Orthogonalraums zu {1k } bilden. Mathematisch vorteilhaft ist die Wahl
von C so, dass die Spalten von C eine Orthonormalbasis von {1k }⊥ bilden. Dann gilt:
und CC t = E k := I k − k1 1k 1tk .
C t C = I k−1
¡
¢t
Man erhält, wobei x = x1,1 , x1,2 , . . . , . . . , xk,nk ∈ Rn (die Beobachtung) :
B t B = diag(ν) ,
¢t
¡
b
β(x)
= x1· , x2· , . . . , xk·
¡
¢t
wobei ν := n1 , n2 , . . . , nk ;
mit xi· :=
ni
1 X
xi,j (i = 1, . . . , k);
ni
j=1
RSS(x) =
ni
k X
X
(xi,j − xi· )2 ,
i=1 j=1
s2 (x) =
1
n−k
RSS(x) ;
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
¡ t t −1 ¢−1
¡
¢
C (B B) C
= C t diag(ν) − n1 νν t C ,
q(x) =
k
X
24
¡
¢−1 t
C C t (B t B)−1 C
C = diag(ν) − n1 νν t ;
k
ni (xi· − x·· )2 ,
wobei x·· :=
i=1
n
i
1 XX
xi,j .
n
i=1 j=1
Die F-Statistik gemäß Theorem 3.11 für obiges Testproblem also:
k
P
ni (xi· − x·· )2
n−k
i=1
.
· k n
k−1 P
Pi
2
(xi,j − xi· )
i=1 j=1
3.3.3
Chi-Quadrat-Tests für den Varianzparameter
Wir betrachten die folgenden ein- und zweiseitigen Testprobleme über den Varianzparameter σ 2 des
linearen Normalverteilungsmodells X ∼ N(Bβ, σ 2 I n ) :
(TP1)
H0 : σ 2 ≤ σ02
gegen H1 : σ 2 > σ02 ;
(TP2)
H0 : σ 2 ≥ σ02
gegen H1 : σ 2 < σ02 ;
(TP3)
H0 : σ 2 = σ02
gegen H1 : σ 2 6= σ02 .
Dabei ist σ0 > 0 ein gegebener Wert.
Wiederum sollten die etwas laxen (aber griffigen) Formulierungen der Testprobleme nicht darüber hinwegtäuschen,
dass der Parameterbereich (k + 1) dimensional ist, Θ = Rk × ( 0 , ∞) , und die Teilmengen Θ0 und Θ1 des jeweiligen Testproblems aus Punkten (β, σ) bestehen, z.B. für (TP3):
©
ª
©
ª
Θ0 = (β, σ0 ) : β ∈ Rk
und Θ1 = (β, σ) : β ∈ Rk , σ ∈ ( 0 , ∞) \ {σ0 } .
Als Teststatistik betrachten wir
1
RSS(x) ,
σ02
x ∈ Rn .
Für die Verteilung dieser Statistik unter N(Bβ, σ 2 ) gilt nach Lemma 3.10 :
 st


≤
 ≤
1
2
2
∼ χn−k , falls σ = σ02 .
RSS

σ02

 st
≥
≥
Theorem 3.12 (Ein- und zweiseitige χ2 -Tests)
α-Signifikanztests für die Testprobleme
½
1
(TP1)
ϕ∗1 (x) :=
0
½
1
(TP2)
ϕ∗2 (x) :=
0
½
1
(TP3)
ϕ∗3 (x) :=
0
Dabei bezeichnet Fχ2
n−k
(TP1), (TP2) und (TP3) sind gegeben durch:
, falls
1
>
RSS(x)
F −1 (1 − α) ;
≤ χ2n−k
σ02
, falls
1
<
RSS(x)
F −1 (α);
≥ χ2n−k
σ02
, falls
1
RSS(x)
σ02
6∈
∈
£
¤
(1 − α2 ) .
Fχ−1
( α2 ) , Fχ−1
2
2
n−k
n−k
die Verteilungsfunktion der χ2n−k -Verteilung und Fχ−1
2
n−k
ihre Umkehrfunktion.
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
25
Bemerkung: Optimalität der χ2 -Tests
Die Tests ϕ∗1 und ϕ∗2 sind gleichmäßig optimale unverfälschte α-Signifikanztests für (TP1) bzw. (TP2). Für (TP3)
existiert ein gleichmäßig optimaler unverfälschter α-Signifikanztest, aber der in Theorem 3.12 angegebene αSignifikanztest ϕ∗3 weicht von diesem etwas ab. Der UMPU level-α Test für (TP3) verwendet nicht die α2 - und
(1 − α2 )-Quantile der χ2n−k -Verteilung als Intervallgrenzen (kritische Werte) für die Teststatistik, sondern etwas
andere Werte c1 und c2 , 0 < c1 < c2 , nämlich die Lösungen des Gleichungssystems
Z c2
Fχ2n−k (c2 ) − Fχ2n−k (c1 ) = 1 − α ,
z fχ2n−k (z) dz = (n − k) (1 − α) ,
c1
wobei fχ2n−k die Lebesgue-Dichte der χ2n−k -Verteilung bezeichnet.
3.4
F-Tests zum Vergleich zweier Varianzparameter
Wir betrachten das Zwei-Stichproben-Normalverteilungsmodell mit evtl. verschiedenen Varianzen in
den beiden Stichproben:
X1 , . . . , Xn1 , Y1 , . . . , Yn2 , stoch. unabhängig, n1 ≥ 2, n2 ≥ 2, n := n1 + n2 ,
Xi ∼ N(β1 , σ12 ) , (1 ≤ i ≤ n1 ) ,
(β1 , β2 , σ1 , σ2 ) ∈ R2 ×(0 , ∞)2
Yj ∼ N(β2 , σ22 ) , (1 ≤ j ≤ n2 ) ,
der Parameter.
n1
n2
i=1
j=1
Die Verteilungen des Modells sind: Pϑ = ⊗ N(β1 , σ12 ) ⊗ ⊗ N(β2 , σ22 ) , ϑ = (β1 , β2 , σ1 , σ2 ).
Wir betrachten die folgenden beiden Testprobleme:
(TP1)
H0 : σ12 ≤ σ22
gegen H1 : σ12 > σ22 ;
(TP3)
H0 : σ12 = σ22
gegen H1 : σ12 6= σ22 .
Eine naheliegende Teststatistik ist der Quotient der empirischen Varianzen :
T (x, y) =
s21 (x)
,
s22 (y)
wobei s21 (x) :=
x = (x1 , . . . , xn1 ) ∈ Rn1 , y = (y1 , . . . , yn2 ) ∈ Rn2 ,
1
n1 −1
n1
X
(xi − x)2
und s22 (y) :=
1
n2 −1
i=1
n2
X
(yj − y)2 .
j=1
Lemma 3.13
Für die Verteilung der Statistik T unter Pϑ für einen Parameterpunkt ϑ = (β1 , β2 , σ12 , σ2 ), gilt:
(σ22 /σ12 ) · T ∼ Fn1 −1,n2 −1
und folglich:
 st


 ≤
∼
T


 st
≥
(F-Verteilung mit Freiheitsgraden n1 − 1, n2 − 1) ,
Fn1 −1,n2 −1 , falls
σ12
≤
= σ22 .
≥
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
26
Theorem 3.14 (Ein- und zweiseitige F-Tests)
Mit obiger Statistik T (x, y) = s21 (x)/s22 (y) , (x, y) ∈ Rn1 × Rn2 , sind α-Signifikanztests für die Testprobleme (TP1) und (TP3) gegeben durch:
½
1
>
(TP1) H0 : σ12 ≤ σ22 gg. H1 : σ12 > σ22
ϕ∗1 (x, y) :=
, falls T (x, y)
f
;
0
≤ n1 −1,n2 −1,1−α
(TP3) H0 : σ12 = σ22 gg. H1 : σ12 6= σ22
½
ϕ∗3 (x, y)
:=
1
0
, falls T (x, y)
¤
6∈ £
fn1 −1,n2 −1, α2 , fn1 −1,n2 −1,1− α2 .
∈
Dabei bezeichnet fn1 −1,n2 −1, p das p-Quantil der Fn1 −1,n2 −1 -Verteilung.
Bemerkung: Optimalität der F-Tests
Der Test ϕ∗1 ist ein gleichmäßig optimaler unverfälschter α-Signifikanztests für (TP1). Für (TP3) existiert ein
gleichmäßig optimaler unverfälschter α-Signifikanztest, aber der in Theorem 3.14 angegebene α-Signifikanztest
ϕ∗3 weicht von diesem etwas ab. Der UMPU level-α Test für (TP3) verwendet nicht die α2 - und (1 − α2 )-Quantile
von Fn1 −1,n2 −1 als Intervallgrenzen (kritische Werte) für die Statistik T , sondern etwas andere Werte c1 und
c2 , 0 < c1 < c2 , nämlich die Lösungen des folgenden Gleichungssystems:
Z c2
Z ∞
Fn1 −1,n2 −1 (c2 ) − Fn1 −1,n2 −1 (c1 ) = 1 − α ,
z fn1 −1,n2 −1 (z) dz = (1 − α)
z fn1 −1,n2 −1 (z) dz ,
c1
0
wobei Fn1 −1,n2 −1 und fn1 −1,n2 −1 die Verteilungsfunktion und die Lebesgue-Dichte der Fn1 −1,n2 −1 -Verteilung
bezeichnen.
3.5
t-Tests für die Korrelation im bivariaten Normalverteilungsmodell
Wir betrachten das Modell mit n ≥ 3 u.i.v. R2 -wertigen, normal-verteilten Zufallsvariablen, wobei der
(zwei-dim.) Erwartungswert und die (positiv definite 2 × 2) Kovarianzmatrix die Parameter sind:
µ
¶
Xi
∼ N(β, V ) (1 ≤ i ≤ n) u.i.v. ,
Yi
· 2
¸
³
´
σ1 κ
β1
2
∈ PD(2) .
β = β
∈R , V =
2
κ σ22
Wir haben den fünf-dimensionalen Parameter ϑ = (β1 , β2 , σ1 , σ2 , κ), und den Parameterbereich
©
ª
Θ = ϑ = (β1 , β2 , σ1 , σ2 , κ) : β1 , β2 ∈ R , σ1 , σ2 ∈ ( 0 , ∞) , κ ∈ R , σ12 σ22 − κ2 > 0 .
Im Folgenden fassen wir die (insgesamt 2n) reellen ZV’en so zusammen:
X = (X1 , . . . , Xn )t
Das Modell schreibt sich dann so:
µ
¶
µµ
¶ µ 2
σ1 I n
X
β1 1n
∼ N
,
Y
β 1
2 n
κI n
und Y = (Y1 , . . . , Yn )t .
κI n
σ22 I n
¶¶
=: Pϑ , ϑ = (β1 , β2 , σ1 , σ2 , κ).
Wir betrachten den Korrelationskoeffizienten
ρ = ρ(ϑ) =
κ
.
σ1 σ2
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
27
und die Testprobleme:
(TP1)
H0 : ρ ≤ 0 gegen H1 : ρ > 0 ;
(TP2)
H0 : ρ ≥ 0 gegen H1 : ρ < 0 ;
(TP3)
H0 : ρ = 0
gegen H1 : ρ 6= 0 .
Bei diesen Formulierungen darf wiederum nicht vergessen werden, dass der Parameterbereich Θ fünf-dimensional
ist, und die Hypothesen des jeweiligen Testproblems natürlich Teilmengen von Θ beinhalten (eine disjunkte
Zerlegung von Θ), z.B. für (TP1):
©
ª
Θ0 = ϑ = (β1 , β2 , σ1 , σ2 , κ) ∈ Θ : ρ(ϑ) ≤ 0
und Θ1 = Θ \ Θ0 .
Eine naheliegende Teststatistik ist der der empirische Korrelationskoeffizient:
n
X
κ
b(x, y)
, wobei κ
b(x, y) = n1
(xi − x)(yi − y)
σ
b1 (x) σ
b2 (y)
i=1
v
v
u
u
n
n
u1 X
u1 X
2
t
t
(xi − x) , σ
(yi − y)2 .
und σ
b1 (x) =
b2 (y) =
n
n
ρb(x, y) =
i=1
i=1
Traditionell nimmt man als Teststatistik aber eine gewisse monotone Transformation der empirischen
Korrelation (um Formulierungen der Tests als t-Tests zu erhalten). Definiere
hn : ( −1 , 1 ) −→ R ,
hn (u) =
√
u
n−2√
.
1 − u2
und als Teststatistik:
√
√
¡
¢
ρb(x, y)
κ
b(x, y)
T (x, y) := hn ρb(x, y) = n − 2 p
= n−2p 2
.
2
1 − ρb (x, y)
σ
b1 (x) σ
b22 (y) − κ
b2 (x, y)
Lemma 3.15
Für die Verteilung der Statistik T unter Pϑ für einen Parameterpunkt ϑ = (β1 , β2 , σ1 , σ2 , κ) , gilt:
 st


≤
 ≤
∼ tn−2 , falls ρ(ϑ) = 0 ,
T


 st
≥
≥
wobei tn−2 die t-verteilung mit n − 2 Freiheitsgraden bezeichnet.
Norbert Gaffke: Vorlesung “Mathematische Statistik”, Wintersemester 2010/11
Kapitel 3: Signifikanztests in Normalverteilungsmodellen
28
Theorem 3.16 (Ein- und zweiseitige t-Tests für die Korrelation)
Mit der Statistik
T (x, y) =
√
n−2 p
κ
b(x, y)
b22 (y) − κ
b2 (x, y)
σ
b12 (x) σ
sind unverfälschte α-Signifikanztests für die Testprobleme
½
1
∗
(TP1) H0 : ρ ≤ 0 gg. H1 : ρ > 0
ϕ1 (x, y) =
0
½
1
(TP2) H0 : ρ ≥ 0 gg. H1 : ρ < 0
ϕ∗2 (x, y) =
0
½
1
(TP3) H0 : ρ = 0 gg. H1 : ρ 6= 0
ϕ∗3 (x, y) =
0
,
x, y ∈ Rn ,
(TP1), (TP2) und (TP3) gegeben durch:
, falls T (x, y)
>
F −1 (1 − α) ;
≤ tn−2
, falls T (x, y)
<
≥
− Ft−1
(1 − α) ;
n−2
¯
¯ >
, falls ¯ T (x, y) ¯
F −1 (1 − α2 ) .
≤ tn−2
Dabei bezeichnet Ftn−2 die Verteilungsfunktion der tn−2 -Verteilung und Ft−1
ihre Umkehrfunktion.
n−2
Bemerkung: Optimalität der t-Tests
Die Tests ϕ∗1 , ϕ∗2 und ϕ∗3 sind gleichmäßig optimale unverfälschte α-Signifikanztests für (TP1), (TP2) und (TP3).
Bemerkung: Formale Übereinstimmung der t-Tests von Theorem 3.16
mit den t-Tests von Abschnitt 3.3.1 für die Steigung einer Regressionsgeraden
Für das Normalverteilungsmodell der Regressionsgeraden wurden in Abschnitt 3.3.1 t-Tests für drei Testprobleme über den Steigungsparameter angegeben; die kritische Werte waren dieselben Quantile der tn−2 -Verteilung
wie in Theorem 3.16, und die Teststatistik war gegeben durch
T (y) =
sty
√
n
sty
,
s(y) st
wobei
n
X
= n1
(ti − t) (yi − y),
v
u n
u X
st = t n1
(ti − t)2 ,
i=1
q
s(y) =
1
n−2
RSS(y) .
i=1
Durch längliche Rechnung verifiziert man:
T (y) =
√
n−2 q
sty
s2t σ
b22 (y) − s2ty
,
v
u n
u1 X
(yi − y)2 .
wobei σ
b2 (y) := t
n i=1
Wenn wir also statt t = (t1 , . . . , tn ) schreiben x = (x1 , . . . , xn )t , dann ist T (y) formal identisch mit T (x, y)
von Theorem 3.16. Mit anderen Worten: Die t-Tests von Abschnitt 3.3.1 (Regressionsgerade) sind formal dieselben wie die von Theorem 3.16, obwohl zwei unterschiedliche Normalverteilungsmodelle (und unterschiedliche
Testprobleme) zu Grunde liegen.