Biostatistik, Winter 2011/12 - Nichtparametrische - staff.uni

Biostatistik, Winter 2011/12
Nichtparametrische Statistik: Mediantest, Rangsummentest,
χ2 -Test
Prof. Dr. Achim Klenke
http://www.aklenke.de
12. Vorlesung: 03.02.2012
1/37
Inhalt
1
Nichtparametrische Lagetests
Der Mediantest
Wilcoxon Rangsummentest
2
χ2 -Test
χ2 -Test
χ2 -Test auf Unabhängigkeit
2/37
Nichtparametrische Lagetests
Der Mediantest
Beispiel: Medikamententest
Bei der Behandlung mit dem etablierten Herzmedikament XY“
”
lebt die Hälfte der Patienten noch acht Jahre oder länger.
Bei einem neuen Medikament wurde in einer Langzeitstudie an
20 Patienten festgestellt, wie lange die Patienten noch leben:
Patient Nr.
1 2 3 4 5 6 7 8 9 10
Lebensdauer xi 45 0 8 28 4 2 6 23 35 7
Patient Nr.
11 12 13 14 15 16 17 18 19 20
Lebensdauer xi 27 1 4 12 2 24 10 3 27 24
Ist das neue Medikament besser als das etablierte?
3/37
Nichtparametrische Lagetests
Der Mediantest
Beispiel: Medikamententest
Nullhypothese H0 :
Alternative H1 :
Formal:
Nullhypothese H0 :
Alternative H1 :
Neues Medikament gleich gut
oder schlechter.
Neues Medikament besser.
Lebensdauer bei neuem Medikaments hat einen Median von
höchstens 8 Jahren.
Lebensdauer bei neuem Medikaments hat einen Median von mehr
als 8 Jahren.
4/37
Nichtparametrische Lagetests
Der Mediantest
Beispiel: Medikamenentest
Sei T (x) die Anzahl der Werte xi mit xi ≥ 8. Unter H0 ist für
jedes i:
1
P[xi ≥ 8] = .
2
Also ist T (x) ∼ b20,0.5 .
Gilt H1 , so ist T (x) ∼ b20,p mit p > 0.5.
Große Werte von T (x) stützen H1 . Der p-Wert ist
20
X
p=
b20,0.5 (k).
k=T (x)
5/37
Nichtparametrische Lagetests
Der Mediantest
Beispiel: Medikamententest
Patient Nr.
1 2 3 4 5 6 7 8 9 10
Lebensdauer xi 45 0 8 28 4 2 6 23 35 7
Patient Nr.
11 12 13 14 15 16 17 18 19 20
Lebensdauer xi 27 1 4 12 2 24 10 3 27 24
Wir haben also
T (x) = 11
und
p=
20
X
b20,0.5 (k ) = 0.411.
k=11
Die Ergebnisse geben also keinen Hinweis darauf, dass das
neue Medikament besser als das etablierte wäre.
6/37
Nichtparametrische Lagetests
Der Mediantest
Theorie: Mediantest
Formale Problemstellung
Sei mP der bekannte Median einer gewissen Verteilung P (altes
Medikament) und mQ der Median der Verteilung Q (neues
Medikament).
Nullhypothese H0 : mP = mQ
Alternative H1 :
mQ < mP (linksseitig)
mQ > mP (rechtsseitig)
mP 6= mQ (beidseitig).
Zum Niveau α soll H0 gegen H1 getestet werden.
Daten: x1 , . . . , xn gezogen nach der Verteilung Q.
T (x) =Anzahl der Werte xi mit xi > mP .
7/37
Nichtparametrische Lagetests
Der Mediantest
Theorie: Mediantest
Linksseitige Alternative mQ < mP
p-Wert
T (x)
p=
X
k=0
bn,0.5 (k) ≈ 1 − Φ
n−1
2
− T (x)
p
n/4
!
.
Verwerfungsregel
H0 wird zum Niveau α verworfen, falls p ≤ α.
8/37
Nichtparametrische Lagetests
Der Mediantest
Theorie: Mediantest
Rechtsseitige Alternative: mQ > mP
p-Wert
p=
n
X
bn,0.5 (k) ≈ 1 − Φ
k=T (x)
T (x) − n+1
2
p
n/4
!
.
Verwerfungsregel
H0 wird zum Niveau α verworfen, falls p ≤ α.
9/37
Nichtparametrische Lagetests
Der Mediantest
Theorie: Mediantest
Beidseitige Alternative: mQ 6= mP
p-Wert
T (x)
p=2
X
bn,0.5 (k)
falls T (x) < n/2
k=0
und
p=2
n
X
bn,0.5 (k) falls T (x) > n/2.
k=T (x)
"
In beiden Fällen gilt p ≈ 2 1 − Φ
!#
T (x) − n − 1
2
p 2
.
n/4
Verwerfungsregel
H0 wird zum Niveau α verworfen, falls p ≤ α.
10/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Beispiel: Hipparion Reloaded
Niemand sagt Ihnen, dass die Größen der Backenzähne
normalverteilt sind.
Was kann man ohne diese Annahme noch rechnen?
11/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Rangsummen
Gegeben zwei Stichproben x1 , x2 , . . . , xm und y1 , y2 , . . . , yn .
Setze
Ui = Rang von xi in den y1 , . . . , yn
= Anzahl der j mit yj < xi
und definiere die Rangsumme U(x, y ) =
m
X
Ui .
i=1
Beispiel mit m = 4 und n = 7
xi 4 1.3 5.1 2
yj 11 3 5 4.2 6.1 2.5 14
Wert
1.3 2 2.5 3 4 4.2 5 5.1 6.1 11 14
Rang Ui 0
0
2
4
Rangsumme U(x, y) = 0 + 0 + 2 + 4 = 6.
12/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Rangsummen
Idee
Entstammen die xi und yj der gleichen Verteilung (H0 ), so sollte
Ui ≈ n/2 sein und U ≈ mn
.
2
U(x, y) groß zeigt an, dass (xi ) tendenziell größer ist als (yj ).
U(x, y) klein zeigt an, dass (xi ) tendenziell kleiner ist als (yj ).
13/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Rangsummen
Die Verteilung Um,n von U(x, y) unter H0 ist tabelliert und heißt
Wilcoxon-U-Verteilung mit Parametern m und n. Für große m, n
ist
U(x, y) − mn
2
q
∼approx. N0,1 .
mn(m+n+1)
12
Also können wir das Quantil um,n;α durch das Quantil zα
approximativ ausrechnen:
r
mn
mn(m + n + 1)
um,n;α ≈
+
zα .
2
12
14/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Wilcoxon Rangsummentest
Die Theorie
Formale Problemstellung
Die Werte der Stichprobe x1 , . . . , xm sind unabhängig und nach
der Verteilung P gezogen.
Die Werte der Stichprobe y1 , . . . , yn sind unabhängig und nach
der Verteilung Q gezogen.
Nullhypothese H0 : P = Q
Alternative H1 :
Q tendenziell kleiner als P (linksseitig)
Q tendenziell größer als P (rechtsseitig)
Q 6= P (beidseitig)
15/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Wilcoxon Rangsummentest
Linksseitige Alternative: Q kleiner als P
Verwerfungsregel
Verwirf H0 zugunsten von H1 , falls
U(x, y) > um,n;1−α
mn
≈
+
2
r
mn(m + n + 1)
z1−α .
12
p-Wert

U(x, y) −
p ≈ 1 − Φ q
mn
2
mn(m+n+1)
12

.
16/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Wilcoxon Rangsummentest
Rechtsseitige Alternative: Q größer als P
Verwerfungsregel
Verwirf H0 zugunsten von H1 , falls
U(x, y) < um,n;α
mn
≈
+
2
r
mn(m + n + 1)
zα .
12
p-Wert

U(x, y) −
p ≈ 1 − Φ − q
mn
2
mn(m+n+1)
12

.
17/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Wilcoxon Rangsummentest
Beidseitige Alternative: Q 6= P
Verwerfungsregel
Verwirf H0 zugunsten von H1 , falls
r
mn
mn(m + n + 1)
U(x, y ) > um,n;1−α/2 ≈
+
z1−α/2 .
2
12
r
mn
mn(m + n + 1)
oder U(x, y ) < um,n;α/2 ≈
−
z1−α/2 .
2
12
p-Wert


U(x, y) − mn
2 


p ≈2 1−Φ q
.
mn(m+n+1) 
12
18/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Beispiel: Hipparion Reloaded
Die Daten
Libycum
23
25
24
22
25
27
32.5
26
30
26
25
37
26
26
26
25.5
28.5
40
27
29
28.5
32
30
30.5
25.5
33
36
26.5
24
30
25
27
35
26
34
23
35
29
26
27
25
28.5
23
27
23
31
23
27
23.5
28
23
27
24
31
29
27
25
27.5
29
25
27
24
26.5
24.5
25
25
24
26
24
Africanum
30
24.5
27
26.5
24
23
26
24
19/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Beispiel: Hipparion Reloaded
Die Daten, U-Statistik
Libycum: m = 38 Zähne, Africanum: n = 39 Zähne.
Durch mühseliges Ausrechnen von Hand (oder mit dem
Computer) erhält man
U(Lib, Afr ) = 990.
Wir verwerfen die Nullhypothese Libycum=Africanum“ zum
”
Niveau 1% zugunsten der beidseitigen Alternative, falls
U > u38,39;0.995 = 992 oder U < u38,39;0.005 = 490 (Tabelle: T8).
Beides ist nicht der Fall, also wird die Nullhypothese zum
Niveau 1% nicht verworfen.
20/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Beispiel: Hipparion Reloaded
Die Daten, U-Statistik
m = 38, n = 39, U(Lib, Afr ) = 990.
p-Wert:



U(Lib, Afr ) − mn
2 


p ≈2 1−Φ q
mn(m+n+1)
12
990 − 741
√
=2 1−Φ
9633
= 2(1 − Φ(2.537)) ≈ 2(1 − 0.9943) = 0.0114.
21/37
Nichtparametrische Lagetests
Wilcoxon Rangsummentest
Beispiel: Hipparion Reloaded
Fazit
Der zweiseitige Wilcoxon Rangsummentest verwirft die
Nullhypothese, dass Hipparion Africanum und Libycum gleiche
mesiodistale Zahnlänge haben zum Niveau 1% nicht. Der
p-Wert beträgt p = 0.0114
22/37
χ2 -Test
χ2 -Test
χ2-Test
Das Grundproblem
Wir beobachten ein Merkmal in endlich vielen Ausprägungen
i = 1, . . . , k mit Häufigkeiten x1 , . . . , xk .
Gesamtzahl n = x1 + . . . + xk .
Nach einer Theorie sollte der Anteil von Typ i gleich pi sein, also
die absolute Häufigkeit etwa Ei = pi n.
Es soll ein Test zum Niveau α entwickelt werden, der diese
Theorie prüft.
23/37
χ2 -Test
χ2 -Test
χ2-Test
Teststatistik
Beobachtungen x1 , . . . , xk . Gesamtzahl n = x1 + . . . + xk .
Erwartete Häufigkeiten Ei = pi n.
Gewichtete quadratische Abweichungen als Teststatistik
k
X
(xi − Ei )2
T (x) =
.
Ei
i=1
Ist T (x) zu groß, so wird die Hypothese verworfen.
24/37
χ2 -Test
χ2 -Test
χ2-Test
Verwerfungsregel
Unter H0 ist T (x) chiquadrat-verteilt (χ2f ) mit f = k − 1
Freiheitsgraden.
Ist T (x) > χ2f ;1−α , so wird die Nullhypothese zum Niveau α
verworfen.
Der p-Wert ist
p = 1 − χ2f (T (x)).
25/37
χ2 -Test
χ2 -Test
Beispiel: Hardy-Weinberg Gesetz
Fragestellung
In einer sehr großen Population tritt an einem Locus das Gen A
mit Wahrscheinlichkeit p = 0.53 auf, das Gen a mit
Wahrscheinlichkeit 1 − p = 0.47. Nach dem Hardy-Weinberg
Gesetz sind die Anteile
AA
2
Aa
aa
2
p = 0.2809 2p(1 − p) = 0.4982 (1 − p) = 0.2209
In einer Teilpopulation der Größe n soll die Gültigkeit des
Hardy-Weinberg Gesetzes geprüft werden.
26/37
χ2 -Test
χ2 -Test
Beispiel: Hardy-Weinberg Gesetz
Der Test
Die Hypothese HW Gesetz gilt“ soll zum Niveau 1% geprüft
”
werden.
Es werden die Daten xAA , xAa und xaa mit Gesamtumfang
n = 10 000 erhoben. Teststatistik
T (x) =
(xAA − 2809)2 (xAa − 4982)2 (xaa − 2209)2
+
+
.
2809
4982
2209
Der Test verwirft, falls T (x) > χ22;0.99 = 9.21 (Tabelle T5).
27/37
χ2 -Test
χ2 -Test
Beispiel: Hardy-Weinberg Gesetz
Der Test, Daten und Durchführung
Beobachtungen:
AA
Aa
aa
2701 4852 2447
Teststatistik
(2701 − 2809)2 (4852 − 4982)2 (2447 − 2209)2
T (x) =
+
+
2809
4982
2209
= 33.187.
Der Test verwirft die Nullhypothese zum Niveau 1%, weil
T (x) = 33.187 > χ2;0.99 = 9.21.
p-Wert
p(x) = 1 − χ22 (33.187) = 6.2 10−8 .
28/37
χ2 -Test
χ2 -Test auf Unabhängigkeit
Der Kuhstärling ist ein Brutparasit des Oropendola.
N.G. Smith (1968) The advantage of being parasitized.
Nature, 219(5155):690-4
29/37
χ2 -Test
χ2 -Test auf Unabhängigkeit
Kuhstärling-Eier sehen Oropendola-Eiern meist sehr
ähnlich.
Normalerweise entfernen Oropendolas alles aus ihrem
Nest, was nicht genau nach ihren Eiern aussieht.
In einigen Gegenden sind Kuhstärling-Eier gut von
Oropendola-Eiern zu unterscheiden und werden trotzdem
nicht aus den Nestern entfernt.
Wieso?
Mögliche Erklärung: Junge Oropendolas sterben häufig am
Befall durch Dasselfliegenlarven.
Nester mit Kuhstärling-Eier sind möglicherweise besser vor
Dasselfliegenlarven geschützt.
30/37
χ2 -Test
χ2 -Test auf Unabhängigkeit
Anzahlen von Nestern, die von Dasselfliegenlarven befallen sind
1
2
Anzahl Kuhstärling-Eier 0
befallen
16 2
1
nicht befallen
2 11 16
Anzahl Kuhstärling-Eier
In Prozent:
befallen
nicht befallen
0
89%
11%
1
15%
85%
2
6%
94%
31/37
χ2 -Test
χ2 -Test auf Unabhängigkeit
Anscheinend ist der Befall mit Dasselfliegenlarven
reduziert, wenn die Nester Kuhstärlingeier enthalten.
statistisch signifikant?
Nullhypothese: Die Wahrscheinlichkeit eines Nests, mit
Dasselfliegenlarven befallen zu sein hängt nicht davon ab,
ob oder wieviele Kuhstärlingeier in dem Nest liegen.
32/37
χ2 -Test
χ2 -Test auf Unabhängigkeit
Anzahlen der von Dasselfliegenlarven befallenen
Nester
P
1
2
Anzahl Kuhstärling-Eier 0
befallen
16 2
1 1919
nicht befallen
2 11 16
29
P
18 13 17 4848
Welche Anzahlen würden wir unter der Nullhypothese
erwarten?
Das selbe Verhältnis 19/48 in jeder Gruppe.
33/37
χ2 -Test
χ2 -Test auf Unabhängigkeit
Erwartete Anzahlen von Dasselfliegenlarven befallener Nester,
bedingt auf die Zeilen- und Spaltensummen:
P
Anzahl Kuhstärling-Eier
0
1
2
7.13 5.15 6.72 19
befallen
10.87 7.85 10.28 29
nicht befallen
P
18
13
17
48
18 ·
19
= 7.13
48
13 ·
19
= 5.15
48
Alle anderen Werte sind nun festgelegt durch die Summen.
34/37
χ2 -Test
xi − Ei :
2
1
11 16
13 17
19
29
48
7.13 5.15 6.72
10.87 7.85 10.28
18
13
17
19
29
48
befallen
nicht befallen
P
beobachtet (xi ):
erwartet: (Ei ):
χ2 -Test auf Unabhängigkeit
befallen
nicht befallen
P
befallen
nicht befallen
P
16
2
18
8.87 -3.15 -5.72
-8.87 -3.15 5.72
0
0
0
0
0
0
35/37
χ2 -Test
χ2 -Test auf Unabhängigkeit
X (xi − Ei )2
T =
= 29.5
Ei
i
Wenn die Zeilen- und Spaltensummen gegeben sind,
bestimmen bereits 2 Werte in der Tabelle alle anderen
Werte
⇒ f=2 für Kontingenztafeln mit zwei Zeilen und drei Spalten.
Allgemein gilt für m Zeilen und n Spalten:
f = (n − 1) · (m − 1)
36/37
χ2 -Test
χ2 -Test auf Unabhängigkeit
Wir haben den Wert T (x) = 29.5 beobachtet.
Unter der Nullhypothese die Wahrscheinlichkeit, mit der ein
”
Nest von Dasselfliegenlarven befallen wird, hängt nicht von der
Anzahl Kuhstärling-Eier ab“ ist die Teststatistik T (approximativ)
χ2f -verteilt mit f = (2 − 1) · (3 − 1) = 2 Freiheitsgraden.
99%-Quantil (Tabelle T5): χ22;0.99 = 9.21 (< T = 29.5), wir
können also die Nullhypothese zum Signifikanzniveau 1%
ablehnen.
Faustregel: Die χ2 -Approximation ist akzeptabel, wenn alle
Erwartungswerte Ei ≥ 5 erfüllen, was in dem Beispiel erfüllt ist.
37/37