Vergleich von Gruppen I - t-Test und einfache Varianzanalyse (One

Vergleich von Gruppen I
t-Test und einfache Varianzanalyse (One Way ANOVA)
Werner Brannath
VO Biostatistik im WS 2006/2007
Inhalt
Der unverbundene t-Test mit homogener Varianz
Beispiel
Modell
Teststatistik und p-Wert
Nullverteilung
Einfache Varianzanalyse (One Way ANOVA)
Vom t-Test zur ANOVA
One Way ANOVA für drei Gruppen
One Way ANOVA für k Gruppen
Der unverbundene t-Test für homogene Varianzen
I
Zum Vergleich zweier unverbundener Stichproben
bezüglich eines metrischen Merkmals.
I
Testet ob die Mittelwerte der Grundgesamtheit
(Erwartungswerte) verschieden sind.
I
Setzt voraus, dass die arithmetischen Mittelwerte in jeder
Gruppe normalverteilt sind.
I
Setzt voraus, dass die Varianzen der Beobachtungen
in beiden Gruppen gleich gross sind, d.h. die Varianzen
homogen sind.
Beispiel für t-Test für zwei unverbundene Stichproben
Geburtsgewicht von 50 Kindern mit schwerem „idiopathic
respiratory distress syndrom”
1.130
2.600
1.410
2.570
Überlebende Kinder (n1 = 23)
1.575 1.680 1.760 1.930 2.015
2.700 2.950 3.160 3.400 3.640
1.715 1.720 2.040 2.200 2.400
3.005
2.090
2.830
2.550
1.050
1.750
1.225
1.940
Verstorbene Kinder (n2 = 27)
1.175 1.230 1.310 1.500 1.600
1.770 2.275 2.500 1.030 1.100
1.262 1.295 1.300 1.550 1.820
2.200 2.270 2.440 2.560 2.730
1.720
1.185
1.890
1.0
1.5
2.0
2.5
Geburtsgewicht (kg)
3.0
3.5
Boxplots
Baby verstorben
Baby lebt
Mittelwerte und Standardabweichungen
Überlebende Kinder (n1 = 23):
Pn1
Mittelwert
ȳ1 =
j=1 y1j
n1
= 2.307
rP
Standardabweichung
n1
2
j=1 (y1j −ȳ1 )
s1 =
n1 −1
= 0.665
Verstorbene Kinder (n2 = 27):
Pn2
Mittelwert
ȳ2 =
j=1 y2j
n1
= 1.692
rP
Standardabweichung
s2 =
n2
2
j=1 (y2j −ȳ2 )
n2 −1
= 0.518
Fragestellung im Beispiel
Sind die Unterschiede im mittleren Geburtsgewicht durch
reinen Zufall erklärbar, d.h. gilt . . .
H0 : Die beiden Gruppen haben (in Wirklichkeit) ein identisches
mittleres Geburtsgewicht.
oder sind die Unterschiede nicht alleine durch Zufall erklärbar,
d.h. gilt . . .
H1 : Die beiden Gruppen unterscheiden sich in ihrem mittleren
Geburtsgewicht.
Vergleich der Gruppen
I
Differenz der Mittelwerte: ȳ1 − ȳ2 = 0.615
I
Gemeinsame Varianz
s2 =
22 · 0.6652 + 26 · 0.5182
= 0.348
48
√
Gemeinsame Standardabweichung: s = s2 = 0.590
=
I
(n1 − 1) · s12 + (n2 − 1) · s22
n1 + n2 − 2
Zweiseitiger unverbundener t-Test mit homogenen
Varianzen (Software R)
>
t.test(sirdsa,sirdsd,var.equal=T)
Two Sample t-test
data: sirdsa and sirdsd
t = 3.6797, df = 48, p-value = 0.0005902
alternative hypothesis: true difference
in means is not equal to 0
sample estimates:
mean of x mean of y
2.307391 1.691741
0.8
Modell = Annahmen über Grundgesamtheit
0.2
µ1
σ
0.0
Erwartungswert (Mittelwert)
Standardabweichung
Dichte
Geburtsgewicht normalverteilt
0.4
0.6
Überlebende Kinder:
0
1
2
3
4
3
4
0.8
Gewicht (kg)
Dichte
µ2
σ
0.0
Erwartungswert (Mittelwert)
Standardabweichung
0.2
Geburtsgewicht normalverteilt
0.4
0.6
Verstorbene Kinder:
0
Geburtsgewichte unabhängig
1
2
Gewicht (kg)
versch. Mittelwerte
−2
0
4
0.2
0.0
0.1
Dichte
0.3
0.4
Dichten der Normalverteilung
0
5
10
0
5
10
0.5
1
1.5
0.4
0.2
0.0
Dichte
−5
versch. Standardabw.
0.6
0.8
−10
−10
−5
Teststatistik t
n1 , n2 Stichprobenumfänge; ȳ1 , ȳ2 die Mittelwerte
s die gemeinsame Standardabweichung
Teststatistik des unverbundenen t-Tests
t=q
1
1
n1
+
1
n2
· (ȳ1 − ȳ2 )/s
Je grösser der Absolutwert von t desto unplausibler H0 .
Der p-Wert als Plausibilitätswert für H0
Man denke an zweite unabhängige Studie ebenfalls mit
zwei Stichproben der Größe n1 = 23 und n2 = 27,
Stichproben aus einer Grundgesamtheit in der
I
die Nullhypothese H0 : µ1 = µ2 gilt,
I
ansonsten alles wie in der Grundgesamtheit
unserer Studie ist, d.h.:
die Geburtsgewichte normalverteilt sind und
die Varianz σ 2 wie in unserer Studie ist.
Der p-Wert als Plausibilitätswert für H0
Bezeichnen mit t∗ die t-Teststatistik der zweiten Studie.
Defintion des p-Werts
Mit welcher Wahrscheinlichkeit ist der Absolutwert von t ∗
grösser als der Absolutwert von t?
p − Wert = P(t∗2 > t 2 )
Welche Verteilung hat t∗2 ?
Bestimmung der H0 -Verteilung von t 2
Quadrat der t-Teststatistik
t2 =
=
(ȳ1 − ȳ2 )2
1
1
2
+
n1
n2 · s
(ȳ1 − ȳ2 )2
σ 2 · n11 + n12
= Zähler/Nenner
s2
σ2
Verteilung vom Zähler
ȳ1 − y¯2 normalverteilt mit E(ȳ1 − y¯2 ) = µ1 − µ2
und Var (ȳ1 − y¯2 ) = Var (ȳ1 ) + Var (y¯2 ) =
σ2
n1
+
σ2
n2 .
Falls H0 : µ1 = µ2 , dann
√
ȳ1 − ȳ2
Zähler = q
σ2
σ2
n1 + n2
∼
N(0, 1)
Damit ist auch die H0 -Verteilung vom Zähler bekannt!
Definition der χ2k -Verteilung
Definition
Z1 , Z2 , . . . , Zk unabhäng und N(0, 1)-verteilt
Man nennt die Verteilung der Zufallsvariablen
X 2 = Z12 + Z22 + . . . + Zk2
die χ2 -Verteilung mit k Freiheitsgraden, kurz X 2 ∼ χ2k
Beispiel
Wenn H0 : µ1 = µ2 dann
Zähler ∼ χ21
0.20
0.25
Dichten der χ2k -Verteilungen
Freiheitsgrade
0.10
0.05
0.00
Dichte
0.15
1
2
48
0
5
10
15
Summeneigenschaft
Summeneigenschaft der χ2 -Verteilungen
Wenn
X12 ∼ χ2k1
und
X22 ∼ χ2k2
und X12 und X22 sind unabhängig, dann ist
X12 + X22
∼
χ2k1 +k2
Beispiel
X12 ∼ χ222 und X22 ∼ χ226 , dann X12 + X22 ∼ χ248
Verteilung vom Nenner
Nenner:
s2
(n1 − 1) · σ12 + (n2 − 1) ·
s2
=
n1 + n2 − 2
σ2
s22
σ2
Es ist bekannt, dass
(n1 − 1) ·
s12
∼ χ2n1 −1
σ2
und (n2 − 1) ·
Ausserdem sind s1 und s2 unabhängig.
s22
∼ χ2n2 −1
σ2
Verteilung vom Nenner
Wegen der Summeneigenschaft der χ2 -Verteilung
X 2 = (n1 − 1) ·
s22
s12
+
(n
−
1)
·
2
σ2
σ2
∼
χ2n1 +n2 −2
Somit ist die Verteilung von
Nenner = {(n1 − 1) ·
s12
s22
+
(n
−
1)
·
}/(n1 + n2 − 2)
2
σ2
σ2
die χ2 -Verteilung mit n1 + n2 − 2 Freiheitsgraden geteilt durch
n1 + n2 − 2
Symbolisch:
Nenner ∼ χ2n1 +n2 −2 /(n1 + n2 − 2).
Verteilung von t 2
t 2 = Zähler/Nenner
I
Zähler ∼ χ21
I
Nenner ∼ χ2n1 +n2 −2 /(n1 + n2 − 2),
I
Zähler und Nenner sind unabhängig.
Die Verteilung von t 2 heißt
F -Verteilung mit 1 und n1 + n2 − 2 Freiheitsgraden.
ANOVA für Geburtsgewichte
> summary(aov(sirds ∼ Gruppe))
Gruppe
Residuals
Df
1
48
Sum Sq
4.71
16.69
Mean Sq
4.71
0.35
F value
13.5
Pr(>F)
0.0006
ANOVA für zwei Gruppen ist equivalent zum t-Test:
F value . . . ist identisch zu t 2 = 3.862
Pr(>F) . . . ist identisch zum p-Wert des t-Tests
Erkläre als nächstes Mean Sq
und Sum Sq !
Definition von Mean Sq
t
2
(ȳ1 − ȳ2 )2
=
=
.
( n11 +
1
n2 )
{(n1 − 1) · s12 + (n2 − 1) · s22 }/(n1 + n2 − 2)
Mean Sq Gruppe
4.71
=
= 13.5
Mean Sq Residuals
0.35
Defintion von Sum Sq Residual
Sum Sq Residuals
Sum Sq Residuals = (n1 − 1) · s12 + (n2 − 1) · s22
=
n1
X
j=1
2
(y1j − ȳ1 ) +
n2
X
(y2j − ȳ2 )2
j=1
I
. . . ist Summe der Abweichungsquadrate der individuellen
Beobachtungen vom jeweiligen Gruppenmittelwert;
I
. . . wird auch Quadratsumme innerhalb der Gruppen (sum
of squares within groups) genannt.
Sum Sq Gruppe bei zwei Gruppen
Betrachten den Gesamtmittelwert:
Pn1
ȳ =
j=1 y1j
+
Pn2
j=1 y2j
n1 + n2
=
n1
n2
· ȳ1j +
· ȳ2j
n1 + n2
n1 + n2
Man kann ausrechnen, dass
2
Sum Sq Gruppe = (ȳ1 − ȳ2 )
(
1
1
+ )
n1 n2
= n1 · (ȳ1 − ȳ )2 + n2 · (ȳ2 − ȳ )2
Definition Sum Sq Gruppe
Sum Sq Gruppe
Sum Sq Gruppe = n1 · (ȳ1 − ȳ )2 + n2 · (ȳ2 − ȳ )2
I
. . . ist Summe der Abweichungsquadrate der zwei
Gruppenmittelwerte zum Gesamtmittelwert;
I
. . . wird Quadratsumme zwischen den Gruppen (sum of
squares between groups) genannt.
Beziehung zwischen Sum Sq und Mean Sq
Mean Sq Gruppe =
Mean Sq Residuals =
F Statistic =
Sum Sq Gruppe
1
Sum Sq Residuals
(n1 + n2 − 2)
Mean Sq Gruppe
Mean Sq Residual
Verteilungen unter H0 : µ1 = µ2
Mean Sq Gruppe ∼ χ21 /1
Mean Sq Residuals ∼ χ2n1 +n2 −2 /(n1 + n2 − 2)
F Statistic ∼
χ2n1 +n2 −2 /(n1 + n2 − 2)
χ21 /1
= F1,n1 +n2 −2
Vergleich von drei Gruppen - Beispiel
22 Patienten mit künstlicher Beatmung wurden
drei Beatmungsgruppen per Zufall zugeteilt (randomisiert)
I
Gruppe A: 50% Stickoxid und 50% Sauerstoffgemisch für
24 Stunden.
I
Gruppe B: 50% Stickoxid und 50% Sauerstoffgemisch nur
wärend der Operation.
I
Gruppe C: kein Stickoxid, 35-50% Sauerstoff für 24
Stunden.
Endpunkt: Die Wirkung der Beatmung wird durch die
Blutplättchenzahl nach 24 stündiger Beatmung beurteilt.
Beispiel: Fragestellung
Unterscheiden sich die drei Methoden in
ihrer Wirkung auf die Bluttplättchenzahl?
Beispiel: Blutplättchenzahl
arithm. Mittel
Standardabw.
Gruppe A
n=8
Gruppe B
n=9
Gruppe B
n=5
243
251
275
291
347
354
380
392
206
210
226
249
255
273
285
295
309
241
258
270
293
328
316.6
58.7
256.4
37.1
278.0
33.8
300
250
200
Blutplättchenzahl
350
Beispiel: Boxplots der Blutblättchenzahl
A
B
Gruppe
C
Beispiel: Vergleich der Mittelwerte
Sind die Unterschiede in der mittleren Blutplättchenzahl durch
reinen Zufall erklärbar, d.h. gilt . . .
H0 : Die drei Beatmungsmethoden wirken (in Wirklichkeit)
gleich auf die durchschnittliche Blutplättchenzahl.
oder sind die Unterschiede nicht alleine durch Zufall erklärbar,
d.h. gilt . . .
H1 : Die Beatmungsmethoden unterscheiden sich in ihrer
Wirkung auf die durchschnittliche Blutplättchenzahl.
ANOVA für Blutplättchenzahl
> summary(aov(Foliate Group,data=redcell))
Group
Residuals
Df
2
19
Sum Sq
15516
39716
Mean Sq
7758
2090
F value
3.7113
Im folgenden betrachten wir:
I
I
I
Sum Sq Group und Sum Sq Group
Mean Sq Group und Mean Sq Group
F value und seine Verteilung.
Pr(>F)
0.04359
Defintion der Qudratsummen
Quadratsumme zwischen den Gruppen
Sum Sq Gruppe = n1 · (ȳ1 − ȳ )2 + n2 · (ȳ2 − ȳ )2 + n3 · (ȳ3 − ȳ )2
Quadratsumme innerhalb der Gruppen
Sum Sq Residuals =
= (n1 − 1) · s12 + (n2 − 1) · s22 + (n3 − 1) · s32
=
n1
X
j=1
2
(y1j − ȳ1 ) +
n2
X
j=1
2
(y2j − ȳ2 ) +
n3
X
j=1
(y3j − ȳ3 )2
Mittlere Qudratsummen
Mean Sq Gruppe =
Mean Sq Residuals =
F Statistic =
Sum Sq Gruppe
2
Sum Sq Residuals
(n1 + n2 + n3 − 3)
Mean Sq Gruppe
Mean Sq Residual
Verteilungen unter H0 : µ1 = µ2 = µ3
Mean Sq Gruppe ∼ χ22 /2
Mean Sq Residuals ∼ χ2n1 +n2 +n3 −3 /(n1 + n2 + n3 − 3)
F Statistic ∼ F2,n1 +n2 +n3 −3
ANOVA mit k Gruppen
k . . . Gruppen
ni . . . Stichprobengrösse der Gruppe i (i = 1, . . . , k )
P
N = ki=1 ni . . . Gesamtzahl der Beobachtungseinheiten
µi . . . Mittelwert der Grundegesamtheit in Gruppe i
σ 2 . . . gemeinsame Varianz in der Grundgesamtheit
Modell
yij = µi + εij ,
εij ∼ N(0, σ 2 ) unabhängig
Hypothesen
H0 : µ1 = · · · = µk ,
H1 : µi 6= µj für mind. eine i und j
Defintion der Qudratsummen bei k Gruppen
Quadratsumme zwischen Gruppen (between groups)
Sum Sq Gruppe =
k
X
ni · (ȳi − ȳ )2
i=1
Quadratsumme innerhalb der Gruppen (within groups)
Sum Sq Residuals =
k
X
i1
(ni − 1) · si2 =
ni
k X
X
i=1 j=1
(yij − ȳi )2
Mittlere Qudratsummen
Mean Sq Gruppe =
Mean Sq Residuals =
F Statistic =
Sum Sq Gruppe
k −1
Sum Sq Residuals
(N − k )
Mean Sq Gruppe
Mean Sq Residual
Verteilungen unter H0 : µ1 = µ2 = . . . = µk
Mean Sq Gruppe ∼ χ2k −1 /k − 1
Mean Sq Residuals ∼ χ2N−k /(N − k )
F Statistic ∼ Fk −1,N−k