Folien - Methodenlehre - Johannes Gutenberg

Methoden der
Psychologie
Multivariate Analysemethoden
und
Multivariates Testen
21.05.2008
Günter Meinhardt
Johannes Gutenberg Universität Mainz
Methoden der
Psychologie
Multivariates Testen
MANOVA
Multivariate Varianzanalyse (MANOVA)
Ziele
• Mehrgruppen / Mehrfaktorenvergleiche von Messungen auf
mehreren abhängigen Variablen.
• Vermeidung von Entscheidungsfehlern durch fälschliche implizite
Unabhängigkeitsannahme bei univariater Abtestung der einzelnen
abhängigen Variablen.
• Vermeidung der Probleme durch multiples Testen durch
Verwendung eines einzigen Tests für das gesamte Design.
• Verbesserte Teststärke und Validität bei Verwendung von
Testbatterien und (mäßig) korrelierten Profilskalen.
Voraussetzung
• Gleiche (homogene) Varianz-Kovarianz Matrizen (Sj) in allen
Gruppen.
• Testungen der Gruppenunterschiede (Centroide), sowie der
Homogenität der Sj - Matrizen erfordern die Gültigkeit der
multivariaten Normalverteilung.
Methoden der
Psychologie
Ansatz
Multivariates Testen
MANOVA
• Vergleich der Quadratsummen für „between“ und „within“ Group
Varianz, erzeugt aus allen Variablenkomponenten.
• Statistik erhält man ebenso über über Eigenwertzerlegung einer aus
B und W Komponenten zusammengesetzten Matrix.
Anwendung
• Allgemein: Experimentelle Analyse im Rahmen von multidimensionalen Evaluationsstudien.
• Multiple Effektivitätsstudien. Nachweise der Veränderung von
Profilen durch experimentelle oder therapeutische Intervention
in repeated measurement Designs.
• Untersuchung differentieller Effekte auf mehren Ebenen
(Mehrebeneanalyse). (Z.B. Arbeitszufriedenheit auf
3 Hierachieebenen untersuchen).
Nachteile
• Restriktion gleicher Varianz-Kovarianz Matrizen in allen
Gruppen.
• Auswirkung der Verletzung der Annahme der multivariaten
Normalverteilung schwer abzuschätzen.
Methoden der
Psychologie
MANOVA
2D Beispiel
2D-Beispiel
3.5
Regression 0.5 Promill
Fahrleistung: X2
3.0
Regression 1 Promill
2.5
2.0
1.5
1.0
0.5 Promill
0.5
1 Promill
0.0
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
Koordination: X1
Prototypische
Datensituation
• Generell: g- Gruppen gemessen auf p Variablen. Hier g=2, p=2,
Koordination (X1) und Fahrleistung (X2)
• Gleiche Regressionssteigungen und gleiche Varianzen in den
Gruppen auf beiden Variablen (Homogenität der Varianzen und
Covarianzen)
• Stichprobendaten entstammen multivariat normalverteilten
Populationen.
Methoden der
Psychologie
2D-Beispiel
MANOVA
2D Beispiel
Fahrleistung: X2
Regression 0.5 Promill
Regression 1 Promill
0.5 Promill
1 Promill
Koordination: X1
1D - Testen
unzulänglich
• Univariat sind die Rohwertverteilungen nicht gut getrennt, und daher
ebenfalls nicht die Mittelwerteverteilungen (hohes N nötig für signifikante Gruppenunterschiede in den Kennwerteverteilungen)
• Signifikanzurteile sind unabhängig und führen zu p Signifikanzaussagen, obwohl nur eine erwünscht ist
• Information der gleichen Beziehung zwischen den abhängigen
Variablen (gleiche Korrelation) wird nicht genutzt .
Methoden der
Psychologie
2D-Beispiel
MANOVA
2D Beispiel
Fahrleistung: X2
Regression 0.5 Promill
Regression 1 Promill
0.5 Promill
1 Promill
Koordination: X1
2D - Testen
Ausgangslage
• 2D 95% Quantile zeigen an, daß die Mittelwerte der jeweils anderen
Gruppe nicht mehr im Konfidenzbereich der Rohwerte liegen
(bei den univariaten Verteilungen liegen sie darin)
• Orthogonal zur Hauptvarianzrichtung der Ellipsen bestehen optimale
Trennbedingungen für die Mittelwerte
MANOVA
• Ein Test, in den die Korrelation der beiden Variablen eingeht, hat
daher optimale Chancen, Unterschiede der Centroide aufzudecken.
Methoden der
Psychologie
Problem
MANOVA
1. One-Way MANOVA
Unterscheiden sich g unabhängige Populationen in ihren auf p
Variablen gemessenen Centroiden ?
Konstanten
Population 1:
X11 , X 21 ,
, X n11
Population 2:
X12 , X 22 ,
, X n2 2
g = Anzahl Gruppen
n = Snl = n1 + n2 +…ng
p = Anzahl Variablen
Indices
Population g:
X1g , X 2 g ,
, X ng g
i : Fälle (Personen)
l : Gruppen
Annahmen
1. Die Samples X1l, X2l,…, Xnll sind Zufallsstichproben der Größe nl mit
einem Populationszentroiden ml. Die Zufallsstichproben sind
unabhängig.
2. Alle Populationen haben dieselbe wahre Varianz-Covarianzmatrix S.
3. Jede Population ist p- variat normalverteilt.
Methoden der
Psychologie
MANOVA
1. One-Way MANOVA
Datenschema
Population 1:
xilj
Case
Population 2:
Population g:
x111 , x112 ,
x211 , x212 ,
, x11 p
, x21 p
x121 , x122 ,
x221 , x222 ,
, x12 p
, x22 p
x1g1 , x1g 2 ,
x2 g1 , x2 g 2 ,
, x1gp
, x2 gp
xn111 , xn112 ,
, xn11 p
xn1 21 , xn1 22 ,
, xn1 2 p
xn1g1 , xn1g 2 ,
, xn1gp
Group Var
Parameterschätzer
Zu prüfende
Annahmen
x1
x2
Σ̂1
Σ̂2
1. Σ1  Σ 2 
 Σg  Σ
…
xg
Σˆ g
2. xl := N(μl ,Σ)
Homogenität der Varianz-Covarianz-Matrizen und p-variate
Normalverteilung der Stichprobenwerte
Methoden der
Psychologie
MANOVA
Modell
MANOVA
1. One-Way MANOVA
Additives Modell zum Vergleich von Centroiden aus g Populationen
Xil  μ  τ l  eil
mit eil unabhängigen und N(0,S) verteilten Fehlerkomponenten.
Additive
Zerlegung
xil
=
x
+
Beobachtung Grand Mean
 xl  x 
+
Treatmenteffekt
 xil  xl 
Fehlerkomponente
Grand Mean abziehen, Kreuzprodukt bilden , und summieren
über Fälle ergibt:
p x p Matrizen
  x
il
l
i
 x  xil  x   nl  xl  x  xl  x     xil  xl  xil  xl 
t
l
Totale QS und
Kreuzprodukte
1D Analog
t
t
l
Treatment QS und
Kreuzprodukte
QSTotal  QSBetween  QSWithin
i
Fehler QS und
Kreuzprodukte
Methoden der
Psychologie
p x p Matrizen
MANOVA
1. One-Way MANOVA
  xil  x  xil  x   nl  xl  x  xl  x     xil  xl  xil  xl 
t
l
i
t
l
t
l
i
Hierin sind die x Vektoren mit p Komponenten (Variablen):
 xil1 
 
xil 2 

xil 
 
 
 xilp 
Regel
Matrix-Notation
Additivität der
Variation
 xl1 
 
xl 2 

xl 
 
 
 xlp 
 x1 
 
x2 

x
 
 
 xp 
Die Matrizen B und W werden als inneres Produkt (Zeilen- mal Spalten)
der Variablen-Vektoren aufgebaut und dann über Fälle und Gruppen
summiert. Sie sind stets p x p Matrizen.
Es gilt:
Totale QS und
Kreuzprodukte
M  BW
Between Group QS
und Kreuzprodukte
Within Group QS
und Kreuzprodukte
Methoden der
Psychologie
W-Matrix
aus gepoolten
S - Matrizen
B-Matrix
(p=2 Vars
Beispiel)
Komponenten
MANOVA
1. One-Way MANOVA
W  n1S1  n2S 2 
 ng S g
mit Sl der Varianz-Covarianz Matrix in Gruppe l.
Treatment (Group) Quadratsummen & Kreuzprodukte
x1
x2
 TQS1 TQS12  x1
B
 x
TQS
TQS
2

12
2 
TQS1  n1  x11  x1   n2  x21  x1 
2
Var
2
Group Var
TQS2  n1  x12  x2   n2  x22  x2 
2
2
TQS12  n1  x11  x1  x12  x2   n2  x21  x1  x22  x2 
Methoden der
Psychologie
MANOVA
Table
MANOVA
1. One-Way MANOVA
Source of
Variation
Matrix of SS & CrossProducts (SSP)
Treatment
Degrees of Freedom
g1
B
g
Test-Statistik
Error
W
Total
M=B+W
n  g   nl  g
l 1
n1
Die H0: t1 = t2 = … = tg = 0 wird abgelehnt, wenn
* 
W
BW
(Quotient der generalisierten Varianzen,
„Wilk‘s Lambda“)
zu klein wird.
Alternative
Berechnung
 1 
  

1


i 1 
i 
s
*
mit s der Rang der Matrix W-1B und
i ihr i-ter Eigenwert
Methoden der
Psychologie
c2 - Test der
Wilks Statistik
MANOVA
1. One-Way MANOVA
Lehne H0 ab, wenn
pg 

n 
 1 ln *  c p2 g 1 1   
2


c2 Verteilung mit p(g-1) Freiheitsgraden, Bartlett)
Für p < 3 und g < 3 sind F-Tests üblich. Bartletts Test ist für
größere Stichproben und eine größere Anzahl Variablen exakt.
Simultane
Kontraste
Als Kontraste sind Wilks-Tests oder Hotellings T2 gebräuchlich:
 1 1 

2

ˆ
Tll '   xl  xl '      Σ pooled 
  nl nl ' 

1
 xl  xl ' 
ist verteilt wie
Vorteil der
MANOVA
W
ˆ
Σ

pooled
n  g  p F
ng
mit
 df1 ;df 2  1   
df 2
df1  p
(Höhere Freiheitsgrade)
df 2  n  p   g  1
Methoden der
Psychologie
Voraussetzung
Homogene
S – Matrizen
Box-M Test
MANOVA
1. One-Way MANOVA
Prüfgröße
V  1  C  M
ist c2 verteilt mit p(p+1)(g-1)/2 Freiheitsgraden
g
ˆ
ˆ
M   n  g  ln Σ
pooled    nl  1 ln Σ l
l 1
2 p 2  3 p  1  g
1 
1 
C
 

 
6  p  1 g  1  l 1  nl  1   n  g  
Voraussetzung
und Probleme
der Prüfung
Der Test setzt g multivariat normalverteilte Populationen voraus.
Ebenso sollte die Anzahl der Messungen in den Gruppen nl > 20 und
die Anzahl der Variablen p < 5 sein.
Testung über die Homogenität der Korrelationsmatrizen
(Residualanalyse) prüft nur die Homogenität der Covarianzen,
nicht der Varianzen. Diese können aber mit einem Bartlett Test
Gesondert auf Homogenität geprüft werden.
Methoden der
Psychologie
Problem
MANOVA
2. Two-Way MANOVA
Gibt es Effekte in auf p Variablen gemessenen Centroiden hinsichtlich
Der Stufen von Faktor A, Faktor B und ihrer Kombinationen A x B ?
Faktor B
Faktor A
Annahmen
Pop 1:
X11 , X 21 ,
, X n11
Pop 1:
X11 , X 21 ,
, X n11
Pop 2:
X12 , X 22 ,
, X n2 2
Pop 2:
X12 , X 22 ,
, X n2 2
Pop g:
X1g , X 2 g ,
, X ng g
Pop k:
X1k , X 2 k ,
, X nk k
1. Alle Samples sind Zufallsstichproben mit einem Populationszentroiden ml. Die Zufallsstichproben sind unabhängig.
2. Alle Populationen haben dieselbe wahre Varianz-Covarianzmatrix S.
3. Jede Population ist p- variat normalverteilt.
(gleiche Annahmen wie in der Oneway-MANOVA, aber bezogen auf
alle g x k Samples)
Methoden der
Psychologie
Datenschema
MANOVA
Exkurs: Two-Way ANOVA
Jede Messung wird nach Fall/StufeA/StufeB indiziert
A
B1
A: g Stufen, Index l
B: k Stufen, Index r
A1
A2
A3
1
2
3
4
5
x111
x211
x311
x411
x511
x121
x221
x321
x421
x521
x131
x231
x331
x431
x531
1
2
3
4
5
x11
x112
x212
x312
x412
x512
x21
x122
x222
x322
x422
x522
x31
x132
x232
x332
x432
x532
x12
x22
x23
x1.
x2.
x3.
B
VP: n Cases, Index i
B2
Mittelwerte
Case
x.1
x.2
Zellmittel und Faktorstufenmittel (über .-Stelle gemittelt)
Methoden der
Psychologie
Komponenten
Modell
MANOVA
Exkurs: Two-Way ANOVA
Additives Modell zur Erklärung einer individuellen Messung
X ilr = m +l +  r   lr  eilr
mit eilr ein unabhängiger und N(0,s) verteilter Meßfehler.
Quadratsummen
Zerlegung
Varianzanteile
QStot = QS A + QSB + QS A´ B + QSFehler
Faktor A
h A2 =
QS A
QStot
AxB
h A2´ B =
Faktor B
h B2 =
QS B
QStot
Fehler
2
he2 = 1- heffekt
Gesamt
QS A´ B
QStot
2
heffekt
= h A2 + h B2 + h A2´ B
Methoden der
Psychologie
MANOVA
Exkurs: Two-Way ANOVA
Allgemeine
Form der
Quadratsumme
Ncond
QScond =
å (x v
2
Econd (x))
v
Erwartungswert der Bedingung
Bedingung
Beobachtung unter Bedingung
Summe über alle Fälle der Bedingung
Beispiel:
QSAxB
QS AxB =
å (Zellmittel -
2
E (Zellmitteladditiv ))
v
Erwartung:
mlradd = m +l + r  m   ml  m    m r  m   ml  m r  m
Beobachtung:
mlr
k
QS AxB =
g
å å
r= 1 l= 1
2
n (xlr - xl g - xgr + x )
Methoden der
Psychologie
ANOVA QS
Table
MANOVA
Exkurs: Two-Way ANOVA
SoV
QS
df
g
A
QS A   k  n  xl  x 
l 1
k
B
2
QS B   g  n  x r  x 
g1
2
k1
r 1
k
AxB
g
QS AxB   n  xlr  xl  x r  x 
r 1 l 1
n
Error
k
g
QSerror    xilr  xlr 
2
i 1 r 1 l 1
n
Total
k
g
QSTotal    xilr  x 
i 1 r 1 l 1
2
2
(g-1 (k-1
gk  n  1
gkn  1
Methoden der
Psychologie
Fehlervarianz
Schätzungen
Exkurs: Two-Way ANOVA
MANOVA
1. Schätzung aus der Variation innerhalb Zellen:
2
 
E sˆ Fehler
QS Fehler
 s 2
df Fehler
2. Schätzung aus der Variation zwischen Zellen (Beispiel A)
E sˆ A2   n  q  s 2  s 2
F-Bruch
Nullhypothese &
erwarteter
F-Bruch
n  q  s 2  s 2
sˆ A2
F 2

sˆ Fehler
s 2
2
a
s = 0
s 2
E F   2 1
s
Quotienten von Varianzen sind F- verteilt. Der Erwartungswert
unter der Nullhypothese für den F- Quotienten ist 1.
Methoden der
Psychologie
Exkurs: Two-Way ANOVA
MANOVA
Ergebnistabelle
F - Tests
Die F - Tabelle gibt einen Überblick über die Signifikanztestung.
Ergebnistabelle
Varianzanteile
Die h2- Tabelle gibt einen Überblick über die Varianzaufklärung
und die anteilige Verteilung auf die Quellen
Methoden der
Psychologie
MANOVA
Modell
2. Two-Way MANOVA
MANOVA
Additives Modell einer individuellen Messung auf p- Variablen
Xilr  μ  αl  βr  eilr
mit eilr unabhängigen und N(0,S) verteilten Fehlerkomponenten.
Additive
Zerlegung
p x p Matrizen
(QS-Zerlegung)
Dem Komponentenmodell entspricht eine additive Zerlegung auf
den p- stelligen Variablenvektoren
M = BA + BB + BAB + W
Die Matrizen enthalten entsprechende Sums of Squares and Cross
Products (SSP), daher wird oft diese Bezeichnung verwendet:
SSPTotal = SSPA + SSPB + SSPAB + SSPError
Methoden der
Psychologie
MANOVA SSP
Table
MANOVA
2. Two-Way MANOVA
SoV
SSP
g
A
B A   k  n  xl  x  xl  x 
l 1
k
B
df
t
B B   g  n  x r  x  x r  x 
g1
t
k1
r 1
g
k
AxB
B AxB   n  xlr  xl  x r  x  xlr  xl  x r  x 
r 1 l 1
(g-1 (k-1
n
Error
g
k
W    xilr  xlr  xilr  xlr 
i 1 r 1 l 1
n
Total
k
g
M    xilr  x  xilr  x 
i 1 r 1 l 1
t
t
gk  n  1
gkn  1
t
Methoden der
Psychologie
Test-Statistik
2. Two-Way MANOVA
MANOVA
Die H0 für jede Varianzquelle wird abgelehnt, wenn

*
Fak
W

B Fak  W
(Quotient der generalisierten Varianzen,
„Wilk‘s Lambda“)
zu klein wird.
c2 - Tests
Lehne H0 ab, wenn
Faktor A
p  1   g  1 

*
2
  gk  n  1 
 ln  A  c p g 1 1   
2


Faktor B
p  1   k  1 

*
2
  gk  n  1 
 ln  B  c p k 1 1   
2


AxB
p  1   g  1 k  1 

*
2
  gk  n  1 
ln


c
1  

AB
p  g 1 k 1 
2


Methoden der
Psychologie
MANOVA
2. Two-Way MANOVA - Plots
A: Alkohol (3 Stufen)
x: Fahrleistung
Beispiel
B: Geschlecht (M/W)
y: Koordination
Geschlechtseffekt (B) auf beiden Variablen, keine Haupteffekte Alkohol (A)
Faktor - Plots
12
25
M
20
W
15
A
10
8
Y 6
X
10
4
5
2
0
0
A1
A2
A3
A1
3.00
2.00
1.00
X-Y - Plot
(Standardisiert an
Fehlervarianz jeder
Variable)
ZY 0.00
-1.00
-2.00
-3.00
-3.00
-2.00
-1.00
0.00
ZX
1.00
2.00
3.00
A2
A3
Methoden der
Psychologie
MANOVA
2. Two-Way MANOVA - Plots
A: Alkohol (3 Stufen)
x: Fahrleistung
Beispiel
B: Geschlecht (M/W)
y: Koordination
Geschlechtseffekt (B) nur auf X, keine Haupteffekte Alkohol (A)
Faktor - Plots
12
25
M
20
W
15
A
10
8
Y 6
X
10
4
5
2
0
0
A1
A2
A3
A1
3.00
2.00
1.00
X-Y - Plot
(Standardisiert an
Fehlervarianz jeder
Variable)
ZY 0.00
-1.00
-2.00
-3.00
-3.00
-2.00
-1.00
0.00
ZX
1.00
2.00
3.00
A2
A3
Methoden der
Psychologie
MANOVA
2. Two-Way MANOVA - Plots
A: Alkohol (3 Stufen)
x: Fahrleistung
Beispiel
B: Geschlecht (M/W)
y: Koordination
Kein Effekt (B) zwei gegenläufige Haupteffekte (A), keine Interaktionen
Faktor - Plots
12
25
M
20
W
15
A
10
8
Y 6
X
10
4
5
2
0
0
A1
A2
A3
A1
3.00
2.00
1.00
X-Y - Plot
(Standardisiert an
Fehlervarianz jeder
Variable)
ZY 0.00
3
2
-1.00
1
-2.00
-3.00
-3.00
-2.00
-1.00
0.00
ZX
1.00
2.00
3.00
A2
A3
Methoden der
Psychologie
MANOVA
2. Two-Way MANOVA - Plots
A: Alkohol (3 Stufen)
x: Fahrleistung
Beispiel
B: Geschlecht (M/W)
y: Koordination
Keine Haupteffekte, 2 gleichgerichtete Interaktionen
Faktor - Plots
12
25
M
20
W
15
A
10
8
Y 6
X
10
4
5
2
0
0
A1
A2
A3
A1
3.00
2.00
1.00
X-Y - Plot
(Standardisiert an
Fehlervarianz jeder
Variable)
3
1
ZY 0.00
2
1
2
-1.00
3
-2.00
-3.00
-3.00
-2.00
-1.00
0.00
ZX
1.00
2.00
3.00
A2
A3
Methoden der
Psychologie
MANOVA
2. Two-Way MANOVA - Plots
A: Alkohol (3 Stufen)
x: Fahrleistung
Beispiel
B: Geschlecht (M/W)
y: Koordination
Keine Haupteffekte, 2 gegengerichtete Interaktionen
Faktor - Plots
12
25
M
20
W
15
A
10
8
Y 6
X
10
4
5
2
0
0
A1
A2
A3
A1
3.00
2.00
1.00
1
2
X-Y - Plot
(Standardisiert an
Fehlervarianz jeder
Variable)
ZY 0.00
3
2
-1.00
3
1
-2.00
-3.00
-3.00
-2.00
-1.00
0.00
ZX
1.00
2.00
3.00
A2
A3
Methoden der
Psychologie
MANOVA
2. Two-Way MANOVA - Plots
A: Alkohol (3 Stufen)
x: Fahrleistung
Beispiel
B: Geschlecht (M/W)
y: Koordination
Keine Haupteffekte, eine Interaktion (X)
Faktor - Plots
12
25
M
20
W
15
A
10
8
Y 6
X
10
4
5
2
0
0
A1
A2
A3
A1
3.00
2.00
1.00
X-Y - Plot
(Standardisiert an
Fehlervarianz jeder
Variable)
1
ZY 0.00
3
2
3
2
1
-1.00
-2.00
-3.00
-3.00
-2.00
-1.00
0.00
ZX
1.00
2.00
3.00
A2
A3