Alm_ar_sose1997

Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
14.05.1997
0 Vorbemerkungen
Generalisierte lineare Modelle (GLIM)
Nonparametrik
Kontingenztafeln
linearlogistische Modelle
loglineare Modelle
Allgemeines lineares Modell
Interferenzstatistik
deskriptive Statistik
ad GLIM:
Daten = Parameter
Linkfunktion allgemeiner Art (ALM: linear, d.h. =)
Schematik nach Anzahl der unabhängigen und abhängigen Variablen einer
Untersuchung:
nur UV´s: Deskription
nur AV´s: Faktorenanalyse, Clusteranalyse
FOLIE 1: Einteilung der statistischen Analyseverfahren
ein Kriterium:
univariat
ein Prädiktor
(Faktor):
einfach
Mehr als ein
Prädiktor:
multipel
Intervallskaliert
(höher  nötig)
Intervallskaliert
(höher  nötig)
mehr als ein
Kriterium:
multivariat
nominalskaliert Intervallskaliert
(alle anderen
(höher  nötig)
darstellbar)
nominalskaliert Intervallskaliert
(alle anderen
(höher  nötig)
darstellbar)
nominalskaliert
(alle anderen
darstellbar)
nominalskaliert
(alle anderen
darstellbar)
Klassische Statistik:
1. Prädiktor & Kriterium 2-kategorial  Vier-Felder-Tafel
2. Prädiktor 2-kategorial & Kriterium intervallskaliert  2-Stichproben Tests
3. Prädiktor intervallskaliert & Kriterium 2-kategorial  2-GruppenDiskriminanzanalyse, oder Fragestellung umdrehen
4. Prädiktor intervallskaliert & Kriterium intervallskaliert  einfach lineare Korrelation
Kategoriale Modelle mit multiplikativen Elementen fehlen im ALM
das ALM ist ein additives Modell
1
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
1 UV - AV Kombinationsmöglichkeiten
1.1 Ein Prädiktor (y) & ein Kriterium (x)
Modell: y i  a 0  a1  xi
Vereinfachung: Messung soll Mittelwertzentriert sein. D.h. es wird mit
Abweichungswerten gearbeitet  Regressionsgerade geht durch den 0-Punkt (=
Mittelwert)
 a 0 fällt weg: y i  a1  xi (einfache lineare Regression)
Weitere Vereinfachung: Übergang zu Standardwerten
 a1 entspricht dem Korrelationskoeffizienten
(Hinweise:
 Aus dem Begriff der Regreessionsgeraden folgt, daß der Schätzwert immer näher
an 0 ist als der Prädiktor
 für das Kriterium sind grundsätzlich kategoriale Merkmale möglich, aber in der
Praxis nur 2-kategorial (siehe später)
 unter der Voraussetzung der Mittelwertszentrierung sind 0 & 1 als Kodierung
unzulässig
 mehr Prädiktoren als Kriterien sind nicht möglich)
1. Prädiktor & Kriterium intervallskaliert  normale lineare Regression
2. Prädiktor kategorial & Kriterium intervallskaliert  Punkt-biseriale Korrelation
3. Prädiktor intervallskaliert & Kriterium kategorial  Fragestellung umdrehen 
Punkt-biseriale Korrelation
4. Prädiktor & Kriterium kategorial: Punkt-vier-Felder Korrelation
(Bemerkung:
Signifikanzprüfung: „Was bedeutet ein signifikantes Ergebnis?“ - Der H0 entspricht:
a1 =0, einer zweiseitigen H1 a1 0
Hypothesentest: Korrelationskoeffizient wird in T-Kennwert umgerechnet (auch bei
vier-Felder Tafeln möglich))
1.2 Mehr als ein Prädiktor, ein Kriterium
1.2.1 UV´s und AV´s intervallskaliert  multiple Regression
Modell: yi  a0  a1  x1i  a2  x2i ...a p  x pi
Vereinfachung: Messung soll Mittelwertzentriert sein. D.h. es wird mit
Abweichungswerten gearbeitet  Regressionsgerade geht durch den 0-Punkt (=
Mittelwert)
 a 0 fällt weg: y i  a1  xi (einfache lineare Regression)
2
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
Weitere Vereinfachung: Übergang zu Standardwerten
 z yi  b1  z1i  b2  z2i ...b p  z pi
Prüffrage:
Hat Prädiktor b1 , b2 ,...b p einen Einfluß, bzw. hat überhaupt kein Prädiktor einen
Einfluß?
 mathematische Fragestellung:
b1  0
 b1 
 
b2
b2  0
 Matrix:    b (= Vektor B)
...
...
 
b3  0
 bp 
Hinweis:
0 
 
 0   0 (= Nullvektor)
 ...
 
0 
 Allegorie: H0: b=0  Ry212... p  0
____________________
21.05.1997
Aus der Methode der kleinsten Quadrate ergibt sich:
n
 (y
i 1
i
 yi ) 2  min
( erste Ableitung gleich 0 setzen   der beobachteten =  der geschätzten
Werte  gleich Mittelwerte !)
b1  r12  b2 ...r1 p  bp  r1y
r21  b1  b2 ...r  2 pbp  r2 y
...
rp1  b1  rp2  b2 ...bp  rpy
3
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
Einfacher läßt sich mit Matrizenrechnung operieren:
1.2.2 Exkurs Matrizen:
1.2.2.1 Verschiedene Spezialfälle:
allgemeine Matrix:
 a11 a12

 a21 a22
 ... ...
A= 
 ai1 ai 2
 ... ...

a
 r1 a r 2
... a1 j
... a2 j
...
...
...
aij
...
...
... arj
... a1c 

... a2c 
... ... 
;
... aic 
... ... 
... arc 
quadratische Matrix: (s=Seitenzahl=Spaltenzahl)
 q11 q12

 q21 q22
 ... ...
Q= 
 qi1 qi 2
 ... ...

q
 s1 q s 2
... q1 j
... q2 j
...
...
...
qij
...
...
... q sj
... q1s 

... q2 s 
... ... 
;
... qis 
... ... 
... q ss 
symmetrische Matrix: (automatisch quadratisch)
 s11

 s21
 ...
S= 
 si1
 ...

s
 s1
s12
... s1 j
s22 ... s2 j
...
...
...
si 2
...
sij
...
...
...
s s 2 ...
s sj
... s1s 

... s2c 
... ... 
 ; s12=s21; etc.
... sic 
... ... 
... s ss 
diagonale Matrix: ( sij  s ji  0 , wenn ij)
 d11 0

 0 d 22
 ... ...
D= 
0
 0
 ... ...

0
 0
...
0
...
... 0 ...
... ... ...
... d ij ...
... ... ...
... 0 ...
0

0
... 
 ; dij=dji=0, wenn ij;
0
... 

d ss 
4
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
Einheitsmatrix:
1

0
 ...
I= 
0
 ...

0
0 ... 0 ... 0 

1 ... 0 ... 0 
... ... ... ... ...
;
0 ... 1 ... 0 
... ... ... ... ...

0 ... 0 ... 1 
Einspaltige Matrix: (=Vektor)
 r1 y 
 
 r2 y 
 ... 
r=   ;
 riy 
 ... 
 
 rpy 
(p-dimensionaler Vektor, oder p x 1 - Matrix)
„Transponieren“: (=spiegeln an der Hauptdiagonale, Zeilen & Spalten vertauschen)

r´= r1 y
r2 y

... rpy ;
bei symmetrischen Matrizen: s=s´
1.2.2.2 Addition:
A(rxc) + B(rxc) = C(rxc)
Zeilenzahl von A= Zeilenzahl von B
Spaltenzahl von A= Spaltenzahl von B
cij = aij+bij
. . X  . . X  . . X 

 
 

. . .   . . .   . . . 

 
 

. . .  . . .  . . . 
(analog bei Vektoren)
5
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
1.2.2.3 Skalarprodukt zweier Vektoren:
immer Zeile mal Spalte  Skalar
Spalte mal Zeile  Matrix !
(2 Zeilenvektoren oder 2 Spaltenvektoren sind nicht multiplizierbar)
 y1 
 
y=  ...  ;
y 
 p
x´= (x1,...,xp);
(wichtig: gleiche Dimension p !)
p
 z   ( xi  yi )
i 1
Beispiel:
 0
 
2 3 1   4  2  0  3  4  1 2  14;
 
 2
1.2.2.4 Matrizenmultiplikation:
A(rxc) x B(rxc) = C(rxc)
s
cij   (ail  blj )
l 1
Rechenvorschrift:
1.Zeile mal 1. Spalte
1.Zeile mal 2.Spalte, etc.
2. Zeile mal 1. Spalte, etc.
 1 r12

 r 121
R
... ...

r r
p1

... r1 p 

... r2 p 
... ... 

... 1 
 b1 
 
 b2 
b 
...
 
b 
 p
 r1 y 
 
 r2 y 
r  
...
 
r 
 py 
Rxb=r
6
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
siehe Kapitelanfang Formeln zu r1y=...; r2y=...;
a x x = b  x = a-1 x b;
(a0!)
R-1 x R x b = R-1 x r  b = R-1 x r;
(R darf nicht singular werden!)
(R-1 ist inverse Matrix I zu R)
(wichtig: Reihenfolge: von welcher Seite aus multipliziert wird ! (von links))
____________________
FOLIE 2: Allgemeines lineares Modell
1.2.3 Interpretation der Einflußgewichte:
(nur bei (nahezu) unkorrelierten Prädiktoren interpretierbar)
(z-Werte sind Standardwerte!  Abhängigkeit von der Varianz
yi  b1  z1i  b2  z2i ;
ist beseitigt)
FOLIE 4: Suppressionseffekte
Der Suppressoreffekt:
siehe Rausche Skript Quantitative Methoden A
Hinweis: viele Prädiktoren  Faktorenanalyse  unkorrellierte Faktoren erst dann:
Multiple Regressionsanalyse  Interpretationsvorteil, da Redundanz(multikollinearität) und Suppressoreffekte wegfallen)
____________________
28.05.1997
ad Einflußgewichte:
 1
 1
 
 
1
1

b1 
+ b2   =
 1
 1
 
 
 1
 1
 y1 
 1
 
 
 y 2  schätzt  2 
 y 3 
 1
 
 
 y 4 
 5
sy2  11,5
b1X1+ b1X2= y^  y
Ry.2 12 
 1
 1   4,5 
 4
 
  

 
1
1  1,5 
2


3
+1,5 
=
schätzt  
 1
 1   1,5
 1
 
  

 
 1
 1  4,5
 5
7
sy2  11,25
11,25
 0,978
11,5
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
sy2  sy2  sy2 y (siehe Hinweis!)
(entspricht Varianzaufklärung bei einfacher Korrelation außer, daß die y^ Rohwerte
durch multiple, statt einfache Schätzgleichung geschätzt sind.)
Vergleiche: r 
2
 Analogie: R
sy2
sy2
2
y .12... p

sy2
sy2
entspricht:
aufgeklärteVarianz  sy2  Ry2.12...p
unaufgeklärteVaianz  (1  Ry2.12...p )  sy2
(Hinweis: Ungleiche Zellbesetzungen  Formel stimmt nur noch näherungsweise 
nur 2 Wahlmöglichkeiten: Ursache: 1. Modell: Mittelwertsvergleich; 2- Modell:
gewichteter Vergleich;  Gruppendiskriminanzanalyse, oder ??-zwei -Felder Test)
1.2.3.1 Hypothesentest:
(Wie kann die Stichprobe auf die Grundgesamteit verallgemeinert werden? 
Hypothesentest: b-Gewichte müßten 0 sein, wenn kein Prädiktor einen Einfluß hat 
H0: alle b=0; und damit Re2 = 0; bei anderen Modellen muß Re2 allerdings nicht
immer 0 werden)
empirischer Vektor:
b (Statistik)
wahrer Vektor:
=0 (Parameter) entspricht der H0 (eingeschränktes (bzw. restriktives) Modell, da alle
b als 0 festgelegt sind)  Re2
0 (Parameter) entspricht der H1 (uneingeschränktes Modell; mindestens einer der
Prädiktoren trägt zur Vorhersage bei;  multiple Bestimmtheit, die man erhält, wenn
man keine Einschränkungen macht)  Ru2
1.2.3.1.1 Voraussetzungen zum Hypothesenvergleich:
AV: intervallskaliert
Zufallsstichproben
n>>p; mind. n>p;
 xi 1 xi 2 ... xip  VP1
Prädiktorenmatrix: 

 ... ... ... ...  VP2
muß eine Zeile mehr, als Spalten haben
vollen Rang haben (entspricht etwa: es dürfen keine Linearkombinationen enthalten
sein)
(Logik wie im T-Test: Konstante x Prädiktor + normalverteiltem Fehler:
8
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
e ~ N (0; 2 ) (Varianzhomogenität)
y=x+e (Meßwert=Prädiktormatrix x Gewichte + Fehlervektor)
( y , y ) bivariat Normalverteilt
es muß sich um feste Modelle handeln, bzw. feste Fragestellung
( Ru2  Re2 )
FTest 
(1  R )
(setzt man
2
u
( Pu  Pe )
~ FPu  Pe ,n  Pu 1
(n  Pu  1)
 Formel der üblichen multiplen Korrelation)
Re2=0
(Hinweis: Es interessieren nur große F-Werte)
Ry2.12... p wird als Ru2 eingesetzt, Re2 als 0  Vergleich mit F-Tabelle
____________________
9
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
1.2.3.2 „Multiple Regressionsanalyse“
neue Fragestellung:
nicht alle Einflußgewichte sollen 0 sein: Der Einfluß einer einzelnen
Prädiktorvariablen soll gezeigt werden.
FOLIE 3: Beispiel zur multiplen Regression
(Hinweis: bei Korrelationskoeffizienten wirken sich Mittelwerte und Itemunterschiede
nicht aus!)
b1 
r1 y  r12 (r2 y )
1  r122
b2  ana log
R 2  r1y  b1  r2 y  b2 ...
(Hinweis: Mittelwert der Schätzwerte ist immer gleich dem Mittelwert der wahren
Werte  Abweichungen sind nicht möglich)
(a1=... Standardabweichung der Kriterien(?) / Standardabweichung der Prädiktoren)
(a0: Verschiebungskonstante)
 Rohwert Regressionsgleichung
____________________
 H0: 1=0, 2,...,p beliebig
H1: alle  beliebig
Vergleich von
mit
Ry2.2...p (eingeschränktesModell)  Re2
Ry2.12...p (uneingeschränktesModell)  Ru2
 H0: 2=0, 1,3,...p beliebig
H1: alle  beliebig

Re2  Ry2.1,3...p
Ru2  Ry2.12...p
____________________

Strukturkoeffizienten (hilfreich bei der Interpretation):
Korrelation zwischen einzelnen Prädiktoren und dem geschätzten Gesamtwert:
ci  riy
es gilt: riy 
riy
Ry .12... p
____________________
10
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
1.3 Mehrere Prädiktoren nominalskaliert; ein Kriterium
intervallskaliert
FOLIE 5: Beispiel zur einfachen Varianzanalyse
y: Abweichungswerte vom Gesamtmittelwert
Darstellung im ALM:
Kriterium: Abschneiden im jeweiligen Fach:
Mehrkategoriale Merkmale müssen in Alternativmerkmale transformiert werden:
z.B.: Gehört y zu Stufe 1: ja/nein; zu Stufe 2: ja/nein, etc.
y x1 x2 x3
“ Dummycodierung“:
8
6
 2
1
1
0
0
0
1
0
0
0
0
7
9
0
0
0
1
0
0
0
1
1
Diese Darstellung ist redundant: 3. Stufe ist unnötig
 bei k Kategorien sin k-1 Binärmerkmale notwendig.
„Schönheitsfehler“: Kodiervariablen korrelieren in der Regel miteinander (hier
negative Korr.); m0  Interpretation schwierig
„Effektcodierung“:
y
8
6
 2
0
7
9
x1
1
1
0
x2
0
0
1
0 1
1 1
1 1
„linearer Kontrast“= Codierung
Voraussetzung: Alle Gruppen sind gleich groß, Mittelwerte = 0;
 x1: Vergleich von m1 mit m3
x2: Vergleich von m2 mit m3
Nachteil: Korrelation 0;
für a0 kommt der Mittelwert der Werte, die mit 0 kodiert sind heraus (in der
Regressionsanalyse):
 yi  a0  a1 x1i  a2 x2i
11
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
a0: Mittelwert der wahren Werte
a1: Abstand des Mittelwerts von Gruppe 1 vom wahren Mittelwert  15
a2: Abstand des Mittelwerts von Gruppe 2 vom wahren Mittelwert  9
04.06.1997
Effektcodierung ist eine Sonderform der Kontrastkodierung:
(Kontrast = Vergleich)
Kontrastkodierung: Mittelwertsvergleich
my
Kontrast:
Alle möglichen Vergleiche mit 3 Mittelwerten:
y1  y2  d1
y1  y3  d 2
y2  y3  d 3
y  y3
y1  2
 d4
2
y  y3
y2  1
 d5
2
y  y2
y3  1
 d6
2
d1=0 oder 0 ?
Faktoren, die bei Vergleichen dabei stehen, ergeben 0.
c für Kontrast:
c j  x j1  y1  x j 2  y2  x j 3  y3
k
x
jl
0
l 1
beides erfüllt  linearer Kontrast
* Koeffizientenvektor:
x1 '  (1, 1 2 , 1 2 )
c1  1 y1  1 2  y2  1 2  y3
Unabhängige / Orthogonale Kontraste:
2 Kontraste r und s heißen zueinander orthogonal, wenn xr 'x s  0 .
bei k Stufen gibt es maximal k-1 zueinander orthogonale Kontraste
Dummy-Kodierung ist keine Kontrastkodierung!
Globalhypothese:
H0: 1=0
12
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
H1: 1=0
FOLIE 6: Tafel der Varianzanalyse
Spezielle orthogonale Kontraste: Prüfung von Trends
Beispiel:
AV: Statistophobie
UV: Dosis 0,1,2,3,4
Fragen:
Gibt es linearen Zusammenhang zwischen Dosis und AV?
Gibt es u-förmigen Zusammenhang zwischen Dosis und AV?
FOLIE 9: Tabelle der c-Koeffizienten für Trendtests
Prüfung von Trends mit orthogonalen Polynomen: Satz vom Kontrastkoeffizienten
FOLIE 10 &11: 2 - faktorielle Varianzanalyse
Hinweis: Wechselwirkungen mit mehr als drei Faktoren sind kaum noch
interpretierbar!
FOLIE 12: Beispiele für unabhängige und abhängige Effekte
a) Ideal
b) Zellen sind ungleich besetzt (Kombination abxy)
Kodierung wie bei a)
 Prädiktoren  unabh. voneinander (Korrelationsmatrix)
FOLIE 13: Beispiel für einen nicht-orthogonalen 2 x 2 - Plan
a) n pro Zelle beachten! (sind verschieden)
ungewichteter Mittelwert: AB
3  10  20,5  4
gewichteter Mittelwert:
etc.
14
Die Differenz entspricht dann im ungewichteten Fall:
Ru2-Re2
Beispiel für den gewichteten Fall:
[Ru2(1...5) (also aus den Variablen 1 bis 5)]
Re2(1,2)
 keineDifferenz zwischen Ru2-Re2, sondern mit dem R2 der Differenz:
R2(3...5)
Hinweise:
im Normalfall wird der ungewichtete Fall berechnet.
nicht ortogonaler Vergleich (schlecht !):
eventuell kann die Reihenfolge, in der man Variablen hinzunimmt eine Rolle spielen,
da die Additivität der Quadratsummen verletzt ist.
Es gibt hierfür auch keine Ausgleichsberechnungen.
Orthogonalität erreicht man, wenn alle Zellen entweder gleich, oder proportional
besetzt sind:
13
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
2 - faktoriell:
2
(2  )
4
(3  )
(3  )
6
(2  ) 12
(2  )
(2  )
12
(2  )
24
Die Werte ergeben sich also multiplikativ symmetrisch.
unvollständige Versuchspläne:
(Beispiel: Geschlecht und Schwangerschaft:  Zelle der Männer hat 0 Einträge)
FOLIE 14: Lateinisches Quadrat
p2 Zellen, in denen bestimmte Kombinationen nicht realisiert sind (z.B.: a 1b2c1)
Die Zeilen werden in der „Standard-“ Standardform durch zyklisches Vertauschen
der Glieder gebildet (siehe Beispiel für p=5).
Weitere Standardformen sind möglich (z.B. bei p=3). Welche schließlich zum Einsatz
kommt ist für die Auswertung egal.
Unter einer Kombination nichts und unter einer anderen dafür >1 darf nicht
vorkommen.
Hinweis: „Balancierte lateinische Quadrate sind sinnvoll, wenn man doch
Wechselwirkungen überprüfen will (was eigentlich nicht geht).“
FOLIE 15: Beispiel für ein lateinisches Quadrat
rechte Seite: Prinzip aller möglichen Fassungen.
Stufe a1 mit a4 wird kontrastiert:
13
12
17
15
14
15
14
16
a2 mit a4
a3 mit a4
analog: unter B:
b1 mit b4, etc.
____________________
A
B
1
1
1
14
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
FOLIE 16: Beispiel für eine zweifaktorielle hierarchische Varianzanalyse
eigentlich gibt es 12 Stufen, z.B. a1/b2 mit a4/b11 ist aber nicht vergleichbar!
Hinweis: Voraussetzung für die Auswertung im ALM sind feste Faktoren !
hier: Alter: grundsätzlich sind alle zur Verfügung stehenden Werte möglich
Spielzeug: Selektion bestimmter Spielzeuge als zufällige Repräsentanten   alle
möglich
 Haupteffekte: nicht immer Fehlerkomponente als Rohwert möglich.
Z.T. sind Wechselwirkungen zu verwenden.
hier: nicht möglich, weil man sie nicht hat.
hier: prinzipiell sind Wechselwirkungen nicht prüfbar: nur innerhalb des jeweils
eigenen Blocks.
innerhalb der eigenen Gruppe ist dies möglich mit der Differenz zwischen
Spielzeugen.
____________________
Kovarianzanalyse
FOLIE 18: Beispiel für eine einfache Kovarianzanalyse (nach Bortz)
Der Varianzanteil, der durch Kovariable erklärbar ist, wird auspartialisiert.
Me
Kovariable
y
Schätzung
z
Differenz aus y  y  y * , dem Anteil von y, der durch z nicht erklärbar ist.
Hinweis zu den multiplen Bestimmtheiten Ry.z2, etc.:
Re ist nicht mehr der Fall, wo gar nichts enthalten ist, sondern der Anteil, der durch
die Kovariable erklärt wird.
Hinweis: Im Beispiel dürfte der letzte Effekt (F4;2.9) eigentlich gar nicht vorhanden
sein: Wechselwirkung zwischen Kovariable und Hauptwirkung des Faktors 
Hauptwirkung unter F3;2.11 darf nicht mehr interpretiert werden! (siehe unten)
allgemeiner Hinweis: Wenn eine Analyse ohne Kovariate einen signifikanten Effekt
zeigt, und dieser unter Einbeziehung der Kovariate verschwindet, dann ist sie
Ursache des Effektes.
FOLIE 19: Beispiel für eine 2 - faktorielle Kovarianzanalyse mit einer Kovariablen.
Hinweis: Grundsätzlich ist es möglich, mehrere Kovariablen zu berücksichtigen, die
Komplexität des Designs setzt hier jedoch Grenzen.
Problem: Homogenität der Regression:
Wenn zwischen Kovariable und Faktorvariablen Wechselwirkungen auftreten, dann
sind die Faktoren nicht mehr interpretierbar
Lösung: ohne Kovariable rechnen
15
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
Prüfung, ob die Regressionen homogen sind: Steigung der Regressionsgeraden
muß in allen Zellen gleich sein.
Beispiel:
2 Faktoren:
A / 2 Stufen
B / 3 Stufen
n=2
n..=12
Kovariationen:
A, B, z1, z2, WW zu Faktor A, WW zu Faktor B, WW
1, 2, 1, 1,
1,
2,
2
1,
1,
2,
2
 14 Prädiktoren bei n..=12
Wenn die Zahl der Prädiktoren Gesamt - n übersteigt, ist keine Auswertung mehr
möglich.
____________________
Kodierung bei paarigen Stichproben:
Beispiel: T - Test für paarige Stichproben:
Stichprobe: 1
2
5
4
2
1
7
3
4
4
1.Möglichkeit:
A
5
4
2
1
7
3
4
4
1
1
1
1
-1
-1
-1
-1
16
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
dies entspricht allerdings zwei unabhängigen Stichproben  5 & 7 gehören
zusammen, etc.:
B1
B2
B3
1
0
0
-1
1
0
0
-1
0
1
0
-1
0
1
0
-1
0
0
1
-1
0
0
1
-1
 aufwendig und es ergeben sich viele Prädiktoren
Wechselwirkungen lassen sich ebenso kodieren  es ergeben sich 7 Prädiktoren,
was bei n..=8 gearde noch gültig ist.
 Ry2.AB1B2 B3  Ru2
Re2( A)  Ry2.B1B2 B3
Faktoreneffekt:
Versuchspersoneneffekt: Re2( B)  Ry2.A
2. Möglichkeit:
1
2

5
4
2
1
7
3
4
4
12
7
6
5
 2. Prädiktor: Summen der Versuchspersonen:
5
4
2
1
7
3
4
4
Nachteil:
Vorteil:
A
B
1
1
1
1
-1
-1
-1
-1
12
7
6
5
12
7
6
5
keine Information über einzelne Versuchspersonen möglich
wenig Prädiktoren
17
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
25.06.1997
Zusammenfassung univariat, multipel:
mehrere Prädiktoren  ein Kriterium
egal, ob Intervall-, oder Nominalniveau
Ordinaldaten benötigen spezielle Kodierungen für die Kategorien, die die
Reihenfolge berücksichtigen
falls nur intervallskalierte Prädiktoren vorhanden sind  multiple Regression
falls nur nominalskalierte Prädiktoren vorhanden sind  Varianzanalyse
es sind beliebig komplexe Versuchspläne möglich!
 mehr Möglichkeiten, als bei einer normalen Varianzanalyse; insbesondere läßt
sich mit ungleichen Zellbesetzungen umgehen.
Mehrfaktorielle Varianzanalyse:
1. Ansatz: Die Planung setzt gleiche Zellbesetzungen voraus (Modell)
nach der Messung nicht vorhandene Beobachtungen werden mit dem harmonischen
Mittel „geschätzt“ (immer bei reziproken Größen: Präzision  1/n).
in älteren Literaturangaben wird dann angegeben, daß die Methode der kleinsten
Quadrate verwendet werden muß, was im Grunde aber dem Vorgehen im ALM
entspricht.
Problem des nicht orthogonalen Designs:
Effekte (der Faktoren und Wechselwirkungen) verhalten sich nicht mehr additiv
 Interpretation wird schwierig
falls nicht zu viele unterschiedliche Zellbesetzungen auftreten, so kann gerechnet
werden, obwohl das Modell nicht mehr völlig stimmt.
Unterscheidung in gewichtete und ungewichtete Mittelwerte.
(Nachteil: Interpretation: Im Zähler steht nur das R2 für den jeweiligen speziellen
Effekt)
Gemischte Variablen
kategorial & Intervallskaliert:  Kovarianzanalyse
Unabhängigkeit der Beobachtungen ist essentiell!
Gleichheit der Varianzen kann eher vernachlässigt werden.
____________________
Multivariate Verfahren
> 2 Kriterien
Neue Fragestellung: Wie kann durch Prädiktoren möglichst gut zwischen den
Gruppen unterschieden werden?
 Korrelation zwischen Prädiktoren & der jeweiligen Gruppe soll hoch sein.
 Diskriminanzanalyse
18
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
Beispiel (idealisiert: Gruppenvarianzen sind annähernd NVT):
Gruppe 1
Gruppe 2
Bereich, der zu Gruppe 1 oder 2
gehören könnte
keine Überschneidung bei Linarkombination der beiden
Variablen  mit zwei Variablen läßt sich die
Gruppenzugehörigkeit genauer schätzen.
Lineare Erklärungsmodelle mit mehreren Kriteriumsvariablen
Warum multivariate Analysen
p Prädiktoren; q Kriterien;
Korrelationsmatrix der q Kriterien: Rq x q
1. Fall: Die Kriterien sind unabhängig voneinander.  Einheitsmatrix:
R=I
 jede Kriteriumsvariable ist für sich univariat untersuchbar.
2. Fall: R+I  es gibt eine Abhängigkeitsstruktur zwischen den Kriterien.
1. Szenario: Lauter univariate Einzeluntersuchungen, die signifikant werden:
Problem: Wenn z.B. die Korrelation zwischen den AV´s = 1 ist, ist nicht klar,
inwieweit sich die Ergebnisse duplizieren.
 Konstrukte aus Kriterien werden gebildet (meist linear), sie voneinander
unabhängig sind.
19
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
2. Szenario: Lauter univariate Einzeluntersuchungen; keine Signifikanzen:
Problem: Es ist unklar, ob wirklich kein Einfluß vorhanden ist (vergleichbar mit der
Faktorenanalyse, wenn keine Hauptwirkung zu sehen ist, aber eine Wechselwirkung
vorhanden ist).
 Linarkombinationen bilden (Problem des Suppressoreffektes!)
____________________
 man versucht nicht, den Anteil bestimmter Variablen zu erklären, sondern, den
bestimmter Linearkombinationen von Variablen.
 auch die Kovarianzstruktur zwischen AV´s wird berücksichtigt.
____________________
Kanonische Korrelation & kanonische Variablen
xi  v1 xi1  v2 xi 2 ...v p xip
entspricht einer Linarkombination von Prädiktoren
(Anzahl = p)
yi  w1 yi1  w2 yi 2 ... wqyiq
entspricht einer Linarkombination von Kriterien
(Anzahl = q)
(q  p ist erlaubt!)
 Bestimme vi & wj so, daß rxy  (= kanonische Korrelation CR) möglichst groß wird.
x 
 kanonisches Variablenpaar
y 
linare Transformationen der Linearkombinationen sind erlaubt  Normierung der
Gewichte
p
 vi2  1 und
i 1
q
w
2
i
 1 (somit sind die Wurzeln ebenfalls 1)
j 1
____________________
ad Linearkombinationen:
x ist eigentlich ein Vektor (da es für jede Versuchsperson einen Rohwert x gibt)
 Matrizenschreibweise möglich:
x=Xv
y=Yw
____________________
FOLIE 20 & 21: Bezeichnungen, Größen und Matrizen bei der kanonischen
Korrelationsanalyse.
20
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
FOLIE 22: Multivariates Erklärungsmodell mit zwei Kriteriums- und drei
Prädiktorvariablen.
Vollständiges multivariates Erklärungsmodell.
Hinweis: maximal p x q kanonische Variablenpaare möglich
____________________
Interpretation:
Eine Variable ist bekannt  r2 der CR entspricht der erklärten Varianz der zweiten
Variable, in der allerdings nicht alle mögliche Varianz enthalten ist.
Die Varianz einer bestimmten Linearkombination berechnet sich wie folgt:
(Annahme: x sollen alle 1 sein):
r12  1  r22  1...rp1  1 (stimmt bei Unabhängigkeit)
dazu kommen alle Kovarianzen
Hinweis: xi bzw. yi schöpft eventuell nur einen Teil der Varianz aus.
 Wie viel Varianz enthält y?
Interpretation der kanonische Korrelation
CR2 ist der gemeinsame Varianzanteil der beiden kanonische Variablen.
zu berücksichtigen ist allerdings, wie viel Varianz in yi überhaupt enthalten ist.
____________________
Redundanzmaße:
Beispiel:
Alle Untertests eines IQ-Tests vs. 2 Untertests eines anderen IQ-Tests
 Variablensätze
____________________
Für die Auswertung ist es egal, was zum Prädiktor, und was zum Kriterium erklärt
wird. Dies spielt allerdings für die Interpretation eine Rolle.
Zudem hängt die Qualität der Vorhersage von der Richtung der Vorhersage ab:
Wenige Elemente aus vielen vorherzusagen liefert bessere Ergebnisse.
____________________
Beispiel für das Redundanzkonzept :
Der erste Kriteriumsfaktor klärt 80% der Kriteriumsvarianz auf.
CR=0,707 CR2=0,5
dies bedeutet: x und y haben 50 % gemeinsamen Varianzanteil, aber y hat nur
80% Anteil
 welcher Anteil der Varianz von Kriteriumsseite kann durch x erklärt werden?
21
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
(d.h. 50% Anteil der kanonische Variablen sind erklärbar, in denen nur 80% der
Varianz der Kriteriumsseite stecken)
 Aufgeklärter Varianzanteil der Kriterien:
0,50 x 0,80 = 0,40 ( 1. kanonischen Faktor !!)
 40 % der Kriteriumsvarianz sind redundant, wenn die Prädiktorvarianz bekannt
ist.
Der erste Prädiktorfaktor enthält 60 % der Prädiktorvarinaz
 Aufgeklärter Varianzanteil der Prädiktoren, wenn die Kriterien bekannt sind:
0,50 x 0,60 = 0,30
 das Redundanzmaß ist gerichtet !
Ein Gesamtmaß erhält man, indem man über alle Faktoren aufsummiert.
____________________
Der Varianzanteil der Kriterien, der auf Prädiktorseite durch kanonische
Linearkombination von Prädiktoren erklärt wird.
____________________
Globales Maß:
Für jedes Variablenpaar ergibt sich eine CR
 Gesamtzusammenhang: „Set-Korrelation“: Rxy2
Idee: man summiert einfach alle CR2 auf.
Dies ist aber nicht möglich, da die Formel „unaufgeklärte Varianz + aufgeklärte
Varianz = gesamte Varianz“ hier nicht stimmt.
 man summiert nicht die aufgeklärten Anteile der Varianz, sondern die
unaufgeklärten:
Rxy2  1  (1  cr12 )(1  CR22 )...(1  CRs2 )
Die Glieder sind multiplizierbar, wie Wahrscheinlichkeiten, da die CR´s
unabhängig sind.
____________________
Hinweis: Die multiple Korrelation überschätzt die wahre Korrelation  
Erwartungstreu
 Schrumpfungskorrektur (n & p wird berücksichtigt).
Gleiches gilt für die kanonische Korrelation. Dadurch würde auch für die SetKorrelation eine Schrumpfungskorrektur nötig.
Dazu Thompson (1990): bei n  3  p  q ist die Schrumpfungskorrektur
vernachlässigbar.
22
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
Diese Voraussetzung ist aber nahezu immer erfüllt, da sonst durch knappe
Zellbesetzungen die Mathematik häufig unstabil wird.
02.07.1997
Signifikanzprüfung der kanonischen Korrelation
Fragestellung: Ist der durch alle CR erfasste Zusammenhang signifikant?
r
Prüfgröße: V   1 2 (2n  3  p  q ) ln  (1  CRs2 )
s 1
Es gilt für die einzelnen Glieder:
 - gleicht negatives Ergebnis durch „ln“ aus.
 0   1
 (2n  3  p  q) wird negativ, wenn gilt: p  q  3  n ( min. für n)
V   2pq
Fragestellung: Sind nach der Ermittung von t CR´s die noch verbliebenen (r-t) noch
signifikant?
r
Vt   1 2 (2n  3  p  q ) ln  (1  CRs2 )
s  t 1
Vt   2( pt )(q1)
Voraussetzungen:
AV & UV intervallskaliert: Prädiktoren und Kriterien müssen multivariat normalverteilt
sein.
AV & UV dichotom: Prädiktoren & Kriterien müssen in allen Subpopulationen
multivariat normalverteilt sein.
____________________
Interpretation der kanonischen Variablen

Für jedes kanonische Variablenpaar x s & ys gilt:
rx s x s '  0 , wenn ss’
ry s y s '  0 , wenn ss’
rx s y s '  0 , wenn ss’
(dies entspricht Orthogonalität)
____________________
23
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche

Hinweis die einfache lineare Korrelation zwischen x s & ys ergibt CR.
analog der multiplen Korrelation gibt es auch hier ähnliche Probleme, wie den
Suppressoreffekt, oder mit Kollinearität:
So sind kanonische Gewichte nur sauber interpretierbar, wenn Kriterium und
Prädiktor nicht korreliert sind.
ähnlich der Faktorladung (Korrelation zwischen einer Variable und einem Faktor) bei
der Faktorenanalyse ergibt sich eine Korrelation der kanonischen Variablen auf
Prädiktorseite:
ais  rxi xs
 entspricht der Korelation von Merkmal i mit Prädiktorfaktor s
analog gilt dies für die Kriteriumsseite:
bjs  ry j y s
 wird mit Standardwerten gerechnet, so ist die Länge der Linearkombinationen von
CR´s auf 1 normiert.  Linearkombinationen sind als Faktor interpretierbar.
Eine „Ladung“ gibt an, wie Strukturmerkmale auf Prädiktorseite mit dem Faktor / der
Linearkombination korrelieren. (siehe FOLIE 21: Definition)
____________________
Strukturkoeffizienten:
Korrelation von Prädiktorvariablen mit vorhergesagten Kriteriumsvariablen: (siehe
FOLIE 21: Definition)
Prädiktorseite:
cis  rxi y s
Korrelation mit den zusammengefassten Kriterien
Kriteriumsseite:
d js  ry j x s
____________________
 Faktorenanalyse: Faktoren sollen unabhängig sein.
 multiple Korrelation: Prädiktoren sollen unkorreliert sein (dann sind die b-Gewichte
= Korrelation zwischen zwischen Prädiktor und Kriterium)
 hier siend die Prädiktoren korreliert  v´s und w´s sind kaum interpretierbar, wenn
Ladungen und Strukturkoeffizienten gut interpretierbar sind
FOLIE 21: Konventionen (beachte: Zeilenzahl!)
24
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
(Kapitel 6)
Beispiel:
Kriterien: Wirkung auf den Betrachter / Aussehen des Baus
Prädiktoren: Bauliche Aspekte objektiv
Kriterienbereich: y
 26 Häuserfassaden eingestuft in bipolaren Adjektivskalen (9-stufig)
 Durchschnittliche Beurteilung über alle Versuchspersonen (Information über die
Anzahl entfällt, weil nur die Information des Mittelwerts eingeht)
 Korrelation über die Fasssaden
 Faktorisiert:
 25 Adjektivskalen
 n=26
p=25
Fassade Nr. Adjektiv Nr.
1...
...
...
1
0
...
...
...
26
25
0= Mittelwert über Versuchspersonen
Matrix: 26x25xVP-Zahl
Mittelwerte über VP´s  Matrix:26x25
 Korrelationsmatrix  Matrix 25x25
 wird Faktorisiert  3 Faktoren  Ladungsmatrix: 25x3
3 Faktoren: 1. erlebte Valenz
51,7%
2. erlebte strukturelle Ordnung 20,8%
3. erlebte Stimulation
17,7%
Summe: 90,2%
Prädiktorenbereich: x
24 objektive Variablen (z.B. Wahrscheinlichkeit für Kanten, etc.)
Analoge Prozedur; statt Adjektiven 24 Variablen an 26 Hausfassaden
6 Faktoren: 1. Verh. Wand/Fensterfläche
2. Balkonfläche
3. Dachfläche
4. Stereotypie
5. Entropie
6. Grünfläche
25
23,8%
15,4%
13,0%
9,4%
8,7%
14,6%
Ü SS1997 (S) Röri 11 R304 1400-1600 Das allgemeine lineare Modell Rausche
Summe: 84,9%
 6 Prädiktoren, 3 Kriterien
Vorteile dieses Verfahrens:
 Reduktion der Freiheitsgrade und des -Fehlers.
 kaum Informationsverlust bei 90% bzw. 85%.
FOLIE 28: Beispiel für eine kanonische Korrelationsanalyse
26