der multiplen Regression - Methodenlehre und Statistik
Werbung
Methoden der Psychologie Prof. Dr. G. Meinhardt 6. Stock, TB II R. 06-206 (Persike) R. 06-321 (Meinhardt) Forschungsstatistik I Sprechstunde p jederzeit j nach Vereinbarung Dr. Malte Persike } [email protected] persike@uni-mainz de http://psymet03.sowi.uni-mainz.de/ WS 2009/2010 Fachbereich Sozialwissenschaften Psychologisches Institut Johannes Gutenberg Universität Mainz Methoden der Psychologie Grundlagen Multiple Regression I Multiple Regression II Multiple Regression Grundlagen Gleichung g Minimierung NormalNormal gleichungen Oft werden in psychologischen Untersuchungen nicht nur ein sondern mehrere UVn betrachtet. Beispiele: Abhängigkeit der Lebenszufriedenheit von sozialem, ökonomischem und Gesundheitsstatus; Beeinflussung sportlicher Leistung durch Trainingszustand und Anwesenheit von Zuschauern. Solche Fragestellungen werden auch als multifaktoriell bezeichnet Problem: Die Berechnung mehrerer Korrelationen vernachlässigt mögliche Zusammenhänge zwischen den Prädiktoren Methoden der Psychologie Grundlagen Multiple Regression I Multiple Regression II Multiple Regression Grundgleichung Gleichung g Minimierung NormalNormal gleichungen Die Vorhersagegleichung der multiplen Regression mit k Prädiktoren wird geschrieben als yˆ = b0 + b1 ⋅ x1 + b2 ⋅ x2 + … + bk ⋅ xk Bei standa standardisierten disie ten Daten verwendet e endet man das Symbol S mbol β für die k Regressionsparameter (bzw. „-gewichte“) yŷ = β1 ⋅ z1 + β 2 ⋅ z2 + … + β k ⋅ zk Die vorhergesagte Variable (AV) wird als Kriterium bezeichnet, die vorhersagenden Variablen (UV) als Prädiktoren. Methoden der Psychologie Grundlagen Multiple Regression I Multiple Regression II Regression Methode der kleinsten Quadrate (KQ-Kriterium) Gleichung g g des Vorhersagefehlers g wird oft das Zur Minimierung Kleinste-Quadrate Kriterium verwendet (KQ; oder Ordinary Least Squares, OLS) Minimierung Parameter der multiplen Regressionsgleichung werden so gewählt, dass das Quadrat der Abweichungen von gemessenem und geschätztem Wert minimiert wird NormalNormal gleichungen Für eine Versuchsperson i aus allen n gelte: yi = yˆi + ei ⇔ ei = yi − yˆi Dann soll für alle n Datenwerte erreicht werden, dass n n ∑ ( y − yˆ ) = ∑ e i =1 2 i i i =1 2 i → min Minimierung der Varianz des Vorhersagefehlers Methoden der Psychologie Grundlagen Multiple Regression I Multiple Regression II Regression Methode der kleinsten Quadrate (KQ-Kriterium) Gleichung g g Gleichung g der einfachen linearen Mithilfe der Allgemeinen Regression lässt sich für die Streuung des Vorhersagefehlers SSe also schreiben: Minimierung n n SSe = ∑ ( yi − yˆi ) = ∑ ( yi − b0 − b1 ⋅ xi1 − b2 xi 2 − … − bk xik ) → min 2 i =1 NormalNormal gleichungen 2 i =1 bzw. in der standardisierten Form n ( SSe = ∑ z yi − zˆ yi i =1 ) = ∑( z 2 n i =1 yi − β1 ⋅ z xi1 − β 2 z xi 2 − … − β k z xik ) 2 → min Die Minimierung der Regressionsparameter erfolgt über partielle Differenzierung nach jedem einzelnen der bbzw. β-Gewichte Methoden der Psychologie Grundlagen Multiple Regression I Multiple Regression II Regression Normalgleichungen der multiplen Regression Gleichung g Minimierung Die partielle Differenzierung der nichtstandardisierten Gleichung mit k Prädiktoren führt immer auf ein System von k+1 Normalgleichungen, das wie folgt aufgebaut ist: n n ∑ y = ∑b i =1 NormalNormal gleichungen 0 i =1 n ∑ yx 1 i =1 n ∑ yx 2 i =1 n n n n i =1 i =1 i =1 + b1 ∑ x1 + b2 ∑ x2 + … + bk ∑ xk n n n i =1 i =1 = b0 ∑ x1 + b1 ∑ x + b2 ∑ x1 x2 + … + bk ∑ x1 xk i =1 i =1 n n 2 1 n n = b0 ∑ x2 + b1 ∑ x1 x2 + b2 ∑ x + … + bk ∑ x2 xk 2 2 i =1 i =1 i =1 i =1 n n n n i =1 i =1 i =1 i =1 … n ∑ yx i =1 k = b0 ∑ xk + b1 ∑ x1 xk + b2 ∑ x2 xk + … + bk ∑ xk2 Methoden der Psychologie Grundlagen Multiple Regression I Multiple Regression II Regression Normalgleichungen der multiplen Regression Gleichung g Minimierung In der standardisierten Form ergibt sich ein System von k Normalgleichungen: n ∑z i =1 NormalNormal gleichungen n x1 n ∑z i =1 i =1 n x2 n n i =1 i =1 z y = β1 ∑ z + β 2 ∑ z x1 z x2 + … + β k ∑ z x1 z xk 2 x1 n n z y = β1 ∑ z x1 z x2 + β 2 ∑ z + … + β k ∑ z x2 z xk 2 x2 i =1 i =1 i =1 n n n i =1 i =1 i =1 … n ∑z i =1 xk z y = β1 ∑ z x1 z xk + β 2 ∑ z x2 z xk + … + β k ∑ z x2k Methoden der Psychologie Grundlagen Multiple Regression I Multiple Regression II Regression Multiple Regression - Zusammenfassung Gleichung g Minimierung NormalNormal gleichungen Die partielle Differenzierung einer multiplen Regressionsgleichung mit k Prädiktoren führt immer auf ein System von k+1 (bzw. k) Normalgleichungen Prinzip: Die summierte Ausgangsgleichung wird nacheinander mit jeder Prädiktorpotenz x0…xk (bzw. z1…zk) multipliziert Die Normalgleichungen liefern dann für k+1 (bzw. k) unbekannte b k Regressionsparameter R i genau so viele i l Gleichungen. Dieses Gleichungssystem Di Gl i h t kann k nun durch d h Substitution S b tit ti oder Diagonalisierung für die Parameter gelöst werden Methoden der Psychologie Matrixalgebraische Berechnung Interpretation der b und β Multiple Regression I Multiple Regression II Matrixalgebraische Berechnung der multiplen Regression Wir haben gesehen, dass die Normalgleichungen der multiplen Regression für standardisierte Daten lauteten: n ∑z i =1 x1 n ∑z i =1 x2 n n n i =1 i =1 i =1 z y = β1 ∑ z x21 + β 2 ∑ z x1 z x2 + … + β k ∑ z x1 z xk n n n i =1 i =1 i =1 n n n i =1 i =1 i =1 z y = β1 ∑ z x1 z x2 + β 2 ∑ z x22 + … + β k ∑ z x2 z xk … n ∑z i =1 xk z y = β1 ∑ z x1 z xk + β 2 ∑ z x2 z xk + … + β k ∑ z x2k Weiterhin ist die Korrelation zweier Variablen xm und xn: rxm xn 1 = N n ∑z i =1 z i , xm i , xn 1 = z xm × z xn N Methoden der Psychologie Matrixalgebraische Berechnung Interpretation der b und β Multiple Regression I Multiple Regression II Matrixalgebraische Berechnung der multiplen Regression Damit reduziert sich das Normalgleichungssystem zu: rx1 y = β1 + β 2 rx1 x2 + β3rx1 x3 + … + β k rx1 xk rx2 y = β1rx1 x2 + β 2 + β3 rx2 x3 + … + β k rx2 xk rx3 y = β1rx1 x3 + β 2 rx2 x3 + β3 + … + β k rx3 xk … rxk y = β1rx1 xk + β 2 rx2 xk + β3 rx3 xk + … + β k In Matrixnotation ist dies: Rxx × β = rxy mit 1 T Rxx = ⋅ Z Z N Methoden der Psychologie Matrixalgebraische Berechnung Multiple Regression I Multiple Regression II Matrixalgebraische Berechnung der multiplen Regression In Matrixnotation ist dies: Rxx × β = rxy Interpretation der b und β wobei: mit 1 T Rxx = ⋅ Z Z N Rxx = k × k Matrix der Prädiktorinterkorrelationen Methoden der Psychologie Matrixalgebraische Berechnung Interpretation der b und β Multiple Regression I Multiple Regression II Exkurs: Die Korrelationsmatrix R Aufbau und Bedeutung Die Korrelationsmatrix R stellt die Korrelationen zwischen k Variablen in Matrixschreibweise dar. Sie ist quadratisch und enthält k×k Korrelationen x1 x1 ⎛ 1 ⎜ x2 ⎜ r21 ⎜ ⎜ xk ⎝ rk 1 x2 … xk r12 1 rk 2 r1k ⎞ ⎟ r2 k ⎟ ⎟ ⎟ 1⎠ Die Hauptdiagonale enthält die Korrelationen der Variablen mit sich selbst lb t (r ( xx = 1) Die untere und obere Dreiecksmatrix sind symmetrisch Methoden der Psychologie Matrixalgebraische Berechnung Multiple Regression I Multiple Regression II Matrixalgebraische Berechnung der multiplen Regression In Matrixnotation ist dies: Rxx × β = rxy Interpretation der b und β wobei: mit 1 T Rxx = ⋅ Z Z N Rxx = k × k Matrix der Prädiktorinterkorrelationen r xy = k ×1 Vektor der Kriteriumskorrelationen β = k ×1 Vektor der Regressionsgewichte Z = n × k Vektor der z-standardisierten Daten Lösung: Inverse Interkorrelationsmatrix vormultiplizieren Rxx−1 Rxx × β = Rxx−1 rxy ⇔ I × β = Rxx−1 rxy Methoden der Psychologie Matrixalgebraische Berechnung Interpretation der b und β Multiple Regression I Multiple Regression II Matrixalgebraische Berechnung Rückrechnung der unstandardisierten Parameter Wurden die β-Parameter für die z-standardisierten Daten matrixalgebraisch bestimmt, kann die Berechnung der unstandardisierten b-Parameter vorgenommen werden über bi = βi SDy SDxi mit i = 1, 2,..., k Die Konstante b0 wird dann berechnet als b0 = y − b1 x1 − b2 x2 − ... − bk xk Methoden der Psychologie Matrixalgebraische Berechnung Interpretation der b und β Multiple Regression I Multiple Regression II Interpretation der Lösung b- und β-Gewichte Die Größe eines b-Gewichtes gibt an, um wieviele Einheiten sich der Wert des unstandardisierten Kriteriums verändert, wenn der Betrag des unstandardisierten Prädiktors um 1 steigt. Die Größe des β-Gewichtes gibt dasselbe für die standardisierten Variablen an Das b-Gewicht beantwortet die Frage: „Ich möchte einen der Prädiktoren um 1 erhöhen. Welchen sollte ich wählen, damit das Kriterium maximal steigt?“ Das β-Gewicht beantwortet die Frage: „Mit welchem Prädiktor erhöhe ich das Kriterium am effizientesten?“ Das b-Gewicht liefert also eine absolute, das β-Gewicht eine relative Information. Methoden der Psychologie Kennwerte Multiple Regression I Multiple Regression II Kennwerte der multiplen Regression 1. Der multiple Korrelationskoeffizient R Test der Gewichte gegen Null Definition: Der multiple Korrelationskoeffizient R repräsentiert die Korrelation zwischen dem Kriterium y und allen Prädiktoren x1…xk Dabei berücksichtigt R etwaige Interkorrelationen zwischen den Prädiktoren (und entfernt sie) Der multiple Korrelationskoeffizient R ist definiert als Ry⋅ x1x2 …xk = k ∑β r j =1 j= j xj y Er ist mathematisch äquivalent zur Korrelation zwischen den gemessenen yy-Werten Werten und den vorhergesagten ydach-Werten, also Ry⋅ x1x2 …xk = ryyˆ Methoden der Psychologie Kennwerte Multiple Regression I Multiple Regression II Kennwerte der multiplen Regression 2. Der multiple Determinationskoeffizient R² Test der Gewichte gegen Null Definition: Der multiple Determinationskoeffizient R² repräsentiert die Varianzaufklärung, die alle Prädiktoren x1…xk am Kriterium y leisten Der multiple Determinationskoeffizient R² ist definiert als R2 = Erklärte Streuung Fehlerstreuung = 1− Gesamt-Streuung Gesamt-Streuung Rechnerisch: 1 n ( y − yˆ ) 2 ∑ Var ( yˆ ) Var (e) n i =1 2 R = = 1− = n Var ( y ) Var ( y ) 1 2 y y − ( ) ∑ n i =1 Methoden der Psychologie Kennwerte Multiple Regression I Multiple Regression II Kennwerte der multiplen Regression 3. Abhängigkeit Test der Gewichte gegen Null a) Sind die Prädiktoren unabhängig, so sind die ß-Gewichte gleich den Kriteriumskorrelationen und die aufgeklärte Varianz ist die Summe der Quadrate der ß-Gewichte Erklärung: Bei perfekt unabhängigen Prädiktoren ist die Prädiktorinterkorrelationsmatrix Rxx gleich l i h der d Identitätsmatrix Id tität t i I. I Damit gilt für den multiplen Korrelationskoeffizienten R Und R² ist einfach die Summe der quadrierten Kriteriumskorrelationen β = I × rxy ⇔ β = rxy k 2 r ∑ xj y Ry⋅ x1x2 …xk = j =1 k Ry2⋅ x1x2 …xk = ∑ rx2j y j =1 Methoden der Psychologie Kennwerte Multiple Regression I Multiple Regression II Kennwerte der multiplen Regression 3. Abhängigkeit Test der Gewichte gegen Null a) Sind die Prädiktoren unabhängig, so sind die ß-Gewichte gleich den Kriteriumskorrelationen und die aufgeklärte Varianz ist die Summe der Quadrate der ß-Gewichte b) Si Sind d die di Prädiktoren P ädikt abhängig bhä i (interkorreliert), (i t k li t) so sind i d3 Fälle zu unterscheiden: 1 Der Prädiktor klärt zumindest Teile der Varianz am 1. Kriterium auf, die andere Prädiktoren nicht aufklären: er ist nützlich. 1 D 1. Der P Prädiktor ädikt enthält thält IInformation, f ti di die bereits b it andere Prädiktoren enthalten: er ist redundant 2. Der Prädiktor unterdrückt irrelevante Varianz in anderen Prädiktoren: er ist ein Suppressor Methoden der Psychologie Kennwerte Multiple Regression I Multiple Regression II Kennwerte der multiplen Regression 3a. Nützlichkeit Test der Gewichte gegen Null Nützlichkeit = Der Beitrag, g, den eine Variable zur Varianzaufklärung des Kriteriums leistet, der von den anderen Variablen nicht geleistet wird Die Nützlichkeit einer Variablen xj berechnet sich als U j = Ry2, x1,2,...,k + j − Ry2, x1,2,...,k − j Uj ist i t also l der d Betrag, B t um den d R² wächst, ä h t wenn di die Variable xj in die multiple Regressionsgleichung aufgenommen wird. Methoden der Psychologie Kennwerte Multiple Regression I Multiple Regression II Kennwerte der multiplen Regression 3b. Redundanz Test der Gewichte gegen Null Redundanz = die vielen Variablen messen Aspekte gemeinsam so dass man prinzipiell weniger Prädiktoren gemeinsam, benötigte → unerwünschter Aspekt Die Variable xj ist redundant zur Vorhersage von Variable y wenn gilt β x ⋅ rx y < r j j 2 xj y Prädiktoren enthalten empirisch nahezu immer gemeinsame Varianzanteile und sind somit „teilweise redundant“. d d t“ E Echte ht R Redundanz d d liegt li t aber b erstt gemäß äß obiger bi Definition vor. Multikollinearität: Die Kovarianz eines Prädiktors mit dem Kriterium ist in den anderen Prädiktoren (fast) vollständig enthalten → extremer Fall von Redundanz. Methoden der Psychologie Kennwerte Multiple Regression I Multiple Regression II Kennwerte der multiplen Regression 3c. Suppression rx1 y Test der Gewichte gegen Null rx2 y=0 rx1 x2 x1 X2 Y x2 „bindet“ irrelevante Prädiktorinformation x2 hängt nicht mit y zusammen, trotzdem erhöht sie R² Methoden der Psychologie Kennwerte Multiple Regression I Multiple Regression II Kennwerte der multiplen Regression 3c. Suppression Test der Gewichte gegen Null Defintion: Eine Variable xj ist ein Suppressor, pp , wenn gilt: U x j > rx2j y Die Zunahme der erklärten Varianz durch Aufnahme der Variable ist also größer als die einzelne Varianzaufklärung. Vereinfachung: Bei nur zwei Prädiktoren x1 und x2 ist i t x2 ein i Supressor, S wenn gilt: ilt rx1z . x2 > rx1z ⋅ 1- rx21x2 1- rx22 z Methoden der Psychologie Zusammenfassung Vereinfachung bei nur 1 UV Lineare Regression Polynomische Regression Regression Zusammenfassung Oft ist in der Psychologie die Vorhersage des Wertes einer bestimmten Variablen unter Kenntnis der Ausprägung anderer Variablen gefordert. Die bekannten Variablen wird dabei als Prädiktoren, Unabhängige Variablen (UVn) oder Erklärende Variablen bezeichnet Die vorherzusagende Variable wird als Kriterium, Abhängige Variable (AVn) oder Response bezeichnet Methoden der Psychologie Zusammenfassung Vereinfachung bei nur 1 UV Lineare Regression Polynomische Regression Regression Zusammenfassung Drei Hauptfragestellungen der Regressionsrechnung: 1. Gibt es eine statistische Beziehung zwischen zwei Variablen, die die Vorhersage der AV aus der UV erlaubt? 2. Kann eine möglichst einfache mathematische Regel f formuliert li t werden, d die di diesen di Zusammenhang Z h beschreibt? b h ibt? yˆ = b0 + b1 ⋅ x1 + b2 ⋅ x2 + … + bk ⋅ xk 3 Wie gut ist diese Regel im Hinblick auf die Vorhersage? 3. Methoden der Psychologie Zusammenfassung Vereinfachung bei nur 1 UV Lineare Regression Polynomische Regression Regression Zusammenfassung Gründe für die Annahme einer linearen Gleichung: Lineare Zusammenhänge g sind einfach zu verstehen Lineare Zusammenhänge sind mathematisch und statistisch einfach zu behandeln Lineare Gleichungen haben sich vielfach als gute Approximationen für komplexe Beziehungen erwiesen Achtung: Auch wenn die Beziehung zwischen zwei ZVn linear „aussieht“, muss es sich nicht zwangsläufig um einen i linearen li Zusammenhang Z h handeln. h d l Methoden der Psychologie Zusammenfassung Vereinfachung bei nur 1 UV Lineare Regression Polynomische Regression Regression Zusammenfassung Vorsicht bei der Interpretation der Regressionsgleichung Bei der Korrelationsrechnung bedeutet ein Zusammenhang niemals Kausalität, lediglich Assoziation Bei der Regressionsrechnung g gg gilt zunächst dasselbe Die Kausalitätsvermutung wird (wenn überhaupt) schon bei der Aufstellung g der Regressionsgleichung g g g getroffen, g nicht erst bei der Interpretation der Ergebnisse. Um tatsächlich Kausalität festzustellen, müssen weitere Randbedingungen vorliegen (z.B. zeitliche Antezedenz von Ursache vor Wirkung). Methoden der Psychologie Zusammenfassung Vereinfachung bei nur 1 UV Lineare Regression Polynomische Regression Regression Vereinfachung bei nur einem Prädiktor Bei nur einem Prädiktor vereinfacht sich die Berechnung der Regressionsgewichte erheblich. 1. Steigung: b1 = rxyy ⋅ 2. y-Achsenabschnitt: sy sx oder ŷ = b0 + b1 ⋅ x b1 = b0 = y − b1 ⋅ x cov( x, y ) sx Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Fragestellung Test der Gewichte gegen Null Neben der Aussage über die Nützlichkeit eines Prädiktors ist man oft daran interessiert, ob er überhaupt mit dem Kriterium zusammenhängt Grundgedanke: G d d k Ein Ei Prädiktor, P ädikt d der iin kkeiner i Verbindung V bi d zum Kriterium steht, sollte den Wert βj = 0 haben. Ein Prädiktor, der an der Veränderung des Kriteriums beteiligt ist, ist sollte einen Wert βj ≠ 0 haben. haben Problem: Allein aufgrund der zufälligen Auswahl der Merkmalsträger für die Stichprobe wird ein β-Gewicht niemals perfekt Null sein („Stichprobenfehler“). Frage: Wie unterschiedlich zu Null muss ein ββ-Gewicht Gewicht sein, damit wir begründet annehmen können, dass diese Abweichung nicht zufällig ist? Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Grundannahmen Test der Gewichte gegen Null Die Häufigkeitsverteilung einer Variablen ist oft nicht vollkommen zufällig, sondern folgt einer systematischen Form Beispiele: Körpergrößen, IQ, Augensummen beim Wurf zweier Würfel Oftmals lässt sich die Form einer solchen Häufigkeitsverteilung theoretisch durch eine mathematische Formel beschreiben. Beispiel Normalverteilung: 1 f ( x) = ⋅e σ 2π 1 ⎛ x−μ ⎞ − ⋅⎜ ⎟ 2⎝ σ ⎠ 2 Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Grundannahmen Test der Gewichte gegen Null Die Häufigkeitsverteilung einer Variablen ist oft nicht vollkommen zufällig, sondern folgt einer systematischen Form Beispiele: Körpergrößen, IQ, Augensummen beim Wurf zweier Würfel Oftmals lässt sich die Form einer solchen Häufigkeitsverteilung theoretisch durch eine mathematische Formel beschreiben. Beispiel χ²-Verteilung: f ( x) = x n −1 2 n 2 ⋅e 2 ⋅Γ − x 2 () n 2 Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Grundannahmen χ²-Verteilung Test der Gewichte gegen Null Normalverteilung Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Beispiel Körpergrößen von deutschen Frauen sind etwa wie folgt verteilt: Körpergrößenverteilung deutscher Frauen 35% Relative e Häufigkeit Test der Gewichte gegen Null Normalverteilung 30% 25% 20% 15% 10% 5% 0% Körpergröße Ist eine Körpergröße von h=170cm typisch? Wie ist es mit einer Körpergröße von h=120cm? Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Prinzip des Tests gegen Null Test der Gewichte gegen Null Wenn eine im Experiment p beobachtete Ausprägung p g g „zu „ unwahrscheinlich“ ist, um unter der gegebenen Häufigkeitsverteilung zu entstehen, kann sie als nicht zu dieser Verteilung gehörig betrachtet werden. Dabei wird immer die theoretische Häufigkeitsverteilung (i.e. die mathematische Formel) benutzt, nicht die empirisch erhaltene (fehlerbehaftete) Bezogen auf die β-Gewichte fragen wir uns also: A Angenommen, ein i β ist i t tatsächlich t t ä hli h Null, N ll wie i wahrscheinlich ist dann das an den Stichprobendaten gemessene β? Problem: Wie gelangt man an die theoretische Häufigkeitsverteilung der β-Gewichte? Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Häufigkeitsverteilung transformierter Daten Test der Gewichte gegen Null Ausgangslage: g g g Man habe am einer Stichprobe p Messwerte erhoben, die eine bestimmte Häufigkeitsverteilung haben Transformation: Man bildet aus diesen Daten ein aggregiertes Maß Beispiele: Mittelwert, Standardabweichung, χ²-Wert, βGewichte Oft kkann iin einem i solchen l h Fall F ll die di theoretische th ti h Häufigkeitsverteilung des aggregierten Maßes bestimmt werden, teilweise erst nach einer weiteren mathematischen Transformation des Maßes Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Berechnung der Auftretenswahrscheinlichkeit Test der Gewichte gegen Null Man berechne: „Prüfgröße“ g n − k −1 F ( β ) = β ⋅ −1 rjj ⋅ (1 − R 2 ) 2 j Regressionsgewicht Transformationsterm (Verteilung(hin unbekannt) zur F F-Verteilung) Verteilung) mit df Zähler = 1 und d df Nenner = n − k − 1 n ist die Stichprobengröße, k die Anzahl der Prädiktoren r-1jj ist das Diagonalelement j in der inversen Korrelationsmatrix, R² der multiple Determinationskoeffizient Die Prüfgröße folgt einer theoretischen Häufigkeitsverteilung, die F-Verteilung genannt wird Die F-Verteilung hat zwei Parameter, nämlich die so genannten Zähler- und Nenner-Freiheitsgrade Methoden der Psychologie Kennwerte Lineare Regression Statistischer Test der Gewichte Die F-Verteilung Test der Gewichte gegen Null Polynomische Regression Zähler‐FG Nenner‐FG Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Bewertung der Auftretenswahrscheinlichkeit Test der Gewichte gegen Null Die Freiheitsgrade g sind einfach Zahlen,, die die konkrete Form der theoretischen Häufigkeitsverteilung festlegen („Wie schief ist sie? Wo ist sie zentriert?“) Man berechnet zunächst die Prüfgröße F(β) Die F-Verteilung gibt nun an, welche Wahrscheinlichkeit p(F) das Auftreten der Prüfgröße hat Dies ist gleichzeitig die Wahrscheinlichkeit p(β) für den gemessenen oder d einen i noch h extremeren t Wert W t für fü β, β unter t der Annahme, dass das β in Wahrheit 0 ist. Die Aussage kann direkt auf das zugehörige b-Gewicht b Gewicht übertragen werden. Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Bewertung der Auftretenswahrscheinlichkeit Test der Gewichte gegen Null Ist die berechnete Wahrscheinlichkeit zu klein, weicht der β Parameter vermutlich eher nicht zufällig von 0 ab β-Parameter ab, sondern systematisch. Er ist dann statistisch signifikant von 0 verschieden. verschieden Problem: Wie klein ist „zu unwahrscheinlich“? Hier haben sich in der Praxis zwei Cut-Off Werte eingebürgert, die als α–Niveaus oder Signifikanzniveaus bezeichnet werden. Es gilt: α ≥ 0.05 α < 00.05 05 α < 0.01 → statistisch nicht signifikant → statistisch signifikant → statistisch hochsignifikant Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Bewertung der Auftretenswahrscheinlichkeit Test der Gewichte gegen Null Angenommen, g , im Experiment p erhalte man ein ββ=0.123. Für dieses berechnet man nun die Prüfgröße F und deren Auftretenswahrscheinlichkeit p(β) unter der Annahme, dass in Wahrheit gilt β=0. Es sei nun p=0.001. Nach unseren Konventionen würden wir auf jedem αNiveau sagen, dass sich β signifikant von 0 unterscheidet. Aber Achtung: Das β=0.123 hat eine Auftretenswahrscheinlichkeit von p(β)=0.001. Mit dieser Wahrscheinlichkeit kann es also auch dann vorkommen, wenn in Wahrheit β=0 gilt. Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Bewertung der Auftretenswahrscheinlichkeit Test der Gewichte gegen Null Die Aussage, g , ein β sei signifikant g von Null verschieden,, ist eine Wahrscheinlichkeitsaussage bei der immer ein Restirrtum verbleibt, die Irrtumswahrscheinlichkeit. Diese Irrtumswahrscheinlichkeit hängt nicht von der konkret erhaltenen Wahrscheinlichkeit p ab, sondern vom gewählten Signifikanzniveau α. Bei α=0.05 beträgt die Irrtumswahrscheinlichkeit also 5%, bei α=0.01 ist sie 1%. Praxis: In der Praxis wird α demzufolge entweder als α–Niveau, Signifikanzniveau oder auch Irrtumswahrscheinlichkeit bezeichnet. bezeichnet Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Prinzip des Testens Test der Gewichte gegen Null Beobachtung im Experiment: β=… Frage: Kann dieses β in Wahrheit Null sein? Geht die Abweichung von 0 auf einen Stichprobenfehler zurück? (1) Festlegung eines Signifikanzniveaus α (2) Berechnung der Prüfgröße: F(β) d deren Häufigkeitsverteilung Hä fi k i il theoretisch h i h bekannt b k ist i (F-Verteilung) (F V il ) (3) Berechnung der Wahrscheinlichkeit für diese Prüfgröße: p(F) (4) Rückschluss: p(F) = p(β) = p(b) (5) Vergleich von p mit α und Treffen der Signifikanzaussage Aber: Bei dieser Aussage irrt man sich mit einer Wahrscheinlichkeit von α·100% Methoden der Psychologie Kennwerte Lineare Regression Polynomische Regression Statistischer Test der Gewichte Voraussetzungen Test der Gewichte gegen Null Das zu wählende α-Niveau muss vor der Berechnung g der Prüfgröße festgelegt werden (nicht: „Oh, p ist 0.034, dann nehmen wir doch α=0.05“). Der statistische Test der Regressionsgewichte ist nur dann gültig, wenn die Prüfgröße tatsächlich einer FVerteilung folgt. Dies kann immer dann angenommen werden wenn die Häufigkeitsverteilungen der Messwerte der Prädiktoren multivariat lti i t normalverteilt l t ilt sind i d (statistisch ( t ti ti h sehr h schwierige Prüfung) Als Faustregel gilt: Bei n > 20 und k < 10 ist die Annahme der F-Verteilung hinreichend gut begründet Methoden der Psychologie Grundlagen Lineare Regression Polynomische Regression Nichtlineare Regression Grundlagen Linearisierbare Formen Polynome psychologischer y g Fragestellungen g g ergeben g Bei einer Reihe p sich nichtlineare Zusammenhänge zwischen UV & AV. Beispiele: Reaktionszeit, Blutalkohol und psychomotorische Leistungen Leistungen, Fehlerraten in Leistungstests bei verschiedenen Aufgabenschwierigkeiten Solche nichtlinearen Zusammenhänge lassen sich in zwei Klassen einteilen: 1 Zusammenhänge 1. Zusammenhänge, die sich durch eine einfache (nichtlineare) Transformationen in lineare Zusammenhänge überführen lassen 2. Zusammenhänge, für die eine nichtlineare Regressionsgleichung gelöst werden muss. Methoden der Psychologie Grundlagen Lineare Regression Polynomische Regression Nichtlineare Regression Linearisierbare und polynomische Formen Linearisierbare Formen Fall 1: Linearisierende Transformation,, z.B. yˆ = b0 ⋅ x ⎯⎯⎯ → ln ( yˆ ) = ln ( b0 ) + b1 ⋅ ln ( x ) b1 ln ( • ) Polynome (hier nicht behandelt) Fall 2: Nicht (einfach) linearisierbar ŷ = b0 + b1 ⋅ x + b2 ⋅ x 2 Methoden der Psychologie Grundlagen Lineare Regression Polynomische Regression Nichtlineare Regression Beispiel: Logistische Regression 1 0.8 0.6 Linearisierbare Formen Polynome Gemessene Daten verlaufen ogivenförmig und variieren zwischen 0 und 1 04 0.4 0.2 0 0 Umformung der y-Werte durch Logarithmieren bewirkt eine Linearisierung der Daten 10 20 30 40 0 20 40 60 6 4 Mithilfe dieser neuen y-Werte k kann eine i lineare li Regression R i bestimmt werden, um die Parameter b0 und b1 zu errechnen h 2 0 -2 -4 -6 -8 -20 Methoden der Psychologie Grundlagen Lineare Regression Polynomische Regression Polynomische Regression Grundlagen und Durchführung Linearisierbare Formen Häufig können Merkmalszusammenhänge durch Polynome 2. oder 3. Ordnung gut beschrieben werden, d.h. ŷ = b0 + b1 ⋅ x + b2 ⋅ x 2 Polynome ode oder ŷ = b0 + b1 ⋅ x + b2 ⋅ x 2 + b3 ⋅ x3 Dies ist formal eine lineare multiple Regression, allerdings nicht mit mehreren Prädiktoren Prädiktoren, sondern mit einem Prädiktor sowie Transformationen seiner selbst. Methoden der Psychologie Grundlagen Lineare Regression Polynomische Regression Polynomische Regression Grundlagen und Durchführung Linearisierbare Formen Polynome Eine solche polynomische Regression wird berechnet, indem die transformierten Prädiktorterme bestimmt werden Dann wird eine übliche lineare multiple Regression durchgeführt Die Einträge der Korrelationsmatrix sind dabei dann die Korrelationen des Prädiktors mit sich selbst in den transformierten Formen Es können alle von Kennwerte und Gütemaße der multiplen Regression bestimmt werden. polyn. y Regression g ist auch über die KQ-Methode Q Die p (inkl. Normalgleichungen) herzuleiten. Dies führt auf dasselbe Ergebnis wie der hier verfolgte Ansatz. Methoden der Psychologie Dichotome UV Spezielle Regressionen Partialkorrelation Spezielle Regressionsvarianten Lineare Regression mit einem dichtomen Prädiktor Dichotome AV Polytome AV Kanonische Korrelation Bei p psychologischen y g Fragestellungen g g interessiert häufig g die Wirkung von dichotomen Prädiktoren. Beispiele: Akademiker und Lebenszufriedenheit, Morningness und Neurotizismus, Therapieerfahrung (ja/nein) und Therapiebereitschaft. Es soll hier bestimmt werden, wie stark sich die Ausprägung im dichotomen Prädiktor auf das intervallskalierte Kriterium auswirkt. Hier kann die übliche Berechnung eines linearen Regressionsmodells durchgeführt werden. Methoden der Psychologie Dichotome UV Spezielle Regressionen Partialkorrelation Spezielle Regressionsvarianten Lineare Regression mit einem dichtomen Prädiktor Dichotome AV Die dichotome Variable wird hierzu per Dummykodierung erfasst Polytome AV Eine der beiden Ausprägungen erhält den Wert 0, 0 die andere den Wert 1. Kanonische Korrelation G Geschlecht hl ht K di Kodierung männlich 0 weiblich 1 weiblich 1 männlich 0 … … Methoden der Psychologie Dichotome UV Spezielle Regressionen Partialkorrelation Spezielle Regressionsvarianten Lineare Regression mit einem dichtomen Prädiktor Dichotome AV Polytome AV Kanonische Korrelation Nach der Dummykodierung kann eine lineare Regression der intervallskalierten auf die dichotome ZV berechnet werden Der y-Achsenabschnitt ist der Mittelwert der Gruppe die mit 0 kodiert wurde Gruppe, wegen y = a x + b ⇒ y = b für x = 0 Die Steigung ist der Unterschied zwischen den beiden Gruppen wegen yˆ1 − yˆ 0 = a ⋅ x1 + b − b = a Methoden der Psychologie Dichotome UV Spezielle Regressionen Partialkorrelation Spezielle Regressionsvarianten Lineare Regression mit einem dichtomen Prädiktor Dichotome AV Polytome AV Kanonische Korrelation Methoden der Psychologie Dichotome UV Spezielle Regressionen Partialkorrelation Spezielle Regressionsvarianten Regression mit einem dichtomen Kriterium Dichotome AV In vielen Bereichen der Psychologie spielen dichotome Kriterien eine Rolle Polytome AV Kanonische Korrelation Beispiele: Bestehen eines Leistungstests abhängig vom IQ, Entdecken eines sehr leisen Tons abhängig von der Frequenz des Tons, Ausbildung einer Essstörung abhängig vom elterlichen Fürsorgeverhalten / Durch die Prädiktoren muss dann ein 0/1-kodiertes Kriterium vorhergesagt werden. Zu diesem Zweck kommt die logistische Regression zum Einsatz (hier nicht behandelt) Methoden der Psychologie Dichotome UV Spezielle Regressionen Partialkorrelation Spezielle Regressionsvarianten Regression mit einem polytomen Kriterium Dichtotome AV Liegt eine diskrete AV mit mehr als zwei Stufen vor, so spricht man von einem polytomen Kriterium Polytome AV Kanonische Korrelation Beispiele: Erreichter Schulabschluss abhängig vom IQ, Gewählter Leistungskurs abhängig vom Grad der Nerdiness, präferierte Automarke abhängig vom Neurotizismuswert Durch die Prädiktoren muss dann ein in k Stufen kodiertes Kriterium vorhergesagt werden. Zu diesem Zweck kommt die multinomiale logistische Regression zum Einsatz (hier nicht behandelt) Methoden der Psychologie Dichotome UV Spezielle Regressionen Partialkorrelation Spezielle Regressionsvarianten Regression mit mehreren Kriterien Dichtotome AV Eine Reihe psychologischer Fragestellungen beinhaltet multiple Prädiktoren und multiple Kriterien Polytome AV Beispiele: Veränderung von Reaktionszeit und Fehlerhäufigkeit abhängig von Alkoholisierungsgrad, Geschlecht und Fahrpraxis; Beeinflussung von Schlafdauer,, Schlafqualität q und Erholungsgrad g g durch Medikamentengabe, autogenes Training, Einschlafzeit und Zimmerhelligkeit Kanonische Korrelation Durch k Prädiktoren sollen dann m Kriterienwerte vorhergesagt werden. Zu diesem Zweck kommt die kanonische Korrelation (oder multivariate Regression) zum Einsatz (hier nicht behandelt) Methoden der Psychologie Partialkorrelation Semipartialkorrelation Spezielle Regressionen Partialkorrelation Partialkorrelation Deutungsmöglichkeiten der einfachen Regression 1 Zufall 1. 2 Kausalität: X → Y 2. Multiple Partialkorrelation 3. Latente Drittvariable(n) ξ x1 x2 4 Direkte und indirekte 4. Kausalität ξ x1 x2 Methoden der Psychologie Partialkorrelation Semipartialkorrelation Spezielle Regressionen Partialkorrelation Partialkorrelation im Fall zweier korrelierter Variablen Definition: Eine Partialkorrelation ist die Korrelation zweier Variablen Variablen, die vom Effekt anderer Variablen bereinigt wurden. Einsatzzweck: Prüfung einer Kausalvermutung G Multiple Partialkorrelation „Kommt ry1y2 dadurch zustande, dass eine Drittvariable x ursächlich auf y1 und y2 einwirkt?“ x rx,y1 y1 G G ry1,y2 rx,y2 y2 „Scheinkorrelation“ Methoden der Psychologie Partialkorrelation Semipartialkorrelation Multiple Partialkorrelation Spezielle Regressionen Partialkorrelation Partialkorrelation Berechnung und Prüfung 1. Sage y1 aus x voraus und berechne Residuen ey1 2. Sage y2 aus x voraus und berechne Residuen ey2 3 3. Berechne die Korrelation rey1ey2 Schreibe: ry1y2 1 2·x rey1ey2 y1 „ohne“ y2 ry1y2 x x Ist Partialkorrelation nahe Null, so beruht die Korrelation ry1y2 tatsächlich vor allem auf der Einwirkung von x. (Prüfung mit Korrelationstest) Methoden der Psychologie Partialkorrelation Spezielle Regressionen Partialkorrelation Partialkorrelation Vereinfachte Berechnung Für die Varianz der Vorhersagefehler galt Semipartialkorrelation Multiple Partialkorrelation V (ex , y1 ) = Var Var V ( y1 ) ⋅ (1 − rx2, y1 ) Var V (ex , y2 ) = Var V ( y2 ) ⋅ (1 − rx2, y2 ) Die Korrelation der Fehler lässt sich schreiben als rex , y ex , y = 1 1 Cov(ex , y1 ex , y2 ) sex , y sex , y 1 2 Man kann nun zeigen, dass gilt Cov(ex , y1 , ex , y2 ) = Cov( y1 , y2 ) − bx , y1 ⋅ bx , y2 ⋅ Var ( x) Und damit errechnet sich die Partialkorrelation als ry1 , y2 ⋅ x = ry1 , y2 − rx , y1 rx , y2 1 − rx2, y1 ⋅ 1 − rx2, y2 Methoden der Psychologie Partialkorrelation Semipartialkorrelation Multiple Partialkorrelation Spezielle Regressionen Partialkorrelation Semipartialkorrelation im Fall zweier korrelierter Variablen Definition: Eine Semipartialkorrelation ist die Korrelation zweier Variablen Variablen, von denen eine vom Effekt einer anderen Variablen bereinigt wurden. Einsatzzweck: Prüfung g der zusätzlichen Information eines Prädiktors bei der Erklärung des Kriteriums Die Semipartialkorrelation ist eng verbunden mit der Nützlichkeit. Es gilt nämlich Ux1 = r²y(x1 · x2) rey1 y22 y1 ry1y2 x y2 Methoden der Psychologie Partialkorrelation Semipartialkorrelation Spezielle Regressionen Partialkorrelation Semipartialkorrelation Berechnung 1. Sage y2 aus x voraus und berechne Residuen ey2 2 2. Berechne die Korrelation ry1 ey2 Schreibe: ry1(y2 1( 2 · x)) (analog für Auspartialisierung von x aus y1) Multiple Partialkorrelation 3 3. Oder verwende die vereinfachte Formel ry1 ( y2 ⋅ x ) = ry1 , y2 − rx , y1 rx , y2 1 − rx2, y2 „ohne“ Methoden der Psychologie Partialkorrelation Semipartialkorrelation Multiple Partialkorrelation Spezielle Regressionen Partialkorrelation (Semi-)Partialkorrelation höherer Ordnung Prinzip Soll der Zusammenhang zwischen zwei Variablen um mehrere andere Variablen bereinigt werden werden, spricht man von (Semi-)Partialkorrelationen höherer Ordnung Die Berechnung verläuft analog zu den (Semi-)Partial(Semi )Partial korrelationen bei nur einer auszupartialisierenden Variable x1 x3 x2 y1 ry1y2 y2 Methoden der Psychologie Partialkorrelation Semipartialkorrelation Spezielle Regressionen Partialkorrelation (Semi-)Partialkorrelation höherer Ordnung Berechnung über multiple Regression 1. Sage y1 aus den x1…xk voraus und berechne Residuen ey1 2. Sage y2 aus den x1…xk und berechne Residuen ey2 3 3. Berechne die Korrelation rey1ey2 → ry1y2 · x1…xk → ry1(y2 · x1…xk) (Partialkorrelation) Multiple Partialkorrelation oder Berechne die Korrelation ry1 ey2 ((Semipartialkorrelation) p )
