Methoden der Psychologie Evaluation & Forschungsstrategien SS2015 Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz Methoden der Psychologie Seminar Evaluation & Forschungsstrategien Anwendung statistischer Verfahren in • • • • Überblick Grundprinzip wichtigsten mathematischen Beziehungen Anwendungsbeispiele in Excel & Statistica HA/Tut • Vertiefung mit Anwendungsbeispielen • Aufgabenbearbeitung mit Excel & Statistica Prüfung Mündliche Modulabschlußprüfung Stud.Leistung Bearbeitung eines Project Files Methoden der Psychologie Einführung Verfahren Versuchspläne Ziele Evaluation & Forschungsstrategien Evaluationsproblem am Beispiel der Wirksamkeitsprüfung einer therapeutischen Maßnahme: Grundprobleme und Prüfstrategien • • • • ANOVA – Grouping Factor Designs ANOVA – Messwiederholungsdesigns/Trendanalyse Effektstärkenprüfung Faktoranalyse Typische Designs aus der klinischen Psychologie • Wissen über statistische Verfahren • Wissen über Untersuchungsstrategien • Umsetzung mit Software Methoden der Psychologie Evaluationsproblem Design Evaluation & Forschungsstrategien Problemstellung Eine Psychologin leitet eine Therapie-Evaluationsstudie zur Wirksamkeit einer neuen Behandlungsmethode für depressive Verstimmungen. Dazu werden 22 Patienten über 8 Wochen lang mit der neuen Methode behandelt, und die Werte in 3 Kontrollvariablen V1: erlebte Beanspruchung, V2: Ohnmacht/Hilflosigkeit, V3: Körperbeschwerden jede Woche erhoben (Vx: Mehritemskalen, die einen intervallskalierten Score pro Variable liefern). Zugleich existiert eine Kontrollgruppe, an der die Variablen ebenfalls erhoben werden. Alle 3 Variablen sind für die Beurteilung des Behandlungserfolges gleichermaßen wichtig, und sollten in das Urteil über die Eignung der Behandlungsmethode eingehen. ANOVA mit einem Gruppierungsfaktor und mind. einem Messwiederholungsfaktor Control Therapy t1 v1 v2 v3 v1 v2 v3 t2 v1 v2 v3 v1 v2 v3 … … … tk v1 v2 v3 v1 v2 v3 Hierbei wird jede Variable Vj auf ni Versuchspersonen gemessen. i = 1: Kontrollgruppe i = 2: Therapiegruppe (die Stichprobenumfänge beider Gruppen dürfen verschieden sein) Methoden der Psychologie Evaluation & Forschungsstrategien Daten TIME*VAR*Group; LS Means Current effect: F(12, 504)=68.837, p=0.0000 Effective hypothesis decomposition Vertical bars denote 0.95 confidence intervals 7.0 6.5 DV_1 6.0 5.5 5.0 4.5 4.0 3.5 TIME: 2 3 4 5 Group: Control 6 7 TIME: 2 3 4 5 Group: Therapy 6 7 VAR 1 Bean VAR 2 Ohnm VAR 3 Hilf Methoden der Psychologie Fragen Multivariate Analysemethoden & Multivariates Testen • … Methoden der Psychologie Fragen Multivariate Analysemethoden & Multivariates Testen • gibt es preexperimentelle Gruppenunterschiede? (Effekte im Pretest) • gibt es postexperimentelle Gruppenunterschiede? (Effekte im Posttest) • wie ist der Verlauf der Einwirkung in der Zeit in beiden Gruppen? • inwiefern sind die Effekte variablenspezifisch? • kann man ein Urteil über die Wirksamkeit der Therapie für alle Variablen fällen? • wie stark sind die Effekte der Therapie? • ist die Zusammenhangsstruktur der Variablen in beiden Gruppen gleich? • ändert sich die Zusammenhangsstruktur mit der Zeit? • sind die Voraussetzungen für die eingesetzten statistischen Verfahren erfüllt? Methoden der Psychologie Literatur Multivariate Analysemethoden & Multivariates Testen a) Bortz b) c) Winer Bortz/Döring Methoden der Psychologie Problem Univariate Mittelwertevergleiche - Problemstellung Gruppierungsvariable Messgröße (metrisch) Beispiel Geschlecht x Anzahl der gefundenen Zielelemente in einem Konzentrationsleistungstest M Frage J Unterscheidet sich die Leistung von Mädchen und Jungen im statistischen Mittelwert ? Methoden der Psychologie Stichprobe Beispieldaten Frage Univariate Mittelwertevergleiche - Problemstellung Wir untersuchen 40 Mädchen und 45 Jungen Geschlecht M J xM xJ 23.7 17.2 xM xJ x 23.7 – 17.2 = 6.5 Gibt es wirkliche Leistungsunterschiede zwischen Jungen und Mädchen, oder ist der gefundene Unterschied „rein zufällig“ ? Methoden der Psychologie Strategie Annahme Univariate Mittelwertevergleiche - Prüfstrategie Ermittle die Wahrscheinlichkeit für den beobachteten Mittelwertsunterschied unter der Annahme, dass beide Gruppen in der Population denselben Mittelwert besitzen Die Populationsmittelwerte von Jungen und Mädchen sind gleich Null-Hypothese H 0 : J M AlternativHypothese H1 : J M Urteil Ist der beobachtete Mittelwertsunterschied unter der H0 sehr unwahrscheinlich (höchstens 5%), so lehnen wir die H0 ab, und sehen die H1 als die bessere Alternative an. Methoden der Psychologie Sampling Theoretische Verteilung – Sampling Distribution Population der Jungen Stichprobe des Umfangs NJ Mittelwertsdifferenz xJ x xM xJ x1 xM 1 xJ 1 Tue dies k - mal: Population der Mädchen x2 xM 2 xJ 2 xk xMk xJk xM Stichprobe des Umfangs NM Verteilung der Differenzen von Mittelwerten x1 x2 xi xk Methoden der Psychologie Central Limit Theorem Theoretische Verteilung – Sampling Distribution Die Verteilung von Differenzen von Mittelwerten nähert sich mit wachsendem Umfang der Sample-Stichproben einer Normalverteilung. Für N > 30 ist die Approximation gut. Wahrscheinlichkeitsdichte f x x 0 0.10 s x (wird geschätzt) s x 0.05 0.00 Inferenzstat. Schluss Es gilt: 2sx sx 0 sx 2sx x In der theoretischen Verteilung der Differenzen von Mittelwerten wird die Wahrscheinlichkeitsbestimmung vorgenommen. Sie liegt dem inferenzstatistischen Schluss zugrunde. Methoden der Psychologie Unabhängigkeit Sampling Distribution – Bestimmung des Standardfehlers Ist die Messvariable eine in beiden Populationen unabhängige ZV: s x Gleichheit der Populationsvarianz Standardfehler s M2 NM s J2 NJ Jungen und Mädchen kommen aus derselben Population s M2 s J2 s 2 s x 1 1 s N N J M 2 Methoden der Psychologie Schätzung aus Stichproben “Pooling” Sampling Distribution – Schätzung des Standardfehlers Für die Populationsvarianz verwendet man eine Schätzung aus den Daten beider Stichproben: 2 2 N s N s SAQM SAQJ 2 M M J J ˆ s NM N J 2 df M df J wobei sM2 und sJ2 die Stichprobenvarianzen sind Dann gilt Schätzformel sˆ x N M sM2 N J sJ2 1 1 NM N J 2 NM N J (Beste Schätzung des Standardfehlers aus Stichprobendaten) Methoden der Psychologie Normalverteilung – z –Standardnormalverteilung f (z) Wahrscheinlichkeitsdichte Wahrscheinlichkeitsdichte f (x) 0.10 sx 0.05 0.00 20 30 _ x Normalverteilung 40 50 60 70 80 x 0.10 sz 1 0.05 0.00 -3 1 2 3 _0 z Standard-Normalverteilung -2 -1 xx z s Die _ z- Transformation übersetzt die Rohdatenskala in die Standardskala ( z = 0, sz = 1) z Methoden der Psychologie Sampling Distribution – Prüfgrösse z- Skala der Differenzen von Mittelwerten z Unter der H0 gilt Prüfgrösse Transformation [ 2s x [ 2 s x 1 s x x 0 z Dann gilt: x x x s x 0 0 ist standardnormalverteilt s x 1 ] x ] z 2s x 2 Methoden der Psychologie Entscheidung über Prüfgrösse mit Standardnormalverteilung f t Prüfgrösse z 95% -4 z1 /2 0.05 2.5% 0.1 -2 s x Signifikanzniveau 0.2 2.5% x 0 2 P z z1 /2 4 z z1 /2 Ablehnungsbereich Annahmebereich Ablehnungsbereich z z1 /2 z z1 /2 z z1 /2 Testen zum Signifikanzniveau : Ist |z| > z1-/2? Methoden der Psychologie Entscheidung über Signifikanz des Mittelwerteunterschieds x 1. Prüfgrösse Berechne 2. Kritischer z - Wert Ermittle kritischen z - Wert z1-/2 für ein Fehlerniveau 3. Entscheide A. Gilt |z| > z1-/2 z s x Ablehnung von H0 (die Mittelwerte der J. und M. sind signifikant verschieden) _ z1-/2 B. Gilt |z| < Beibehalten von H0 (die Mittelwerte der J. und M. unterscheiden sich zufällig) Methoden der Psychologie Numerisches Beispiel xM Differenz der Mittelwerte 23.7 xJ xM xJ x 17.2 23.7 – 17.2 = 6.5 sM2 sJ2 173 106 40 173 45 106 1 1 2.58 40 45 2 40 45 Standardfehler sˆ x Prüfgrösse und Kritischer Wert z Entscheidung 2.52 > 1.96 6.5 2.52 2.58 z1-/2 = z0.975 = 1.96 d.h. |z| > z1-/2 H0 ablehnen Die Mittelwerte entstammen nicht derselben Population (unterscheiden sich signifikant) Methoden der Psychologie Voraussetzungen der Prüfung Varianzhomogenität a. Die Populationsvarianzen die beiden Stichproben zu Grunde liegen, müssen gleich (homogen) sein. (Prüfung mit geignetem Verfahren) Unabhängigkeit b. Die Messeinheiten innerhalb jeder Stichprobe müssen unabhängig sein. c. Die Messeinheiten beider Stichproben dürfen nicht teilweise paarweise zuzuordnen sein. Verletzungen Der Test ist relativ robust gegen Verletzungen der Varianzhomogenität. Verletzungen der Unabhängigkeit (b.) führen zur Ungültigkeit der Prüfgrösse, der Unabhängigkeit (c.) je nach Höhe der Korrelationen zu progressiven (kleine Korr.) oder zu konservativen Entscheidungen (hohe Korr.).