B - Christian-Albrechts
Werbung
Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105) Sitzung 10: Quasiexperimentelle Ansätze der Ergebnisevaluation Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 Lernziele: 1. Kennen und Verstehen quasiexperimenteller Designs 2. Verständnis des Umgangs mit Bedrohungen der internen Validität in quasiexperimentellen Designs 3. Verständnis der Analyse- und Interpretationsmöglichkeiten von quasiexperimentellen Designs Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 Überblick über heutige Sitzung 1) Quasiexperimentelle Ergebnisevaluationen (QE-EEv) 2) Methoden der Erhöhung der internen Validität von QE-EEv • 1. Beobachtungen zu mehreren Zeitpunkten - Zeitreihendesigns • 2. Beobachtung anderer Gruppen - nicht-äquivalente Kontrollgruppen-Designs - Regressions-Diskontinuitäts-Designs • 3. Beobachtung anderer abhängiger Variablen • 4. Kombinierte Designs - Zeitreihen und nicht-äquivalente Kontrollgruppen - selektive Kontroll-Designs Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1) Quasiexperimentelle Ergebnisevaluationen Definition quasiexperimentell = Teilnehmer eines Programms/Vpn können nicht randomisiert auf die Versuchsbedingungen aufgeteilt werden nicht jede Vpn hat gleiche Chance auf jede Bedingung ⇒ Problem: interne Validität (eindeutige Rückführung der beobachteten Veränderungen in den AV auf die Variationen der UV = Kausalinterpretation) bedroht Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1) Quasiexperimentelle Ergebnisevaluationen Demonstration eines kausalen Zusammenhangs in quasiexperimentellen Settings: 3 Bedingungen müssen erfüllt sein 1. Ursache geht angenommenem Effekt zeitlich voraus 2. Ursache kovariiert mit dem Effekt (z.B. je mehr der Ursache, desto mehr des Effektes) 3. außer der angenommenen Ursache gibt es keine weitere Erklärung für den gefundenen Effekt Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1) Quasiexperimentelle Ergebnisevaluationen Methoden der Erhöhung der internen Validität in quasiexperimentellen Untersuchungen (Ergebnisevaluationen): 1. Beobachtungen zu mehreren Zeitpunkten 2. Beobachtung von zusätzlichen Gruppen 3. Beobachtung anderer abhängiger Variablen Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Erhöhung der Menge an Beobachtungen (außer prä-post-Tests) ⇒ 2 Funktionen: - Erkennen von zufälligen Veränderungen zwischen Zeiträumen - Kausalität(srichtung) => 1. Kriterium kann überprüft werden AV Programm t1 t2 t3 t4 t5 t6 t7 Zeit Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Erhöhung der Menge an Beobachtungen (außer prä-post-Tests) Beispiel: Verkehrstote 1955 in Connecticut und Einführung von Geschwindigkeitsbegrenzungen (Campbell, 1969) Kann der Rückgang an Verkehrstoten auf die Geschwindigkeitsbegrenzung zurückgeführt werden? Alternative Erklärungen: - Erhöhung des Verkehrsaufkommens (# Autos) bis 1955 - 1955 war ungewöhnliches Jahr (Wetter, viele Massenkarambolagen, etc.) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Erhöhung der Menge an Beobachtungen (außer prä-post-Tests) Beispiel: Verkehrstote 1955 in Connecticut und Einführung von Geschwindigkeitsbegrenzungen (Campbell, 1969) Kann der Rückgang an Verkehrstoten auf die Geschwindigkeitsbegrenzung zurückgeführt werden? Alternative Erklärungen: - Erhöhung des Verkehrsaufkommens (# Autos) bis 1955 - 1955 war ungewöhnliches Jahr (Wetter, viele Massenkarambolagen, etc.) Erhöhung der Anzahl der Beobachtungen erlaubt eine sehr viel informiertere Schlussfolgerung Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Zeitreihendesigns = Nutzung von Informationen über eine Reihe von Zeitintervallen hinweg ⇒ Strategie: Erhalt von Base-Line Messungen vor einer Intervention und Dokumentation von sowohl einer Veränderung als auch der Aufrechterhaltung einer Veränderung ⇒ kann einige Bedrohungen der internen Validität minimieren (z.B. Reifung, Geschichte) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Zeitreihendesigns (Minimalcharakteristika): 1. Definition/Festlegung eines Kriteriums, 2. Messungen des Kriteriums, 3. wiederholt und über einen gewissen Zeitraum hinweg, 4. Messungen gehen kontrollierten oder natürlichen Interventionen voraus und folgen ihnen Nutzung des Zeitreihendesigns vor allem, wenn eine definitive Intervention zu einer bestimmten Zeit erfolgt ist ⇒ „unterbrochene Zeitreihe“ (interrupted time series) ⇒ Versuch herauszufinden, ob das Programm eine Wirkung hatte Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Zeitreihendesigns Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Analyse von Zeitreihendesigns I) ABAB-Design: wenn die Intervention eingesetzt und wieder aus- bzw. abgesetzt werden kann (kurzfristige Effekte) a) nach Etablierung einer Baseline (A) b) Einführung einer Intervention (B) (z.B. zur Reduktion schädlichen Verhaltens) Annahme, dass Intervention erfolgreich ist => das schädliche Verhalten reduziert sich c) Absetzen der Intervention nach einigen Beobachtungen (A) bei Wiederzunahme des schädlichen Verhaltens = mögliche Interpretation als Vorliegen eines Programmeffekts und nicht als bloße Reifung oder Geschichte d) Wiedereinsetzen der Intervention nach einigen Beobachtungszeiträumen (B) bei nochmaliger Reduktion des schädlichen Verhaltens, vergleichsweise sicherer Schluss auf einen (intendierten) Effekt des Programms Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten ABAB-Design: IM: an IM: aus Evaluation SS 2015 IM: an Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten ABAB-Design: Programm zeigt Effekt Programm zeigt keinen Effekt kein eindeutiger Rückschluss auf Programmeffekt möglich (potenzielle Konfundierung mit Störvariablen) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Analyse von Zeitreihendesigns II. Wenn die Intervention nicht abgesetzt werden kann, der Effekt aber groß ist Identifikation bzw. Analyse des Effektes durch separate Betrachtung der Messungen vor und nach Einführung der Intervention => Glättung (von Plots) durch Konstruktion von Lowess Lines (geglättete Linien) Möglichkeit der Glättung: Ersetzen von Datenpunkten durch den Median von drei aufeinander folgenden Datenpunkten Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Analyse von Zeitreihendesigns sinnvolle Technik: - wenn erwartet wird, dass der Interventionseffekt dauerhaft ist - oder, wenn eine Veränderung (Intervention) permanent ist - ABER: die Messung der Ergebnisvariable große zufällige Fluktuationen zwischen den Beobachtungszeiträumen aufweist Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 1. Beobachtungen zu mehreren Zeitpunkten Analyse von Zeitreihendesigns II. Wenn die Intervention nicht abgesetzt werden kann, der Effekt aber groß ist Lowess-Lines Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Nicht-äquivalente Kontrollgruppen-Design ⇒ Einsatz von Vergleichsgruppen, (die der UG ausreichend ähnlich sind, und somit z.B. ähnliche Ausgangsniveaus haben) ⇒ Erlaubt die Isolierung von Effekten des Programms von denen verschiedener plausibler anderer Interpretationen einer Veränderung ⇒ alternative andere Interpretationen: z.B. gleichzeitiges prä- und post-Testen der Vergleichsgruppen => gleiche Reifung, gleicher Einfluss geschichtlicher Ereignisse, gleiche Testerfahrung Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Nicht-äquivalente Kontrollgruppen-Design Einsatz von Vergleichsgruppen dann besonders nützlich, wenn ein Teil einer potenziell betroffenen Population der Intervention ausgesetzt wird und der andere Teil nicht UND die Teilnehmer sich nicht selbst in ein Programm selektieren können + der Bedarf der Teilnehmer ihre Eignung für ein Programm nicht bestimmt Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Nicht-äquivalente Kontrollgruppen-Design Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Nicht-äquivalente Kontrollgruppen-Design Wahl der Vergleichsgruppen = abhängig von Evaluationsfragestellung Hauptproblem des nicht-äquivalente Kontrollgruppen-Designs: ⇒ Finden einer Vergleichsgruppe, die der Untersuchungsgruppe ausreichend ähnlich ist Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Nicht-äquivalente Kontrollgruppen-Design Gründe (Gefährdungen der internen Validität): - Selbstselektion von Teilnehmern (systematische Unterschiede) - Auswahl von Programmteilnehmern aufgrund extremer Werte im Prätest und Auswahl von Teilnehmern mit weniger extremen Werten in die Vergleichsgruppe (Regression zur Mitte) Bsp. Head Start Programm in 70er Jahren (USA) zur Verbesserung der schulischen Fähigkeiten benachteiligter Kinder - Versuchsleitereffekte Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Nicht-äquivalente Kontrollgruppen-Design Fazit: Obwohl Unterschiede zwischen Vergleichsgruppen im Prätest zu Über- oder Unterschätzung der Programmeffekte führen können, ist das Vergleichsgruppendesign in quasiexperimentellen Ergebnisevaluationen nützlich und aussagekräftig, wenn ausreichend ähnliche Gruppen für die Behandlungs- und Vergleichsgruppe zur Verfügung stehen. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Regressions-Diskontinuitäts-Design Wenn Teilnehmer-Selektionskriterium - „Eignung“ für ein bestimmtes Programm - auf kontinuierlicher Variable basiert: ⇒ Verwendung eines Regressions-Diskontinuitäts-Designs (Spezialfall des nicht-äquivalente Kontrollgruppen- bzw. Vergleichsgruppen-Designs) → quantitatives Maß zu Bestimmung der Vergleichsgruppen Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Regressions-Diskontinuitäts-Design Beispiel: Untersuchung der Wirksamkeit eines Sprachtrainings bei Abiturienten Erfassen der Sprachkenntnisse (Prätest) an gesamter Stichprobe (n = 300); Teilnehmer, die weniger als 60% Testleistung zeigen, sind für Sprachtraining (Intervention) geeignet (n = 100); Vergleich der Sprachkenntnisse beider Gruppen nach Sprachtraining für die schwächere Gruppe (Posttest) anhand separater Berechnungen der Regressionsgeraden Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Regressions-Diskontinuitäts-Design separate Berechnung der Regressionsgeraden für Vergleichsgruppen Diskontinuität Posttest Gesamtergebnis: Prä- und Posttest Posttest Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Prätest Evaluation SS 2015 Prätest Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 2. Beobachtung anderer Gruppen Regressions-Diskontinuitäts-Design Analyse der Berechnungen der Regressionsgeraden: 1. Ergeben beide Regressionsgeraden zusammen eine durchgehende Line (bzw. eine Gerade) = Kontinuität, dann liegt kein Programmeffekt vor. 2. Unterscheiden sich die beiden Geraden jedoch – gibt es eine Diskontinuität - so dass sie z.B. parallel liegen, dann kann auf einen Effekt des Programms geschlossen werden. 3. Die Steigung der Geraden (im Bereich der Behandlungs- oder Untersuchungsgruppe) gibt außerdem einen Hinweis auf die Richtung und die Größe des Effekts. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 3. Beobachtung anderer abhängiger Variablen Kontroll-Konstrukt-Design weitere Möglichkeit der Erhöhung der internen Validität : ⇒ Erhebung zusätzlicher abhängiger Variablen, die nicht oder nur marginal durch das Programm beeinflusst werden (sollten) - zusätzliche AV muss der Haupt-AV ähnlich sein, ohne durch das Programm beeinflusst zu werden - Vorgehen: Prä- und Postmessungen mit beiden AV, bei Veränderung „nur“ der interessierenden AV → Hinweis auf Programmeffekt Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 3. Beobachtung anderer abhängiger Variablen Kontroll-Konstrukt-Design Kontroll-Konstrukt-Design ist ein potenziell starkes Design, wenn zusätzliche AV gefunden werden können, die 1) denselben Bedrohungen der internen Validität unterliegen, wie die Haupt-AV und 2) durch das Programm selbst aber nicht beeinflusst werden. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 4. Kombinierte Designs Zeitreihen und nicht-äquivalente Kontrollgruppen Kombination des unterbrochenen Zeitreihen-Designs mit einer der Untersuchungsgruppe ausreichend ähnlicher Vergleichsgruppe = starkes Design Beispiel der Unfalltoten in Connecticut 1955 und Einführung von Geschwindigkeitsbegrenzungen Vergleichsgruppe: Raten der Unfalltoten über die Jahre hinweg in vier umliegenden Nachbarstaaten Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 4. Kombinierte Designs Zeitreihen und nicht-äquivalente Kontrollgruppen eine der wichtigsten Möglichkeiten, valide Schlussfolgerungen ziehen zu können = Replikation von Befunden ⇒ wird ein Zeitreihendesign mit einer Vergleichsgruppe kombiniert, die das Programm zu einem späteren Zeitpunkt erhält → zusätzliche Erhöhung der internen Validität „ interrupted time series with switching replications“ Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 4. Kombinierte Designs Selektives Kontroll-Design („Patch-Up-Design“) Analyse des Programmkontexts zur Identifikation der wahrscheinlichsten Bedrohungen der internen Validität ⇒ Auswahl von Vergleichsgruppen, die spezifische Bedrohungen der internen Validität kontrollieren, so dass die plausibelsten Alternativinterpretationen eliminiert werden (= selektives Kontroll-Design) Beispiel: Dekan eines Colleges forderte eine Evaluation eines StudentInnenAuslands-Austauschprogramms binnen sechs Wochen in Hinblick auf internationales Verständnis/interkulturelle Kompetenz Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 4. Kombinierte Designs Selektives Kontroll-Design ⇒ keine Möglichkeit für ein Zeitreihendesign Planung der Evaluation um den offensichtlichen Vergleich herum: College-StudentInnen (seniors), die das vergangene Jahr im Ausland studiert hatten, vs. College-StudentInnen (seniors), die zuhause studiert hatten. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 4. Kombinierte Designs Selektives Kontroll-Design ⇒ erste Bedrohung der internen Validität: Selbst-Selektion (Prätest-Posttest-Design jetzt unmöglich) Da die Entscheidung im Ausland zu studieren viel Planung und Vorbereitung bedarf, schreiben sich die StudentInnen (selbst!) frühzeitig dafür ein → Erster (zusätzlicher) Vergleich: StudentInnen (seniors), die im Ausland waren, vs. StudentInnen (sophomores), die planen ins Ausland zu gehen (= Kontrolle der Selbstselektion, da beide Gruppen sich selbst (!) ins Programm gewählt haben) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 4. Kombinierte Designs Selektives Kontroll-Design ⇒ Zweite Bedrohung der internen Validität (Folge aus Umgang mit der ersten): Reifegrad der StudentInnen; die GrundstudiumsstudentInnen (sophomores) sind jünger, unerfahrener = weniger gereift Hinzufügen noch einer weiteren Vergleichsgruppe: GrundstudiumsstudentInnen (sophomores), die nicht planen ins Ausland zu gehen → Zweiter (zusätzlicher) Vergleich: StudentInnen (sophomores), die planen ins Ausland zu gehen, vs. StudentInnen (sophomores), die nicht planen ins Ausland zu gehen (= Kontrolle der Reife, da beide Gruppen gleich alt/reif sind) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 4. Kombinierte Designs Selektives Kontroll-Design Beispiel: Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 Zusammenfassung - häufige Nutzung von Quasiexperimentellen Designs - quasiexperimentelle Designs können Bedrohungen der internen Validität minimieren ABER: Es besteht immer die Notwendigkeit zu überlegen, welche spezfischen Bedrohungen der internen Validität vorliegen, um ihnen begegnen zu können. Ziel: möglichst eindeutige Schlussfolgerung von den beobachteten Veränderungen in den AVs auf die Variationen der UVs (hier: das Programm) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 Relevante Begriffe - quasiexperimentelle Designs - interne Validität (+ Bedrohungen) - Zeitreihendesigns (interrupted time series) - ABAB-Design - Glättung von Plots/Lowess-Lines - nicht-äquivalente Kontrollgruppen Design (Vergleichsgruppendesign) - Regression zur Mitte - Regressions-Diskontinuitäts-Design - Kontroll-Konstrukt-Design - interrupted time series with switching replications - selektives Kontroll-Design Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Quasiexperimentelle Ansätze der Ergebnisevaluation 22. Juni 2015 Vielen Dank für die Aufmerksamkeit! Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann
