designs-mit-zeitreihen

Kapitel 6 (1. Teil)
Quasi-Experimente: Designs mit unterbrochenen Zeitreihen
Zeitreihe
- Lange (zeitliche) Abfolge an Beobachtungen der einen gleichen Variablen
- Beobachtungen entweder an den gleichen Einheiten (Bsp. Wiederholte Beobachtung
von Symptomen bei ein und dem gleichen Patienten oder an verschiedenen, aber
ähnlichen, units (Bsp. Verkehrsunfälle in einem bestimmten Staat über mehrere Jahre
→ Bevölkerung hat sich geändert)
Spezialfall: Unterbrochene Zeitreihen
- Unterbrochen durch die Einführung eines Treatments (Bsp. Einführung der
Gurtpflicht)
Designs mit unterbrochenen Zeitreihen = Quasi-experimentelle Alternative zu
Randomisierten Designs, wenn diese nicht durchführbar sind und eine Zeitreihe gegeben ist
Beschreibung der Effekte
Die posttreatment Zeitreihe kann sich von der prätreatment Zeitreihe auf verschiedene
Weise unterscheiden:
Form des Effekts:
- Abfall der Werte nach Einführung des Treatments (abfallender Graph)
oder
- Größerer Wertezuwachs pro Zeiteinheit nach Einführung des Treatments (Bsp.
Prätreatment Wertezuwachs/Monat = +1 → Posttreatment Wertezuwachs/Monat = +2
→ Werteanstieg (ansteigender Graph)
Dauer des Effekts:
Unterscheidung der Effekte in andauernde und nicht andauernde Effekte (entwickeln
sich mit der Zeit wieder zurück zum prätreatment Zustand).
Unmittelbarkeit des Effekts:
Unterscheidung der Effekte in unmittelbare (treten gleich nach Einführung des
Treatments auf → leichter zu interpretieren) und verzögerte Effekte (mehr alternative
Interpretationen müssen ausgeschlossen werden).
Bsp. eines Basisdesign mit unterbrochener Zeitreihe
Eine Treatmentgruppe mit vielen Beobachtungen vor und nach Einführung des
Treatments: O O O O O X O O O O O (Fünf Messungen O vor und fünf Messungen
nach Einführung des Treatments X)
Bedrohungen der Validität eines Basisdesign mit unterbrochener Zeitreihe
- Häufigste Bedrohung der internen Validität = History (Gefahr, dass ein Ereignis zum
Zeitpunkt der Treatmenteinführung die abhängige Variable beeinflusst)
→ Lösung: Zeitreihe ohne Treatment als Kontrollgruppe
- Weitere Gefährdung der internen Validität = Instrumentation (Gefahr, dass die Daten
mit fortdauernder Untersuchung anders gemessen werden, das Messinstrument sich
verändert)
- Weitere Gefährdung der internen Validität = Selection (Gefahr dann, wenn die
Zusammensetzung der EG zum Zeitpunkt der Treatmenteinführung wechselt → der
beobachtete Effekt könnte dann auch auf die unterschiedliche Zusammensetzung der
Prätreatment- und der Posttreatmentreihe zurückzuführen sein)
- Gefährdungen der Validität der statistischen Schlussfolgerung so groß wie bei
anderen Designs auch → aber, spezielles Problem bei Zeitreihendesigns: Der
Zeitpunkt der Treatmenteinführung muss genau festgelegt werden, was nicht immer
möglich ist
- Gefährdungen der Konstruktvalidität so groß wie bei anderen Designs auch → aber,
spezieller Vorteil von Zeitreihendesigns: Viele Zeitreihendesigns bauen auf
Archivdaten auf → Die Probanden wissen oft nicht, dass sie an einer Studie
teilnehmen→ Reaktivität der Probanden in Bezug auf die experimentelle Situation
geringer
- Aber speziell für Zeitreihendesigns: Gefahr für die Konstruktvalidität, da bereits
vorhandene Daten, die übernommen werden müssen, oft nicht genau das Konstrukt
beschreiben, das der Forscher untersuchen will.
- Gefährdungen der statistischen Validität speziell bei Zeitreihendesigns: Die
Erhöhung der statistischen Validität über möglichst heterogene Stichproben ist nur
möglich, wenn die vorhandenen Archivdaten, auf die man zurückgreifen muss,
heterogen sind
Hinzufügen einer nicht-äquivalenten Kontrollgruppe ohne Treatment
- Gefährdungen der internen Validität (v.a. History) können durch die KG getestet
werden
- KG erleichtert es die zeitliche Beständigkeit eines Treatmenteffektes abzuschätzen
Hinzufügen von nicht-äquivalenten abhängigen Variablen
- 2 abhängige Variablen: Eine sollte vom Treatment beeinflusst werden, die (nichtäquivalente) andere Variable nicht
- beide Variablen sollten aber auf die gleiche Art auf Gefährdungen der internen
Validität reagieren
→ bessere Bewertung der Plausibilität von vielen Gefährdungen der internen Validität
und Erhöhung der Konstruktvalidität des Treatments
Kapitel 6 (2. Teil)
Entfernen des Treatments zu einer bestimmten Zeit
-
Der Einfluss eines Treatments kann auch dadurch gezeigt werden, dass ein bestimmter
Effekt dann nicht mehr auftritt, wenn das Treatment entfernt wird (Im Buch
gekennzeichnet durch ein durchgestrichenes X, hier durch ein rotes X)
O1 O2 O3 O4 X O5 O6 O7 O8 O9 X O10 O11 O12 O13
-
Von O1 bis 09: Beurteilung des Effekts, wenn Treatment hinzugefügt wird
Von O5 bis 013: Effekt, wenn Treatment entfernt wird
Abschnitt zwischen 04 und 05 bzw. O9 und O10 folglich am interessantesten
Hinzufügen von mehreren Wiederholungen
-
bei dieser Erweiterung des vorhergehenden Designs wird das Treatment eingeführt,
dann entfernt wieder eingeführt und wieder entfernt usw.
O1 O2 X O3 O4 X O5 O6 X O7 O8 X O9 O10 X O11 O12 X O13 O14
-
-
-
es gibt dann einen Effekt, wenn die abhängige Variable, jedes Mal gleich reagiert, je
nachdem ob das Treatment entfernt oder hinzugefügt wird, natürlich in
unterschiedliche Richtungen
zu beachten ist, dass das Entfernen und Hinzufügen zufällig geschehen sollte, da dann
eine zyklische Reifung ausgeschlossen werden kann, die auch ohne das Treatment
stattgefunden hätte
dieses Design kann jedoch nur benutzt werden, wenn davon auszugehen ist, dass der
Effekt des Treatments schnell abfällt und durch die hohe experimentelle Kontrolle ist
es für Feldstudien wenig geeignet
Hinzufügen von wechselnden Wiederholungen
-
Bei diesem Design bekommen die beiden Gruppen jeweils zu unterschiedlichen Zeiten
ein Treatment, somit keine die eine Gruppe als KG dienen, wenn die andere ein
Treatment bekommt
O1 O2 O3 X O4 O5 O6 O7 O8 O9 O10 O11
O1 O2 O3
O4 O5 O6 O7 O8 X O9 O10 O11
-
externe Validität, da ein Effekt an zwei Gruppen zu zwei unterschiedlichen
Zeitpunkten gezeigt werden kann
Beispiel 6.10: Die Einführung des Fernsehens in einigen Städten im Jahre 1951
erhöhte danach die Kriminalitätsrate, während in den Städten in denen das Fernsehen
erst 1955 eingeführt wurde, dort dann die Rate stieg
Häufige Probleme bei Designs mit unterbrochenen Zeitreihen
-
Viele Effekte können nur langsam eigeführt werden und breiten sich nur langsam in
einer Population aus, so dass das Treatment eher als ein sich graduell verbreitender
Prozess zu sehen ist anstatt dass die Effekte alle gleichzeitig auftreten
-
Viele Effekte treten mit einer unvorhersagbaren Zeitverzögerung auf, die sich in
Abhängigkeit der Population und über die Zeit hinweg unterscheiden
-
um eine statistische Analyse durchzuführen, sollte man eigentlich 100 Beobachtungen
vornehmen, jedoch sind die Datenreihen meist viel kürzer
-
Es ist schwierig die benötigten Daten aus den Archiven zu bekommen
-
Archivdaten haben oft Zeitabstände zwischen den einzelnen Messzeitpunkten, die zu
groß sind
-
fehlende oder falsche Daten