Probleme beim Versuchsaufbau
Werbung
Empirische Softwaretechnik Prof. Dr. Walter F. Tichy Dr. Matthias Müller Sommersemester 2006 Anforderungen und Probleme beim Versuchsaufbau 2 Anforderungen an Versuchsaufbau 1. Zielgeführtes Sammeln der Daten zum Beantworten der Forschungsfrage. 2. Kontrolle der Störvariablen. Ist der Effekt auf die unabhängige Variable zurückzuführen ? (interne Gültigkeit) 3. Ergebnis muss auf andere Individuen oder Gruppen generalisierbar sein. (externe Gültigkeit) 3 Gefahren für interne Gültigkeit • • • • • • • • Historie Reifung Instrumentierung Selektion Sterblichkeit Subjekt-Effekt Experimentator-Effekt Reihenfolge-Effekt 4 Historie Zeitspanne Vortest Nachtest • Zwischen Vor- und Nachtest können Ereignisse die Messung im Nachtest beeinflussen (rivalisierende Hypothese) 5 Historie (Forts.) • Je länger die Zeitspanne, desto wahrscheinlicher hat die Historie einen Einfluss auf das Ergebnis • Einstellungen der Experiment-Teilnehmer können sich durch neue Information (Zeitungsartikel) oder Ereignisse ändern 6 Reifung • engl. maturation • Änderung der internen Konstitution eines Individuums im Laufe der Zeit (ohne Einfluss spezifischer, externer Ereignisse) • Eingeschlossen sind biologische und psycholgische Änderungen, z.B. Alter, Lernen, Müdigkeit, Langeweile, Hunger. 7 Reifung (Forts.) • Wenn Reifung das Verhalten unter den experimentellen Bedingungen ändert, dann gefährdet sie die interne Gültigkeit. • Beispiel: PSP-Studien, die keine Kontrollgruppe besitzen – Teilnehmer lernen, Listen zu programmieren – Leistungszuwachs durch Methode (PSP) und bessere Kenntnis der Listenprogrammierung 8 Instrumentierung • engl. instrumentation • Änderungen in der Messung der abhängigen Variablen mit der Zeit. – Menschliche Beobachter unterliegen Müdigkeit, Langeweile, und Lernprozessen. – Mit der Zeit kann ein Experimentator besser werden und genauere, zuverlässigere Testergebnisse liefern. 9 Selektion • Bei unterschiedlichen Selektionsmethoden für die Vergleichsgruppen kann Ungültigkeit eingeschleppt werden. • Beispiel: – Nachhilfe für unterschiedliche Gruppen: schwach in Mathe vs. hyperaktiv – Unterschiede in den Noten können auf anderen Eigenschaften beruhen als der Nachhilfe. 10 Sterblichkeit • engl. mortality • Sterblichkeit bedeutet unterschiedlichen Verlust von Teilnehmern in den Gruppen. • Teilnehmer erscheinen nicht oder haben eine lange Party am Vorabend oder nehmen nicht an allem teil... • Damit kann es Unterschiede zwischen Gruppen geben, die nicht von der unabhängigen Variablen herrühren. 11 Subjekt-Effekt • Positive Selbstdarstellung: Subjekte interpretieren den Sinn des Experiments und zeigen sich von ihrer besten Seite. • Beispiel: – Die gestellten Lernaufgaben sagen etwas über Intelligenz aus. – Da viele Teilnehmer intelligent erscheinen wollen, bemühen sie sich, im Experiment möglichst rasch zu lernen. 12 Subjekt-Effekt (Forts.) • Ergebnisse werden beeinflusst vom Motiv der Teilnehmer, sich positiv darzustellen. • Carlston und Cohen zeigten: – Subjekte, die an die Experiment-Hypothese glaubten, bestätigten sie – Gruppe, die die Hypothese nicht glaubte, lieferte gegenteilige Ergebnisse 13 Subjekt-Effekt (Forts.) • Inter-treatment interaction: Positive Selbstdarstellung ändert sich zwischen den Aufgaben • Intra-treatment interaction: Subjekte interpretieren die Möglichkeit der positiven Selbstdarstellung in der gleichen Aufgabe unterschiedlich 14 Experimentator-Effekt • Erwartungen des Experimentators beeinflussen ihn selbst, z.B. – Messungen ungenau in einer Richtung – Fallenlassen „unmöglicher“ Werte – tendenziöse Interpretation der Daten – Motivieren der Subjekte 15 Reihenfolge-Effekt • engl. sequencing effect • Teilnehmer nehmen an mehreren Versuchen teil • Unterschiedliche Werte der unabhängigen Variablen in den Versuchen • Beispiel: eine Aufgabe bearbeitet mit Entwurfsmuster, andere Aufgabe ohne 16 Reihenfolge-Effekt (Forts.) • Dann können Lerneffekte auftreten, die aus der Reihenfolge der Aufgaben resultieren (Reihenfolgeeffekt, order) • .... aber auch Motivationseffekte, etwa durch schnelles oder langsames Lösen der vorangegangenen Aufgabe (Übertragungseffekt, carry-over) 17
