Testtheorie und Testkonstruktion
Werbung
Testtheorie und Testkonstruktion Dr. Johannes Hartig Dipl.-Psych. Dominique Dahl Was ist ein Test? Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung. (Lienert, 1969, S.7). Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Test, Skalen, Aufgaben und Items PISA Kompetenztest Lesen Test Mathematik Raum und Form Quantitatives Denken Skalen Dimensionen innerhalb eines Konstruktes Unsicherheit Subskalen Aufgabe 1 Aufgaben Item 1 Aufgabe 2 Items Item 2 Item 3 Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 1 Grundlagen psychologischpsychologischdiagnostischer Verfahren Ein Test besteht aus Reizkomponenten (z.B. Fragebogenitems oder eine IQ-Testaufgaben), und Anweisungen zur Interpretation des darauf gezeigten Verhaltens (z.B. angekreuzte Antworten, angegebene Lösungen). Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl RorschachRorschach-Test (Abb. aus Rost, 2004) Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl TAT (Abb. aus Rost, 2004) Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 2 PicturePicture-Frustration Test (Abb. aus Rost, 2004) Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Fragebogen Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Internetbasierter Fragebogen Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 3 Grundlagen psychologischpsychologischdiagnostischer Verfahren Ein Test besteht aus Reizkomponenten (z.B. Fragebogenitems oder eine IQ-Testaufgaben), und Anweisungen zur Interpretation des darauf gezeigten Verhaltens (z.B. angekreuzte Antworten, angegebene Lösungen). Die theoretische Herkunft der zu untersuchenden Persönlichkeitsvariablen kann so vielfältig sein wie die verschiedenen Fächer und theoretischen Richtungen der gesamten Psychologie. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Grundlagen psychologischpsychologischdiagnostischer Verfahren Interindividuelle Unterschiede können z.B. Untersucht werden in der kognitiven Entwicklung, Schul- und Lernleistungen, in der Ausprägung klinisch-psychologischer Symptome, in Attributionsstilen, im Sozialverhalten, im emotionalen Erleben, in der Motivation am Arbeitsplatz, in biopsychologisch fundierten Persönlichkeitsmerkmalen, in faktorenanalytisch gewonnenen Dimensionen zur Persönlichkeitsbeschreibung. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Grundlagen psychologischpsychologischdiagnostischer Verfahren Nomothetischer Ansatz: Ansatz Es gibt allgemeine Persönlichkeitsvariablen, hinsichtlich derer sich alle Menschen und Unterschiede zwischen Individuen beschreiben lassen. Die mit psychologischen Tests erfassten Persönlichkeitsmerkmale sind meistens quantitativ (z.B. Neurotizismus, IQ), aber auch qualitative (kategoriale) Variablen wie z.B. klinische Diagnosen sind denkbar. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 4 Was ist eine Testtheorie? Eine Testtheorie bezeichnet eine Gesamtheit von Methoden zur Behandlung der Fragestellungen, welche sich bei der Testkonstruktion und -auswertung ergeben. Dieser Begriff ist nicht zu verwechseln mit Theorien über statistische (Signifikanz-) Tests oder wissenschaftlichen Theorien im Sinne eines empirisch zu untersuchenden Hypothesengefüges. (Eine Testtheorie kann nicht falsch sein ;-) Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Was ist eine Testtheorie? Eine Testtheorie beschreibt, in welchem Zusammenhang das zu testende Merkmal mit den im Test tatsächlich beobachtbaren Antworten steht. Umgekehrt werden Annahmen formuliert, wie aus den Testergebnissen Aussagen über die Merkmale der getesteten Personen abgeleitet werden können. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Was ist eine Testtheorie? Eine Testtheorie beschäftigt sich also mit dem Zusammenhang zwischen Testverhalten und dem zu erfassenden Merkmal. Testauswertung Persönlichkeitsmerkmal Verhalten im Test (z.B. Emotionalität, Fähigkeit) (Antworten, Lösungen) Testtheorie und Testkonstruktion Beeinflusst Johannes Hartig und Dominique Dahl 5 Klassische Testtheorie (KTT) Die KTT stellt eine Sammlung von Methoden dar, die seit Beginn des vorigen Jahrhunderts zur exakten und ökonomischen Erfassung interindividueller Unterschiede entwickelt wurden. Eine systematische Zusammenfassung dieser Ansätze erfolgte 1950 von Gulliksen („Theory of mental tests“). Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Klassische Testtheorie (KTT) Wesentliche Annahme der KTT ist, dass sich die mit einem Test ermittelte Merkmalsausprägung eines Individuums aus dem „wahren Wert“ dieses Individuums und einem Messfehler zusammensetzt. Die Methoden der KTT zielen zum großen Teil darauf ab, den Anteil dieses Messfehlers zu bestimmen, sie kann daher auch als „Messfehlertheorie“ bezeichnet werden. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Klassische Testtheorie (KTT) Die KTT setzt den (messfehlerbehafteten) Messwert mit der Ausprägung des zu erfassenden psychischen Merkmals gleich. Ein Test wird daher als eine direkte OperationaOperationalisierung des Persönlichkeitsmerkmals betrachtet, welches er erfassen soll. Im Rahmen der KTT werden keine Aussagen über Zusammenhänge zwischen psychischen Merkmalen und dem Verhalten in einem Test formuliert. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 6 Übersetzung von Testverhalten in Zahlen Beispiel Leistungstests Im einfachsten Fall einen Punkt für jede gelöste Aufgabe. Æ Aufgabe gelöst = 1; nicht gelöst = 0. Bei komplexeren Aufgaben kann auch mehr als ein Punkt vergeben werden, z.B. 0 bis 3. Entscheidend für die Übersetzung von Testverhalten in Zahlen sind hier die Kriterien dafür, wann eine Aufgabe gelöst ist! Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Übersetzung von Testverhalten in Zahlen Beispiel Fragebögen In Fragebögen stehen dem Antwortenden typischerweise verschiedene vorgegebene Antwortalternativen zur Verfügung. Diese Antwortalternativen werden nach einem festen Auswertungsschlüssel in Zahlen übersetzt. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Übersetzung von Testverhalten in Zahlen Beispiel Fragebögen Diese Antwortalternativen werden nach einem festen Auswertungsschlüssel in Zahlen übersetzt. Sind gutes Benehmen und Sauberkeit wichtig für Sie? = ja 0 = nein 1 „Punkte in Psychotizismus“ Poesie beeindruckt mich wenig oder gar nicht = völlig 4 unzutreffend = unzutreffend 3 = weder 2 „Punkte noch in Offenheit für Erfahrung“ = zutreffend 1 = völlig 0 zutreffend Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 7 Übersetzung von Testverhalten in Zahlen Bei Auswertungen mit Methoden der klassischen Testtheorie werden die Zahlen, in die das Testverhalten übersetzt worden ist, wie intervallskalierte Messwerte behandelt. Der Testwert wird i.d.R. als einfache Summe der Werte aus allen Items gebildet. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Übersetzung von Testverhalten in Zahlen trif f ic tn z ht u trif f r he te zu ht u nic rz he zu e ft ft trif trif 1. Es gibt mir Schwung, wenn etwas so klappt wie geplant. c 0 d 1 e 2 f 3 3 2. Ich werde auch aus geringfügigen Anlässen richtig fröhlich. c 0 d 1 e 2 f 3 3. Wenn ich ein Ziel vor Augen habe, bin ich kaum zu halten. c 0 d 1 e 2 f 3 2 2 4. Auch wenn ich etwas bekomme, das ich wirklich haben wollte, freue ich mich selten. c 3 d 2 e 1 f 0 3 5. Wenn ich merke, dass ich ein persönliches Ziel erreichen kann, spornt mich das stark an. c 0 d 1 e 2 f 3 2 6. Ich bin schnell zu erfreuen. c 0 d 1 e 2 f 3 1 7. Es macht mich sehr glücklich, wenn ich ein angestrebtes Ziel erreiche. c 0 d 1 e 2 f 3 3 8. Es ist selten, dass ich mich über etwas richtig freuen kann. c 3 d 2 e 1 f 0 3 9. Wenn ich einen Erfolg in Aussicht habe, erfüllt mich das mit Energie. c 0 d 1 e 2 f 3 3 Σ = „24 Punkte 10. Auch kleine Anreize können mich stark motivieren. c 0 d 1 e 2 f 3 2 empfänglichkeit“ Testtheorie und Testkonstruktion Verstärker- Johannes Hartig und Dominique Dahl Rohdatenstrukturen Für die statistischen Analysen auf Item- und Skalenebene werden die Testdaten in einer Rohdatenmatrix gesammelt. In dieser Matrix stehen die Daten der Personen in den Zeilen, die Daten für einzelne Items und andere Variablen in den Spalten. Diese Struktur ist auch die typische Anordnung von Rohdaten in Statistik-Programmen wie SPSS. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 8 Rohdatenstrukturen Personen in den Zeilen Items in den Spalten ⎡3 ⎢2 ⎢ ⎢2 ⎢ ⎢# ⎢0 ⎢ ⎢3 ⎢2 ⎣ 1 3 3 3 2⎤ 1 3 3 3 2 2 1 2 2 ⎥⎥ 2 3 3 2 2 3 2 2 3⎥ ⎥ " #⎥ 0 0 1 2 0 1 0 1 2⎥ ⎥ 3 2 2 1 1 2 2 3 2⎥ 2 1 2 1 0 1 2 3 2 ⎥⎦ 2 2 3 Testtheorie und Testkonstruktion 2 Johannes Hartig und Dominique Dahl Rohdatenstrukturen Rohdaten in SPSS Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 9 Vorgehen bei der Testkonstruktion Eingrenzung des Gegenstandsbereiches Sichtung existierender Theorien und Befunde Theoretische Definition des zu erfassenden Merkmals Anwendungsbereich des Tests? Operationalisierung des zu erfassenden Merkmals in konkrete Aufgaben / Fragebogenitems Erhebung an einer Konstruktionsstichprobe Testrevision, Itemselektion Erprobung der revidierten Fassung an einer neuen Stichprobe, evtl. Normierung Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Allgemeines zur TestkonstruktionsTestkonstruktions-Hausarbeit Der im Rahmen der Veranstaltung entwickelte Test soll mindestens 15 Items umfassen. Insgesamt sollen mindestens an 100 Personen Daten erhoben. Zusätzlich sollten Alter und Geschlecht erfragt werden, weitere Variablen (z.B. Schulbildung, Familienstand, etc.) nur, wenn diese Variablen relevant für das untersuchte Konstrukt sein können. Die Items sollen auf einer mehrstufigen Ratingskala beantwortet werden (z.B. vier- oder sechsstufig). Die Benennung der Stufenbezeichnungen sollte so gewählt werden, dass alle Items mit demselben Format beantwortet werden können. Es sollten möglichst gleiche Abstände zwischen je zwei Stufen angenommen werden können. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Mögliche Themenbereiche der TestkonstruktionsTestkonstruktions-Hausarbeit Konstrukte aus folgenden Bereichen bieten sich zur Fragebogenkonstruktion an: Persönlichkeitseigenschaften im engeren Sinn … z.B. im Sinne von Verhaltensdispositionen (z.B. umweltbewusstes Verhalten, Feinfühligkeit im Umgang mit Kleinkindern) oder … im Sinne subjektiver Befindlichkeit oder emotionaler Dispositionen (z.B. Wetterfühligkeit, Kritikempfindlichkeit, Arbeitszufriedenheit) Einstellungen (z.B. Einstellung zur Legalisierung weicher Drogen, Einstellung zu abstrakter Kunst). Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 10 Relevanz des Konstruktes Es ist ohne weiteres möglich, zu fast jedem beliebigen Thema - insbesondere zu Einstellungsfragen - eindimensionale Fragebögen zu konstruieren. Trotzdem sollte für die Hausarbeit ein Konstrukt gewählt werden, das zu testen auch in irgendeiner Form von Relevanz sein könnte. Natürlich steht es jeder und jedem frei, die Relevanz ihres / seines Themas in der Hausarbeit zu begründen! Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Relevanz des Konstruktes Die mögliche Relevanz dürfte relativ leicht zu begründen sein bei z.B.: Einstellung zur doppelten Staatsbürgerschaft Einstellung zur Atomkraft Körperliche Beschwerden bei psychischem Stress Sicherheitsbewusstes Verkehrsverhalten Schwieriger könnte diese Begründung fallen bei: Einstellung zu Kindern Einstellung zu Hunden Einstellung zu Psychologen Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Themen der TestkonstruktionsTestkonstruktionsHausarbeiten in vergangenen Semestern Verhaltensdispositionen Feinfühligkeit im Umgang mit Kleinkindern Einstellung zur Ordentlichkeit (Ordnungsverhalten) Umweltbewusstes Verhalten im Alltag Befindlichkeit / emotionale Disposition Abhängigkeit der Stimmung vom Wetter Selbstbewusstsein Größenwahn Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 11 Themen der TestkonstruktionsTestkonstruktionsHausarbeiten in vergangenen Semestern Einstellungsfragebögen Einstellung zur Homo-Ehe Einstellung gegenüber abstrakter Kunst Einstellung zur Legalisierung von Haschisch und Marihuana Einstellung zu Leistungsorientierung im Studium Einstellung zu Psychotherapie Einstellung zum Fahrverbot bei Ozonalarm Das Bild der Frau in der Werbung Einstellung zu älteren Menschen ab dem 65. Lebensjahr Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Eindimensionalitä Eindimensionalität des Konstruktes Der selbst konstruierte Fragebogen soll ein eindimensionales Konstrukt erfassen, das heißt: Es muss sinnvoll definiert sein, was ein hoher und ein niedriger Punktewert bedeutet! Die einzelnen Items müssen für sich genommen sinnvoll hinsichtlich eines „mehr“ oder „weniger“ des erfassten Konstruktes interpretierbar sein! Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Eindimensionalitä Eindimensionalität des Konstruktes Gerade bei Einstellungsfragebögen muss sorgfältig gefragt werden, ob man von einer Dimension (z.B. von „finde ich fürchterlich“ bis „finde ich super“) ausgehen kann. Die Items in Einstellungsfragebögen dürfen nicht einfach unterschiedliche Aspekte einer Einstellung behandeln - die Antworten hierauf können interessant sein, aber es wird kein einheitliches Konstrukt erfasst. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 12 Eindimensionalitä Eindimensionalität des Konstruktes Beispiel: „Einstellung zum Bild der Frau in der Werbung“ Werbung mit erotischen Bildern von Frauen ist sexistisch. In der Werbung werden Frauen zu oft als Hausfrauen dargestellt. Bilder mit nackten Frauen in Werbeanzeigen erregen zuverlässig die Aufmerksamkeit von Betrachtern. Æ Das sind miteinander verwandte, aber nicht zwingend zusammenhängende Einstellungsgegenstände. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Eindimensionalitä Eindimensionalität des Konstruktes Beispiel: „Einstellung zu weiblichen Stereotypen in der Werbung“ In der Werbung werden Frauen zu oft als Hausfrauen dargestellt. Die Darstellung von „typisch weiblichen“ Frauen in der Werbung verfestigt traditionelle Rollenverteilungen. Die Art der Darstellung von Frauen in der Werbung hat keinen Einfluss auf gesellschaftliche Realitäten. Æ Durch die Beschränkung auf einen einzelnen Aspekt kann möglicherweise ein eindimensionales Konstrukt erfasst werden. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Eindimensionalitä Eindimensionalität des Konstruktes Auch bei Items, die sich auf Verhaltensweisen beziehen, muss klar sein, welches zugrunde liegende Konstrukt erfasst werden soll. Verhaltensweisen, die sich auf denselben Bereich beziehen, müssen deswegen noch keine Zusammenhänge untereinander aufweisen und auf eine gemeinsame Persönlichkeitseigenschaft zurückgehen. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 13 Eindimensionalitä Eindimensionalität des Konstruktes Beispiel: „Umgang mit körperlichen Schmerzen“ Wenn ich körperliche Schmerzen habe, ... nehme ich Schmerzmittel. ... versuche ich mich abzulenken. ... suche ich Trost bei Freunden. ... reibe ich die schmerzende Stelle. ... verdirbt mir das die gesamte Laune. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Überlegungen zur Stichprobe Grundsätzlich ist eine Stichprobe aus dem eigenen Bekanntenkreis und anderen Studenten /-innen völlig in Ordnung. Man sollte sich allerdings überlegen, ob das Konstrukt, das man erfassen will, in der untersuchten Stichprobe auch variiert - das ist Voraussetzung für eine zufriedenstellende Testanalyse! Zu Themen wie z.B. „Einstellung zu Verhütungsmitteln“ oder „Einführung brutal teurer Studiengebühren ab dem 5. Semester“ kann die Meinung unter Studierenden recht einheitlich sein. Ist damit zu rechnen, sollte man sich rechtzeitig überlegen, wo man Personen mit anderer Einstellung befragen kann. Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl Überlegungen zur Stichprobe Manche - und durchaus interessante - Themen können Stichproben-spezifisch sein, z.B. Belastungsgrad von Eltern behinderter Kinder Psychologische Betreuung im Polizeidienst Einstellung von Männern zur Mitverantwortung bei der Schwangerschaftsverhütung Psychische Belastung ehrenamtlicher Seelsorger In solchen Fällen sollte frühzeitig klar sein, wo die Stichprobe herkommt und ob es möglich ist, innerhalb eines erträglichen Zeitraumes und mit erträglichem Aufwand an genug Personen zu kommen. Die Rücklaufquote kann je nach Stichprobe deutlich niedriger sein als unter Kommilitonen/-innen! Testtheorie und Testkonstruktion Johannes Hartig und Dominique Dahl 14
