Entscheidungstheorien Christian Kaernbach Gliederung • • • • • • • • Der Einfluß von Kosten und Nutzen auf die Entscheidung Darstellung von Entscheidungsdaten als Tabelle / als Graphik Die Eigenschaften der ”Receiver Operating Characteristics” klassisches Modell: Gaußsches Modell mit gleicher Varianz Asymmetrie der Daten Rettungsversuche für das Gaußsche Modell Schwellenmodelle Poissonmodell Modellvergleich Anwendung: Sprache in Rauschen bei Leichtgläubigen Statistische Entscheidungstheorie Statistical Decision Theory, SDT • Beispiel: Entscheidungsverhalten an der Wahrnehmungsschwelle, Signalentdeckungstheorie, Signal Detection Theory, SDT – sensorische Komponente (Urteilsbasis) – strategische Komponente (Kosten/Nutzen) – zwei Reizkonstellationen • Rauschen (kein Signal), Signal plus Rauschen – zwei Antwortmöglichkeiten • Ja (Signal war vorhanden), Nein (kein Signal) Tabellarische Datendarstellung Signal + Rauschen Rauschen Ja Nein Treffer Auslasser 73 27 100 falscher korrekte Alarm Zurückweisung 11 89 100 Motivation • Nach Golde drängt, am Golde hängt doch alles (Goethe, Faust) • Laborexperimente: Manipulation mittels Kosten/Nutzen-Matrix (payoff matrix) Ja Nein S+R +1 € -1 € R -1 € +1 € Graphische Datendarstellung Trefferwahrscheinlichkeit (pT) als Funktion der Falschalarmwahrscheinlichkeit (pFA). 1 pT Wo ist der Datenpunkt, wenn die Versuchsperson alles richtig macht? alles falsch macht? immer mit „Ja“ antwortet? immer „Nein“ antwortet? per Münzwurf entscheidet? im „Normalfall“? A FA KZ 0.5 T 0 0 0.5 pFA 1 Wohin wandert der Datenpunkt, wenn Auslasser stärker bestraft werden? Receiver Operating Characteristics ROC 1 Daten: Empiriepraktikum Universität Leipzig WS 96/97 pT 0.5 0 0 0.5 pFA 1 Drehsymmetrie des ROC (anti-kooperatives Verhalten) 1 pT A FA KZ 0,5 T 0 0 0,5 pFA 1 Drehsymmetrie des ROC (anti-kooperatives Verhalten) 1 pT A A FA KZ 0,5 T FA KZ T 0 0 0,5 pFA 1 Der ROC ist konvex AROC BROC ABROC 1 pT 0.5 0 0 0.5 pFA 1 Geraden gleichen Payoffs • Payoff-Matrix Ja Nein S+R +10 –40 R –5 +10 1 pT 0,5 0 0 0,5 • mittlerer Payoff: Pay = 0,5 · (10 · pT – 40 · (1–pT)) + 0,5 · (–5 · pFA + 10 · (1–pFA)) pFA 1 Geraden gleichen Payoffs • Payoff-Matrix Ja Nein S+R +10 –40 R –5 +10 +10 +5 1 0 pT 5 10 0,5 15 20 0 0 0,5 • mittlerer Payoff: Pay = 0,5 · (10 · pT – 40 · (1–pT)) + 0,5 · (–5 · pFA + 10 · (1–pFA)) pFA 1 Geraden gleichen Payoffs • Payoff-Matrix Ja Nein S+R mT mA R mFA mKZ • verhaltensbestimmend: die Steigung (mKZ – mFA) / (mT – mA) +10 +5 1 0 pT 5 10 0,5 15 20 0 0 0,5 • mittlerer Payoff: Pay = 0,5 · (mT · pT + mA · (1–pT)) + 0,5 · (mFA · pFA+ mKZ · (1–pFA)) pFA 1 Ein Würfelspiel • Signal: Münzwurf (Kopf: 2, Zahl 0) • Rauschen: Summe zweier Würfel (2...12) • Aufgabe: Erraten, ob Kopf gefallen ist, gegeben ein bestimmtes Gesamtergebnis 1 0,8 R S+R p(T) Wahrscheinlichkeit 0,2 0,1 0,6 0,4 0,2 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Gesamtergebnis 0 0,2 0,4 0,6 0,8 p(FA) 1 ROC aus Wahrscheinlichkeitsdichten auf der „Entscheidungsachse“ (decision axis, internal response, ...) Je weiter rechts die innere Antwort auf der Entscheidungsachse, desto wahrscheinlicher ist das Signal. Die Versuchsperson sagt „Ja“, wenn der Wert auf der Entscheidungsachse ein bestimmtes Kriterium k überschreitet. Rückt k ein infinitisemales Stück nach rechts, dann werden sowohl pFA als auch pT kleiner. Das Verhältnis pT / pFA ist die Steigung des ROC und läßt sich berechnen als Bruch der Wahrscheinlichkeitsdichten S+R / R. -3 R S+R -2 -1 0 „nein“ 1 k 2 R S+R 3 „ja“ 4 5 1 pT 0,5 0 0 0,5 pFA 1 Welche Verteilung? N(0,1) Normalverteilung -3 -2 -1 0 1 2 3 4 5 1 kumulative Normalverteilung, KNV 0,5 0,16 0 -3 -2 -1 0 1 2 3 4 5 Gaußsches Modell mit gleicher Varianz d' -3 -2 -1 0 „nein“ R S+R S*+R 1 k 2 3 „ja“ 4 1 pT 5 0,5 S+R = N(0,1) S+R = N(d‘,1) 2 Parameter: Sensitivität Kriterium d‘ k (Kurve) (Punkt) k‘ = KNV1(FA) d‘ = KNV1(T) KNV-1(FA) 0 0 0,5 pFA 1 Gaußsches Modell: Symmetrie d' -3 -2 -1 0 „nein“ R S+R S*+R 1 k 2 3 „ja“ 4 1 pT 5 0,5 S+R = N(0,1) S+R = N(d‘,1) 2 Parameter: Sensitivität Kriterium d‘ k (Kurve) (Punkt) k‘ = KNV1(FA) d‘ = KNV1(T) KNV-1(FA) 0 0 0,5 pFA 1 Asymmetrie realer Daten 1 1 pT 0,5 0.5 original gespiegelt 0 0 0 0.5 1 0 0,5 pFA 1 ROC nach Gauß (gl. Varianz) zu symmetrisch Gaußsches Modell mit ungleicher Varianz d' R S+R 1 pT s -3 -2 -1 k 0 1 2 3 4 5 0.5 S+R = N(0,1) S+R = N(d‘,s) 3 Parameter: Sensitivität Streuung S+R Kriterium d‘ (Kurve) s (Kurve) k (Punkt) 0 0 0.5 ROC nicht konvex pFA 1 Hochschwellenmodell (Blackwell, 1953) 1 0.8 0.6 0.4 0.2 0 1 R S+R D pT D 0.5 S+R = {1, 0} S+R = {1, } 2 Parameter: p(D|S+R) = Kriterium (Kurve) (Punkt) 0 0 0.5 pFA unrealistisch: Falschalarmrate = 0 1 Niedrigschwellenmodell (Luce, 1963) 1 0.8 0.6 0.4 0.2 0 R S+R S'+R D 1 pT D 0.5 S+R = {1, } S+R = {1, } 3 Parameter: p(D|R) = p(D|S+R) = Kriterium (Schar) (Kurve) (Punkt) 0 0 0.5 pFA perfekte Leistung unmöglich 1 Hoch/Niedrigschwellenmodell (Krantz, 1969) 1 0,8 0,6 0,4 0,2 0 R S+R S'+R D D 1 pT D* 0.5 S+R = {1, , 0} S+R = {1, , } 4 Parameter: p(D|R) = p(D|S+R) = p(D*|S+R) = Kriterium (Schar) (Kurve) (Kurve) (Punkt) 0 0 0.5 zuviele Parameter pFA 1 1 Kontinuierliche und diskrete Modelle pT 0,5 0 • Kann man ROCs aus kontinuierlichen 0 Verteilungen (z.B. Gauß) von ROCs aus Modellen mit wenigen diskreten Zuständen (Schwellenmodelle: Blackwell, Luce, Krantz) an der „Eckigkeit“ unterscheiden? „Nein“ • ROCs aus Rating-Daten sind „rund“: 0,5 pFA 1 „Ja“ – VP gibt Sicherheit für „Ja“ auf kontinuierlicher Skala an (Bleistiftstrich) – VL setzt post-hoc verschiedene Schwellen für „Ja“ • Krantz argumentiert gegen „runde Rating-ROCs“ – gegeben zwei Zustände, D und D. – verschmiertes Antwortverhalten aus Skala, Gaußverteilungen für D und D. – > runder ROC Das Poissonmodell (Egan, 1975) 0.8 R S+R S'+R 0.6 0.4 1 pT 0.2 0 0 1 2 3 4 5 6 7 8 0.5 3 Parameter: µ(R) µ(S+R) Kriterium (Schar) (Kurve) (Punkt) 0 0 va bene 0.5 pFA 1 Übergänge • Poisson µ(R) = 0 • Poisson µ(R) < .2 • Poisson µ(R) Hochschwellenmodell Hoch/Niedrigschwellenmodell Gaußsches Modell mit gleicher Varianz Modellvergleich • • • • • • Gauß mit gleicher Varianz mit ungleicher Varianz Hochschwellen Niedrigschwellen Hoch/Niedrigschw. Poisson Sparsamkeit Parameter Schar Kurve Punkt Probleme 0 0 0 1 1 1 nur symmetrische Daten ROC nicht konvex FA-Rate = 0 erreicht nicht „perfekt“ zu viele Parameter 1 2 1 1 2 1 1 1 1 1 1 1 Kompatibilität Sprache in Rauschen bei Leichtgläubigen • Diplomarbeiten von Gerit Haas und Ulrike Jury, Universität Graz, 2007 • 245 Versuchspersonen füllen Online-Fragebogen aus – Persönlichkeitsmerkmal “Magical Ideation” (MI) erheben mit 30 Items wie • Ich vollführe ab und zu kleine Rituale, um ungünstige Ereignisse abzuwenden. • Es gibt Leute, bei denen ich spüre, wenn sie an mich denken. • Wenn bestimmte Leute mich ansehen oder mich berühren, habe ich manchmal das Gefühl, Energie zu gewinnen oder zu verlieren. • Ich glaube, ich könnte lernen, die Gedanken Anderer zu lesen, wenn ich nur wollte. • Die Regierungen halten Informationen über UFOs zurück. • ... – Extremgruppenvergleich • 8 Personen mit niedrigem MI-Wert (1,25 1,3) • 9 Personen mit hohem MI-Wert (22 2,4) Sprache in Rauschen bei Leichtgläubigen • • • • Semantisches Priming Regelentdeckung in einem Computerspiel Erkennen von Objekten in visuellen Rauschbildern Erkennen von Wörtern in Rauschen – behaviorale Untersuchung: • 100 Durchgänge, davon – 60 mal nur Rauschen – 20 mal Rauschen plus sehr leises Wort – 20 mal Rauschen plus leises Wort • Aufgabe: War da ein Wort? Vierstufiges Rating – – – – sicher ja eher ja eher nein sicher nein – bildgebendes Verfahren (NIRS) zu Wörtern in Rauschen Sprache in Rauschen bei Leichtgläubigen • Erkennen von Wörtern in Rauschen – Asymmetrie: Hinweis auf Poissonverteilung – MI-hoch und MI-niedrig produzieren gleiche ROC-Kurve – Position der Punkte auf ROC-Kurve unterscheidet sich deutlich – basale Wahrnehmungsprozesse sind identisch (liefern gleiche Information) – Kriterien beim Auswerten dieser Information sind unterschiedlich Hausaufgaben • Es werden 200 Versuche gemacht, davon 100 mit S+R, 100 mit R. Die VP macht 16 falsche Alarme und 50 Treffer. • Wie groß ist k? • Wie groß ist d‘? • Wie viele Treffer und falsche Alarme würde die VP an dem Punkt machen, der an der Gegendiagonale gespiegelt ist? • Wie groß ist d‘ für diesen Punkt? • Wie groß muß k sein, damit die VP diesen Punkt erzeugt? • Und weil‘s so schön war: Eine andere VP macht bei der gleichen Lautstärke 16 falsche Alarme und 84 Treffer. Gleiche Fragen wie oben...