Theorie der Signalentdeckung
Werbung
Allgemeine Psychologie II Prof. Dietrich Albert WS 2003 / 2004 VO 06, 18.11.2003 WS 2003 / 2004, Prof. Dietrich Albert 1 Theorie der Signalentdeckung Grundbegriffe • Unter der Annahme, dass die bedingten Zufallsvariablen X | S und X | N jeweils normalverteilt sind, werden die folgenden bedingten Dichtefunktionen betrachtet • Die Dichtefunktion f(x | S) unter der Bedingung, dass der Naturzustand S vorliegt • Die Dichtefunktion f(x | N) unter der Bedingung, dass der Naturzustand N vorliegt • Diese Dichtefunktionen werden in der nachfolgenden Abbildung veranschaulicht WS 2003 / 2004, Prof. Dietrich Albert 2 Theorie der Signalentdeckung Dichtefunktionen f(x | N) und f(x | S) WS 2003 / 2004, Prof. Dietrich Albert 3 Theorie der Signalentdeckung Grundbegriffe • Die Sensitivität (bzw. die Diskriminationsleistung oder die Wiedererkennensleistung) bestimmt das Ausmaß der Korrektheit oder Sicherheit, mit der das Vorliegen bzw. das Nicht-Vorliegen des Signals entschieden werden kann • Die Sensitivität korrespondiert mit dem Abstand der beiden bedingten Verteilungen P(X | N) und P(X | S) voneinander • Unter der Annahme von Normalverteilungen ist der Abstand der bedingten Verteilungen durch die Differenz der entsprechenden Erwartungswerte definiert (in Einheiten der Standardabweichung), die häufig durch d‘ bezeichnet wird WS 2003 / 2004, Prof. Dietrich Albert 4 Theorie der Signalentdeckung Das Sensitivitätsmaß d‘ WS 2003 / 2004, Prof. Dietrich Albert 5 Theorie der Signalentdeckung Das Sensitivitätsmaß d‘ WS 2003 / 2004, Prof. Dietrich Albert 6 Theorie der Signalentdeckung Grundbegriffe • Bei gegebener Sensitivität hängt das beobachtete Antwortverhalten von der Setzung des Entscheidungskriteriums xc ab • Man unterscheidet • Neutrales Kriterium • Keine ausgeprägte Tendenz zu “Ja”- bzw. “Nein”-Anworten • Konservatives Kriterium • Tendenz eher mit “Nein” zu antworten • Liberales Kriterium • Tendenz eher mit “Ja” zu antworten WS 2003 / 2004, Prof. Dietrich Albert 7 Theorie der Signalentdeckung Neutrales Kriterium WS 2003 / 2004, Prof. Dietrich Albert 8 Theorie der Signalentdeckung Konservatives Kriterium WS 2003 / 2004, Prof. Dietrich Albert 9 Theorie der Signalentdeckung Liberales Kriterium WS 2003 / 2004, Prof. Dietrich Albert 10 Theorie der Signalentdeckung Grundbegriffe • Die Setzung des Entscheidungskriteriums xc legt bei gegebener Sensitivität die Wahrscheinlichkeiten P(hit), P(miss), P(false alarm) und P(correct rejection) fest • Ein konservatives Kriterium hat gegenüber einem neutralen Kriterium eine Verringerung von P(hit) und P(false alarm) zur Folge, bzw. eine Erhöhung von P(correct rejection) und P(miss) • Ein liberales Kriterium hat gegenüber einem neutralen Kriterium eine Erhöhung von P(hit) und P(false alarm) zur Folge, bzw. eine Verringerung von P(correct rejection) und P(miss) WS 2003 / 2004, Prof. Dietrich Albert 11 Theorie der Signalentdeckung Neutrales Kriterium WS 2003 / 2004, Prof. Dietrich Albert 12 Theorie der Signalentdeckung Konservatives Kriterium WS 2003 / 2004, Prof. Dietrich Albert 13 Theorie der Signalentdeckung Liberales Kriterium WS 2003 / 2004, Prof. Dietrich Albert 14 Theorie der Signalentdeckung Optimalitätskriterien • Es stellt sich die Frage, welche Setzung des Entscheidungskriteriums xc bei gegebener Sensitivität optimal ist, d.h. zu möglichst “guter” Leistung führt • Die Optimalität des Entscheidungsverhaltens ist natürlich situationsabhängig und wird beispielsweise bestimmt • durch das verwendete Leistungsmaß bzw. Optimalitätskriterium • durch die mit den Entscheidungen verbundenen Konsequenzen • Optimales Verhalten unter Verwendung einer Entscheidungsregel darf nicht mit perfektem Verhalten verwechselt werden WS 2003 / 2004, Prof. Dietrich Albert 15 Theorie der Signalentdeckung Optimalitätskriterien • Likelihood-Quotienten-Regel • Der Likelihood-Quotient ist definiert durch das Verhältnis • Entscheidungsregel • Ist L(x) ! 1, dann antworte “Ja” • Ist L(x) < 1, dann antworte “Nein” • Der mit dem Kriteriumswert xc der Evidenzvariablen assoziierte Likelihood-Quotient wird als Kriterium β bezeichnet WS 2003 / 2004, Prof. Dietrich Albert 16 Theorie der Signalentdeckung Likelihood-Quotienten-Regel WS 2003 / 2004, Prof. Dietrich Albert 17 Theorie der Signalentdeckung Optimalitätskriterien • Maximieren der Anzahl richtiger Antworten • Das optimale Kriterium βopt, das die Anzahl richtiger Antworten maximiert hängt von den A-priori Wahrscheinlichkeiten P(N), P(S) ab durch • Ist die Präsentation eines Signals S wahrscheinlicher als die Darbietung von Rauschen N, so sollten anteilig mehr “Ja”- Antworten gegeben werden • Bei steigender A-priori Wahrscheinlichkeit P(S) verringert sich βopt und damit xc und das Verhalten wird “riskanter” WS 2003 / 2004, Prof. Dietrich Albert 18 Theorie der Signalentdeckung Konsequenzen • Die Wahl des Kriteriums hängt entscheidend von den Konsequenzen ab, die mit den Antwortalternativen verbunden sind • Positive Konsequenzen werden dabei als Gewinne (“Values”) bezeichnet und negative Konsequenzen als Kosten (“Costs”) • Oftmals können Gewinne und Kosten direkt als Geldbeträge angegeben werden, die am Ende des Experiments, in Abhängigkeit von den gegebenen Urteilen, ausbezahlt werden • Versucht die Versuchsperson ihren Gewinn zu maximieren, so kann damit die Reaktionsneigung gezielt manipuliert werden WS 2003 / 2004, Prof. Dietrich Albert 19 Theorie der Signalentdeckung Konsequenzen • Gewinne (“Values”) und Kosten (“Costs”), die mit den vier grundlegenden Ereignissen verbunden sind (“Payoff-Matrix”) WS 2003 / 2004, Prof. Dietrich Albert 20 Theorie der Signalentdeckung Optimalitätskriterien • Maximieren der Gewinne und minimieren der Kosten • Das optimale Kriterium βopt, das die Gewinne maximiert und die Kosten minimiert, ergibt sich als • Bei dieser Formel ist zu beachten, dass die Gewinne positiv und die Kosten negativ angesetzt werden WS 2003 / 2004, Prof. Dietrich Albert 21 Theorie der Signalentdeckung Optimalitätskriterien • Maximieren der Gewinne und minimieren der Kosten • Das optimale Kriterium βopt, das die Gewinne maximiert und die Kosten minimiert, ergibt sich aus einer Entscheidungsregel, bei der eine “Ja”-Antwort erfolgt genau dann, wenn der Erwartungswert größer oder gleich ist dem Erwartungswert WS 2003 / 2004, Prof. Dietrich Albert 22 Theorie der Signalentdeckung Grundlagen • Der wesentliche Beitrag der Theorie der Signalentdeckung ist die konzeptuelle Trennung von Sensitivität bzw. Diskriminationsleistung und Reaktionsneigung (“response bias”) • Sensitivität bzw. Diskriminationsleistung bezeichnet dabei die prinzipielle Fähigkeit und Auflösung des Detektionsmechanismus • Bei gegebener Sensitivität resultiert unterschiedliches Verhalten aus einer konservativen, neutralen, oder liberalen (risikofreudigen) Setzung des Kriteriums WS 2003 / 2004, Prof. Dietrich Albert 23 Theorie der Signalentdeckung Grundlagen • Um die Trennung von Sensitivität und Reaktionsneigung leisten zu können, muss in der Ja-Nein-Aufgabe eine gezielte Manipulation des Entscheidungskriteriums erfolgen • Die Formel zeigt, dass dies in verschiedener Weise möglich ist WS 2003 / 2004, Prof. Dietrich Albert 24 Theorie der Signalentdeckung Grundlagen • Die Trennung von Sensitivität und Reaktionsneigung kann erreicht werden • durch Veränderung der Auftretenswahrscheinlichkeiten P(S) und P(N) von Signal und Rauschen • durch Manipulation der Gewinn- und Kostenzuweisung in der Auszahlungs-Matrix WS 2003 / 2004, Prof. Dietrich Albert 25 Theorie der Signalentdeckung ROC-Kurve • Wegen P(hit) = 1 - P(miss) und P(false alarm) = 1 - P(correct rejection), kann das Verhalten in der Detektionsaufgabe durch jeweils eine Wahrscheinlichkeit aus beiden Gleichungen vollständig beschrieben werden • In einer ROC-Kurve (“Receiver Operating Characteristic”) wird die Wahrscheinlichkeit eines Treffers P(y | S) gegen die Wahrscheinlichkeit eines falschen Alarms P(y | N) abgetragen WS 2003 / 2004, Prof. Dietrich Albert 26 Theorie der Signalentdeckung ROC-Kurve WS 2003 / 2004, Prof. Dietrich Albert 27 Theorie der Signalentdeckung ROC-Kurve WS 2003 / 2004, Prof. Dietrich Albert 28 Theorie der Signalentdeckung ROC-Kurve • Bei gegebener Sensitivität und einem bestimmten Kriterium ergibt sich ein Punkt der ROC-Kurve • Unter verschiedenen Kriteriumswerten ergibt sich eine ROC-Kurve, mit der die Sensitivität bzw. Diskriminationsfähigkeit gekennzeichnet wird (Isosensitivitätskurve) • Fällt die Kurve mit der Diagonalen zusammen, so ist die Wahrscheinlichkeit eines Treffers identisch mit der Wahrscheinlichkeit eines falschen Alarms, was bei zufälligem Antwortverhalten zu erwarten ist WS 2003 / 2004, Prof. Dietrich Albert 29 Theorie der Signalentdeckung ROC-Kurve WS 2003 / 2004, Prof. Dietrich Albert 30 Theorie der Signalentdeckung ROC-Kurve • Je deutlicher die ROC-Kurve von der Diagonalen abweicht, desto ausgeprägter ist die Sensitivität • Werden keinerlei Annahmen bezüglich der Form der bedingten Verteilungen P(x | S) und P(x | N) gemacht, dann kann die Fläche unter der ROC-Kurve als Maß der Diskriminationsfähigkeit betrachtet werden • Wird vorausgesetzt, dass P(X | S) und P(X | N) Normalverteilungen sind, so errechnet man die Sensitivität über die Differenz der entsprechenden Erwartungswerte durch d‘ = (µS - µN) / σ WS 2003 / 2004, Prof. Dietrich Albert 31 Theorie der Signalentdeckung Berechnung des Sensitivitätsmaßes d‘ • Ausgangspunkt ist die Annahme, dass P(X | S) und P(X | N) Normalverteilungen mit identischer Varianz σ2 sind • Für die Wahrscheinlichkeiten P(y | S) und P(y | N) eines Treffers bzw. eines falschen Alarms werden entsprechend den Quantilen (Flächeninhalte unter der Kurve) z-Werte der Standardnormalverteilung berechnet • Man sucht also den Wert zP(y|S) einer standardnormalverteilten Zufallsvariablen Z, so dass gilt WS 2003 / 2004, Prof. Dietrich Albert 32 Theorie der Signalentdeckung Berechnung des Sensitivitätsmaßes d‘ • Entsprechend sucht man den Wert zP(y|N) einer standardnormalverteilten Zufallsvariablen Z, so dass gilt • Das Sensitivitätsmaß d‘ berechnet man dann durch WS 2003 / 2004, Prof. Dietrich Albert 33 Theorie der Signalentdeckung Berechnung des Sensitivitätsmaßes d‘ WS 2003 / 2004, Prof. Dietrich Albert 34 Theorie der Signalentdeckung Berechnung des Sensitivitätsmaßes d‘ WS 2003 / 2004, Prof. Dietrich Albert 35 Theorie der Signalentdeckung Berechnung des Sensitivitätsmaßes d‘ WS 2003 / 2004, Prof. Dietrich Albert 36 Theorie der Signalentdeckung ROC-Kurve • Unter der Annahme, dass P(X | S) und P(X | N) Normalverteilungen mit identischer Varianz sind, kann man die Sensitivität d‘ für einen einzelnen Punkt der ROC-Kurve berechnen • Die unterliegende Annahme kann hierbei jedoch nicht empirisch überprüft werden • Zur empirischen Überprüfung dieser Annahme, die für eine Absicherung der Gültigkeit des berechneten d‘-Wertes notwendig ist, müssen mehrere Punkte einer ROC-Kurve vorliegen WS 2003 / 2004, Prof. Dietrich Albert 37 Theorie der Signalentdeckung ROC-Kurve • Entsprechend der Berechnung von d‘ werden die Achsen in der Grafik der ROC-Kurve in z-Werte transformiert • Trägt man die ROC-Kurve in dieses Koordinatensystem ein, so ergibt sich • unter Gültigkeit der Normalverteilungsannahme bei identischen Varianzen eine Gerade mit Steigung 1 • unter Gültigkeit der Normalverteilungsannahme bei verschiedenen Varianzen eine Gerade mit einer von 1 verschiedenen Steigung • keine Gerade, falls die Normalverteilungsannahme nicht zutrifft WS 2003 / 2004, Prof. Dietrich Albert 38 Theorie der Signalentdeckung ROC-Kurve WS 2003 / 2004, Prof. Dietrich Albert 39
