Satz von der totalen Wahrscheinlichkeit

htw saar
1
Satz von der totalen Wahrscheinlichkeit
Sei (Ω, P) ein Wahrscheinlichkeitsraum, und B1, …, Bn seien paarweise disjunkte Ereignisse mit ⋃
Für jedes Ereignis A gilt dann:
Bi = Ω.
P(A) = P(A | B1) * P(B1) + … + P(A | Bn) * P(Bn)
Beweisidee:
(1) P(A) = P(⋃ Bi ∩ A) = ∑ P(A ∩ Bi)
(2) Mit P(Bi) erweitern => Behauptung
WS 2016/2017
Hans-Peter Hafner
htw saar
2
Anwendung des Satzes der totalen Wahrscheinlichkeit
In einer Fabrik werden auf 4 Maschinen (M1 – M4) Glühlampen produziert. Die Anteile an der
Gesamtproduktion betragen M1:10%, M2:20, M3:30% und M4:40%. Die Ausschussanteile betragen
M1:1%, M2:2%, M3:4% und M4:2%. Wie hoch ist die Wahrscheinlichkeit für eine zufällig ausgewählte
Glühlampe, dass sie defekt ist?
A Glühlampe defekt
Bi Glühlampe kommt aus Maschine i
⇒ P(A) = P(A | B1) * P(B1) + … + P(A | B4) * P(B4)
= 0.01 * 0.1 + 0.02 * 0.2 + 0.04 * 0.3 + 0.02 * 0.4 = 0.025
WS 2016/2017
Hans-Peter Hafner
htw saar
3
Satz von Bayes (Thomas Bayes, 1701-1761, englischer Pfarrer)
Sei (Ω, P) ein Wahrscheinlichkeitsraum, und B1, …, Bn seien paarweise
disjunkte Ereignisse mit positiver Wahrscheinlichkeit und ⋃ Bi = Ω.
Für jedes Ereignis A und für jedes k ∈ {1, …, n} gilt dann:
P(Bk | A) =
P(A | Bk) ∗ P(Bk)
∑
P(A | Bi) ∗ P(Bi)
Der Satz von Bayes ermöglicht die Berechnung von bedingten Wahrscheinlichkeiten aus der Kenntnis
der umgekehrten bedingten Wahrscheinlichkeiten.
Eine interessante Anwendung erfährt dieser Satz beim Testen von Hypothesen. Die Ereignisse Bi
können als Ursachen für das Eintreten von A aufgefasst werden. Ordnet man vor der Beobachtung eines
Experiments diesen Ereignissen (subjektive) Wahrscheinlichkeiten P(Bi) zu, so nennt man diese a prioriWahrscheinlichkeiten. Bei fehlendem Wissen setzt man zunächst alle Wahrscheinlichkeiten gleich. A
trete nun mit P(A | Bi) ein, falls Bi eintritt. Tritt nun A ein, so ist P(Bi | A) die a posteriori-Wahrscheinlichkeit
dafür, dass Bi Ursache von A ist. Jetzt kann man die a priori-W. überdenken und z. B. durch die
a posteriori-W. ersetzen.
Hans-Peter Hafner
WS 2016/2017
htw saar
4
Beispiel für Anwendung des Satzes von Bayes
Eine Urne enthalte zwei Kugeln. Wir wissen zunächst nur, dass einer der folgenden Fälle vorliegt:
B1 Beide Kugeln sind schwarz.
B2 Eine Kugel ist rot, eine schwarz.
B3 Beide Kugeln sind rot.
pk = P(Bk), k=1, 2, 3 seien die a priori-Wahrscheinlichkeiten mit p1 + p2 + p3 = 1.
Bei n-maligen zufälligen Ziehen sei jede Kugel rot (Ereignis A).
Daraus ergeben sich die bedingten Wahrscheinlichkeiten
P(A | B1) = 0, P(A | B2) = (1/2)n und P(A | B3) = 1
und der Satz von Bayes liefert die a posteriori-Wahrscheinlichkeiten
P(B1 | A) = 0, P(B2 | A) = (p2 * (1/2)n ) / (p2 * (1/2)n + p3) und P(B3 | A) = p3 / (p2 * (1/2)n + p3)
Für n -> ∞ konvergiert P(B3 | A) gegen 1.
WS 2016/2017
Hans-Peter Hafner
htw saar
5
Satz von Bayes Beweis
Behauptung:
Sei (Ω, P) ein Wahrscheinlichkeitsraum, und B1, …, Bn seien paarweise
disjunkte Ereignisse mit positiver Wahrscheinlichkeit und ⋃ Bi = Ω.
Für jedes Ereignis A und für jedes k ∈ {1, …, n} gilt dann:
P(Bk | A) =
P(A | Bk) ∗ P(Bk)
∑
P(A | Bi) ∗ P(Bi)
Beweis:
P(Bk | A) =
P(A ∩ Bk) (P(A ∩ Bk) / P(Bk)) ∗P(Bk)
=
P(A)
P(A)
Daraus folgt die Behauptung mit der Definition der bedingten Wahrscheinlichkeit (Zähler) und
dem Satz der totalen Wahrscheinlichkeit (Nenner).
WS 2016/2017
Hans-Peter Hafner
htw saar
6
Satz von Bayes - Spezialfall
Für n = 2 und Ω = B ∪B folgt:
P(B | A) =
WS 2016/2017
P(A | B) ∗ P(B)
P(A | B) ∗ P(B) P(A | B) ∗ (1 − P(B))
Hans-Peter Hafner
htw saar
7
Anwendung: Tests auf Krankheiten
Fachbegriffe
Prävalenz = Anteil der Personen in Bevölkerung, der Krankheit hat
Sensitivität = Wahrscheinlichkeit, mit der eine kranke Person als krank erkannt wird
Spezifität = Wahrscheinlichkeit, mit der eine gesunde Person als gesund erkannt wird
B Person hat Krankheit K => P(B) = Prävalenz
A positives Testergebnis => P(A | B) = Sensitivität und P(A | B) = Spezifität
Die Wahrscheinlichkeit bei einem positiven Testergebnis krank zu sein, errechnet sich als
P(B | A) =
P(A | B) ∗ P(B)
P(A | B) ∗ P(B) P(A | B) ∗ (1 − P(B))
Dabei berechnet sich P(A | B) als 1 - P(A | B).
WS 2016/2017
Hans-Peter Hafner
htw saar
8
ELISA-Test auf HIV-Infektion
Sensitivität und Spezifität betragen beide etwa 0.998 (= 99,8%).
In Deutschland sind ca. 80.000 Personen HIV-Infiziert. Dies entspricht einer Prävalenz von ca. 0.001.
Somit ergibt sich für die Wahrscheinlichkeit einer Erkrankung bei positivem Testergebnis
(0.998 * 0.001) / (0.998 * 0.001 + (1 – 0.998) * (1 – 0.001)) = 0,333
Zum besseren Verständnis der niedrig erscheinenden Wahrscheinlichkeit:
Würden 1 Million Personen getestet, so wären darunter (aufgrund der Prävalenz) 1000 Infizierte zu
erwarten.
Von den 1000 Infizierten würden 998 positiv getestet.
Von den 999.000 Nicht-Infizierten würden aber auch 2 Promille (knapp 2000 Personen) positiv getestet.
WS 2016/2017
Hans-Peter Hafner
htw saar
9
Ziegenproblem (Monty Hall – Problem, Monty Hall: Spielshow-Moderator)
Nehmen Sie an, Sie wären in einer Spielshow und hätten die Wahl
zwischen drei Toren.
Hinter einem der Tore ist ein Auto, hinter den anderen sind Ziegen.
Sie wählen ein Tor, sagen wir, Tor Nummer 1, und der Showmaster,
der weiß, was hinter den Toren ist, öffnet ein anderes Tor, sagen wir,
Nummer 3, hinter dem eine Ziege steht.
Er fragt Sie nun: ‚Möchten Sie das Tor Nummer 2?‘
Ist es von Vorteil, die Wahl des Tores zu ändern?
Tipp zur Lösung: Es kann hilfreich sein, sich in den Moderator hineinzuversetzen!
WS 2016/2017
Hans-Peter Hafner
htw saar
10
Ziegenproblem – Graphische Lösung
WS 2016/2017
Hans-Peter Hafner
htw saar
11
Ziegenproblem – Lösung mit Satz von Bayes 1
Bi Auto hinter Tür i, i = 1, 2, 3 mit P(Bi ) = 1/3 für alle i.
Der Spieler wähle Tür 1.
Der Quizmaster zeigt die Ziege hinter Tür 3 (Ereignis A).
Ist das Auto wahrscheinlicher hinter Tür 1 (nicht wechseln) oder hinter Tür 2 (wechseln)?
Wir müssen P(A | B1), P(A | B2) und P(A | B3) berechnen:
P(A | B1) = 1/2
Wenn das Auto hinter Tür 1, macht es keinen Unterschied, ob Moderator Tür 2 oder 3 öffnet.
P(A | B2) = 1
Moderator kann dann nicht Tür 2 öffnen.
P(A | B3) = 0
Moderator kann nicht Tür, hinter der Auto steht, öffnen.
WS 2016/2017
Hans-Peter Hafner
htw saar
12
Ziegenproblem – Lösung mit Satz von Bayes 2
Jetzt können wir mit dem Satz von Bayes die Wahrscheinlichkeiten P(B1 | A) für nicht wechseln und P(B2 | A)
für Wechseln berechnen.
P(B1 | A) =
P(A | B1) ∗ P(B1)
P(A | B1) ∗ P(B1) + P (A | B2) ∗ P(B2) + P(A | B3) ∗ P(B3)
∗
=
P(B2 | A) =
∗ ∗ ∗
= (1/6) / (3/6) = 1/3
P(A | B2) ∗ P(B2)
P(A | B1) ∗ P(B1) + P (A | B2) ∗ P(B2) + P(A | B3) ∗ P(B3)
∗
=
WS 2016/2017
∗ ∗ ∗
= (1/3) / (3/6) = 2/3
Hans-Peter Hafner
htw saar
13
Simpson Paradoxon 1
Sind Frauen diskriminiert?
WS 2016/2017
Hans-Peter Hafner
htw saar
14
Simpson Paradoxon 2
Oder sind doch die Männer diskriminiert?
Die Zulassungsquoten in den einzelnen Studiengängen unterscheiden sich!
Studiengang 1: 72%
Studiengang 2: 36%
Mehr weibliche Bewerber in Studiengang mit niedrigerer Zulassungsquote.
Darum Gewichtung: Frauen 0.2 * 0.8 + 0.8 * 0.4 = 0.16 + 0.32 = 0.48
Männer 0.8 * 0.7 + 0.2 * 0.2 = 0.56 + 0.04 = 0.60
WS 2016/2017
Hans-Peter Hafner
htw saar
15
Simpson Paradoxon 3 – Bezug zu bedingten Wahrscheinlichkeiten
Sei (Ω, P) ein Wahrscheinlichkeitsraum, und E1, …, En seien paarweise disjunkte Ereignisse mit
⋃ Ei = Ω. Ferner seien A und B Ereignisse mit P(A ∩ Ei) > 0 und P(A ∩ Ei) > 0 für jedes i = 1, …, n.
Das Simpson-Paradox liegt vor, wenn neben den Ungleichungen
P(B | A ∩ Ei) > P(B | A ∩ Ei) für jedes i = 1, …, n (oder für eine deutliche Mehrheit der i)
auch die folgende Ungleichung gilt:
P(B | A) < P(B | A)
Es ist P(B | A) = ∑
und P(B | A) = ∑
P( Ei | A) * P(B | A ∩ Ei)
P( Ei | A) * P(B | A ∩ Ei)
In Beispiel: n = 2; Ei Bewerbung für Fach i; B Zulassung; A weiblich
WS 2016/2017
Hans-Peter Hafner
htw saar
16
Simpson Paradoxon 4
30 % der Bevölkerung mit Migrationshintergrund haben Abitur
WIESBADEN – 2014 hatten 30,0 % der Bevölkerung mit Migrationshintergrund Abitur oder
Fachhochschulreife. Betrachtet wurden hier Personen ab 15 Jahre. Wie das Statistische Bundesamt
(Destatis) anlässlich des Weltbildungstages am 8. September 2015 weiter mitteilt, betrug der
entsprechende Anteil bei Personen ohne Migrationshintergrund 28,5 %.
WS 2016/2017
Hans-Peter Hafner
htw saar
17
Simpson Paradoxon 5
WS 2016/2017
Hans-Peter Hafner
htw saar
18
Simpson Paradox 6
WS 2016/2017
Hans-Peter Hafner
htw saar
19
Unabhängigkeit bei mehr als 2 Ereignissen
Erinnerung: Zwei Ereignisse A und B heißen unabhängig, wenn die Information, dass das eine
Ereignis eingetreten ist, die Wahrscheinlichkeit für das andere nicht verändert.
P(A ∩ B) = P(A) * P(B)
Seien nun A, B und C Ereignisse, so dass
(i) A und B unabhängig
(ii) A und C unabhängig
Ist dann z. B. auch B ∩ C von A unabhängig?
WS 2016/2017
Hans-Peter Hafner
htw saar
20
Beispiel: Der Junge auf dem Reiterhof
Zwei Mädchen, 13 und 14 Jahre alt, sind auf dem Reiterhof angekommen.
Dort gibt es auch einen Jungen, dessen Alter a schwer zu
schätzen ist. Wie könnte man herausbekommen, ob er schon
über 14 ist, wenn man – das wäre ja peinlich – eine direkte Frage
vermeiden möchte?
Irgendwann stellen sie ihm die wirklich harmlos wirkende Frage
”Wie lange reitest Du eigentlich schon?“ (Antwort: 4 Jahre),
und ein paar Tage später wollen sie wissen
”Wie alt warst Du denn, als Du angefangen hast zu reiten?“ (Antwort: 12).
Bezeichnet man mit A die Information ”Alter > 14?“, so ist es dafür völlig belanglos
zu wissen, dass er seit 4 Jahren reitet (B). Für sich genommen würde es auch
nichts nutzen zu erfahren, dass er mit 12 angefangen hat (C).
Aber mit B und C zusammen ist alles klar!
=> Die Kombination von für sich belanglosen Informationen führt zu neuen
Erkenntnissen!
WS 2016/2017
Hans-Peter Hafner
htw saar
21
Beispiel: Münzwurf
A Das Ergebnis zweier Würfe ist (Kopf, Zahl) oder umgekehrt.
B Die erste Münze zeigt Kopf.
C Die zweite Münze zeigt Zahl.
(1) A und B sowie A und C sind unabhängig.
P(A ∩ B) = P(A ∩ C) = 1/4
P(A) = 1/2
P(B) = P(C) = 1/2
⇒ P(A ∩ B) = P(A) * P(B) und P(A ∩ C) = P(A) * P(C)
(2) A und B ∩ C sind nicht unabhängig.
P(B ∩ C) = 1/4
P(A ∩ (B ∩ C)) = 1/4, aber P(A) * P(B ∩ C) = 1/8 (oder P(A | B ∩ C) = 1 ≠ 1/2 = P(A))
WS 2016/2017
Hans-Peter Hafner
htw saar
22
Unabhängigkeit für n Ereignisse
Sei (Ω, P) ein Wahrscheinlichkeitsraum. Die Ereignisse A1, …, An heißen unabhängig, wenn gilt:
P(Ai1 ∩ ··· ∩ Aik) = P(Ai1) * … * P (Aik)
für alle k = 2, …, n und 1 ≤ i1 < … < ik ≤ n.
WS 2016/2017
Hans-Peter Hafner
htw saar
23
Bemerkungen 1
1) Jede Teilmenge einer Menge von unabhängigen Ereignissen ist unabhängig.
2) In einer unabhängigen Menge von Ereignissen sind insbesondere je zwei Ereignisse unabhängig
(paarweise Unabhängigkeit).
3) P(A1 ∩ ··· ∩ An) = P(A1) * … * P (An) reicht nicht für Unabhängigkeit. Sonst wäre jede Menge von
Ereignissen unabhängig, bei der ein Ereignis die Wahrscheinlichkeit 0 hat.
WS 2016/2017
Hans-Peter Hafner
htw saar
24
Unabhängigkeit für Zufallsvariable
Zwei Zufallsvariable X und Y auf einem Wahrscheinlichkeitsraum (Ω, P) heißen (stochastisch)
unabhängig, wenn gilt:
P(X = xi, Y = yj) = P(X = xi) * P(Y = yj).
Für unabhängige Zufallsvariable X und Y auf einem Wahrscheinlichkeitsraum (Ω, P) gilt die
Multiplikationsregel für Erwartungswerte E(X * Y) = EX * EY.
WS 2016/2017
Hans-Peter Hafner
htw saar
25
Literatur
Behrens 4.2 + 4.3
Henze 15/16 + 17.7/17.9
WS 2016/2017
Hans-Peter Hafner