Bayessche

Hypothesenprüfung nach Bayes
Bedingte Wahrscheinlichkeiten
• In einem Semester seien 60 Studierende, davon 50 Studentinnen.
• 20 Studentinnen und 5 Studenten sind Brillenträger.
– p ()
25/60
• Wie groß ist
– p ()
50/60
Def.: p (A | B) =
– p (  )
– p ( | )
– p ( | )
20/60
20/50
20/25
p (A  B) / p(B)
• p (A  B) = p (A)  p (B | A) = p (B)  p (A | B)
20/60 = 25/60  20/25 = 50/60  20/50
• Unabhängigkeit: p (A | B) = p (A).
p (A  B) = p (A)  p (B)
Würfelspiel
• Es gibt zwei Würfel: einen „guten“: p(1) = p(2) = ... = 1/6,
und einen manipulierten: p(1) = ... = p(5) = 1/10, p(6) = 1/2.
• Der Spielleiter greift in einen Beutel und zieht zufällig einen
der beiden Würfel heraus. Man sieht es dem Würfel aber
nicht an, ob er der gute oder der manipulierte ist.
• Der Spielleiter würfelt n Würfe. Das Ergebnis R ist also ein
n-Tupel, z. B. {2, 6, 4, 6}.
• Wie wahrscheinlich ist die Hypothese
Hm: manipulierter Würfel
bei diesem R ?
Wie groß ist p (Hm | R) ?
Bayes
• gegeben:
p (R | H)
manipulierter Würfel: p(1) = ... = p(5) = 1/10, p(6) = 1/2.
• gesucht:
p (H | R)
{2, 6, 4, 6}: manipulierter Würfel?
• p (R  H) = p (R)  p (H | R) = p (H)  p (R | H)
• p (H | R) = p (H)  p (R | H) / p (R)
a priori Wahrscheinlichkeit
a priori / a posteriori
• p (Hi | R) = p (Hi)  p (R | Hi) / p (R)
• gegeben ein vollständiger Satz unvereinbarer Hypothesen Hi
mit a priori Wahrscheinlichkeiten p (Hi)
• p (R) = p (R  H1)
+ p (R  H2) + ...
= p (H1)  p (R | H1) + p (H2)  p (R | H2) + ...
• so sind die a posteriori Wahrscheinlichkeiten p (Hi | R)
• p (Hi | R) = p (Hi)  p (R | Hi) / j p (Hj)  p (R | Hj)
Welcher Würfel war‘s?
• p (Hi | R) = p (Hi)  p (R | Hi) / j p (Hj)  p (R | Hj)
• a priori: p(Hm) = p(Hg ) = 0.5.
• p (Ri | Hg): p(1) = p(2) = ... = p(6) = 1/6,
p (Ri | Hm): p(1) = p(2) = ... = p(5) = 1/10, p(6) = 1/2.
• p ({2, 6, 4, 6} | Hg) = 1/60 · 1/6 · 1/60 · 1/6 = 1/1296,
p ({2, 6, 4, 6} | Hm) = 1/10 · 1/2 · 1/10 · 1/2 = 1/400,
p ({2, 6, 4, 6}) = 0.5 · 1/1296 + 0.5 · 1/400 = 53/32400 = 0.0016...,
• p (Hm | {2, 6, 4, 6})= 0.5 · 1/400 / (0.5 · 1/400 + 0.5 · 1/1296)
= 0.5 · 1/400 / (0.5 · 1/400 + 0.5 · 1/1296)
• a posteriori: p (Hm | {2, 6, 4, 6}) = 1296/1696 = 81/106 = 0.76...
Bayes mit gleichförmigen a priori
Wahrscheinlichkeiten (uniform priors)
• man kann kürzen:
p (Hi | R) = p (Hi)  p (R | Hi) / j p (Hj)  p (R | Hj)
= p (R | Hi) / j p (R | Hj)
• p (Hi | R) = p (R | Hi)  p (Hi) / p (R)  p (R | Hi)
konstant,
hängt nicht von i ab.
• Will man nur die wahrscheinlichste Hypothese wissen,
so reicht es, das maximale p (R | Hi) zu finden.
maximum likelihood
• Eine Eigenschaft sei in der Population normalverteilt,
µ0 und 0 seien bekannt.
• Eine Intervention hat evtl. Einfluß auf den Mittelwert,
nicht hingegen auf die Streuung.
• Eine Messung an n Individuen mit Intervention ergab die
Meßwerte {xi}.
• Für jedes hypothetische µInt kann jetzt p ({xi} | µInt)
errechnet werden: p ({xi} | µInt) = i=1...n N (µInt, 02, xi).
• Gesucht wird das hypothetische µInt, wo p (xi | µInt)
maximal ist.
• In diesem einfachen Falle ist das maximal wahrscheinliche
µ einfach gleich dem Mittelwert der xi.
Hausaufgabe
• Es gibt zwei Würfel: einen „guten“: p(1) = p(2) = ... = 1/6,
und einen manipulierten: p(1) = ... = p(5) = 1/10, p(6) = 1/2.
• a priori: gleichförmig, p(Hm) = p(Hg ) = 0.5.
• R: {2}. Wie groß ist a posteriori p (Hm | R) ?
• neues a priori = a posteriori
• R: {6}. Wie groß ist p (Hm | R) jetzt?
• Wie groß wäre es nach R: {6} bei uniform priors?
• Wie groß ist die a posteriori Wahrscheinlichkeit
bei uniform priors, R = {2,6} ?