Vorlesung 11b Bedingte Verteilungen 1 Zur Erinnerung: 2 Zur Erinnerung: Gemeinsame Verteilungen kann man in Stufen aufbauen: Zur Erinnerung: Gemeinsame Verteilungen kann man in Stufen aufbauen: P{X1 = a, X2 = b} = P{X1 = a}Pa{X2 = b}. Zur Erinnerung: Gemeinsame Verteilungen kann man in Stufen aufbauen: P{X1 = a, X2 = b} = P{X1 = a}Pa{X2 = b}. Pa{X2 = b} ist die Wahrscheinlichkeit des Ereignisses {X2 = b}, gegeben X1 = a. Zur Erinnerung: Gemeinsame Verteilungen kann man in Stufen aufbauen: P{X1 = a, X2 = b} = P{X1 = a}Pa{X2 = b}. Pa{X2 = b} ist die Wahrscheinlichkeit des Ereignisses {X2 = b}, gegeben X1 = a. Eine andere Schreibweise dafür ist: Zur Erinnerung: Gemeinsame Verteilungen kann man in Stufen aufbauen: P{X1 = a, X2 = b} = P{X1 = a}Pa{X2 = b}. Pa{X2 = b} ist die Wahrscheinlichkeit des Ereignisses {X2 = b}, gegeben X1 = a. Eine andere Schreibweise dafür ist: P{X2 = b | X1 = a}. P{X1 = a, X2 = b} = P{X1 = a}P{X2 = b | X1 = a} 3 P{X1 = a, X2 = b} = P{X1 = a}P{X2 = b | X1 = a} P{X1 = a, X2 = b} P{X2 = b | X1 = a} = P{X1 = a} P{X1 = a, X2 = b} = P{X1 = a}P{X2 = b | X1 = a} P{X1 = a, X2 = b} P{X2 = b | X1 = a} = P{X1 = a} ist die W’keit des Ereignisses {X2 = b}, gegeben X1 = a P{X1 = a, X2 = b} = P{X1 = a}P{X2 = b | X1 = a} P{X1 = a, X2 = b} P{X2 = b | X1 = a} = P{X1 = a} ist die W’keit des Ereignisses {X2 = b}, gegeben X1 = a (bedingt unter X1 = a) Beispiel 1: (X1, X2) := (Studienrichtung, Geschlecht) einer/s rein zufällig Gewählten unserer Vorlesung, die/der Quiz1 oder 2 mitgeschrieben hat. 4 Beispiel 1: (X1, X2) := (Studienrichtung, Geschlecht) einer/s rein zufällig Gewählten unserer Vorlesung, die/der Quiz1 oder 2 mitgeschrieben hat. Math ♂ 45 ♀ 26 gesamt 71 Inf L2 L3 Andere | gesamt 53 2 27 12 | 136 18 8 29 3 | 84 71 10 56 15 | 223 Beispiel 1: (X1, X2) := (Studienrichtung, Geschlecht) einer/s rein zufällig Gewählten unserer Vorlesung, die/der Quiz1 oder 2 mitgeschrieben hat. Math ♂ 45 ♀ 26 gesamt 71 Inf L2 L3 Andere | gesamt 53 2 27 12 | 136 18 8 29 3 | 84 71 10 56 15 | 223 P{X2 = L2 | X1 = ♀} = 8/84 = 0.095 Beispiel 1: (X1, X2) := (Studienrichtung, Geschlecht) einer/s rein zufällig Gewählten unserer Vorlesung, die/der Quiz1 oder 2 mitgeschrieben hat. Math ♂ 45 ♀ 26 gesamt 71 Inf L2 L3 Andere | gesamt 53 2 27 12 | 136 18 8 29 3 | 84 71 10 56 15 | 223 P{X2 = L2 | X1 = ♀} = 8/84 = 0.095 P{X1 = ♀ | X2 = L2} = 8/10 = 0.8 Beispiel 2: (X1, X2) := (Gesundheitszustand, Ergebnis eines med. Tests) 5 Beispiel 2: (X1, X2) := (Gesundheitszustand, Ergebnis eines med. Tests) k für krank, g für gesund, p für positives Testergebnis Beispiel 2: (X1, X2) := (Gesundheitszustand, Ergebnis eines med. Tests) k für krank, g für gesund, p für positives Testergebnis P{X1 = k} := 0.001, P{X2 = p|X1 = k} := 1, P{X2 = p |X1 = g} := 0.01. Beispiel 2: (X1, X2) := (Gesundheitszustand, Ergebnis eines med. Tests) k für krank, g für gesund, p für positives Testergebnis P{X1 = k} := 0.001, P{X2 = p|X1 = k} := 1, P{X2 = p |X1 = g} := 0.01. P{X1 = g |X2 = p} =? Beispiel 2: (X1, X2) := (Gesundheitszustand, Ergebnis eines med. Tests) k für krank, g für gesund, p für positives Testergebnis P{X1 = k} := 0.001, P{X2 = p|X1 = k} := 1, P{X2 = p |X1 = g} := 0.01. P{X1 = g |X2 = p} =? Dazu berechnen wir erst P{X1 = g, X2 = p} und P{X1 = k, X2 = p}. P{X1 = g, X2 = p} = P{X1 = g}P{X2 = p | X1 = g} = 0.999 · 0.01 ≈ 0.01. 6 P{X1 = g, X2 = p} = P{X1 = g}P{X2 = p | X1 = g} = 0.999 · 0.01 ≈ 0.01. P{X1 = k, X2 = p} = P{X1 = k}P{X2 = p | X1 = k} = 0.001 · 1. P{X1 = g, X2 = p} = P{X1 = g}P{X2 = p | X1 = g} = 0.999 · 0.01 ≈ 0.01. P{X1 = k, X2 = p} = P{X1 = k}P{X2 = p | X1 = k} = 0.001 · 1. {X1=g, X2=p} P{X1 = g|X2 = p} = P{X =g,P X2=p}+P{X1=k, X2=p} 1 P{X1 = g, X2 = p} = P{X1 = g}P{X2 = p | X1 = g} = 0.999 · 0.01 ≈ 0.01. P{X1 = k, X2 = p} = P{X1 = k}P{X2 = p | X1 = k} = 0.001 · 1. {X1=g, X2=p} P{X1 = g|X2 = p} = P{X =g,P X2=p}+P{X1=k, X2=p} 1 10 0.01 = , ≈ 0.01 + 0.001 11 P{X1 = g, X2 = p} = P{X1 = g}P{X2 = p | X1 = g} = 0.999 · 0.01 ≈ 0.01. P{X1 = k, X2 = p} = P{X1 = k}P{X2 = p | X1 = k} = 0.001 · 1. {X1=g, X2=p} P{X1 = g|X2 = p} = P{X =g,P X2=p}+P{X1=k, X2=p} 1 10 0.01 = , ≈ 0.01 + 0.001 11 und das ist doch erstaunlich hoch, oder? Das vorige Bespiel war ein Paradefall für die Anwendung der Formel von Bayes: 7 Das vorige Bespiel war ein Paradefall für die Anwendung der Formel von Bayes: P{X1 = a | X2 = b} Das vorige Bespiel war ein Paradefall für die Anwendung der Formel von Bayes: P{X1 = a | X2 = b} P{X1 = a, X2 = b} =P ′ a′ P{X1 = a , X2 = b} Das vorige Bespiel war ein Paradefall für die Anwendung der Formel von Bayes: P{X1 = a | X2 = b} P{X1 = a, X2 = b} =P ′ a′ P{X1 = a , X2 = b} P{X1 = a}P{X2 = b |X1 = a} =P . ′ ′ a′ P{X1 = a }P{X2 = b | X1 = a } Beispiel 3: 8 Beispiel 3: X1 uniform verteilt auf {1, 2, 3} Beispiel 3: X1 uniform verteilt auf {1, 2, 3} gegeben X1 = a sei X2 uniform auf {2, 3} \ {a}. Beispiel 3: X1 uniform verteilt auf {1, 2, 3} gegeben X1 = a sei X2 uniform auf {2, 3} \ {a}. Also: Falls X1 = 1, ist X2 uniform auf {2, 3}. Beispiel 3: X1 uniform verteilt auf {1, 2, 3} gegeben X1 = a sei X2 uniform auf {2, 3} \ {a}. Also: Falls X1 = 1, ist X2 uniform auf {2, 3}. Falls X1 = 2, ist X2 deterministisch gleich 3. Beispiel 3: X1 uniform verteilt auf {1, 2, 3} gegeben X1 = a sei X2 uniform auf {2, 3} \ {a}. Also: Falls X1 = 1, ist X2 uniform auf {2, 3}. Falls X1 = 2, ist X2 deterministisch gleich 3. Falls X1 = 3, ist X2 deterministisch gleich 2. 1 2 1 2 1 1 1 · P{X1 = 1, X2 = 2} = 1 3 2 P{X1 = 3, X2 = 2} = 1 3·1 Offenbar gilt: 9 1 2 1 2 1 1 1 · P{X1 = 1, X2 = 2} = 1 3 2 P{X1 = 3, X2 = 2} = 1 3·1 Offenbar gilt: P{X1 = 3 | X2 = 2} > P{X1 = 1 | X2 = 2}. 2 Bedingte Dichten: 10 Bedingte Dichten: (X1, X2) habe die gemeinsame Dichte f (x1, x2) dx1 dx2. Dann ist f1(x1) dx1 := Z f (x1, x′2) dx′2 dx1 Dichte von X1, und Bedingte Dichten: (X1, X2) habe die gemeinsame Dichte f (x1, x2) dx1 dx2. Dann ist f1(x1) dx1 := Z f (x1, x′2) dx′2 dx1 Dichte von X1, und f (x1, x2) dx2 f1(x1) Bedingte Dichten: (X1, X2) habe die gemeinsame Dichte f (x1, x2) dx1 dx2. Dann ist f1(x1) dx1 := Z f (x1, x′2) dx′2 dx1 Dichte von X1, und f (x1, x2) dx2 f1(x1) heißt bedingte Dichte von X2, gegeben X1 = x1. Beispiel 4: Z sei unabhängig von X1 und habe Dichte h(z) dz, X2 := X1 + Z. 11 Beispiel 4: Z sei unabhängig von X1 und habe Dichte h(z) dz, X2 := X1 + Z. Die bedingte Dichte von X2 gegeben X1 = x1 ist die um x1 verschobene Dichte h: Beispiel 4: Z sei unabhängig von X1 und habe Dichte h(z) dz, X2 := X1 + Z. Die bedingte Dichte von X2 gegeben X1 = x1 ist die um x1 verschobene Dichte h: h(x2 − x1) dx2, Beispiel 4: Z sei unabhängig von X1 und habe Dichte h(z) dz, X2 := X1 + Z. Die bedingte Dichte von X2 gegeben X1 = x1 ist die um x1 verschobene Dichte h: h(x2 − x1) dx2, und die gemeinsame Dichte von X1 und X2 ist Beispiel 4: Z sei unabhängig von X1 und habe Dichte h(z) dz, X2 := X1 + Z. Die bedingte Dichte von X2 gegeben X1 = x1 ist die um x1 verschobene Dichte h: h(x2 − x1) dx2, und die gemeinsame Dichte von X1 und X2 ist f (x1, x2) = f1(x1) · h(x2 − x1) dx1 dx2. Beispiel 4: 12 Beispiel 4: X1, Z seien unabhängig und Exp(1)-verteilt. Beispiel 4: X1, Z seien unabhängig und Exp(1)-verteilt. Die gemeinsame Dichte von X1 und X2 := X1 + Z ist Beispiel 4: X1, Z seien unabhängig und Exp(1)-verteilt. Die gemeinsame Dichte von X1 und X2 := X1 + Z ist e−x1 dx1 e−(x2−x1) dx2. Beispiel 4: X1, Z seien unabhängig und Exp(1)-verteilt. Die gemeinsame Dichte von X1 und X2 := X1 + Z ist e−x1 dx1 e−(x2−x1) dx2. Die bedingte Dichte von X1 gegeben X2 = x2 ist Beispiel 4: X1, Z seien unabhängig und Exp(1)-verteilt. Die gemeinsame Dichte von X1 und X2 := X1 + Z ist e−x1 dx1 e−(x2−x1) dx2. Die bedingte Dichte von X1 gegeben X2 = x2 ist (vgl. dazu die letzten Folien von Vorlesung 10b) 1 e−x1 e−(x2−x1) dx1, 0 ≤ x1 ≤ x2. dx1 = −x 2 x2 e x2 Beispiel 4: X1, Z seien unabhängig und Exp(1)-verteilt. Die gemeinsame Dichte von X1 und X2 := X1 + Z ist e−x1 dx1 e−(x2−x1) dx2. Die bedingte Dichte von X1 gegeben X2 = x2 ist (vgl. dazu die letzten Folien von Vorlesung 10b) 1 e−x1 e−(x2−x1) dx1, 0 ≤ x1 ≤ x2. dx1 = −x 2 x2 e x2 Gegeben X2 = x2 ist also X1 uniform verteilt auf [0, x2]. Beispiel 5: 13 Beispiel 5: Z1 und Z2 seien unabhängig und N (0, 1)-verteilt, Beispiel 5: Z1 und Z2 seien unabhängig und N (0, 1)-verteilt, X := σX Z1, Beispiel 5: Z1 und Z2 seien unabhängig und N (0, 1)-verteilt, X := σX Z1, q Y := σY (κZ1 + 1 − κ2Z2), Beispiel 5: Z1 und Z2 seien unabhängig und N (0, 1)-verteilt, X := σX Z1, q Y := σY (κZ1 + 1 − κ2Z2), mit κ ∈ [−1, 1]. Beispiel 5: Z1 und Z2 seien unabhängig und N (0, 1)-verteilt, X := σX Z1, q Y := σY (κZ1 + 1 − κ2Z2), mit κ ∈ [−1, 1]. Man sagt dann: X und Y sind gemeinsam normalverteilt 2 und σ 2 mit Mittelwerten 0, Varianzen σX Y und Korrelationskoeffizient κ. X = σX Z1, 14 X = σX Z1, q Y = σY (κZ1 + 1 − κ2Z2) X = σX Z1, q Y = σY (κZ1 + 1 − κ2Z2) q σY κX + σY 1 − κ2Z2 = σX X = σX Z1, q Y = σY (κZ1 + 1 − κ2Z2) q σY κX + σY 1 − κ2Z2 = σX Die bedingte Verteilung von Y gegeben X = x ist also X = σX Z1, q Y = σY (κZ1 + 1 − κ2Z2) q σY κX + σY 1 − κ2Z2 = σX Die bedingte Verteilung von Y gegeben X = x ist also N σy σx x, σy2(1 − κ2) . 2 Zur Erinnerung: 15 Zur Erinnerung: Der (bedingte) Erwartungswert von Y , gegeben X = x Zur Erinnerung: Der (bedingte) Erwartungswert von Y , gegeben X = x (Symbole: E[Y | X = x], Ex[Y ]) Zur Erinnerung: Der (bedingte) Erwartungswert von Y , gegeben X = x (Symbole: E[Y | X = x], Ex[Y ]) ist der Erwartungswert unter der bedingten Verteilung. Zur Erinnerung: Der (bedingte) Erwartungswert von Y , gegeben X = x (Symbole: E[Y | X = x], Ex[Y ]) ist der Erwartungswert unter der bedingten Verteilung. Im diskreten Fall Zur Erinnerung: Der (bedingte) Erwartungswert von Y , gegeben X = x (Symbole: E[Y | X = x], Ex[Y ]) ist der Erwartungswert unter der bedingten Verteilung. Im diskreten Fall X y y P{Y = y | X = x}, Zur Erinnerung: Der (bedingte) Erwartungswert von Y , gegeben X = x (Symbole: E[Y | X = x], Ex[Y ]) ist der Erwartungswert unter der bedingten Verteilung. Im diskreten Fall X y y P{Y = y | X = x}, und im Fall von Dichten Zur Erinnerung: Der (bedingte) Erwartungswert von Y , gegeben X = x (Symbole: E[Y | X = x], Ex[Y ]) ist der Erwartungswert unter der bedingten Verteilung. Im diskreten Fall X y y P{Y = y | X = x}, und im Fall von Dichten Z f (x, y) y dy. f1(x) Beispiel 6: Z1, . . . , Z10 sei ein p-Münzwurf der Länge 10, K := P10 i=1 Zi. 16 Beispiel 6: Z1, . . . , Z10 sei ein p-Münzwurf der Länge 10, K := P10 i=1 Zi. Die Runs in (z1, . . . , zn) sind die Maximalserien aus nur Nullen oder nur Einsen. Z. B. hat (0, 1, 1, 0, 0, 1, 1, 0, 0, 0) fünf Runs. Beispiel 6: Z1, . . . , Z10 sei ein p-Münzwurf der Länge 10, K := P10 i=1 Zi. Die Runs in (z1, . . . , zn) sind die Maximalserien aus nur Nullen oder nur Einsen. Z. B. hat (0, 1, 1, 0, 0, 1, 1, 0, 0, 0) fünf Runs. Sei R die Anzahl der Runs in (Z1, . . . , Z10). Gefragt ist nach E[R|K = 4]. Es gilt in jedem Fall: 17 Es gilt in jedem Fall: R=1+ 9 X i=1 I{Zi6=Zi+1}. Es gilt in jedem Fall: R=1+ 9 X i=1 I{Zi6=Zi+1}. Und die bedingte Verteilung von (Z1, . . . , Z10) gegeben K = 4 entsteht so, dass man aus den Plätzen 1, . . . , 10 rein zufällig 4 auswählt, auf die man die 4 Einsen setzt. Es gilt in jedem Fall: R=1+ 9 X i=1 I{Zi6=Zi+1}. Und die bedingte Verteilung von (Z1, . . . , Z10) gegeben K = 4 entsteht so, dass man aus den Plätzen 1, . . . , 10 rein zufällig 4 auswählt, auf die man die 4 Einsen setzt. 4 · 6, P{Zi 6= Zi+1} = 2 · 10 9 Es gilt in jedem Fall: R=1+ 9 X i=1 I{Zi6=Zi+1}. Und die bedingte Verteilung von (Z1, . . . , Z10) gegeben K = 4 entsteht so, dass man aus den Plätzen 1, . . . , 10 rein zufällig 4 auswählt, auf die man die 4 Einsen setzt. 4 · 6, P{Zi 6= Zi+1} = 2 · 10 9 also ist der gesuchte Wert gleich 4 · 6 = 29 . 1 + 9 · 2 · 10 9 5 Beispiel 7: 18 Beispiel 7: Z1, Z2, . . . sei ein Münzwurf mit uniform auf [0, 1] verteiltem zufälligem Erfolgsparameter P , Beispiel 7: Z1, Z2, . . . sei ein Münzwurf mit uniform auf [0, 1] verteiltem zufälligem Erfolgsparameter P , K sei die Anzahl der Erfolge in den ersten n Versuchen. Beispiel 7: Z1, Z2, . . . sei ein Münzwurf mit uniform auf [0, 1] verteiltem zufälligem Erfolgsparameter P , K sei die Anzahl der Erfolge in den ersten n Versuchen. Gefragt ist nach E[P | K = k]. Beispiel 7: Z1, Z2, . . . sei ein Münzwurf mit uniform auf [0, 1] verteiltem zufälligem Erfolgsparameter P , K sei die Anzahl der Erfolge in den ersten n Versuchen. Gefragt ist nach E[P | K = k]. Wir wissen schon (siehe Beispiel 5 aus Vorlesung 11a): Beispiel 7: Z1, Z2, . . . sei ein Münzwurf mit uniform auf [0, 1] verteiltem zufälligem Erfolgsparameter P , K sei die Anzahl der Erfolge in den ersten n Versuchen. Gefragt ist nach E[P | K = k]. Wir wissen schon (siehe Beispiel 5 aus Vorlesung 11a): Die Dichte von P bedingt unter K = k ist Beispiel 7: Z1, Z2, . . . sei ein Münzwurf mit uniform auf [0, 1] verteiltem zufälligem Erfolgsparameter P , K sei die Anzahl der Erfolge in den ersten n Versuchen. Gefragt ist nach E[P | K = k]. Wir wissen schon (siehe Beispiel 5 aus Vorlesung 11a): Die Dichte von P bedingt unter K = k ist 1 n k p (1 − p)n−k dp Pk {P ∈ dp} = 1 k n+1 E[P | K = k] = Z 1 n k n−k p (1 − p) dp 1 k n+1 19 E[P | K = k] = k+1 = n+2 Z Z 1 n k n−k p (1 − p) dp 1 k n+1 n + 1 k+1 (n+1)−(k+1) p (1 − p) dp 1 k+1 n+2 1 k+1 = . n+2 E[P | K = k] = k+1 = n+2 Z Z 1 n k n−k p (1 − p) dp 1 k n+1 n + 1 k+1 (n+1)−(k+1) p (1 − p) dp 1 k+1 n+2 1 k+1 = . n+2 Man nennt dies auch den Bayes-Schätzer für die Erfolgswahrscheinlichkeit bei deren uniformer a priori-Verteilung. E[P | K = k] = k+1 = n+2 Z 1 Z 1 n k n−k p (1 − p) dp 1 k n+1 n + 1 k+1 (n+1)−(k+1) dp p (1 − p) 1 k+1 n+2 k+1 = . n+2 Man nennt dies auch den Bayes-Schätzer für die Erfolgswahrscheinlichkeit bei deren uniformer a priori-Verteilung. k Er ist verschieden vom Maximum-Likelihood-Schätzer p̂ = . n Hier ist -außer Konkurrenz - noch ein probabilistisches Argument für k+1 E[P | K = k] = n+2 , ohne analytische Rechnung. 20 Hier ist -außer Konkurrenz - noch ein probabilistisches Argument für k+1 E[P | K = k] = n+2 , ohne analytische Rechnung. Wie in Vorlesung 11a, Bsp 5, seien U0, U1, . . . unabhängig und uniform auf [0, 1]. Hier ist -außer Konkurrenz - noch ein probabilistisches Argument für k+1 E[P | K = k] = n+2 , ohne analytische Rechnung. Wie in Vorlesung 11a, Bsp 5, seien U0, U1, . . . unabhängig und uniform auf [0, 1]. Die aufsteigend geordneten U0, . . . , Un+1 nennen wir V0, . . . , Vn+1. Hier ist -außer Konkurrenz - noch ein probabilistisches Argument für k+1 E[P | K = k] = n+2 , ohne analytische Rechnung. Wie in Vorlesung 11a, Bsp 5, seien U0, U1, . . . unabhängig und uniform auf [0, 1]. Die aufsteigend geordneten U0, . . . , Un+1 nennen wir V0, . . . , Vn+1. Die Verteilung von P bedingt unter K = k stimmt überein mit der Verteilung von Vk (siehe Vorlesung 11a, Bsp. 5). Sei Wi := Vi − Vi−1, i = 1, . . . , n + 2, mit V−1 := 0, Vn+2 := 1. Hier ist -außer Konkurrenz - noch ein probabilistisches Argument für k+1 E[P | K = k] = n+2 , ohne analytische Rechnung. Wie in Vorlesung 11a, Bsp 5, seien U0, U1, . . . unabhängig und uniform auf [0, 1]. Die aufsteigend geordneten U0, . . . , Un+1 nennen wir V0, . . . , Vn+1. Die Verteilung von P bedingt unter K = k stimmt überein mit der Verteilung von Vk (siehe Vorlesung 11a, Bsp. 5). Sei Wi := Vi − Vi−1, i = 1, . . . , n + 2, mit V−1 := 0, Vn+2 := 1. Die Wi sind identisch verteilt mit Summe 1. Also folgt Hier ist -außer Konkurrenz - noch ein probabilistisches Argument für k+1 E[P | K = k] = n+2 , ohne analytische Rechnung. Wie in Vorlesung 11a, Bsp 5, seien U0, U1, . . . unabhängig und uniform auf [0, 1]. Die aufsteigend geordneten U0, . . . , Un+1 nennen wir V0, . . . , Vn+1. Die Verteilung von P bedingt unter K = k stimmt überein mit der Verteilung von Vk (siehe Vorlesung 11a, Bsp. 5). Sei Wi := Vi − Vi−1, i = 1, . . . , n + 2, mit V−1 := 0, Vn+2 := 1. Die Wi sind identisch verteilt mit Summe 1. Also folgt k X k+1 . E[Wi] = E[Vk ] = k + 2 i=0 2