Vorlesung 10a Mehrstufige Zufallsexperimente Teil 1 1 Stellen wir uns ein zufälliges Paar X = (X1, X2) vor, 2 Stellen wir uns ein zufälliges Paar X = (X1, X2) vor, das auf zweistufige Weise zustande kommt: Stellen wir uns ein zufälliges Paar X = (X1, X2) vor, das auf zweistufige Weise zustande kommt: es gibt eine Regel, die besagt, wie X2 verteilt ist, Stellen wir uns ein zufälliges Paar X = (X1, X2) vor, das auf zweistufige Weise zustande kommt: es gibt eine Regel, die besagt, wie X2 verteilt ist, gegeben dass X1 den Ausgang a1 hat. Stellen wir uns ein zufälliges Paar X = (X1, X2) vor, das auf zweistufige Weise zustande kommt: es gibt eine Regel, die besagt, wie X2 verteilt ist, gegeben dass X1 den Ausgang a1 hat. Beispiele: Stellen wir uns ein zufälliges Paar X = (X1, X2) vor, das auf zweistufige Weise zustande kommt: es gibt eine Regel, die besagt, wie X2 verteilt ist, gegeben dass X1 den Ausgang a1 hat. Beispiele: 1) X1 sei reellwertig mit Verteilung ν1. Stellen wir uns ein zufälliges Paar X = (X1, X2) vor, das auf zweistufige Weise zustande kommt: es gibt eine Regel, die besagt, wie X2 verteilt ist, gegeben dass X1 den Ausgang a1 hat. Beispiele: 1) X1 sei reellwertig mit Verteilung ν1. Gegeben X1 = a1 Stellen wir uns ein zufälliges Paar X = (X1, X2) vor, das auf zweistufige Weise zustande kommt: es gibt eine Regel, die besagt, wie X2 verteilt ist, gegeben dass X1 den Ausgang a1 hat. Beispiele: 1) X1 sei reellwertig mit Verteilung ν1. Gegeben X1 = a1 habe X2 die Verteilung N (a1, 1). 2) Ein aus einer Population zufällig gezogener Mensch 3 2) Ein aus einer Population zufällig gezogener Mensch hat eine bestimmte Krankheit (X1 = 1) 2) Ein aus einer Population zufällig gezogener Mensch hat eine bestimmte Krankheit (X1 = 1) oder er hat sie nicht (X1 = 0). 2) Ein aus einer Population zufällig gezogener Mensch hat eine bestimmte Krankheit (X1 = 1) oder er hat sie nicht (X1 = 0). X2 sei das Ergebnis eines medizinischen Tests. 2) Ein aus einer Population zufällig gezogener Mensch hat eine bestimmte Krankheit (X1 = 1) oder er hat sie nicht (X1 = 0). X2 sei das Ergebnis eines medizinischen Tests. Gegeben X1 = a1 sei der Test 2) Ein aus einer Population zufällig gezogener Mensch hat eine bestimmte Krankheit (X1 = 1) oder er hat sie nicht (X1 = 0). X2 sei das Ergebnis eines medizinischen Tests. Gegeben X1 = a1 sei der Test positiv mit Wahrscheinlichkeit pa1 , 2) Ein aus einer Population zufällig gezogener Mensch hat eine bestimmte Krankheit (X1 = 1) oder er hat sie nicht (X1 = 0). X2 sei das Ergebnis eines medizinischen Tests. Gegeben X1 = a1 sei der Test positiv mit Wahrscheinlichkeit pa1 , und negativ mit Wahrscheinlichkeit 1 − pa1 . Zahlenbeispiel: 4 Zahlenbeispiel: Von 1 Million haben 1000 die Krankheit. Zahlenbeispiel: Von 1 Million haben 1000 die Krankheit. p1 sei 1... die Krankheit wird sicher diagnostiziert Zahlenbeispiel: Von 1 Million haben 1000 die Krankheit. p1 sei 1... die Krankheit wird sicher diagnostiziert p0 sei 0.01 ... bei einem Gesunden ist das Testergebnis mit W’keit 1% “falsch positiv” Zahlenbeispiel: Von 1 Million haben 1000 die Krankheit. p1 sei 1... die Krankheit wird sicher diagnostiziert p0 sei 0.01 ... bei einem Gesunden ist das Testergebnis mit W’keit 1% “falsch positiv” Würden alle Leute getestet, wären ca. 11000 positiv Zahlenbeispiel: Von 1 Million haben 1000 die Krankheit. p1 sei 1... die Krankheit wird sicher diagnostiziert p0 sei 0.01 ... bei einem Gesunden ist das Testergebnis mit W’keit 1% “falsch positiv” Würden alle Leute getestet, wären ca. 11000 positiv - die meisten davon falsch positiv. Zahlenbeispiel: Von 1 Million haben 1000 die Krankheit. p1 sei 1... die Krankheit wird sicher diagnostiziert p0 sei 0.01 ... bei einem Gesunden ist das Testergebnis mit W’keit 1% “falsch positiv” Würden alle Leute getestet, wären ca. 11000 positiv - die meisten davon falsch positiv. Wir kommen darauf zurück. 3) In Stufe 1 entscheiden wir uns 5 3) In Stufe 1 entscheiden wir uns mit Wahrscheinlichkeit p für einen fairen Würfel 3) In Stufe 1 entscheiden wir uns mit Wahrscheinlichkeit p für einen fairen Würfel und mit W’keit 1 − p für einen gezinkten: alle 6 Seiten mit 6. 3) In Stufe 1 entscheiden wir uns mit Wahrscheinlichkeit p für einen fairen Würfel und mit W’keit 1 − p für einen gezinkten: alle 6 Seiten mit 6. Pfair{X2 = 6} = 1/6 3) In Stufe 1 entscheiden wir uns mit Wahrscheinlichkeit p für einen fairen Würfel und mit W’keit 1 − p für einen gezinkten: alle 6 Seiten mit 6. Pfair{X2 = 6} = 1/6 Pgezinkt{X2 = 6} = 1 3) In Stufe 1 entscheiden wir uns mit Wahrscheinlichkeit p für einen fairen Würfel und mit W’keit 1 − p für einen gezinkten: alle 6 Seiten mit 6. Pfair{X2 = 6} = 1/6 Pgezinkt{X2 = 6} = 1 P{X2 = 1/6} = p · 1/6 + (1 − p) · 1. 4) Gewöhnliche Irrfahrt Y = (Y0, Y1, . . .) auf Z: 6 4) Gewöhnliche Irrfahrt Y = (Y0, Y1, . . .) auf Z: Bei Start in a geht der erste Schritt mit W’keit 1/2 nach a + 1 und mit W’keit 1/2 nach a − 1. 4) Gewöhnliche Irrfahrt Y = (Y0, Y1, . . .) auf Z: Bei Start in a geht der erste Schritt mit W’keit 1/2 nach a + 1 und mit W’keit 1/2 nach a − 1. Ab dann geht’s wieder weiter “nach Irrfahrtsplan”. Frage: 7 Frage: Mit welcher Wahrscheinlichkeit erreicht der Irrfahrer bei Start in a ≥ 0 jemals den Punkt 1? Frage: Mit welcher Wahrscheinlichkeit erreicht der Irrfahrer bei Start in a ≥ 0 jemals den Punkt 1? Sei w(a) diese Wahrscheinlichkeit. Frage: Mit welcher Wahrscheinlichkeit erreicht der Irrfahrer bei Start in a ≥ 0 jemals den Punkt 1? Sei w(a) diese Wahrscheinlichkeit. Zerlegung nach dem ersten Schritt für a > 0: Frage: Mit welcher Wahrscheinlichkeit erreicht der Irrfahrer bei Start in a ≥ 0 jemals den Punkt 1? Sei w(a) diese Wahrscheinlichkeit. Zerlegung nach dem ersten Schritt für a > 0: 1 1 w(a) = w(a − 1) + w(a + 1) 2 2 Frage: Mit welcher Wahrscheinlichkeit erreicht der Irrfahrer bei Start in a ≥ 0 jemals den Punkt 1? Sei w(a) diese Wahrscheinlichkeit. Zerlegung nach dem ersten Schritt für a > 0: 1 1 w(a) = w(a − 1) + w(a + 1) 2 2 Also ist a 7→ w(a) eine Gerade mit w(0) = 1. Frage: Mit welcher Wahrscheinlichkeit erreicht der Irrfahrer bei Start in a ≥ 0 jemals den Punkt 1? Sei w(a) diese Wahrscheinlichkeit. Zerlegung nach dem ersten Schritt für a > 0: 1 1 w(a) = w(a − 1) + w(a + 1) 2 2 Also ist a 7→ w(a) eine Gerade mit w(0) = 1. Weil w(a) weder > 1 noch negativ werden darf, heißt das: Frage: Mit welcher Wahrscheinlichkeit erreicht der Irrfahrer bei Start in a ≥ 0 jemals den Punkt 1? Sei w(a) diese Wahrscheinlichkeit. Zerlegung nach dem ersten Schritt für a > 0: 1 1 w(a) = w(a − 1) + w(a + 1) 2 2 Also ist a 7→ w(a) eine Gerade mit w(0) = 1. Weil w(a) weder > 1 noch negativ werden darf, heißt das: w(a) ≡ 1. Frage: Mit welcher Wahrscheinlichkeit r kommt der Irrfahrer jemals zu seinem Startpunkt zurück? 8 Frage: Mit welcher Wahrscheinlichkeit r kommt der Irrfahrer jemals zu seinem Startpunkt zurück? Zerlegung nach dem ersten Schritt und Symmetrieargument: Frage: Mit welcher Wahrscheinlichkeit r kommt der Irrfahrer jemals zu seinem Startpunkt zurück? Zerlegung nach dem ersten Schritt und Symmetrieargument: 1 1 r = w(1) + w(−1) = 1. 2 2 Frage: Mit welcher Wahrscheinlichkeit r kommt der Irrfahrer jemals zu seinem Startpunkt zurück? Zerlegung nach dem ersten Schritt und Symmetrieargument: 1 1 r = w(1) + w(−1) = 1. 2 2 Man sagt dafür auch: Frage: Mit welcher Wahrscheinlichkeit r kommt der Irrfahrer jemals zu seinem Startpunkt zurück? Zerlegung nach dem ersten Schritt und Symmetrieargument: 1 1 r = w(1) + w(−1) = 1. 2 2 Man sagt dafür auch: Die gewöhnliche Irrfahrt ist rekurrent. Zweistufige Zufallsexperimente - der diskrete Fall: 9 Zweistufige Zufallsexperimente - der diskrete Fall: Sei X = (X1, X2) ein zufälliges Paar mit diskretem Zielbereich S = S1 × S2. Zweistufige Zufallsexperimente - der diskrete Fall: Sei X = (X1, X2) ein zufälliges Paar mit diskretem Zielbereich S = S1 × S2. Für jedes a1 ∈ S1 sei P (a1, .) eine Verteilung auf S2 Vorstellung: gegeben X1 = a1 hat die die Zufallsvariable X2 die Verteilung P (a1, .). Zweistufige Zufallsexperimente - der diskrete Fall: Sei X = (X1, X2) ein zufälliges Paar mit diskretem Zielbereich S = S1 × S2. Für jedes a1 ∈ S1 sei P (a1, .) eine Verteilung auf S2 Vorstellung: gegeben X1 = a1 hat die die Zufallsvariable X2 die Verteilung P (a1, .). Schreibweise: Zweistufige Zufallsexperimente - der diskrete Fall: Sei X = (X1, X2) ein zufälliges Paar mit diskretem Zielbereich S = S1 × S2. Für jedes a1 ∈ S1 sei P (a1, .) eine Verteilung auf S2 Vorstellung: gegeben X1 = a1 hat die die Zufallsvariable X2 die Verteilung P (a1, .). Schreibweise: P (a1, a2) = Pa1 {X2 = a2} . Aus der Verteilung ν1 von X1 und der Übergangsverteilung P 10 Aus der Verteilung ν1 von X1 und der Übergangsverteilung P gewinnt man die gemeinsame Verteilung ν von X1 und X2: Aus der Verteilung ν1 von X1 und der Übergangsverteilung P gewinnt man die gemeinsame Verteilung ν von X1 und X2: ν(a1, a2) = ν1(a1)P (a1, a2) , Aus der Verteilung ν1 von X1 und der Übergangsverteilung P gewinnt man die gemeinsame Verteilung ν von X1 und X2: ν(a1, a2) = ν1(a1)P (a1, a2) , P{X1 = a1, X2 = a2} = P{X1 = a1} Pa1 {X2 = a2} . Aus der Verteilung ν1 von X1 und der Übergangsverteilung P gewinnt man die gemeinsame Verteilung ν von X1 und X2: ν(a1, a2) = ν1(a1)P (a1, a2) , P{X1 = a1, X2 = a2} = P{X1 = a1} Pa1 {X2 = a2} . Aus der Verteilung ν1 von X1 und der Übergangsverteilung P gewinnt man die gemeinsame Verteilung ν von X1 und X2: ν(a1, a2) = ν1(a1)P (a1, a2) , P{X1 = a1, X2 = a2} = P{X1 = a1} Pa1 {X2 = a2} . Summiert über a2 ∈ A2 ⊂ S2 erhält man daraus: Aus der Verteilung ν1 von X1 und der Übergangsverteilung P gewinnt man die gemeinsame Verteilung ν von X1 und X2: ν(a1, a2) = ν1(a1)P (a1, a2) , P{X1 = a1, X2 = a2} = P{X1 = a1} Pa1 {X2 = a2} . Summiert über a2 ∈ A2 ⊂ S2 erhält man daraus: P{X1 = a1, X2 ∈ A2} = P{X1 = a1} Pa1 {X2 ∈ A2} . P{X1 = a1, X2 ∈ A2} = P{X1 = a1} Pa1 {X2 ∈ A2} . 11 P{X1 = a1, X2 ∈ A2} = P{X1 = a1} Pa1 {X2 ∈ A2} . Durch Summation über a1 ∈ S1 bekommt man hieraus die P{X1 = a1, X2 ∈ A2} = P{X1 = a1} Pa1 {X2 ∈ A2} . Durch Summation über a1 ∈ S1 bekommt man hieraus die Formel von der totalen Wahrscheinlichkeit: P{X1 = a1, X2 ∈ A2} = P{X1 = a1} Pa1 {X2 ∈ A2} . Durch Summation über a1 ∈ S1 bekommt man hieraus die Formel von der totalen Wahrscheinlichkeit: P{X2 ∈ A2} = X a1∈S1 P{X1 = a1} Pa1 {X2 ∈ A2} . Diese zerlegt die Wahrscheinlichkeit des Ereignisses {X2 ∈ A2} nach den Ausgängen von X1. Ist S2 ⊂ R, dann setzen wir für jedes a1 ∈ S1 12 Ist S2 ⊂ R, dann setzen wir für jedes a1 ∈ S1 Ea1 [X2] := X a2∈S2 a2Pa1 {X2 = a2} , Ist S2 ⊂ R, dann setzen wir für jedes a1 ∈ S1 Ea1 [X2] := X a2∈S2 a2Pa1 {X2 = a2} , vorausgesetzt, die rechte Seite existiert, Ist S2 ⊂ R, dann setzen wir für jedes a1 ∈ S1 Ea1 [X2] := X a2∈S2 a2Pa1 {X2 = a2} , vorausgesetzt, die rechte Seite existiert, und sprechen vom Erwartungswert von X2, gegeben X1 = a1. Ea1 [X2] = X a2∈S2 a2Pa1 {X2 = a2} 13 Ea1 [X2] = X a2∈S2 a2Pa1 {X2 = a2} Multipliziert man mit den Gewichten P{X1 = a1} und summiert über a1 ∈ S1, dann bekommt man Ea1 [X2] = X a2∈S2 a2Pa1 {X2 = a2} Multipliziert man mit den Gewichten P{X1 = a1} und summiert über a1 ∈ S1, dann bekommt man X a1∈S1 Ea1 [X2]P{X1 = a1} Ea1 [X2] = X a2∈S2 a2Pa1 {X2 = a2} Multipliziert man mit den Gewichten P{X1 = a1} und summiert über a1 ∈ S1, dann bekommt man X = X a1X ∈S1 a1∈S1 a2∈S2 Ea1 [X2]P{X1 = a1} a2P{X1 = a1}Pa1 {X2 = a2} Ea1 [X2] = X a2∈S2 a2Pa1 {X2 = a2} Multipliziert man mit den Gewichten P{X1 = a1} und summiert über a1 ∈ S1, dann bekommt man X = = X a1X ∈S1 a2∈S2 a ∈S1X X1 Ea1 [X2]P{X1 = a1} a2P{X1 = a1}Pa1 {X2 = a2} a2P{X1 = a1, X2 = a2} = E[X2] a1∈S1 a2∈S2 Ea1 [X2] = X a2∈S2 a2Pa1 {X2 = a2} Multipliziert man mit den Gewichten P{X1 = a1} und summiert über a1 ∈ S1, dann bekommt man X = = X a1X ∈S1 a2∈S2 a ∈S1X X1 Ea1 [X2]P{X1 = a1} a2P{X1 = a1}Pa1 {X2 = a2} a2P{X1 = a1, X2 = a2} = E[X2] a1∈S1 a2∈S2 oder kurz Ea1 [X2] = X a2∈S2 a2Pa1 {X2 = a2} Multipliziert man mit den Gewichten P{X1 = a1} und summiert über a1 ∈ S1, dann bekommt man X = = X a1X ∈S1 a ∈S1X a2∈S2 X1 Ea1 [X2]P{X1 = a1} a2P{X1 = a1}Pa1 {X2 = a2} a2P{X1 = a1, X2 = a2} = E[X2] a1∈S1 a2∈S2 oder kurz E[EX1 [X2]] = E[X2] . Beispiel: Suchen in Listen. 14 Beispiel: Suchen in Listen. n Daten werden in r Listen einsortiert. Dadurch ergeben sich Besetzungszahlen k1, . . . , kr . Beispiel: Suchen in Listen. n Daten werden in r Listen einsortiert. Dadurch ergeben sich Besetzungszahlen k1, . . . , kr . Jedes Datum steht in seiner Liste Nr. j an einer der Stellen y = 1, . . . , kj . Beispiel: Suchen in Listen. n Daten werden in r Listen einsortiert. Dadurch ergeben sich Besetzungszahlen k1, . . . , kr . Jedes Datum steht in seiner Liste Nr. j an einer der Stellen y = 1, . . . , kj . Stochastisches Modell: Beispiel: Suchen in Listen. n Daten werden in r Listen einsortiert. Dadurch ergeben sich Besetzungszahlen k1, . . . , kr . Jedes Datum steht in seiner Liste Nr. j an einer der Stellen y = 1, . . . , kj . Stochastisches Modell: Die zufällige Besetzung (K1, . . . , Kr ) kommt durch n-maliges Würfeln mit den Gewichten p1, . . . , pr zustande. Aus den n Daten wird rein zufällig eines herausgegriffen. 15 Aus den n Daten wird rein zufällig eines herausgegriffen. Es sei Y die Stelle, die es in seiner Liste einnimmt. Aus den n Daten wird rein zufällig eines herausgegriffen. Es sei Y die Stelle, die es in seiner Liste einnimmt. Aufgabe: Berechne E[Y ]. Aus den n Daten wird rein zufällig eines herausgegriffen. Es sei Y die Stelle, die es in seiner Liste einnimmt. Aufgabe: Berechne E[Y ]. (Dieser Erwartungswert beschreibt die mittlere Suchzeit nach einem zufälligen Datum, wenn man auf Grund einer mit dem Datum mitgelieferten Kennzahl weiß, in welcher Liste man zu suchen hat.) Lösung: Wir zerlegen E[Y ] nach den Ausgängen von (K, J): 16 Lösung: Wir zerlegen E[Y ] nach den Ausgängen von (K, J): E[Y ] = X k,j P{K = k, J = j} Ek,j [Y ] Lösung: Wir zerlegen E[Y ] nach den Ausgängen von (K, J): E[Y ] = X k,j P{K = k, J = j} Ek,j [Y ] kj + 1 = P{K = k}Pk {J = j} 2 k,j X Lösung: Wir zerlegen E[Y ] nach den Ausgängen von (K, J): E[Y ] = X k,j P{K = k, J = j} Ek,j [Y ] kj + 1 = P{K = k}Pk {J = j} 2 k,j X kj kj + 1 = P{K = k} n 2 k,j X Lösung: Wir zerlegen E[Y ] nach den Ausgängen von (K, J): E[Y ] = X k,j P{K = k, J = j} Ek,j [Y ] kj + 1 = P{K = k}Pk {J = j} 2 k,j X kj kj + 1 = P{K = k} n 2 k,j X 1 X E[Kj (Kj + 1)]. = 2n j Weil Kj Binomial(n, pj )-verteilt ist, folgt 17 Weil Kj Binomial(n, pj )-verteilt ist, folgt E[Kj2] = VarKj + (E[Kj ])2 Weil Kj Binomial(n, pj )-verteilt ist, folgt E[Kj2] = VarKj + (E[Kj ])2 = npj (1 − pj ) + (npj )2 = p2 j n(n − 1) + npj . Weil Kj Binomial(n, pj )-verteilt ist, folgt E[Kj2] = VarKj + (E[Kj ])2 = npj (1 − pj ) + (npj )2 = p2 j n(n − 1) + npj . Weiter ergibt sich Weil Kj Binomial(n, pj )-verteilt ist, folgt E[Kj2] = VarKj + (E[Kj ])2 = npj (1 − pj ) + (npj )2 = p2 j n(n − 1) + npj . Weiter ergibt sich 1 2 1 2 (E[Kj ] + E[Kj ]) = pj (n − 1) + pj . 2n 2 Weil Kj Binomial(n, pj )-verteilt ist, folgt E[Kj2] = VarKj + (E[Kj ])2 = npj (1 − pj ) + (npj )2 = p2 j n(n − 1) + npj . Weiter ergibt sich 1 2 1 2 (E[Kj ] + E[Kj ]) = pj (n − 1) + pj . 2n 2 n−1 2 (p1 + · · · + p2 E[Y ] = r) + 1 . 2 n−1 2 (p1 + · · · + p2 E[Y ] = r) + 1 . 2 Im Fall uniformer Gewichte p1 = · · · = pr = 1/r ergibt sich 18 n−1 2 (p1 + · · · + p2 E[Y ] = r) + 1 . 2 Im Fall uniformer Gewichte p1 = · · · = pr = 1/r ergibt sich n−1 E[Y ] = +1. 2r Eine Modifikation des letzten Beispiels: 19 Eine Modifikation des letzten Beispiels: Sei K wieder multinomial (n, p1, . . . , pr ) verteilt, Eine Modifikation des letzten Beispiels: Sei K wieder multinomial (n, p1, . . . , pr ) verteilt, I sei unabhängig von K, mit P{I = j} = pj , j = 1, . . . , r. Eine Modifikation des letzten Beispiels: Sei K wieder multinomial (n, p1, . . . , pr ) verteilt, I sei unabhängig von K, mit P{I = j} = pj , j = 1, . . . , r. Berechne den Erwartungswert von X := KI . Eine Modifikation des letzten Beispiels: Sei K wieder multinomial (n, p1, . . . , pr ) verteilt, I sei unabhängig von K, mit P{I = j} = pj , j = 1, . . . , r. Berechne den Erwartungswert von X := KI . Wir zerlegen E[X] nach den Ausgängen von K: E[X] = X k P{K = k}Ek [X] 20 E[X] = X k = X k P{K = k}Ek [X] P{K = k} r X j=1 pj kj E[X] = X k = X P{K = k}Ek [X] P{K = k} j=1 k = r X j=1 r X pj X k pj kj P{K = k}kj E[X] = X k = X P{K = k}Ek [X] P{K = k} j=1 k = r X j=1 = r X j=1 r X pj X k pj kj P{K = k}kj pj EKj = n r X j=1 p2 j. Im Fall uniformer Gewichte ergibt sich 21 Im Fall uniformer Gewichte ergibt sich n E[X] = . r Im Fall uniformer Gewichte ergibt sich n E[X] = . r Im Vergleich dazu war die mittlere “Suchtiefe” eines rein zufällig aus den n herausgegriffenen Datums Im Fall uniformer Gewichte ergibt sich n E[X] = . r Im Vergleich dazu war die mittlere “Suchtiefe” eines rein zufällig aus den n herausgegriffenen Datums n−1 + 1. E[Y ] = 2r Im Fall uniformer Gewichte ergibt sich n E[X] = . r Im Vergleich dazu war die mittlere “Suchtiefe” eines rein zufällig aus den n herausgegriffenen Datums n−1 + 1. E[Y ] = 2r Zu den beiden Beispielen vgl. auch: Skript von G. Kersting, Abschnitt 4.1