Lösung 01

INSTITUT FÜR STOCHASTIK
UNIVERSITÄT KARLSRUHE
Priv.-Doz. Dr. D. Kadelka
Dipl.-Math. W. Lao
SS 2009
Blatt 1
Übungen zur Vorlesung
Stochastische Prozesse
Musterlösungen
Aufgabe 1: (Verzweigungsprozess)
Die Generation 0 einer Population bestehe aus einem Individuum, das sich mit Wahrscheinlichkeit pk in k Nachfahren teilt (k ∈ N). Jeder dieser Nachfahren der Generation 1 teilt
sich wiederum unabhängig von den anderen Individuen gemäß der Verteilung (pk )k∈N in eine
zufällige Anzahl von Nachfahren. Die Zufallsvariable Xn beschreibe die Anzahl der Individuen der n-ten Generation (n ∈ N0 ).
Zeigen Sie, dass (Xn )n∈N0 eine Markovkette ist, und geben Sie die zugehörige Übergangswahrscheinlichkeitsfunktion von Generation n nach Generation n + 1 an.
Lösung: Xn+1,j sei die Anzahl der Individuen der n + 1-ten Generation, die vom j-ten
Mitglied der Generation n abstammen. Die (Xn+1,j ) sind also alle unabhängig und identisch
verteilt mit Verteilung (pk )k∈N . Die Anzahl der Individuen der n + 1-ten Generation ist nun
gegeben durch
Xn
X
Xn+1 =
Xn+1,j (n ∈ N0 ).
j=1
Damit folgt
P (Xn+1 = kn+1 | X0 = k0 , . . . , Xn = kn ) = P (
kn
X
Xn+1,j = kn+1 ) = P (Xn+1 = kn+1 | Xn = kn ) .
j=1
(Xn ) ist also eine Markovkette mit Übergangswahrscheinlichkeitsfunktion
!
!
Xn
k
X
X
pn,n+1 (k, l) = P (Xn+1 = l | Xn = k) = P
Xn+1,j = l | Xn = k = P
Xn+1,j = l
j=1
j=1
für k ≥ 1 und l ≥ k, sonst ist pn,n+1 (k, l) = 0.
Aufgabe 2: (Success Run)
Ein Basketballspieler verwandelt einen Freiwurf mit Trefferwahrscheinlichkeit p = 0.7 unabhängig von früheren Versuchen. In einer Folge von Freiwürfen sei Xn die Anzahl der
unmittelbar vor dem (n + 1)-ten Wurf erzielten Treffer, die nicht durch einen Fehlwurf unterbrochen werden (Success Run).
Zeigen Sie, dass (Xn )n∈N0 eine Markovkette bildet und geben Sie die zugehörige Übergangswahrscheinlichkeitsfunktion an.
Lösung: Sei Xn die Anzahl der unmittelbar vor dem (n + 1)-ten Wurf erzielten Treffer, die
nicht durch einen Fehlwurf unterbrochen wurden.
Desweiteren sei Yn der Ausgang des n-ten Wurfes (n ≥ 1). Dabei ist
(
1, falls der n − te Wurf Treffer,
Yn =
0, falls der n − te Wurf kein Treffer.
Es sei U : N0 × {0, 1} → N0 und
(
x + y, falls y = 1,
U (x, y) =
0,
falls y = 0.
Somit ist X0 = 0 und Xn = U (Xn−1 , Yn ) für n ≥ 1 und (Xn ) eine Markovkette mit Übergangswahrscheinlichkeitsfunktion
pn,n+1 (k, l) = P(Xn+1 = l | Xn = k)


0.7, l = k + 1,
= P(U (k, Yn+1 ) = l) = 0.3, l = 0,


0,
sonst.
Aufgabe 3:
Das Wetter in Karlsruhe an aufeinanderfolgenden Tagen sei beschrieben durch eine Markovkette X := (Xn )n∈N0 mit dem Zustandsraum E = {1, 2, 3}, deren Zustände wir wie folgt
interpretieren:
1 = regnerisch,
2 = bewölkt,
3 = sonnig.
Heute sei es bewölkt, d.h. es sei P(X0 = 2) = 1. Die Übergangswahrscheinlichkeiten seien
gegeben durch
IP(Xn+1 = ` | Xn = k)
l
1
2
3
1
0.3 0.7 0
k
2
0.3 0.3 0.4
3
0.1 0.3 0.6
a)
Wie groß ist die Wahrscheinlichkeit, dass es übermorgen regnet?
b)
Wie entwickelt sich das Wetter nach n Tagen? Berechnen Sie mit einem geeigneten
Programm P(Xn = k) für n = 1, . . . , 100 und k ∈ E.
c)
Welche Vermutungen kann man den in b) gewonnenen Daten entnehmen?
Lösung: Gemäß Satz 2.10 ist die Übergangswahrscheinlichkeitsfunktion p := pn,n+1 von
Stufe n nach Stufe n + 1 durch die oben angegebene, von n unabhängige Matrix gegeben,
also
p(k, `)
l
1
2
3
1 0.3 0.7 0
k 2 0.3 0.3 0.4
3 0.1 0.3 0.6
a) Gesucht ist die bedingte Wahrscheinlichkeit
P(X0 = 2, X2 = 1)
P(X2 = 1 | X0 = 2) =
P(X0 = 2)
3
X
P(X0 =2)=1
=
3
X
(2.11)
P(X0 = 2, X1 = k, X2 = 1) =
k=1
P(X0 = 2) · p(2, k) · p(k, 1) = 1 · 0.3 · 0.3 + 1 · 0.3 · 0.3 + 1 · 0.4 · 0.1 = 0.22
k=1
b) Sei n ∈ N0 beliebig. Wegen (2.12) aus Satz 2.10 gilt P(Xn+1 = ` | Xn = k) = p(k, `) und
damit
X
X
P(Xn+1 = `) =
P(Xn = k, Xn+1 = `) =
P(Xn = k) · p(k, `), ` ∈ E,
k∈E
k∈E
hier also immer
(∗) P(Xn+1 = `) = P(Xn = 1) · p(1, `) + P(Xn = 2) · p(2, `) + P(Xn = 3) · p(3, `)
für ` = 1, 2, 3. Die Wahrscheinlichkeiten P(Xn = k) lassen sich also gemäß (∗) leicht
rekursiv berechnen. Wir erhalten mit P(X0 = 2) = 1 für n = 0, 1, . . . , 15
P(Xn = k)
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
k
1
0.0
0.3
0.22
0.228
0.2232
0.22288
0.222432
0.222317
0.222258
0.222237
0.222228
0.222225
0.222223
0.222223
0.222222
0.222222
2
1.0
0.3
0.42
0.388
0.3912
0.38928
0.389152
0.388973
0.388927
0.388903
0.388895
0.388891
0.388890
0.388889
0.388889
0.388889
3
0.0
0.4
0.36
0.384
0.3856
0.38784
0.388416
0.388710
0.388815
0.388860
0.388877
0.388884
0.388887
0.388888
0.388889
0.388889
Für n ≥ 16 ändert sich an diesen auf 6 Stellen gerundeten Werten nichts mehr. Ähnliche
Wahrscheinlichkeiten erhält man, wenn man mit P(X0 = 1) = 1 oder mit P(X0 = 3) = 1
startet. Unabhängig von der Startverteilung scheinen die Wahrscheinlichkeiten immer
gegen die gleiche Grenzverteilung“ zu konvergieren.
”
c) Man kommt daher zu der Vermutung: Egal, welche Verteilung X0 besitzt, gilt immer
lim P(Xn = 1) =
n→∞
2
7
und lim P(Xn = 2) = lim P(Xn = 3) = .
n→∞
n→∞
9
18
Später werden wir diese Vermutung verifizieren.
Aufgabe 4:
Sei X wie in Aufgabe 3. X 0 := (X2·n )n∈N0 ist bekanntlich wieder eine Markovkette mit Zustandsraum E. Bestimmen Sie eine Übergangswahrscheinlichkeitsfunktion für X 0 von Stufe
n nach n + 1, n ∈ N0 .
Lösung: Wir lösen die Aufgabe zuerst allgemein. Wegen Korollar 2.6 ist X 0 selbst eine
Markovkette. Gesucht ist eine Übergangswahrscheinlichkeitsfunktion p0n,n+1 : E 2 → [0, 1] mit
(2.12)
0
= kn+1 | Xn0 = kn ) = p0n,n+1 (kn , kn+1 ), falls P(Xn0 = kn ) > 0,
P(Xn+1
also
P(X2n = k, X2n+2 = `)
p0n,n+1 (k, `) = P(X2n+2 = ` | X2n = k) =
P(X2n = k)
P
j∈E P(X2n = k, X2n+1 = j, X2n+2 = `)
=
P(X2n = k)
P
X
(2.11)
j∈E P(X2n = k) · p2n,2n+1 (k, j) · p2n+1,2n+2 (j, `)
p2n,2n+1 (k, j) · p2n+1,2n+2 (j, `),
=
=
P(X2n = k)
j∈E
sobald P(Xn0 = k) = P(X2n = k) > 0. Dies bedeutet aber, dass (allgemein) durch
X
p0n,n+1 (k, `) :=
p2n,2n+1 (k, j) · p2n+1,2n+2 (j, `), k, ` ∈ E
j∈E
eine geeignete Übergangswahrscheinlichkeitsfunktion für X 0 von Stufe n nach n + 1 definiert
ist.
Unter den Voraussetzungen von Aufgabe 3 ist pn,n+1 = p unabhängig von n und mit
0
p (k, `) :=
3
X
p(k, j) · p(j, `),
k, ` = 1, 2, 3
j=1
gilt hier p0n,n+1 (k, `) = p0 (k, `) unabhängig von n, explizit
p0 (k, `)
k
1
2
3
l
1
2
3
0.30 0.42 0.28
0.22 0.42 0.36
0.18 0.34 0.48
Aufgabe 5:
Sei X = (Xn )n∈N0 eine Markovkette mit Zustandsraum E und Übergangswahrscheinlichkeitsfunktionen pn,n+1 von Stufe n nach n + 1. Berechnen Sie bei bekanntem p0 (k) := P(X0 = k),
k ∈ E für beliebiges n ∈ N die Wahrscheinlichkeitsfunktion pn von Xn , d.h.
pn (k) := P(Xn = k),
k ∈ E.
Lösung: (vergl. Beweis zu Satz 2.10.) Mit Fallunterscheidung folgt
X
pn (k) := P(Xn = k) =
(k0 ,...,kn−1
(2.11)
=
X
P(X0 = k0 , . . . , Xn−1 = kn−1 , Xn = k)
)∈E n
P(X0 = k0 ) ·
(k0 ,...,kn−1 )∈E n
n−1
Y
pj−1,j (kj−1 , kj ) · pn−1,n (kn−1 , k)
j=1
=
X
(k0 ,...,kn−1
p0 (k0 ) ·
)∈E n
n−1
Y
pj−1,j (kj−1 , kj ) · pn−1,n (kn−1 , k).
j=1
Aufgabe 6:
In dieser Aufgabe soll gezeigt werden, dass Funktionen von Markovketten nicht immer Markovketten sind. Sei X = (Xn )n∈N0 ein stochastischer Prozess mit Zustandsraum E = {1, 2, 3},
mit P(X0 = k) = 31 , k = 1, 2, 3 und mit
P(Xn+1 = kn+1 | X0 = k0 , . . . , Xn = kn ) = P(Xn+1 = kn+1 | Xn = kn ) =
(
1, falls kn = 1, kn+1 = 2 oder kn = 2, kn+1 = 3 oder kn = 3, kn+1 = 1
0, sonst
für alle n ∈ N0 , sobald P(X0 = k0 , . . . , Xn = kn ) > 0.
a)
Begründen Sie, dass X eine Markovkette ist.
b)
Bestimmen Sie P(Xn = k) für n ∈ N und k ∈ E.
(
1, falls Xn = 1
Sei Yn :=
für n ∈ N0 . Begründen Sie, dass Y = (Yn )n∈N0 keine
0, sonst
Markovkette ist.
c)
Lösung:
a) Die Markov-Eigenschaft folgt unmittelbar aus den Voraussetzungen und Satz 2.5.
b) Sei pn,n+1 : E 2 → [0, 1] definiert durch
pn,n+1 (kn , kn+1 ) := p(kn , kn+1 ) :=
(
1, falls kn = 1, kn+1 = 2 oder kn = 2, kn+1 = 3 oder kn = 3, kn+1 = 1
0, sonst.
Dann gilt (2.10) aus Satz 2.10. Insbesondere ist (ein weiterer Nachweis von a)) X eine
Markovkette mit (2.12)
(∗) P(Xn+1 = kn+1 | Xn = kn ) = p(kn , kn+1 ), falls P(Xn = kn ) > 0.
p ist also eine Übergangswahrscheinlichkeitsfunktion von Stufe n nach n + 1 (unabhängig
von n).
Wir zeigen mit vollständiger Induktion über n
1
(∗∗) P(Xn = k) = ,
3
k = 1, 2, 3.
Für n = 0 gilt dies nach Voraussetzung. Gilt (∗∗) für n ∈ N0 , so gilt wegen (∗) und der
Formel von der totalen Wahrscheinlichkeit ([SI], Satz 3.12)
P(Xn+1 = 1) =
X
P(Xn+1 = 1 | Xn = k) · P(Xn = k)
k∈E
= P(Xn+1 = 1 | Xn = 3) · P(Xn = 3) = 1 ·
1
1
=
3
3
und genauso P(Xn+1 = 2) = P(Xn+1 = 3) = 13 . Damit gilt (∗∗) auch für n + 1.
c) Wir nehmen an, dass (Yn )n∈N0 eine Markovkette ist.
Wegen b) gilt stets P(Yn = 0) =
2
3
und P(Yn = 1) = 13 . Aus Satz 2.10 (2.11) und b) folgt
P(Y0 = 0, Y1 = 0) = P(X0 = 2, X1 = 2) + P(X0 = 2, X1 = 3)
{z
} |
{z
}
|
=0
=1/3
1
+ P(X0 = 3, X1 = 2) + P(X0 = 3, X1 = 3) = > 0
|
{z
} |
{z
} 3
=0
=0
und wegen P(X0 = 2, X1 = 3, X2 = 2) = P(X0 = 2, X1 = 3, X2 = 3) = 0 auch
P(Y0 = 0, Y1 = 0, Y2 = 0) = 0. Daher gilt
P(Y2 = 0 | Y0 = 0, Y1 = 0) =
P(Y0 = 0, Y1 = 0, Y2 = 0)
= 0.
P(Y0 = 0, Y1 = 0)
Aber genauso wie oben folgt wegen Korollar 2.6
P(Y1 = 0, Y2 = 0) =
und
P(Y2 = 0 | Y1 = 0) =
1
>0
3
P(Y1 = 0, Y2 = 0)
1/3
1
=
= 6= 0.
P(Y1 = 0)
2/3
2
(Yn )n∈N0 ist also keine Markovkette im Gegensatz zur Annahme.