Lösung 02

INSTITUT FÜR STOCHASTIK
UNIVERSITÄT KARLSRUHE
Priv.-Doz. Dr. D. Kadelka
Dipl.-Math. W. Lao
SS 2009
Blatt 2
Übungen zur Vorlesung
Stochastische Prozesse
Musterlösungen
Aufgabe 7: (B. Friedmans Urnenmodell)
Seien in einer Urne zu Beginn r rote und s schwarze Kugeln. Es wird jeweils zufällig eine
Kugel gezogen und danach die gezogene Kugel, c Kugeln derselben und d Kugeln der anderen
Farbe zurückgelegt. Dabei seien c und d feste, ganze Zahlen mit c ≥ −1, d ≥ 0 und c + d ≥ 0.
Es sei Rn bzw. Sn die zufällige Anzahl der roten bzw. schwarzen Kugeln nach n Ziehungen
und Xn := (Rn , Sn ), n ∈ N0 .
a) Zeigen Sie, dass Rn + Sn ≥ r + s für alle n ∈ N0 gilt.
b) Begründen Sie, dass X := (Xn )n∈N0 eine homogene Markovkette ist. Bestimmen Sie
dazu einen geeigneten Zustandsraum E und eine geeignete Übergangswahrscheinlichkeitsfunktion p bzw. Übergangsmatrix P von X.
c) Bestimmen Sie die wesentlichen und unwesentlichen Klassen in E bzgl. der Übergangsmatrix P .
d) Sei c = −1 und d = 1. Ist (Rn )n∈N0 eine Markovkette? Ist diese gegebenenfalls homogen? Welche Übergangsmatrix besitzt dann (Rn )n∈N0 ?
e) Sei jetzt c = 0 und d = 1. Ist (Rn )n∈N0 eine Markovkette? Ist diese gegebenenfalls
homogen? Welche Übergangsmatrix besitzt dann (Rn )n∈N0 ?
Lösung:
a) Sind vor der Ziehung Rn rote und Sn schwarze Kugeln vorhanden, so sind nach der
Ziehung Rn+1 = Rn + c rote und Sn+1 = Sn + d schwarze Kugeln vorhanden, insgesamt
also Rn+1 + Sn+1 = Rn + Sn + c + d Kugeln, falls eine rote Kugel gezogen wird, andernfalls
Rn+1 = Rn + d rote und Sn+1 = Sn + c schwarze Kugeln, insgesamt wieder Rn+1 + Sn+1 =
Rn + Sn + c + d Kugeln. Egal welche Kugel gezogen wird, gilt stets Rn+1 + Sn+1 =
Rn + Sn + c + d ≥ Rn + Sn .
b) Rn und Sn nehmen Werte in N0 an (falls c ≥ 0 sogar nur in {r, r+1, . . .} bzw. {s, s+1, . . .).
Ferner gilt wegen a) Rn + Sn ≥ r + s. Geeignete Zustandsräume sind daher E := N20 oder
E := Er+s := {(i, j) ∈ N20 : i + j ≥ r + s}. Für den Fall c = −1 und d = 1 könnte
man auch die endliche Menge E := {(i, j) ∈ N20 : i + j = r + s} wählen. (Wie hier
ist der Zustandsraum E einer Markovkette in der Regel nicht eindeutig festgelegt.) Wir
wählen hier E = Er+s mit r + s ≥ 1. (Damit gehen wir dem Problem aus dem Weg, das
Übergangsgesetz auch für (i, j) = (0, 0) definieren zu müssen.
Bei der Modellierung von X gibt es mehrere Möglichkeiten. Einmal kann man wie in [SI],
Kap. 3 von gekoppelten Experimenten ausgehen (ein recht mühsamer Weg), andererseits
aber auch eine vernünftige“ Übergangsmatrix P vorgeben und Satz 2.22 anwenden. Wir
”
wählen einen dritten Weg. Wir schließen dabei den uninteressanten Fall c = d = 0, bei
dem sich der Zustand nie ändert, aus. Sei U : E × [0, 1) → E definiert durch
(
i
,
(i + c, j + d), falls y ≤ i+j
U ((i, j), y) :=
i
(i + d, j + c), falls y > i+j .
Besitzt die Zufallsvariable Y die Gleichverteilung U(0, 1), so gilt

i

 i+j für (k, `) = (i + c, j + d),
j
P(i,j)(k,`) := P(U ((i, j), Y ) = (k, `)) = i+j
für (k, `) = (i + d, j + c) und


0,
sonst.
i
Sind in der Urne aktuell i rote und j schwarze Kugeln, so ist i+j
gerade die Wahrscheinj
lichkeit, eine rote und i+j die Wahrscheinlichkeit, eine schwarze Kugel zu ziehen.
Ist (Yn )n∈N eine Folge unabhängiger, U(0, 1)-verteilter Zufallsvariable, so ist wegen Satz
2.13 (Xn )n∈N0 mit X0 := (r, s) und Xn := U (Xn−1 , Yn ) eine homogene Markovkette mit
Zustandsraum E und Übergangsmatrix P .
c) Ist c = d = 0, so kommuniziert jeder Zustand nur mit sich selbst. Es gilt daher K((i, j)) =
{(i, j)} und alle diese Klassen sind wesentlich.
Ist c = −1 und d = 1, so kommunizieren alle (i, j) ∈ Em := {(i, j) ∈ E := i + j = m}
mit festem m ≥ r + s miteinander: (m, 0) ←→ (m − 1, 1) ←→ . . . ←→ (0, m). Gilt aber
i + j 6= k + `, so gilt weder (i, j)
(k, `) noch (k, `)
(i, j). Daher sind Er+s , Er+s+1 ,
. . . die Klassen in E und alle diese Klassen sind wesentlich.
In allen anderen Fällen gilt c + d > 0 und daher gilt für den Übergangsgraphen GP zu P
mit Kantenmenge K, dass aus ((i, j), (k, `)) ∈ K stets k + ` > i + j folgt. Hieraus folgt,
dass alle Klassen nur aus einem Element bestehen und dass diese Klassen unwesentlich
sind.
d) Ist c = −1 und d = 1, so gilt stets Rn + Sn = r + s, also auch Sn = r + s − Rn .
Damit bestimmen sich Rn und (Rn , Sn ) gegenseitig eindeutig. (Rn )n∈N0 ist daher auch
eine homogene Markovkette mit Zustandsraum {0,1,. . . ,r+s} und Übergangsmatrix

i

für k = i − 1,
 r+s
i
Pik = 1 − r+s
für k = i + 1,


0,
sonst.
e) Sei c = 0 und d = 1. Die Gesamtzahl der Kugeln erhöht sich nach jeder Ziehung um 1. Es
gilt daher Rn + Sn = r + s + n und damit Sn = r + s + n − Rn . Wie in d) bestimmen sich
eindeutig, diesmal bei gegebener Stufe n, Rn und (Rn , Sn ) gegenseitig. Damit ist auch
(Rn )n∈N0 eine Markovkette. Diese ist aber nicht homogen, da die Übergangswahrscheini
lichkeit P(Rn+1 = i | Rn = i) = r+s+n
noch von n abhängt.
Aufgabe 8:
Sei X = (Xn )n∈N0 eine homogene Markovkette mit Zustandsraum E und Übergangsmatrix
P und D ⊂ E eine beliebige, nicht leere Teilmenge von E.
τ (ω) := τD (ω) := inf{n ∈ N0 : Xn (ω) ∈ D}
sei die Erstbesuchszeit in D und für s ∈ E
hD
s := Ps (τD < ∞)
die Trefferwahrscheinlichkeit, dass die Markovkette bei Start in s jemals nach D gelangt.
Zeigen Sie:
a) Für die Trefferwahrscheinlichkeiten gilt
(
1,
D
(∗) hs = P
Psk ·
k∈E
falls s ∈ D,
falls s ∈
6 D.
hD
k ,
b) Ist γ = (γs )s∈E ∈ RE
+ eine Lösung von (∗), d.h. γs = 1 für s ∈ D und
für s 6∈ D, dann gilt γs ≥ hD
s für alle s ∈ E.
D
h ist also die kleinste nicht negative Lösung von (∗).
P
k∈E
Psk ·γk = γs
Lösung:
a) Wegen
∞
[
{τD < ∞} =
{Xn ∈ D}
n=0
und Ps (X0 = s) = 1 gilt hD
s = 1 für s ∈ D. Für s 6∈ D gilt dagegen Ps (X0 ∈ D) = 0 und
damit
!
!
∞
∞
[
X
[
hD
{Xn ∈ D} =
Ps
{Xn ∈ D} | X1 = k · Ps (X1 = k)
s = Ps
{z
}
|
n=1
n=1
k∈E
=Psk
!
∞
[
X
X
Markoveigenschaft
Psk hD
Pk
{Xj ∈ D} · Psk =
=
k .
k∈E
j=0
k∈E
b) Für s ∈ D gilt γs = 1 = hD
s und für s 6∈ D gilt für alle n ∈ N
X
X
X
γs =
Psk1 · γk1 =
Psk1 +
Psk1 · γk1 =
k1 ∈E
k1 ∈D
X
Psk1 +
k1 ∈D
X
X X
X X
Psk1 Pk1 k2 +
k1 6∈D k2 ∈D
Psk1 +
k1 ∈D
k1 6∈D
X X
k1 6∈D k2 6∈D
Psk1 Pk1 k2 + . . . +
k1 6∈D k2 ∈D
X
Psk1 Pk1 k2 . . . Pkn kn+1
k1 ,...,kn 6∈D,kn+1 ∈D
X
+
Psk1 Pk1 k2 · γk2 = . . . =
Psk1 Pk1 k2 . . . Pkn kn+1 γkn+1 ≥
k1 ,...,kn ,kn+1 6∈D
|
X
k1 ∈D
Psk1 +
X X
k1 6∈D k2 ∈D
{z
}
≥0
Psk1 Pk1 k2 + . . . +
X
Psk1 Pk1 k2 . . . Pkn kn+1 =
k1 ,...,kn 6∈D,kn+1 ∈D
Ps (X1 ∈ D) + Ps (X1 6∈ D, X2 ∈ D) + . . . + Ps (X1 6∈ D, . . . , Xn 6∈ D, Xn+1 ∈ D) =
Ps (τD ≤ n + 1) ↑ Ps (τD < ∞) = hD
s
und damit auch γs ≥ hD
s .
Aufgabe 9:
Sei unter den Voraussetzungen von Aufgabe 8 für s ∈ E
mD
s := Es τD
die mittlere Erstbesuchszeit in D. Zeigen Sie:
a) Für die mittleren Erstbesuchszeiten gilt
(
0,
(∗∗) mD
P
s =
1 + k6∈D Psk · mD
k ,
falls s ∈ D,
falls s ∈
6 D.
b) mD ist die kleinste nicht negative Lösung des Gleichungssystems (∗∗).
Lösung:
a) Wegen Ps (X0 = s) = 1 gilt Ps (τD = 0) = 1 und damit mD
s = Es τD = 0 für s ∈ D. Für
s 6∈ D hingegen gilt Ps (X0 ∈ D) = 0 und damit
τD = 1 + inf{n ∈ N0 : Xn+1 ∈ D} = 1 + τD0 ,
{z
}
|
0
=:τD
wobei τD0 als Ersteintrittszeit in D für die homogene Markovkette (Xn+1 )n∈N0 interpretiert
werden kann. Es gilt daher
mD
s
= Es τD = 1 +
Es τD0
=1+
=1+
n=∞
X
n · Ps (τD0 = n)
n=0
n=∞
XX
n=0 k∈E
=1+
n · Ps (τD0 = n | X1 = k) · Ps (X1 = k)
|
{z
}
=Psk
X
Psk
k∈E
n=∞
X
n · Ps (τD0 = n | X1 = k) = 1 +
X
Psk · mD
k ,
k6∈D
n=0
da man in einer Doppelsumme mit nicht negativen Summanden die Reihenfolge der Summation vertauschen darf (Sonderfall des Satzes von Fubini).
b) Sei λ = (λs )s∈E mit 0 ≤ λs ≤ ∞ eine weitere Lösung von (∗∗). Dann gilt λs = 0 = mD
s
für s ∈ D und für s 6∈ D gilt für alle n ∈ N
X
X
X X
λs = 1 +
Psk1 · λk1 = 1 +
Psk1 +
Psk1 Pk1 k2 · λk2 = . . . =
k1 6∈D
1+
X
k1 6∈D
Psk1 +
k1 6∈D
X X
k1 6∈D k2 6∈D
Psk1 Pk1 k2 + . . . +
k1 6∈D k2 6∈D
Psk1 Pk1 k2 . . . Pkn−1 kn
k1 ,...,kn 6∈D
X
+
X
Psk1 Pk1 k2 . . . Pkn kn+1 λkn+1 ≥
k1 ,...,kn ,kn+1 6∈D
|
1+
X
k1 6∈D
Psk1 +
X X
k1 6∈D k2 6∈D
{z
}
≥0
Psk1 Pk1 k2 + . . . +
X
Psk1 Pk1 k2 . . . Pkn−1 kn
k1 ,...,kn 6∈D
1 + Ps (X1 6∈ D) + Ps (X1 6∈ D, X2 6∈ D) + . . . + Ps (X1 6∈ D, . . . , Xn 6∈ D) =
Ps (τD ≥ 1) + Ps (τD ≥ 2) + . . . + Ps (τD ≥ n + 1),
also auch
λs ≥
∞
X
Ps (τD ≥ n)
n=1
= 1 · Ps (τD = 1) + 2 · Ps (τD = 2) + . . . + ∞ · Ps (τD = ∞) = Es τD = mD
s .
Aufgabe 10:
Peter und Paul werfen bei einem Spieleinsatz von je 1 Euro eine (eventuell verfälschte) Münze
solange, bis einer der beiden Spieler sein Anfangskapital verloren hat. Der Gewinner erhält
jeweils den gesamten Spieleinsatz von 2 Euro. Die Wahrscheinlichkeit, dass Peter gewinnt,
sei in jedem Spiel 0 < p < 1. Zu Beginn habe Peter 2 Euro und Paul 3 Euro.
a) Beschreiben Sie den Spielverlauf mit Hilfe einer geeigneten homogenen Markovkette.
b) Berechnen Sie in Abhängigkeit von p = 0.1, 0.2, . . . , 0.9 die Wahrscheinlichkeit, dass
Peter alles verliert.
c) Berechnen Sie mittlere Spieldauer für die Fälle p = 0.1, 0.2, . . . , 0.9.
Lösung:
a) Ein geeigneter Zustand der Markovkette ist das aktuelle Kapital s von Peter. Mögliche
Werte sind 0, 1, . . . , 5, daher ist E := {0, 1, 2, 3, 4, 5} ein geeigneter Zustandsraum. Sei Xn
der zufällige Spielstand nach n Spielen. Nach Voraussetzung gilt X0 = 2. Sei (Yn )n∈N eine
Folge unabhängiger Zufallsvariable mit Werten in M := {−1, 1} und mit P(Yn = 1) = p,
also P(Yn = −1) = 1 − p. Yn kann dann als zufälliger Zugewinn von Peter interpretiert
werden, solange das Spiel noch nicht entschieden ist. Setzt man
(
k + m, falls 1 ≤ k ≤ 4,
U (k, m) :=
k,
falls k = 0 oder k = 5,
so ist durch Xn := U (Xn−1 , Yn ), n ∈ N, gemäß Satz 2.13
kovkette mit Zustandsraum E und der Übergangsmatrix

1
0
0
0
1 − p
0
p
0

 0
1−p
0
p
P =
 0
0
1
−
p
0

 0
0
0
1−p
0
0
0
0
eine geeignete homogene Mar0
0
0
p
0
0

0
0

0

0

p
1
gegeben. Insbesondere gilt Pss = 1 für s = 0 und für s = 5. Derartige Zustände heißen
auch absorbierend.
b) Sei D = {0}. Gesucht ist die Wahrscheinlichkeit hD
s , dass die Markovkette bei Start in
s ∈ E jemals nach 0 gelangt, d.h. die Wahrscheinlichkeit, dass (zumindest für s > 0)
D
D
Peter alles verliert. Wegen Aufgabe 8 gilt hD
0 = 1 und für s > 0 hs = (P h )s , also wenn
wir noch γ statt hD schreiben,
γ1 = 1 − p + pγ2 ,
γ2 = (1 − p)γ1 + pγ3 ,
γ3 = (1 − p)γ2 + pγ4 ,
γ4 = (1 − p)γ3
wegen hD
5 = 0. Zu lösen ist daher das lineare Gleichungssystem

   

1
−p
0
0
γ1
1−p
−(1 − p)
  

1
−p
0

 · γ2  =  0  .

0
−(1 − p)
1
−p γ3   0 
0
0
−(1 − p) 1
γ4
0
Maple ergibt in Abhängigkeit von p die Lösung
hD
2 =
(1 − p)(1 − 2p + 2p2 − p3 )
1 − 3p + 4p2 − 2p3 + p4
für die Wahrscheinlichkeit, dass Peter alles verliert. Damit erhält man die gesuchten
Wahrscheinlichkeiten
p
hD
2
0.1
0.9986
0.9853
0.2
0.3
0.9348
0.8104
0.4
0.5
0.6000
0.3602
0.6
0.1717
0.7
0.8
0.0616
0.0123
0.9
c) Sei jetzt D = {0, 5}. Bei Erreichen von D ist das Spiel entschieden. Gesucht ist die
D
mittlere Spieldauer mD
s , wenn Peter das Anfangskapital s besitzt. Setzen wir λ := m ,
so erfüllt nach Aufgabe 9 λ das lineare Gleichungssystem

    
1
−p
0
0
λ1
1
−(1 − p)
 λ2  1
1
−p
0

 ·   =  .

0
−(1 − p)
1
−p λ3  1
0
0
−(1 − p) 1
λ4
1
Hieraus ergibt sich speziell
mD
2 = λ2 =
2 − 2p + 4p2 − p3
.
1 − 3p + 4p2 − 2p3 + p4
Damit erhält man die gesuchten Dauern
p
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
mD
2
2.4915
3.2111
4.1850
5.2607
6.0000
5.9953
5.3538
4.4868
3.6729