4. Übungszettel

4. Übung – Markov Prozesse
1. Ein Spieler hat 2 Euro und möchte seinen Besitz rasch auf 10 Euro ausweiten. Er
kann an einem Spiel teilnehmen, wo eine faire Münze geworfen wird; wenn er richtig
ratet erhält er das doppelte seines Einsatzes zurück, ansonsten verliert er seinen
Einsatz. Der Spieler verfolgt die einfache Strategie, dass er solange er nicht mehr
als 5 Euro besitzt jeweils alles setzt, und ansonsten gerade soviel dass er bei einem
Gewinn mit 10 Euro aussteigen würde.
Sei X0 = 2 und Xn jeweils sein Kapital zum Zeitpunkt n.
(a) Zeige dass der Spieler mit Wahrscheinlichkeit 1/5 sein Ziel erreichen wird.
(b) Welche Zustände sind transient, welche rekurrent?
(c) Wie groß ist die erwartete Anzahl an Würfen bis er entweder sein Ziel erreicht
hat, oder aber alles verloren hat?
(d) Bestimme die Wahrscheinlichkeitsfunktion der Anzahl an Würfen die es braucht,
bis er entweder sein Ziel erreicht hat, oder aber alles verloren hat!
2. Bestimme für die folgenden Übergangsmatrizen die Äquivalenzklassen der zugehörigen
Markovketten und gib an welche Klassen rekurrent und welche transient sind.


0
0 0 1
 0
0 0 1 

(a) P1 = 
 1/2 1/2 0 0 
0
0 1 0


1/2 0 1/2 0
0
 1/4 1/2 1/4 0
0 


0 
(b) P2 = 
 1/2 0 1/2 0

 0
0
0 1/2 1/2 
0
0
0 1/2 1/2


1/4 3/4 0
0 0
 1/2 1/2 0
0 0 



0
0
1
0
0
(c) P3 = 


 0
0 1/3 2/3 0 
1
0
0
0 0
3. Sei (Xn )n≥0 eine Markovkette mit Werten in N∪0. Die Übergangswahrscheinlichkeit
ist gegeben durch
2
i+1
pi,i−1 , i ≥ 1 .
p01 = 1, pi,i+1 + pi,i−1 = 1, pi,i+1 =
i
Zeige, dass wenn in X0 = 0 gestartet wird gilt:
P (Xn ≥ 1, ∀n ≥ 1) = 6/π 2
P
Hinweis: Vgl. Example 1.3.4 von Norris. Es gilt ∞
j=0
Riemannschen Zeta-Funktion)
1
(j+1)2
=
π2
6
(Spezialfall der
4. Sei Tj der Zeitpunkt an dem ein Zustand j zum ersten mal erreicht wird, und weiters
(n)
fij := Pi (Tj = n). Rechtfertige die Behauptung, dass
(n)
pij
=
n
X
(k) (n−k)
fij pjj
für n ≥ 1
k=1
und folgere daraus, dass
Pij (s) = δij + Fij (s)Pjj (s)
wobei Pij (s) =
P∞
n=0
(n)
pij sn ; δij = 1 für i = j, sonst 0; und Fij (s) =
P∞
n=1
(n)
fij sn .
Zeige, dass daraus unmittelbar folgt:
Pi (Ti < ∞) = 1
⇔
∞
X
(n)
pii = ∞
n=0
5. Betrachte folgende zufällige Sequenz von nicht-negativen Zahlen (Fn )n≥0 :
F0 = 0, F1 = 1, und für n > 1 sei Fn mit gleicher Wahrscheinlichkeit entweder die
Summe oder der Betrag der Differenz von Fn−2 und Fn−1 . D.h.
P(Fn = Fn−2 +Fn−1 |Fn−2 , Fn−1 ) = 1/2,
P(Fn = |Fn−2 − Fn−1 | | Fn−2 , Fn−1 ) = 1/2
(a) Ist (Fn )n≥0 eine Markov-Kette?
(b) Verwende die Markov-Kette Xn = (Fn−1 , Fn ) um die Wahrscheinlichkeit zu
berechnen, dass Fn den Zustand 3 erreicht ehe es zum ersten mal zu 0 zurückkehrt.
(Zustände von Xn sind also zweidimensionale Vektoren).
(c) Zeichne einen hinreichend großen Teil des Markov - Diagrammes von Xn um
zu erklären, wie sich das Diagramm allgemein fortsetzen wird.