Stochastische Prozesse, WS 2015/16 Prof. Dr. I

Stochastische Prozesse, WS 2015/16
Prof. Dr. I. Veselić
Dr. M. Tautenhahn
Hausaufgabe 4
Abgabe am 12. November
Aufgabe 1.Sei (Xn )n∈N0 eine einfache Irrfahrt auf Z mit
P(Xn+1 − Xn = 1) = 1 − P(Xn+1 − Xn = −1) = p ∈ [1/2, 1]
für alle n ∈ N0 und Startverteilung ν = (νk )k∈Z mit νk > 0 für alle k ∈ Z. Zeigen Sie:
(a) Für beliebiges k ∈ N gilt P0 (Tk < ∞) = 1.
(b) Für den Erwartungswert E0 (T1 ) gilt
(
E0 (T1 ) =
∞
1
2p−1
falls p = 1/2
falls p > 1/2.
Aufgabe 2.Zeigen Sie, dass eine Markovkette mit Übergangsmatrix


1
0
0


P = 1/4 1/2 1/4
0
0
1
mehrere Gleichgewichtsverteilungen besitzt. Berechnen Sie die Matrix, gegen welche P n für wachsende n
(elementweise) konvergiert.
Aufgabe 3.Ein Geburts-Todes-Prozess ist eine Markovkette mit Zustandsraum N0 und Übergangsmatrix P = (px,y )x,y∈N0 , so dass px,y = 0 für alle x, y ∈ N0 mit |x − y| ≥ 2. Wir setzen für x ∈ N0
px := px,x+1 ,
rx := px,x
qx+1 := px+1,x .
und
(a) Zeigen Sie, dass durch
µx :=
x
Y
pk−1
k=1
qk
(x ∈ N0 )
eine invariante Verteilung gegeben ist, falls qk > 0 für alle k ∈ N.
(b) Entscheiden Sie, ob mit den konkreten Übergangswahrscheinlichkeiten
px :=
2
,
x+2
rx := 0 und
qx :=
x
x+2
ein positiv rekurrenter, null-rekurrenter oder transienter Geburts-Todes-Prozess gegeben ist.
Aufgabe 4.Ein König darf auf dem 8 × 8-Schachbrett in einem Zug auf jedes angrenzende Feld gezogen
werden, nach links, rechts, vorne, hinten und diagonal. Der König startet heute auf dem ansonsten leeren
Schachbrett in der linken unteren Ecke und zieht in jedem Schritt mit gleicher Wahrscheinlichkeit und
unabhängig von den bisherigen Schritten in alle ihm möglichen Richtungen.
(a) Bestimmen Sie alle invarianten Wahrscheinlichkeitsverteilungen.
(b) Berechnen Sie die erwartete Zeit des ersten Wiedereintreffens in der linken unteren Ecke.
(c) Ermitteln Sie die erwartete Anzahl der Besuche in der rechten oberen Ecke bis zum ersten Wiedereintreffen in der linken unteren Ecke.