Blatt 8 Markovketten [MA2404]

TU München, Zentrum Mathematik
Lehrstuhl für Mathematische Physik
WS 2013/2014
Prof. Dr. Silke Rolles
Dr. Christian Döbler
Blatt 8
Markovketten [MA2404]
Ausgabe: 22. Januar 2014
keine Abgabe
Aufgabe 1. Ein binärer Baum mit Wurzel ist ein unendlicher, zusammenhängender Graph G = (V, E) ohne Kreise und mit einem ausgezeichneten Knoten R,
von dem genau eine Kante ausgeht. An jedem anderen Knoten liegen genau drei
Kanten an. Skizzieren Sie diesen Graphen. Sei nun (Xn )n∈N0 eine Irrfahrt auf dem
Graphen G, siehe Beispiel 5.14. Zeigen Sie, dass (Xn )n∈N0 irreduzibel und transient
ist.
Aufgabe 2. Seien E ein abzählbar unendlicher Zustandsraum und Π ∈ [0, 1]E×E
eine irreduzible, doppelt-stochastische Matrix. Zeigen Sie, dass eine Markovkette
(Xn )n∈N0 mit Übergangsmatrix Π entweder transient oder null rekurrent ist.
Aufgabe 3. Sei ∅ 6= E eine abzählbare Menge und seien µ, µn (n ∈ N) Wahrscheinlichkeitsmaße auf (E, P(E)). Zeigen Sie die Äquivalenz der folgenden Aussagen:
(i) limn→∞ dTV (µn , µ) = 0
(ii) Für jede beschränkte Funktion f : E → R gilt limn→∞ Eµn [f ] = Eµ [f ].
(iii) Für alle j ∈ E gilt limn→∞ µn (j) = µ(j).
Dabei bezeichne
für ein Wahrscheinlichkeitsmaß ν auf (E, P(E))
P
Eν [f ] = j∈E f (j)ν(j) den Erwartungswert von f bezüglich ν.
Bemerkung: Fasst man E als metrischen Raum versehen mit der diskreten Metrik
d(i, j) := δi,j auf, so ist jede reellwertige Funktion auf E stetig und (ii) ist gerade
die übliche Definition der schwachen Konvergenz von Wahrscheinlichkeitsmaßen
auf E.
Aufgabe 4.
(a) Sei Π ∈ [0, 1]E×E eine stochastische Matrix, (Xn )n∈N0 eine zugehörige Markovkette und es sei A ⊆ E. Eine Funktion f : E → R heißt harmonisch auf E \ A,
wenn für alle i ∈ E \ A gilt
X
f (i) =
Π(i, j)f (j) = Ei [f (X1 )] .
j∈E
Sei weiter HA := inf{n ∈ N0 : Xn ∈ A} die Eintrittszeit in A und für i ∈ E
sei hA (i) := Pi (HA < ∞). Zeigen Sie, dass hA harmonisch auf E \ A ist und
die Randbedingungen hA (i) = 1 für alle i ∈ A erfüllt. Man kann zeigen, dass
für jede andere nichtnegative, auf E \ A harmonische Funktion f , die diese
2
Randbedingungen erfüllt, f (i) ≥ hA (i) für alle i ∈ E gilt. Somit ist hA die
minimale Lösung.
(b) Ein Spieler betritt ein Kasino mit einem Vermögen von 1 ≤ i ≤ N − 1 e, das
er mit Hilfe des folgenden Glücksspiels auf N e vergrößern möchte: In jeder
Runde gewinnt der Spieler mit Wahrscheinlichkeit p ∈ (0, 1) einen Euro und
verliert mit Wahrscheinlichkeit q = 1 − p einen Euro seines Vermögens. Das
Spiel endet, sobald er entweder sein komplettes Vermögen verspielt hat, oder
sein Ziel erreicht hat. Die Bestimmung der Wahrscheinlichkeit, dass er das
Kasino pleite verlässt, heißt das Ruinproblem. Lösen Sie dieses Problem mit
Hilfe von Teil (a).
Aufgabe 5. Sei (Xn )n∈N0 eine Markovkette mit abzählbarem Zustandsraum E
und Übergangsmatrix Π. Weiter sei τ eine Stoppzeit bezüglich der natürlichen
Filtration von (Xn )n∈N0 und es seien k ∈ E und A ∈ σ(Xτ ∧n , n ∈ N0 ) mit
P (A∩{Xτ = k}) > 0. Zeigen Sie unter Verwendung der starken Markoveigenschaft,
dass dann für alle B ∈ P(E)⊗N0 gilt:
P (Xτ +n )n∈N0 ∈ B A ∩ {Xτ = k} = Pk (Xn )n∈N0 ∈ B
Was ergibt sich in dem Fall, dass τ ≡ m ∈ N0 eine konstante Stoppzeit ist?
Aufgabe 6.
(a) Begründen Sie, dass eine irreduzible Markovkette auf einem endlichen Zustandsraum rekurrent ist.
(b) Zeigen Sie, dass eine Markovkette auf einem endlichen Zustandsraum keine
null rekurrenten Zustände hat.
Hinweis: Reduzieren Sie auf den irreduziblen Fall.
Aufgabe 7. Sei (Xn )n∈N0 eine irreduzible und positiv rekurrente Markovkette auf dem abzählbaren Zustandsraum E mit stationärer Startverteilung α. Sei
τ := inf{n ∈ N : Xn = X0 }. Berechnen Sie Eα [τ ] und folgern Sie, dass dieser
Erwartungswert genau dann endlich ist, wenn E endlich ist. Widerspricht dies im
Falle eines unendlichen Zustandsraumes der positiven Rekurrenz von (Xn )n∈N0 ?
Aufgabe 8. Sei E ein endlicher Zustandsraum und für die stochastischen Matrizen Π, Π0 ∈ [0, 1]E×E gelte Π(i, j) > 0 ⇔ Π0 (i, j) > 0 für alle i, j ∈ E. Begründen
Sie, dass ein Zustand j ∈ E genau dann transient bzw. (positiv) rekurrent bzgl.
Π ist, wenn er es bzgl. Π0 ist. Zeigen Sie ferner, dass dies nicht mehr zu gelten
braucht, wenn E abzählbar unendlich ist.