Stochastische Prozesse: Übungen Woche 2 Markovketten

Stochastische Prozesse: Übungen Woche 2
Markovketten, Markoveigenschaft
Aufgabe 1. (a) Sei P, P 0 zwei stochastische Matrizen. Zeigen Sie, dass PP 0 auch eine
stochastische Matrix ist.
(b) Sei X die Markovkette mit Übergangsmatrix P und Startverteilung ν. Zeigen Sie, dass
(Xkn )n≥0 , k ∈ N, eine Markovkette mit Übergangsmatrix P k ist.
Aufgabe 2. Zwei Urnen A und B enthalten zusammen N Bälle. In einem Experiment
wird eine Urne gewählt, daraus ein Ball gezogen, nochmals eine Urne gewählt und den
gezogenen Ball in diese Urne zurückgelegt. Sei Yn die Anzahl Bälle in Urne A. Bestimmen
Sie die Übergangsmatrix und klassifizieren die Zustände (d.h. finde Äquivalenzklassen),
wenn
(a) Die erste Urne wird mit Wahrscheinlichkeit P [A] =“Anzahl Bälle in A”/N , die zweite
mit Wahrscheinlichkeit P [A] = p gewählt.
(b) Die erste Urne wird mit Wahrscheinlichkeit P [A] = p, die zweite mit Wahrscheinlichkeit
P [A] =“Anzahl Bälle in A”/N gewählt.
(c) Beide Urnen werden mit Wahrscheinlichkeit P [A] =“Anzahl Bälle in A”/N gewählt.
Aufgabe 3. Sei Xn die (allgemein nicht symmetrische) Gambler’s-Ruin-Markovkette, d.h.
die Kette mit Zustandsraum S = {0, . . . , N } und mit Übergangswahrscheinlichkeiten
px,x+1 = 1 − px,x−1 = p ∈ [0, 1] für 0 < x < N und p00 = pN N = 1.
(a) Für p = 1/2 zeigen Sie mit Hilfe der Markoveigenschaft, dass Px [HN < H0 ] = x/N für
jedes x ∈ S.
(b) Finden Sie diese Wahrscheinlichkeit im Fall p 6= 1/2.
1