Markovketten

Fiedler/Timm/Winter
Wintersemester 2012/2013
Markovketten
Übungsblatt 4 - Lösung
Aufgabe 1
Sei (Xn )n∈N0 eine Markovkette auf dem Zustandsraum S = {0, 1, 2, 3} und mit
der Übergangsmatrix


0 1 2 3
 0 1 1 0 0 
2
2


1
1

P = (pij )i,j∈S = 
 1 2 0 2 0 
1
1
 2 0

2 0 2
1
1
3 0 0 2 2
d.h. eine einfache symmetrische Irrfahrt, die stehen bleibt, wenn sie S verlassen würde. Sei nun
(Yn )n∈N0 eine Markovkette mit dem gleichen Zustandsraum und der gleichen Übergangsmatrix,
die sich zunächst unabhängig von (Xn )n∈N0 bewegt. Jedoch soll Yn+1 = Xn+1 gelten, sobald
Yn = Xn gilt. Als Anfangswerte setzen wir X0 = 0 und Y0 = 3.
a) Ist der Prozess ((Xn , Yn ))n∈N0 eine Markovkette?
b) Ist (Xn )n∈N0 unabhängig von (Yn )n∈N0 ?
c) Welche Zustände von ((Xn , Yn ))n∈N0 sind rekurrent, welche transient?
Lösung: c) Die Menge der Zustände D := {(i, j) ∈ S ×S | i = j} ist eine abgeschlossene Menge,
da wir sie nicht verlassen können. Offensichtlich ist sie auch irreduzibel, da wir innerhalb von
drei Schritten von jedem dieser Diagonalzustände zu jedem anderen wandern können. Also sind
alle Zustände in D rekurrent.
Sei nun i 6= j. Nach drei Schritten ist die Wahrscheinlichkeit, von (i, j) aus den Zustand (0, 0) ∈ D
zu erreichen, positiv. Also ist q(i,j),(0,0) > 0, aber q(0,0),(i,j) = 0. Folglich ist jeder der Zustände
in (S × S)\D transient.
Aufgabe 4
Sei (Xn )n∈N0 eine Markovkette auf dem Zustandsraum S = {0, 1, 2} und mit der
Übergangsmatrix


0 1 2
 0 1 1 0 
2
2

P = (pij )i,j∈S = 
 1 1 1 1 
4
2
4
2 0 12 12
a) Berechne die stationäre Verteilung π.
b) Der Konvergenzsatz aus der Vorlesung besagt, dass pnij → πj für n → ∞. Wir können aber
noch etwas über die Konvergenzgeschwindigkeit sagen. Bestimme das kleinste c > 0, sodass ein
M > 0 existiert mit
|pnij − πj | ≤ M · cn für alle j ∈ S, n ∈ N0 .
Tipp:
Nach der Diagonalisierung sieht man vielleicht sofort, warum die Aussage gelten muss.
Seite 2 von 2
Lösung:
a) Das Verfahren ist mittlerweile (hoffentlich) bekannt:
π0 + π1 + π2 = 1
1
1
π0 = π0 + π1
2
4
1
1
1
π1 = π0 + π1 + π2
2
2
2
1
1
π2 = π1 + π2
4
1
Einsetzen von π0 = 1 liefert den Vektor (1, 2, 1), mit Normieren ist also die stationäre Verteilung
1 1 1
π = (πj )j∈S =
, , .
4 2 4
b) Wir können die Matrix in P = U DU −1 zerlegen. Das heißt, dass die n-te Potenz der Matrix
P n = U Dn U −1 eine Linearkombination der Einträge in der Diagonalmatrix Dn ist. Seien also
(λk )k∈S die Eigenwerte einer Übergangsmatrix, dann sind die Einträge von P n von der Form
X
−1
Uik · (λk )n · Ukj
pnij =
k∈S
d.h. sie hängen nur von den beiden Konstanten aus der Transformationsmatrix und ihrer Inversen
ab, und von den n-ten Potenzen der Eigenwerte.
Der Konvergenzsatz aus der Vorlesung besagt, dass pnij → πj für n → ∞, also alle Zeilen
des Limes zeigen die stationäre Verteilung, die der Links-Eigenvektor zum Eigenwert 1 ist.
Offensichtlich ist 1 der betragsmäßig größte Eigenwert. Nun betrachten wir |pnij − πj |. Lassen wir
nun n → ∞, so stellen wir fest, dass die Konvergenzgeschwindigkeit nur von den Eigenwerten
von P abhängen kann: Die Differenz |pnij − πj | ist ja nur noch von der Form
X
X
X −1
−1 −1 n
n
n
|pij −πj | = Uik ·(λk ) ·Ukj −πj = Uik ·(λk ) ·Ukj ≤
Uik ·Ukj (λ2 )n
k∈S
k∈S; λk 6=1
k∈S; λk 6=1
wobei λ2 := max{|λk | | k ∈ S, λk 6= 1} der betragsmäßig zweitgrößte Eigenwert von P ist. Dies
ist gleichzeitig die gesuchte Konstante c, das man, wie vom Tipp bereits versprochen, direkt aus
den Eigenwerten ablesen kann. Alle anderen Terme gehen offensichtlich schneller gegen Null als
der λ2 -Term, daher können wir nach oben abschätzen. Die dazugehörige Konstante
X −1 Mj :=
Uik · Ukj
k∈S; λk 6=1
ergibt sich ebenfalls aus obiger Rechnung, und wenn man ein M für alle j ∈ S haben möchte,
so nimmt man M := max{Mj | j ∈ S}.
In unserem Beispiel haben wir also für P das charakteristische Polynom X 3 − 32 X 2 + 12 X.
Dessen Nullstellen und damit die Eigenwerte von P sind 1, 12 und 0. Somit ist unsere gesuchte
Konstante für die Konvergenzgeschwindigkeit also c = 21 und das M muss laut Aufgabenstellung
nicht explizit ausgerechnet werden:
1 n
|pnij − πj | ≤ M ·
für alle j ∈ S, n ∈ N0 .
2