Markovketten

Fiedler/Timm/Winter
Wintersemester 2012/2013
Markovketten
Übungsblatt 1 - Lösung
Aufgabe 3
Sei (Xn )n∈N0 eine Markovkette mit dem
Übergangsmatrix

A
P = (pij )i,j∈S =  A 0.6
B 0.2
Zustandsraum S = {A, B} und der

B
0.4 
0.8
a) Bestimme P(X4 = A, X3 = B, X2 = B, X1 = A|X0 = A).
b) Bestimme P(X2 = A|X0 = A).
c) Bestimme P n für allgemeines n ∈ N0 .
Tipp:
Versuche, für Teil c) die Matrix P geschickt als P = U DU −1 darzustellen.
Lösung: a) Wir wandern über den Pfad A → A → B → B → A. Alle Schritte sind voneinander
unabhängig, daher müssen wir nur strikt der Übergangsmatrix folgen:
P(X4 = A, X3 = B, X2 = B, X1 = A|X0 = A) = pAA pAB pBB pBA = 0.6 · 0.4 · 0.8 · 0.2 = 0.0384
b) Wir können die Formel für die 2-Schritt-Übergangswahrscheinlichkeit nutzen:
P(X2 = A|X0 = A)
X
=
P(X2 = A|X1 = j) · P(X1 = j|X0 = A)
j∈S
= P(X2 = A|X1 = A) · P(X1 = A|X0 = A) + P(X2 = A|X1 = B) · P(X1 = B|X0 = A)
= pAA pAA + pAB pBA
= 0.62 + 0.4 · 0.2 = 0.44
Die Matrix
P2
erschlägt diesen Fall auch:
P2
=
0.44 0.56
2
= 0.44 die
, folglich ist PAA
0.28 0.72
gesuchte Wahrscheinlichkeit.
c) Die Idee des Tipps ist natürlich die Diagonalisierung: Es gilt
P n = (U DU −1 )n = U Dn U −1
und die Potenz der Diagonalmatrix D lässt sich komponentenweise berechnen. Zunächst berechnen wir die Eigenwerte und eine geeignete Eigenbasis von P . Das charakteristische Polynom
ist
X − 0.6
−0.4
det(X − P ) = det
= (X − 0.6)(X − 0.8) − 0.2 · 0.4 = X 2 − 1.4X + 0.4
−0.2
X − 0.8
Seite 2 von 2
Die Nullstellen dieses Polynoms und damit die Eigenwerte von P sind 1 und 0.4 (übrigens ist
bei jeder Übergangsmatrix einer der Eigenwerte 1). Nun fehlt noch eine Eigenbasis, die aus den
Lösungen der Gleichungssysteme
1 0
0.6 0.4
x1
0.4 −0.4
x1
x1
1
−
=
= 0 =⇒
=λ·
für λ ∈ R
0 1
0.2 0.8
x2
−0.2 0.2
x2
x2
1
und
0.4 0
0.6 0.4
y1
−0.2 −0.4
y1
y1
−2
−
=
= 0 =⇒
= λ·
für λ ∈ R
0 0.4
0.2 0.8
y2
−0.2 −0.4
y2
y2
1
1 −2
besteht. Somit haben wir unsere Transformationsmatrix U =
gefunden. Die Inverse
1 1
1
2
1 0
−1
3
3
ist U =
und zusammen mit der Diagonalmatrix D =
erhalten wir also
− 13 31
0 0.4
P = U DU
−1
=
und
n
P = (U DU
−1 n
n
) = UD U
2
3
1
3
1
1 −2
1 0
3
− 13
1 1
0 0.4
−1
n
1
1 −2
=
1 1
0
0
2 n
1
3
− 31
5
2
3
1
3
was man nun leicht zusammenfassen kann:
n n
1
2
2 n
1 1 + 2 · 52
1
1
0
1 −2
1 −2 · 52
1 2
2
−
2
·
3
3
5
n
n
=
=
· ·
n
2 n
1 1
− 31 13
0 52
2 + 52
1
1 − 25
3 −1 1
3
5
Insbesondere fällt auf, dass die Folge
(P n )
1
n∈N0
gegen die Matrix
3
1
3
2
3
2
3
konvergiert, d.h. nach
einer großen Anzahl von Schritten (z.B. 100) ist die Wahrscheinlichkeit, sich im Zustand A zu
befinden, ungefähr 13 , egal in welchem Zustand man gestartet ist. Später werden wir noch eine
einfachere Methode kennenlernen, um unter bestimmten Bedingungen solche Wahrscheinlichkeiten zu berechnen.