Markov-Ketten II.

Markov-Ketten II.
Definitionen
• Eine Markov-Kette heißt irreduzibel wenn sie bezüglich Erreichbarkeit aus nur einer
Klasse besteht, das heißt wenn jeder Zustand von jedem aus erreichbar ist.
• Die Zahl
di =
(
n
o
(n)
(n)
ggT n ≥ 1 : pii > 0
falls pii > 0 für zumindest ein n
(n)
0
falls pii = 0 für alle n
heißt Periode des Zustands i.
• Eine Markov-Kette heißt aperiodisch, falls jeder Zustand Periode 1 hat.
• Eine Markov-Kette heißt regulär, falls sie aperiodisch und irreduzibel ist.
(n)
• Die Zahl fi bezeichnet die Wahrscheinlichkeit, vom Zustand i ausgehend nach n Zeitschritten erstmals wieder nach i zurückzukehren. Das heißt
(n)
fi = P Xn = i, Xk 6= i für 1 ≤ k < nX0 = i .
• Die Zufallsvariable Ti ist die (zufällige) Rückkehrzeit von i nach i. Das heißt, dass
(n)
P(Ti = n) = fi .
• Die Wahrscheinlichkeit
fi =
∞
X
(n)
fi
n=1
heißt Rückkehrwahrscheinlichkeit von i nach i.
• Ein Zustand heißt rekurrent falls fi = 1.
• Ein Zustand, der nicht rekurrent ist, heißt transient.
• Zu einem rekurrenten Zustand i heißt die Zahl
mi = E(Ti ) =
∞
X
(n)
nfi
n=1
die mittlere Rückkehrzeit.
• Ein rekurrenter Zustand für den mi < ∞ gilt heißt positiv rekurrent. Ein rekurrenter
Zustand für den mi = ∞ gilt heißt null-rekurrent. Ein aperiodischer, positiv rekurrenter
Zustand heißt ergodisch.
1
• Eine Verteilung p heißt invariant unter der Übergangsmatrix P wenn
p=p·P
gilt, das heißt wenn der Vektor p ein (links-)Eigenvektor zum Eigenwert 1 der Matrix
P ist.
Satz
Für eine reguläre Markov-Kette gilt:
1. Jeder Zustand ist positiv rekurrent.
2. Für n → ∞ konvergieren die Matrixen P n (d.h. die Übergangsmatrizen für n Zeitschritte) gegen eine Matrix P∞ mit gleichen Zeilenvektoren. Das heißt, P∞ ist von der
Form


p0 p1 p2 . . . ps
p0 p1 p2 . . . ps 


P∞ =  .
..  .
.
.
.
p0 p1 p2 . . . ps
3. Alle Zahlen p0 , . . . , ps sind positiv, und p = (p0 , . . . , ps ) ist ein (links-)Eigenvektor zum
Eigenwert 1 der Übergangsmatrix P . Unter der Bedingung p0 + · · · + ps = 1 ist der
Vektor p eindeutig festgelegt.
4. Die mittlere Rückkehrzeit des i-ten Zustandes ist 1/pi .
5. Egal, mit welcher Anfangsverteilung die Markov-Kette startet, es gilt immer die Konvergenz p(n) → p. Das heißt, die durchschnittliche Wahrscheinlichkeit, sich im i-ten Zustand
zu befinden, ist pi . Die Verteilung p heißt stationäre Verteilung der Markov-Kette.
2