4 Grenzverteilungen Def. 5.10 Ein Zustand i heißt periodisch mit der

4 Grenzverteilungen
Def. 5.10 Ein Zustand i heißt periodisch mit der Periode d,
falls d größter gemeinsamer Teiler aller der Zahlen n ∈
Z+ ist, für die pii(n) > 0 gilt. Ist d = 1, so heißt der
Zustand i aperiodisch. Falls für alle Zahlen n ∈ Z+
pii(n) = 0 gilt, so setzen wir d := ∞.
Satz 5.4 Es sei i ∈ S ein periodischer Zustand mit Periode d. Desweiteren kommuniziere er mit einem weiteren
Zustand j (i ←→ j). Dann hat auch der Zustand j die
Periode d.
Beweis: Nach Voraussetzung ist i periodischer Zustand
mit Periode d. Folglich lassen sich alle Zahlen k mit
pii(k) > 0 durch k = k0 · d, für eine Zahl k0, darstellen.
Da die Zustände i und j miteinander kommunizieren,
existieren weitere Zahlen n und m, so daß gilt:
pij (n) > 0 und pji(m) > 0.
437
W.Kössler, Humboldt-Universität zu Berlin
Daraus folgt mit Hilfe der Rekursion von C HAPMAN –
KOLMOGOROFF:
pii(n + m) =
X
pil (n) · pli(m)
l∈S
≥ pij (n) · pji(m)
> 0
Folglich ist d Teiler der Summe n + m.
Es gelte nun pjj (r) > 0 für ein gewisses r. Dann gilt:
X
pii(n + m + r) =
pil (n) · pls(r) · psi(m)
l,s∈S
≥ pij (n) · pjj (r) · pji(m)
> 0
Wir stellen also fest:


d teilt m + n + r 
d teilt r.

d teilt m + n 
Folglich ist der Zustand j periodisch mit Periode d0, wobei gilt: d0 ≤ d.
Da die Relation ←→“ symmetrisch ist, gilt auch: j ←→
”
i. Mit der gleichen Beweisführung wie oben können wir
438
W.Kössler, Humboldt-Universität zu Berlin
dann zeigen, daß gilt: d ≤ d0. Daraus folgt: Die Zustände
i und j haben die gleiche Periodenlänge.
2
Es sei nun i ein Zustand aus dem Zustandsraum S.
Wir betrachten die folgende Zufallsgröße:


2 . . . n . . .
 1
Y :
.
fi(1) fi(2) . . . fi(n) . . .
Wir definieren die mittlere Rückkehrzeit in den Zustand
i:
µi :=
∞
X
n · fi(n) = EY.
n=1
Def. 5.11 Es sei i ein Zustand aus dem Zustandsraum
S. Der Zustand i heißt positiv rekurrent, falls µi < ∞
gilt. Ist dagegen µi = ∞, so nennen wir den Zustand i
Null–rekurrent.
439
W.Kössler, Humboldt-Universität zu Berlin
Es gelten für einen beliebigen Zustand i die folgenden
Zusammenhänge (ohne Beweis):
• µi < ∞ genau dann, wenn lim pii(n) > 0;
n→∞
• µi = ∞ genau dann, wenn lim pii(n) = 0.
n→∞
• Ist der Zustand i positiv rekurrent und aperiodisch,
so gilt:
1
µi =
.
lim pii(n)
n→∞
Def. 5.12 Eine M ARKOFF’sche Kette {Xt}t∈T heißt ergodisch,
falls der Zustandsraum S nur aus positiv–rekurrenten
und aperiodischen Zuständen besteht.
Eine irreduzible M ARKOFF’sche Kette {Xt}t∈T auf einem endlichen Zustandsraum S ist ergodisch.
440
W.Kössler, Humboldt-Universität zu Berlin
Satz 5.5 (Ergodensatz) Eine homogene M ARKOFF’sche
Kette {Xt}t∈T ist genau dann irreduzibel und ergodisch,
wenn für alle Zustände i ∈ S gilt:
pj := lim pij (n) > 0.
n→∞
Außerdem gilt µj =
1
pj
und {pj } ist eindeutig bestimmt
durch:
pj =
∞
X
pi · pij .
i=1
{pi} heißt stationäre oder Finalverteilung. Die stationäre
Verteilung kann also nach obiger Gleichung ermittelt
werden. Wir definieren:


p
 1
 
 p2 
 
 
. 
p := 
 . .
 
 
 pj 
 
..
441
W.Kössler, Humboldt-Universität zu Berlin
Dann gilt offenbar:


p
 1
 
 p2 
 
 
T
. 
p=
 . =M
 
 
 pj 
 
..


p
 1
 
 p2 
 
 
. 
·
 . .
 
 
 pj 
 
..
Also gilt: MT · p = p = λ · p mit λ = 1. Eigenwertgleichung für den Eigenwert 1. p ist Eigenvektor zum
Eigenwert 1.
Bem. 25 M und MT haben dieselben Eigenwerte.
Folg. 15 Sei M die Übergangsmatrix einer M ARKOFF’schen
Kette mit endlich vielen Zuständen (in der Form, in der
die Äquivalenzklassen ablesbar sind) Dann gilt: Die Vielfachheit des Eigenwertes 1 ist gleich der Anzahl der rekurrenten Äquivalenzklassen.
Beweis: Jede Teilübergangsmatrix von Äquivalenzklassen hat den einfachen Eigenwert 1 (Finalverteilung ein442
W.Kössler, Humboldt-Universität zu Berlin
deutig!)
2
Bsp. 5.7 Wir betrachten eine M ARKOFF’sche Kette über
einem dreielementigen Zustandsraum, die die folgende
Übergangsmatrix M besitzt:



M =


1 1
2 2

0

3 1
.
0

4 4

0 0 1
Äquivalenzklassen: {1, 2}, {3}. Wir ermitteln die Eigenwerte:
0 = det(M − λ · I)
1
−λ 1
0 2
2
3
1
= 4 4 − λ 0 0 1−λ
0
1
1
3
= (1 − λ) · 2 − λ · 4 − λ − 8
443
W.Kössler, Humboldt-Universität zu Berlin
Der erste Eigenwert: λ1 = 1. Weiter:
1
3
1
0 = 2−λ · 4−λ −8
3
1 3
= − λ + λ2 −
8 4
8
3
1
= λ2 − λ −
4
4
r
9
3
16
+
λ2,3 = ±
8 r 64 64
3
25
= ±
8
64
3 5
λ2 = + = 1
8 8
1
λ3 = −
4
Also: Eigenwerte: λ1 = λ2 = 1 und λ3 = − 14 . Der
Eigenwert 1 hat folglich die Häufigkeit 2, und somit gibt
es zwei rekurrente Äquivalenzklassen.
Folg. 16 Falls
X
i
pij =
X
pij = 1
j
so sind die stationären Verteilungen einer endlichen irreduziblen Markoffschen Kette Gleichverteilungen.
444
W.Kössler, Humboldt-Universität zu Berlin
Beweis: Es gilt für die stationäre Verteilung (p1, . . . , pn):
X
pipij = pj
i
= pj
X
pij
i
Daraus folgt ∀j
X
(pi − pj )pij = 0,
Xi
(pi − pj0 )pij0 = 0,
insbesondere
j0 = min pj
j
i
Wegen (pi − pj0 ) ≥ 0 folgt pj0 = pi
∀i, d.h. pi = n1 . 2
Folg. 17 Ist die Übergangsmatrix einer endlichen irreduziblen Markoffschen Kette symmetrisch so sind die
stationären Verteilungen Gleichverteilungen.
445
W.Kössler, Humboldt-Universität zu Berlin
Veranschaulichung von lim pjj (n) =
1
µj
und des Er-
godensatzes
{Xt}: homogene Markoffsche Kette
j: rekurrenter Zustand, X0 = j (j fest).

1,
falls Xk = j
Yk =
0,
sonst.
P (Yk = 1) = pjj (k),
EYk = pjj (k)
Anzahl der Wiederkehrzeitpunkte im Zeitraum 1, . . . , N
N
X
Yk = k N .
k=1
Beobachtete mittlere Anzahl der Wiederkehrpunkte pro
Schritt (im Zeitraum 1, . . . , N )
N
N
kN
1 X 1 X
kN
∼ E
= E
Yk =
EYk
N
N
N n=1
N n=1
N
1 X
pjj (n)
=
N n=1
446
W.Kössler, Humboldt-Universität zu Berlin
Mittlere beobachtete Wiederkehrzeit im Zeitraum 1, . . . , N
N
→ µj
kN
=⇒
N
1
1 X
pjj (n) →N →∞
N n=1
µj
Andererseits:
N
1
1 X
pjj (n) →N →∞ pj = .
lim pjj (n) = pj =⇒
n→∞
N n=1
µj
447
W.Kössler, Humboldt-Universität zu Berlin