28 - Humboldt-Universität zu Berlin

16.3
Rekurrente und transiente Zustände
Für alle n ∈ N bezeichnen wir mit
fi (n) = P (Xn = i, Xn−1 6= i, . . . , X1 6= i, X0 = i)
die Wahrscheinlichkeit, daß nach n Schritten erstmalig
wieder der Zustand i erreicht wird. Es gilt:
fi (0) = 0 und fi (1) = pii .
Sei i fest und seien
∀k = 1, . . . , n
Bk = {Xk = i, Xν 6= i
∀ν = 1, . . . , k − 1|X0 = i}
Bn+1 = {System befand sich während der ersten n Schritte
nie im Zustand i}.
717
W.Kössler, Humboldt-Universität zu Berlin
Offenbar
n+1
[
Bl = Ω,
Bl ∩ Bl 0 = ∅
(l 6= l0 ).
l=1
Dann gilt
pii (n) = P (Xn = i|X0 = i)
n+1
X
P (Xn = i|Bk ) · P (Bk )
=
=
k=1
n
X
fi (k)pii (n − k) + P (Xn = i|Bn+1 ) · P (Bn+1 )
k=1
718
W.Kössler, Humboldt-Universität zu Berlin
Wegen P (Xn = i|Bn+1 ) = 0 folgt
pii (n) =
n
X
fi (k) · pii (n − k)
(n ≥ 1).
k=1
Damit läßt sich fi (k) rekursiv berechnen:
fi (0) = 0,
fi (1) = pii
pii (2) = fi (1) · pii (1) + fi (2) · pii (0)
= p2ii + fi (2)
fi (2) = pii (2) − p2ii
X
2
pii (2) =
pik pki ≥ pii .
k
719
W.Kössler, Humboldt-Universität zu Berlin
Wirbezeichnen mit
Fi :=
∞
X
fi (j)
j=1
die Wkt., daß man irgendwann in den Zustand i zurückkehrt.
Def. 63 Ein Zustand i ∈ S heißt rekurrent, wenn Fi = 1 gilt.
Ist dagegen Fi < 1, so heißt er transient.
Bemerkung: Wir werden in der Vorlesung einige der folgenden
Beweise weglassen.
Satz 68 Zustand i rekurrent ⇒ er wird unendlich oft erreicht
mit Wkt. 1.
720
Zustand i transient ⇒ er kann höchstens endlich oft erreicht
werden.
W.Kössler, Humboldt-Universität zu Berlin
Beweis: Sei ri (k) die Wkt., dass die MK mindestens k mal
nach i zurückkehrt.
ri (k) =
∞
X
P (k -1 mal zurück | erstmals nach n Schritten zurück) ·
n=1
P (nach n Schritten das erste Mal nach i zurück)
∞
X
=
fi (n)ri (k − 1)
n=1
= ri (k − 1)
∞
X
fi (n)
n=1
= ri (k − 1)Fi
⇒ ri (k) = Fik
721
W.Kössler, Humboldt-Universität zu Berlin
Ist i rekurrent, also Fi = 1, dann ist ri (k) = 1 ∀k ∈ N.
Sei i transient, d.h. Fi < 1.
Sei Zi die Anzahl der Besuche in i.
P (Zi = k) = Fik (1 − Fi )
geometrische Verteilung mit Parameter (1 − Fi ).
1
<∞
EZi =
1 − Fi
722
W.Kössler, Humboldt-Universität zu Berlin
Satz 69 Ein Zustand i ist genau dann rekurrent, wenn gilt:
∞
P
pii (n) = ∞.
n=0
Er ist genau dann transient, wenn
∞
P
pii (n) < ∞ ist.
n=0
Beweis: (für einen anderen Beweis siehe z.B.
Mathar/Pfeifer, Satz 3.2.1).
Erinnerung:
pii (n) =
n
X
fi (k) · pii (n − k)
(n ≥ 1)
k=1
Multiplizieren diese Gleichung mit z n und summieren über n:
723
W.Kössler, Humboldt-Universität zu Berlin
Pi (z) :=
=
∞
X
n=1
∞
X
pii (n)z n
zn
n=1
=
X
n
fi (k) · pii (n − k)
k=1
zfi (1) · pii (1 − 1)
2
+z fi (1) · pii (2 − 1) + fi (2) · pii (2 − 2)
3
+z fi (1) · pii (3 − 1) + fi (2) · pii (3 − 2) + fi (3) · pii (3 − 3)
+...
+z n fi (1) · pii (n − 1) + . . . + fi (n) · pii (0)
+...
724
W.Kössler, Humboldt-Universität zu Berlin
=
∞
X
z ν pii (ν)
zfi (1) 1 +
ν=1
∞
X
+z 2 fi (2) 1 +
z ν pii (ν)
ν=1
+...
∞
X
+z n fi (n) 1 +
z ν pii (ν)
ν=1
+...
∞
X
ν
=
z fi (ν) · 1 + Pi (z)
ν=1
= Fi (z) · 1 + Pi (z)
725
W.Kössler, Humboldt-Universität zu Berlin
wobei
Fi (z) :=
∞
X
z ν fi (ν).
ν=1
Die Fkt. Fi (z) und Pi (z) sind analytisch für |z| < 1.
Pi (z)
,
Fi (z) =
1 + Pi (z)
Fi (z)
Pi (z) =
1 − Fi (z)
lim Fi (z) = Fi (1) = Fi =
z→1
∞
X
fi (ν)
ν=1
ist die Wkt. für eine Rückkehr nach i. Sei
lim Pi (z) = Pi =
z→1
726
∞
X
pii (n) = ∞
n=1
W.Kössler, Humboldt-Universität zu Berlin
Daraus folgt
Pi (z)
Fi = lim
= 1,
z→1 1 + Pi (z)
d.h. i ist rekurrent.
Sei umgekehrt Fi = 1. Dann folgt
Pi = lim Pi (z) =
z→1
1
1 − limz→1 Fi (z)
= ∞.
Der zweite Teil des Satzes ist die Kontraposition des ersten
Teils.
2
Folg. 11 Sei i transient. dann
Pi
Fi =
< 1.
1 + Pi
727
W.Kössler, Humboldt-Universität zu Berlin
Diese beiden Aussagen können zum Beweis des folgenden
Lemmas verwendet werden.
Lemma 70 Ist ein Zustand i rekurrent (transient) und
kommuniziert er mit einem Zustand j (i ←→ j), so ist auch
der Zustand j rekurrent (transient).
Beweis: 1. Sei i ←→ j. Dann existieren m, k > 0:
pij (k) > 0 und pji (m) > 0. Für alle n ∈ N gilt:
X X
pjj (m + n + k) =
pjk0 (m)pk0 l (n) plj (k)
l
=
X
k0
pjl (m + n)plj (k)
l
≥ pji (m)pii (n)pij (k)
728
(l = i).
W.Kössler, Humboldt-Universität zu Berlin
Daraus folgt (da i rekurrent)
∞
X
n=1
pjj (m + n + k) ≥ pji (m)pij (k)
∞
X
pii (n) = ∞.
n=1
2. Sei i ←→ j. und i transient. Ang, j wäre rekurrent, dann
wäre nach 1. auch i rekurrent. Wid.
2
Folg. 12 Eine irreduzible M ARKOFF’sche Kette mit endlich
vielen Zuständen hat nur rekurrente Zustände.
Beweis: Mindestens ein Zustand muß rekurrent sein. Da alle
Zustände miteinander kommunizieren, sind alle Zustände
rekurrent.
2
729
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 117 (Random walk, eindim. Fall) Der Zustandsraum
ist S = Z. Die Übergangswahrscheinlichkeiten sind
pi,i+1 := p
pi,i−1 := 1 − p
pij := 0,
falls |i − j| =
6 1.
D.h. Übergänge zwischen Zuständen, die einen Abstand
ungleich Eins zueinander haben, sind nicht möglich. Die
730
W.Kössler, Humboldt-Universität zu Berlin
Übergangsmatrix M hat folgende Gestalt:

..
..
..
..
.
.
.
.

 ...
0
p
0


 ... 1 − p
0
p

M=
 ...
0
1−p
0


 ...
0
0
1−p

..
..
..
.
.
.
..
.
0 ...
0 ...
p ...
0 ...
.. . .
.
.







.





Offenbar kommunizieren alle Zustände miteinander. Ist somit
ein Zustand rekurrent, so sind es alle. Und umgekehrt.
731
W.Kössler, Humboldt-Universität zu Berlin
Es genügt also zu untersuchen:
∞
X
p00 (n).
n=1
Dazu siehe den Abschnitt Irrfahrten!
P∞
1
p
(n)
=
∞,
wenn
p
=
.
n=1 00
2
732
W.Kössler, Humboldt-Universität zu Berlin
Bsp. 118 (Random walk, zwei- und dreidim. Fall) Im
zweidimensionalen Fall haben wir in jedem Zustand vier
mögliche Übergänge, denen die Wahrscheinlichkeiten
p1 , p2 , p3 und p4 zugeordnet werden. DieZustände sind
rekurrent, wenn p1 = p2 = p3 = p4 = 41 gilt.
Im dreidimensionalen Fall sind in jedem Punkt im
dreidimensionalen ganzzahligen Gitter sechs Übergänge
möglich. Auch wenn p1 = . . . = p6 = 61 , so sind alle Zustände
transient.
Dazu siehe den Abschnitt Irrfahrten!
733
W.Kössler, Humboldt-Universität zu Berlin
(die folgenden drei Seiten können überlesen werden.)
Sei jetzt der Zustand i Startzustand (fest) und
Y1 = # Schritte bis zur ersten Rückkehr nach i
Y2 = # Schritte bis zur zweiten Rückkehr
Yk = # Schritte bis zur k-ten Rückkehr
P (Y1 < ∞) = Fi
Y1 = ∞ =⇒ Y2 = ∞, d.h. {Y1 = ∞} ⊆ {Y2 = ∞}
=⇒ P (Y2 < ∞|Y1 < ∞) = Fi
734
W.Kössler, Humboldt-Universität zu Berlin
P (Y2 < ∞) = P (Y2 < ∞|Y1 < ∞) · P (Y1 < ∞)
= Fi2
P (Yk < ∞) = Fik
Sei jetzt Fi < 1. =⇒
∞
X
k=1
P (Yk < ∞) =
∞
X
Fik < ∞
k=1
Folg. 13 i transient =⇒ nach unendlich vielen Schritten tritt
i höchstens endlich oft mit Wkt. 1 ein.
735
W.Kössler, Humboldt-Universität zu Berlin
Beweis:
Nach dem Lemma von Borel-Cantelli gilt
∞
X
P (Ak ) < ∞ =⇒ P (lim sup An ) = 0.
k=1
Mit Ak = {Yk < ∞},
Bn =
S
k≥n
Ak ↓ folgt
0 = P (lim sup An ) = P (lim Bn ) = lim P (Bn ) = P (B)
B = {unendlich viele der Ak , k = 1, 2, . . . , treten ein}
B = {endlich viele derAk , k = 1, 2, . . . , treten ein}
P (B) = 1
2
736
W.Kössler, Humboldt-Universität zu Berlin
Folg. 14 Sei jetzt i rekurrent, d.h. Fi = 1. =⇒ i wird
unendlich oft erreicht.
Beweis:
Für beliebiges k gilt: P (Yk < ∞) = 1.
Y = # der Rückkehren nach i bei unendlich vielen Schritten.
{Yk < ∞} ⇔ {Y ≥ k}
P (Y = ∞) = lim P (Y ≥ k) = lim P (Yk < ∞) = 1.
k→∞
k→∞
2
737
W.Kössler, Humboldt-Universität zu Berlin
16.4
Grenzverteilungen
Def. 64 Ein Zustand i heißt periodisch mit der Periode d,
falls d größter gemeinsamer Teiler aller der Zahlen n ∈ Z+
ist, für die pii (n) > 0 gilt. Ist d = 1, so heißt der Zustand i
aperiodisch. Falls für alle Zahlen n ∈ Z+ pii (n) = 0 gilt, so
setzen wir d := ∞.
Satz 71 Es sei i ∈ S ein periodischer Zustand mit Periode d.
Desweiteren kommuniziere er mit einem weiteren Zustand j
(i ←→ j). Dann hat auch der Zustand j die Periode d.
Beweis: Nach Voraussetzung ist i periodischer Zustand mit
Periode d. Folglich lassen sich alle Zahlen k mit pii (k) > 0
738
W.Kössler, Humboldt-Universität zu Berlin
durch k = k0 · d, für eine Zahl k0 , darstellen. Da die Zustände
i und j miteinander kommunizieren, existieren weitere
Zahlen n und m, so daß gilt:
pij (n) > 0 und pji (m) > 0.
Daraus folgt mit Hilfe der Rekursion von
C HAPMAN –KOLMOGOROFF:
X
pii (n + m) =
pil (n) · pli (m)
l∈S
≥ pij (n) · pji (m)
> 0
Folglich ist d Teiler der Summe n + m.
739
W.Kössler, Humboldt-Universität zu Berlin
Es gelte nun pjj (r) > 0 für ein gewisses r. Dann gilt:
X
pii (n + m + r) =
pil (n) · pls (r) · psi (m)
l,s∈S
≥ pij (n) · pjj (r) · pji (m)
> 0
Wir stellen also fest:

d teilt m + n + r 
d teilt r.
d teilt m + n 
Folglich ist der Zustand j periodisch mit Periode d0 , wobei
gilt: d0 ≤ d.
Da die Relation ←→“ symmetrisch ist, gilt auch: j ←→ i.
”
740
W.Kössler, Humboldt-Universität zu Berlin
Mit der gleichen Beweisführung wie oben können wir dann
zeigen, daß gilt: d ≤ d0 . Daraus folgt: Die Zustände i und j
haben die gleiche Periodenlänge.
2
Es sei nun i ein Zustand aus dem Zustandsraum S. Wir
betrachten die folgende Zufallsgröße:


1
2
...
n
...
.
Y :
fi (1) fi (2) . . . fi (n) . . .
Wir definieren die mittlere Rückkehrzeit in den Zustand i:
µi :=
∞
X
n · fi (n) = EY.
n=1
741
W.Kössler, Humboldt-Universität zu Berlin
Def. 65 Es sei i ein Zustand aus dem Zustandsraum S. Der
Zustand i heißt positiv rekurrent, falls µi < ∞ gilt. Ist
dagegen µi = ∞, so nennen wir den Zustand i
Null–rekurrent.
Es gelten für einen beliebigen Zustand i die folgenden
Zusammenhänge (ohne Beweis):
• µi < ∞ genau dann, wenn lim pii (n) > 0;
n→∞
• µi = ∞ genau dann, wenn lim pii (n) = 0.
n→∞
• Ist der Zustand i positiv rekurrent und aperiodisch, so
gilt:
1
µi =
.
lim pii (n)
n→∞
742
W.Kössler, Humboldt-Universität zu Berlin
Def. 66 Eine M ARKOFF’sche Kette {Xt }t∈T heißt ergodisch,
falls der Zustandsraum S nur aus positiv–rekurrenten und
aperiodischen Zuständen besteht.
Satz 72 (Ergodensatz) Eine homogene M ARKOFF’sche
Kette {Xt }t∈T ist genau dann irreduzibel und ergodisch,
wenn für alle Zustände i ∈ S gilt:
pj := lim pij (n) > 0.
n→∞
Außerdem gilt µj =
1
pj
und {pj } ist eindeutig bestimmt durch:
pj =
∞
X
pi · pij .
i=1
743
W.Kössler, Humboldt-Universität zu Berlin
{pi } heißt stationäre oder Finalverteilung. Die stationäre
Verteilung kann also nach obiger Gleichung ermittelt werden.




p1
p1




 p 
 p 
 2 
 2 
 . 
 . 
T


..  .
p =  ..  = M · 






 pj 
 pj 




..
..
.
.
Also gilt: MT · p = p = λ · p mit λ = 1. Eigenwertgleichung
für den Eigenwert 1. p ist Eigenvektor zum Eigenwert 1.
Bem. 28 M und MT haben dieselben Eigenwerte.
744
W.Kössler, Humboldt-Universität zu Berlin
Folg. 15 Sei M die Übergangsmatrix einer M ARKOFF’schen
Kette mit endlich vielen Zuständen (in der Form, in der die
Äquivalenzklassen ablesbar sind) Dann gilt: Die Vielfachheit
des Eigenwertes 1 ist gleich der Anzahl der rekurrenten
Äquivalenzklassen.
Beweis: Jede Teilübergangsmatrix von Äquivalenzklassen
hat den einfachen Eigenwert 1 (Finalverteilung eindeutig!) 2
Bsp. 119 Wir betrachten eine M ARKOFF’sche Kette über
einem dreielementigen Zustandsraum, die die folgende
745
W.Kössler, Humboldt-Universität zu Berlin
Übergangsmatrix M besitzt:


M =

1
2
3
4
1
2
1
4
0


0 
.
0 0 1
Äquivalenzklassen: {1, 2}, {3}. Wir ermitteln die Eigenwerte:
0 = det(M − λ · I)
1 −λ
1
0
2
2
3
1
= 4
−
λ
0
4
0
0
1−λ 1
3
1
= (1 − λ) · 2 − λ · 4 − λ − 8
746
W.Kössler, Humboldt-Universität zu Berlin
Der erste Eigenwert: λ1 = 1. Weiter:
1
1
0 = 2 −λ · 4 −λ −
1 3
3
2
=
− λ+λ −
8 4
8
1
3
2
= λ − λ−
4
4
r
9
3
16
λ2,3 =
±
+
8
64 64
r
3
25
=
±
8
64
3 5
λ2 =
+ =1
8 8
1
λ3 = −
4
747
3
8
W.Kössler, Humboldt-Universität zu Berlin
Also: Eigenwerte: λ1 = λ2 = 1 und λ3 = − 41 . Der Eigenwert
1 hat folglich die Häufigkeit 2, und somit gibt es zwei
rekurrente Äquivalenzklassen.
Folg. 16 Falls
X
i
pij =
X
pij = 1
j
so sind die stationären Verteilungen einer endlichen
irreduziblen Markoffschen Kette Gleichverteilungen.
748
W.Kössler, Humboldt-Universität zu Berlin
Beweis: Es gilt für die stationäre Verteilung (p1 , . . . , pn ):
X
X
pij
pi pij = pj = pj
i
i
Daraus folgt ∀j
X
(pi − pj )pij = 0,
insbesondere
X
j0 = min pj
i
(pi − pj0 )pij0 = 0,
i
Wegen (pi − pj0 ) ≥ 0 folgt pj0 = pi
j
∀i, d.h. pi = n1 .
2
Folg. 17 Ist die Übergangsmatrix einer endlichen
irreduziblen Markoffschen Kette symmetrisch so sind die
stationären Verteilungen Gleichverteilungen.
749
W.Kössler, Humboldt-Universität zu Berlin
Veranschaulichung von lim pjj (n) =
Ergodensatzes
1
µj
und des
{Xt }: homogene Markoffsche Kette
j: rekurrenter Zustand, X0 = j (j fest).

1,
falls Xk = j
Yk =
0,
sonst.
P (Yk = 1) = pjj (k),
750
EYk = pjj (k)
W.Kössler, Humboldt-Universität zu Berlin
Anzahl der Wiederkehrzeitpunkte im Zeitraum 1, . . . , N
N
X
Yk = kN .
k=1
Beobachtete mittlere Anzahl der Wiederkehrpunkte pro
Schritt (im Zeitraum 1, . . . , N )
kN
N
N
N
kN
1 X 1 X
Yk =
EYk
∼ E
= E
N
N n=1
N n=1
N
X
1
pjj (n)
=
N n=1
751
W.Kössler, Humboldt-Universität zu Berlin
Mittlere beobachtete Wiederkehrzeit im Zeitraum 1, . . . , N
N
→ µj
kN
=⇒
N
1
1 X
pjj (n) →N →∞
N n=1
µj
Andererseits:
N
1
1 X
pjj (n) →N →∞ pj = .
lim pjj (n) = pj =⇒
n→∞
N n=1
µj
752
W.Kössler, Humboldt-Universität zu Berlin
Abschätzung der Konvergenzgeschwindigkeit
X
1
c(n0 ) := 1 − sup
|pim (n0 ) − pjm (n0 )|
2 i,j m
Für n ≥ n0 gilt:
c(n) > 0.
Satz 73 Sei c(n0 ) > 0 für ein gewisses n0 . dann existiert
lim pj (n) = pj ,
n→∞
j = 1, 2, . . .
und es gilt für alle Anfangsverteilungen {p0j }:
|pj (n) − pj | ≤ C · e−Dn ,
753
W.Kössler, Humboldt-Universität zu Berlin
wobei
1
C=
,
1 − c(n0 )
Beweis:
1
1
D=
ln
n0 1 − c(no )
Rosanov, Zufällige Prozesse
pj (n) = P (Xn = j) =
X
2
p0i pij (n)
i
754
W.Kössler, Humboldt-Universität zu Berlin