Markoff-Ketten - Hochschule Bremen

Markoff-Ketten
Prof. Dr. Thomas Risse
Fakultät Elektrotechnik & Informatik
Hochschule Bremen
www.weblearn.hs-bremen.de/risse/papers/FHWN2008
12.3.2008
Inhaltsverzeichnis
1 Markoff-Ketten – Definitionen, einführende Beispiele, erste
Einsichten
3
1.1
Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 Absorbierende Markoff-Ketten
5
5
2.1
Absorption . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.2
Fundamental-Matrix N . . . . . . . . . . . . . . . . . . . . . .
6
2.3
Mittlere Schrittanzahl bis zur Absorption . . . . . . . . . . . .
8
2.4
Absorptionswahrscheinlichkeiten . . . . . . . . . . . . . . . . .
8
2.5
Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3 Ergodische Markoff-Ketten
10
3.1
Reguläre Markoff-Ketten . . . . . . . . . . . . . . . . . . . . . 10
3.2
Fixe Vektoren, Eigen-Vektoren . . . . . . . . . . . . . . . . . . 11
3.3
Gleichgewicht . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.4
Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1
Th. Risse, HSB: Markoff-Ketten
4 Grenzwertsatz regulärer Markoff-Ketten
4.1
2
14
Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
5 Kennzahlen für ergodische Markoff-Ketten
16
5.1
MFPT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
5.2
MRT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
5.3
MFPT und MRT . . . . . . . . . . . . . . . . . . . . . . . . . 18
5.4
Fundamental-Matrix Z . . . . . . . . . . . . . . . . . . . . . . 19
5.5
M aus Z berechnen . . . . . . . . . . . . . . . . . . . . . . . . 20
5.6
Zentraler Grenzwert-Satz . . . . . . . . . . . . . . . . . . . . . 21
5.7
Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
A Lösungen der Übungen zu Abschnitt 1
24
B Lösungen der Übungen zu Abschnitt 2
24
C Lösungen der Übungen zu Abschnitt 3
28
D Lösungen der Übungen zu Abschnitt 4
31
E Lösungen der Übungen zu Abschnitt 5
31
3
Th. Risse, HSB: Markoff-Ketten
1
Markoff-Ketten – Definitionen, einführende Beispiele, erste Einsichten
Def. Eine Markoff1 -Kette ist eine (diskrete) Folge von diskreten Zufallsvariablen X (n) mit X (n) ∈ {s1 , s2 , . . . , sr }. X (n+1) hängt nur von X (n) ab, d.h.
es gibt konstante, von n unabhängige Übergangswahrscheinlichkeiten
pij = P (X (n+1) = sj |X (n) = si )
die den Übergang eines Systems vom Zustand si in den Folgezustand sj beschreiben. Die Übergangsmatrix P = (pij ) ist also eine Matrix von bedingten
Wahrscheinlichkeiten.
Z.B. Es gebe nur drei Wetterlagen: Regen, Sonne, Eis. Die Übergangsmatrix
R
S
E
R 1/2 1/4 1/4


P = S 1/2 0 1/2 beschreibt die Abfolge von Wetterlagen.
E 1/4 1/4 1/2

c
o
z.H. Was zeichnet Übergangsmatrizen aus?
(n)
Satz P sei Übergangsmatrix. Dann beschreibt Pn = (pij ) die Wahrscheinlichkeit der Zustandsübergänge von si nach sj in n Schritten.
•
z.H. Was sagt Pn im obigen Wetter-Beispiel?
o
Def. Ein Wahrscheinlichkeitsvektor u gibt an, mit welcher Wahrscheinlichkeit sich ein System in jedem seiner Zustände befindet. u(0) beschreibt den
initialen Zustand eines Systems und u(n) denjenigen nach n Zustandsübergängen.
Satz P sei Übergangsmatrix. Dann gilt u(n) = u(0) Pn .
•
Z.B. Im Wetter-Beispiel gilt u(3) = (1/3, 1/3, 1/3)P3 ≈ (.401, .198, .401). c
Z.B. Stille Post der binären Information ja/nein habe die Übergangsmatrix
j
n!
j 1−a
a
P=
für bedingte Wahrscheinlichkeiten a und b.
n
b
1−b
c
z.H. Wie sieht die Übergangsmatrix im Fall unabhängiger Zufallsvariabler
X (n) aus?
o
Z.B. Das Ehrenfest-Modell für Diffusion geht von zwei Urnen mit zusam-
men etwa vier Kugeln aus. Eine dieser vier Kugeln wird ausgewählt und
1
Andrei Andreyevich Markov (1856-1922)
www-history.mcs.st-andrews.ac.uk/Biographies/Markov.html
Th. Risse, HSB: Markoff-Ketten
4
von der einen in die andere Urne transferiert. Als Zustand des Systems gelte
die Anzahl der Kugeln in einer Urne. Dann resultiert die Übergangsmatrix
1
2
3
4 
 0
1
0
0
0
0 0


1/4 0 3/4 0
0 
1


1/2 0 1/2 0 
P = 2
c
.
 0
0 3/4 0 1/4
3

 0
0
0
1
0
4 0
Z.B. Angenommen, es gebe zwei Gene G und g. Merkmalsträger tragen GG
oder Gg (identisch zu gG) oder gg. GG heißt dominant, Gg hybrid und gg
rezessiv, d.h.
GG oo gg ⇒ Gg;
GG oo Gg ⇒ gleichwahrscheinlich GG oder Gg;
Gg oo gg ⇒ gleichwahrscheinlich Gg oder gg;
Gg oo Gg ⇒ gleichwahrscheinlich GG oder Gg oder gG oder gg;
Wenn nun immer mit hybriden Merkmalsträgern gepaart wird, ergibt sich die
GG Gg gg 
GG Gg gg


GG 1/2 1/2 0
GG 1
0 0




Übergangsmatrix P = Gg 1/4 1/2 1/4 bzw. P = Gg 1/2 1/2 0
gg
0 1/2 1/2
gg
0
1 0
wenn immer mit dominanten Merkmalsträgern gepaart wird.
c
Z.B. Erweiterung auf Paare liefert sechs Zustände (unabhängig vom Geschlecht) in einer Generation und damit ergibt sich die Übergangsmatrix
GG, GG GG, Gg GG, gg Gg, Gg Gg, gg gg, gg


GG, GG 1
0
0
0
0
0
GG, Gg 
1/2
0
1/4
0
0 
 1/4




GG, gg  0
0
0
1
0
0 

P=
c
Gg, Gg 
1/4
1/8
1/4
1/4 1/16
1/16



Gg, gg  0
0
0
1/4
1/2 1/4 
gg, gg
0
0
0
0
0
1
Z.B. Stepping Stone Model: Quadrate auf einem n × n Torus werden mit
2
k Farben eingefärbt. Es gibt also k n Zustände. Ein Zustandsübergang besteht darin, daß ein zufällig ausgewähltes Quadrat die Farbe eines seiner
acht Nachbarn annimmt. Die Markoff-Kette ist absorbierend, d.h. daß nach
genügend langer Zeit alle Quadrate dieselbe Farbe tragen.
c
5
Th. Risse, HSB: Markoff-Ketten
1.1
Übungen
1. Im ’Stille Post’-Beispiel berechne Pn für diverse a und b und n → ∞.
2. Vergleiche im Wetter-Beispiel Pn und An =
1
n+1
Pn
k=o
Pk für große n.
3. Wie sehen in den Genetik-Beispielen die Wahrscheinlichkeitsvektoren
u(n) für große n vermutlich aus?
4. Visualisiere das Stepping Stone Model.
2
Absorbierende Markoff-Ketten
Def. Ein Zustand si heißt absorbierend, wenn pii = 1.
Eine Markoff-Kette heißt absorbierend, wenn sie mindestens einen absorbierenden Zustand hat und wenn Zustandsübergänge von jedem Zustand zu
absorbierenden Zuständen möglich sind (d.h. mit positiver Wahrscheinlichkeit).
Ein nicht-absorbierender Zustand einer absorbierenden Markoff-Kette heißt
transient.
Wenn der durch die Markoff-Kette beschriebene Vorgang oder Prozess einen
absorbierenden Zustand erreicht, heißt er absorbiert.
Herr Schluckspecht torkelt zwischen Heim (0) und Kneipe (4) und
drei verschiedene Zwischenstationen (1, 2 und 3) hin und her – mit Über1
2
3
4 
 0
0 1
0
0
0
0


1
1/2 0 1/2 0
0 


1/2 0 1/2 0 
gangsmatrix P = 2
 0
 . Die Zustände 1, 2 und 3

3 0
0 1/2 0 1/2

4 0
0
0
0
1
sind transient. Und von diesen Zuständen können die beiden absorbierenden
Zustände 0 und 4 erreicht werden. Die Kette ist also absorbierend.
c
Z.B.
Gegeben eine absorbierende Markoff-Kette. Mögliche Fragestellungen sind:
• Mit welcher Wahrscheinlichkeit erreicht der Prozess irgendeinen absorbierenden Zustand?
• Mit welcher Wahrscheinlichkeit erreicht der Prozess einen bestimmten
absorbierenden Zustand?
6
Th. Risse, HSB: Markoff-Ketten
• Wie lange hält sich der Prozess im Durchschnitt in transienten Zuständen auf?
Def. Durch Umnummerieren der Zustände
! kann man die Übergangsmatrix
Q R
auf die kanonische Form P =
bringen, wobei bei t transienten
0 I
Zuständen Q eine t × t-Matrix, bei a absorbierenden Zuständen I die a × aIdentitätsmatrix und R dann eine t×a-Matrix mit nicht-negativen Elementen
ist.
!
Qn ∗
Bem. Es gilt P =
.
0 I
◦
z.H. Was bedeutet es, daß Qn Untermatrix von Pn ist?
o
n
2.1
Absorption
Satz Q sei Untermatrix der Übergangsmatrix P =
Q R
0 I
!
einer absor-
bierenden Markoff-Kette. Dann gilt limn→∞ Qn = 0.
•
Von jedem transienten Zustand sj können absorbierende Zustände
erreicht werden. Sei mj die minimale Anzahl von Schritten, in denen absorbierende Zustände von sj aus zu erreichen sind. Sei pj die Wahrscheinlichkeit
dafür, daß der Prozess in mj Schritten keinen absorbierenden Zustand erreicht. Dann gilt pj < 1. Sei m = maxj mj und p = maxj pj < 1. Die
Wahrscheinlichkeit dafür, in m Schritten nicht absorbiert zu werden, ist nicht
größer als p, diejenige dafür, in 2m Schritten nicht absorbiert zu werden, ist
nicht größer als p2 , usw. Also geht die Wahrscheinlichkeit dafür, in Vielfachen
von m Schritten nicht absorbiert zu werden, gegen 0. Da diese Wahrscheinlichkeiten monoton in der Anzahl der Schritte fallen, folgt Qn → 0, d.h. daß
√
Absorption ein sicheres Ereignis ist.
Bew.
2.2
Fundamental-Matrix N
!
Q R
Satz Q sei Untermatrix der Übergangsmatrix P =
einer ab0 I
sorbierenden Markoff-Kette. Dann existiert die Matrix N = (I − Q)−1 mit
N = I + Q + Q2 + . . . = (nij ). Der Prozess wird sich durchschnittlich nij -mal
im Zustand sj befinden, wenn er in si gestartet ist.
•
7
Th. Risse, HSB: Markoff-Ketten
Bew. Für x mit (I − Q)x = 0 oder eben x = Qx gilt x = Qn x → 0 und
damit notwendigerweise x = 0. Also existiert N = (I − Q)−1 .
(I − Q)(I + Q + Q2 + . . . Qn ) = I − Qn+1
I + Q + Q2 + . . . Qn = N(I − Qn+1 )
Aus Qn → 0 folgt die behauptete Darstellung von N.
(k)
Sei Q = (qij ) und Qk = (qij ). Seien si und sj feste transiente Zustände. Die
Zufallsvariable X (k) nehme den Wert 1 an, wenn der Prozess, gestartet in si ,
(k)
sich nach k Schritten in sj befindet, sonst 0. Dann gilt P (X (k) = 1) = qij
(k)
(k)
und P (X (k) = 0) = 1 − qij und somit E(X (k) ) = qij . Die durchschnittliche Anzahl der Male, daß sich der Prozess, gestartet in si , in den ersten n
Schritten im Zustand sj befindet, ist
(0)
(1)
(n)
E (X (0) + X (1) + . . . + X (n) ) = qij + qij + . . . + qij
Damit gilt
(0)
(1)
(2)
E (X (0) + X (1) + X (2) + . . . ) = qij + qij + qij + . . . = nij
√
für n → ∞ wie behauptet.
!
Q R
Def. Für eine absorbierende Markoff-Kette P =
heißt die Matrix
0 I
N = (I − Q)−1 Fundamental-Matrix von P. N = (nij ) ist dabei die zu
erwartende Anzahl von Besuchen des transienten Zustands sj für einen im
transienten Zustand si gestarteten Prozess.
Z.B. Herr Schluckspecht torkelt zwischen 0 bis 4 hin und her – mit Über-
1
2
3
0
4 
1 0 1/2 0 1/2 0

2
1/2
0 1/2 0
0 


1/2 0
0 1/2
gangsmatrix P = 3
 in kanonischer Form. Also
 0
0
0
1
0 
0

 0
0
0
0
1
4 0




0 1/2 0
1
−1/2
0



1
−1/2
ist Q = 1/2 0 1/2 und I − Q = −1/2
, woraus sich
0 1/2 0
0
−1/2
1


3/2 1 1/2


N = (I − Q)−1 =  1 2 1  berechnen läßt.
c
1/2 1 3/2

8
Th. Risse, HSB: Markoff-Ketten
2.3
Mittlere Schrittanzahl bis zur Absorption
Satz Sei N die Fundamental-Matrix einer absorbierenden Markoff-Kette.
Dann ist t = (ti ) = N(1, . . . , 1)0 = Ne die mittlere Anzahl von Schritten,
bevor der Prozess absorbiert, wenn er in si gestartet ist.
•
Bew. Die Summe ti der Elemente der i-ten Zeile von N ist gerade die mittlere
Anzahl von Schritten, die sich der Prozess, gestartet in si , in transienten
Zuständen aufhält. Also ist ti die mittlere Anzahl von Schritten, bevor der
√
Prozess absorbiert.
2.4
Absorptionswahrscheinlichkeiten
!
Q R
Satz Sei P =
die Übergangsmatrix in kanonischer Form und
0 I
N die Fundamental-Matrix einer absorbierenden Markoff-Kette. Sei bij die
Wahrscheinlichkeit dafür, daß der Prozess im absorbierenden Zustand sj absorbiert, wenn er im transienten Zustand si gestartet ist. Für B = (bij ) gilt
dann B = NR.
•
(n)
(n)
(n)
∞
pij = ∞
k nij rkj =
k
k qik rkj =
n=0 qik rkj =
n=0
2
(NR)ij oder auch gleich in Matrix-Form B = R + QR + Q R + . . . √
=
(I + Q + Q2 + . . .)R = NR.
Bew. bij =
P∞
n=1
P
P
P P

Z.B. Für Herrn Schluckspecht gilt N = (I − Q)−1
daher t = N(1, . . . , 1)0 = (3, 4, 3)0 . Weiterhin ist
0
4 
0


1 3/4
1 1/2 0


0  , so daß B = NR = 2
R = 2 0
1/2
3 0 1/2
3 1/4
2.5
P

3/2 1 1/2

= 1 2 1 
 und
1/2 1 3/2
4 
1/4
1/2
 folgt.
3/4
c
Übungen
1. Für welche a und b stellt das ’Stille Post’-Beispiel eine absorbierende
Markoff-Kette dar? Welche der Genetik-Beispiele sind absorbierend?
9
Th. Risse, HSB: Markoff-Ketten
16
8

2. Verifiziere N = 16 
8
4
Bestimme Ne und NR.

1 8 4
8 16 8 

 im Genetik-Beispiel mit Paaren.
2 16 8 
1 8 16

3. Mache R im Wetter-Beispiel absorbierend und bestimme Ne und NR.
4. Ein Prozess habe die Zustände 1,2,3,4 und 5. Er startet in 1 und geht
in einem Schritt gleichwahrscheinlich zu jedem höheren Zustand über.
Der Zustand 5 ist absorbierend. Was ist die mittlere Anzahl von Schritten, bis der absorbierende Zustand 5 erreicht wird?
Verallgemeinere das Beispiel auf n Zustände.
Vermute die Fundamental-Matrix des Prozesses und die mittlere Anzahl von Schritten bis zur Absorption.
Sei bk die mittlere Anzahl von Schritten bis zur Absorption, wenn der
Prozess im Zustand n − k startet.
Zeige: bo = 0 und bk = 1 + k1 (bo + b1 + . . . + bk−1 ).
P
k
Zeige: die charakteristische Funktion y = f (x) = ∞
k=0 bk x löst die
2 0
Differentialgleichung (1 − x) y − (1 − x)y − 1 = 0.
c
Zeige: die Lösungsgesamtheit der Dgl ist y = − log(1−x)
+ 1−x
.
1−x
1
1
1
Zeige: bk = 1 + 2 + 3 + . . . + k für alle k > 0.
5. Angenommen, ein Experiment hat m gleichwahrscheinliche Ergebnisse.
Zeige: die mittlere Zahl unabhängiger Ausführungen des Experimentes,
k −1
bevor ein Ergebnis k-mal nacheinander auftritt, ist mm−1
.
Forme dazu eine absorbierende Markoff-Kette mit Zuständen 1,2,. . . ,k,
wobei der Zustand i dafür steht, daß gerade ein Ergebnis i-mal nacheinander auftritt. Die gesuchte mittlere Anzahl ist gerade um 1 größer
als die mittlere Anzahl von Schritten vor Absorption, wenn der Prozess
im Zustand 1 gestartet ist.
6. Ein Spieler gewinnt einen Euro mit Wahrscheinlichkeit p und verliert
einen Euro mit Wahrscheinlichkeit q = 1−p. Bestimme die Wahrscheinlichkeit wx dafür, daß der Spieler eine Menge T gewinnt und dann alles
verliert, wenn er mit x Euro gestartet ist. Modelliere den Vorgang durch
eine Markoff-Kette mit Zuständen 0,1,. . . ,T , wo 0 und T absorbierend
sind. Bestimme w50 für T = 100 und p = .48 durch Simulation.
Zeige: wx = p wx+1 + q wx−1 für x = 1, 2, . . . , T −1 mit wo = 0, wT = 1
(q/p)x −1
Zeige: für p = 12 = q ist wx = Tx und für p 6= q ist wx = (q/p)
T −1 .
10
Th. Risse, HSB: Markoff-Ketten
3
Ergodische Markoff-Ketten
Def. Eine Markoff-Kette heißt ergodisch, wenn von jedem Zustand jeder
andere Zustand erreichbar ist.
◦
Bem. Ergodische Markoff-Ketten heißen manchmal auch irreduzibel.
Def. Eine Markoff-Kette P heißt regulär, wenn es ein n gibt, so daß Pn nur
positive Elemente hat.
o
z.H. Jede reguläre Markoff-Kette ist ergodisch.
!
Z.B. Nicht jede ergodische Markoff-Kette ist regulär, wie etwa P =
0 1
1 0
c
zeigt.
 0
1
2
3
4 
0 0
1
0
0
0



11/4 0 3/4 0
0 

1/2 0 1/2 0 
Z.B. Ebenso ist die Markoff-Kette P = 2
 0
 des

3 0
0 3/4 0 1/4

4 0
0
0
1
0
Ehrenfest-Modells ergodisch aber nicht regulär.
c
3.1
Reguläre Markoff-Ketten
z.H. Absorbierende Markoff-Ketten sind nicht regulär.
o
Satz Sei P die Übergangsmatrix einer regulären Markoff-Kette. Dann gilt
limn→∞ Pn = (w0 , w0 , . . . , w0 )0 für einen Wahrscheinlichkeitsvektor w = (wi )
mit wi > 0.
•
Bem. Beweis siehe Abschnitt 4 auf S. 14.
◦
Z.B. Im Wetter-Beispiel gilt mit einer Genauigkeit von drei Dezimal-Stellen
R
S
E
R 0.4 0.2 0.4


P6 ≈ S 0.4 0.2 0.4 .
E 0.4 0.2 0.4

c
Satz Sei P die Übergangsmatrix einer regulären Markoff-Kette. Wie gehabt,
gilt dann limn→∞ Pn = (w0 , w0 , . . . , w0 )0 für einen Wahrscheinlichkeitsvektor
w = (wi ) mit wi > 0. Dann gilt erstens
wP = w und jeder Zeilenvektor v mit vP = v ist ein Vielfaches von w
sowie mit e = (1, . . . , 1)0 zweitens
Pe = e und jeder Spaltenvektor v mit Pv = v ist ein Vielfaches von e.
•
Th. Risse, HSB: Markoff-Ketten
11
Bew. Aus Pn → W und Pn P → WP und Pn+1 → W folgt WP = W,
insbesondere also wP = w.
P
Aus vP = v folgt vPn = v und damit vW = v. Sei v = (vi ) und c = vi .
P
P
P
Wegen v = vW = cw (da ja w1 vi = v1 , w2 vi = v2 , . . . wr vi = vr )
gilt dann endlich v = rw.
Aus Pv = v folgt Wv = v. Da alle Zeilen von W identisch sind, müssen auch
die Komponenten von Wv alle identisch sein. Damit ist v ist ein Vielfaches
√
von e.
Bem. Es gibt genau einen Wahrscheinlichkeitsvektor v mit vP = v.
3.2
◦
Fixe Vektoren, Eigen-Vektoren
Def. Ein Zeilenvektor v mit vP = v heißt fixer Zeilenvektor für P. Ein fixer
Zeilenvektor ist ein linker Eigen-Vektor zum Eigen-Wert 1 von P.
Ein Spaltenvektor v mit Pv = v heißt fixer Spaltenvektor für P. Ein fixer
Spaltenvektor ist ein rechter Eigen-Vektor zum Eigen-Wert 1 von P.
Bem. Die identischen Zeilen w von W sind zugleich fixe Zeilenvektoren/linke Eigen-Vektoren zum Eigen-Wert 1 und Wahrscheinlichkeitsvektoren.
◦
Sei P die Übergangsmatrix
im Wetter-Beispiel.
Das System linea

1/2 1/4 1/4
0 1/2
rer Gleichungen wP = w 
1/2
 = w = (w1 , w2 , w3 ) ist wegen
1/4 1/4 1/2
w(P − I) = 0 überbestimmt und hat erst zusammen mit w1 + w2 + w3 = 1
die eindeutige Lösung w = 51 (2, 1, 2).
Man kann auch zunächst etwa w1 = 1 setzen und das System der ersten beiden Gleichungen von wP = w lösen und danach die Lösung w normalisieren,
P
so daß wi = 1 gilt.
c
Z.B.
Bem. Die gesuchten fixen Zeilenvektoren sind linke Eigen-Vektoren zum
Eigen-Wert 1 von P, d.h. wI = w = wP = oder w(P − I) = 0, d.h. w liegt
im linken Nullraum von P − I, als was w von mancher software berechnet
und dann normalisiert werden kann.
◦
Satz Sei P die Übergangsmatrix einer regulären Markoff-Kette. Sei v ein
beliebiger (initialer) Wahrscheinlichkeitsvektor. Dann gilt limn→∞ vPn = w
für den eindeutig bestimmten, fixen Wahrscheinlichkeitsvektor w.
•
Bew. Aus limn→∞ Pn = W folgt limn→∞ vPn = vW. v ist ein Wahrschein-
lichkeitsvektor. Aus W = (w0 , w0 , . . . , w0 )0 folgt daher vW = w.
√
Th. Risse, HSB: Markoff-Ketten
12
Bem. Die Wahrscheinlichkeit dafür, daß sich der Prozess im Zustand sj
befindet, geht also gegen wj unabhängig vom speziellen (initialen) Wahrscheinlichkeitsvektor v.
◦
3.3
Gleichgewicht
Bem. Falls der initiale Wahrscheinlichkeitsvektor gerade w ist, so gilt
wP = w, d.h. der Wahrscheinlichkeitsvektor ist für jeden Schritt konstant.
Ein solche Markoff-Kette heißt stationär.
◦
Satz Sei P die Übergangsmatrix einer ergodischen Markoff-Kette. Dann
existiert genau ein Wahrscheinlichkeitsvektor w mit wP = w = (wi ), wobei
wi > 0 für alle i.
Weiterhin ist jeder Zeilenvektor v mit vP = v ein Vielfaches von w und
jeder Spaltenvektor v mit Pv = v ein Vielfaches von e = (1, . . . , 1)0 .
•
Bew. Mit der ergodischen Übergangsmatrix P ist P̂ = 12 I + 12 P eine reguläre
Übergangsmatrix, die offensichtlich dieselben fixen Vektoren/linken EigenVektoren wie P hat. Also folgt die Behauptung aus dem entsprechenden
√
Satz für reguläre Markoff-Ketten.
Satz Sei P die Übergangsmatrix einer ergodischen Markoff-Kette und sei
1 Pn
k
0
An = n+1
k=0 P . Dann gilt limn→∞ An = W mit W = (w, w, . . . , w) für
den eindeutigen Wahrscheinlichkeitsvektor w mit wP = w.
•
Bem. Die Zufallsvariable X (n) nehme den Wert 1 an, wenn der Prozess,
gestartet in si , sich nach n Schritten im Zustand sj befindet. Dann be1 Pn
(k)
schreibt H (n) = n+1
, wie oft sich der Prozess in den ersten n
k=0 X
(n)
Schritten durchschnittlich im Zustand sj befindet. Wegen E (X (n) ) = pij
gibt (An )ij = E (H (n) ) die relative Häufigkeit des Zustandes sj in den ersten
n Schritten, wenn der Prozess in si startet, wieder. Der vorstehende Satz
sichert die Konvergenz dieser relativen Häufigkeit gegen wj .
◦
(n)
Satz Hj messe, wie häufig relativ zu n sich der Prozess in den ersten n
(n)
Schritten im Zustand sj befindet. Dann gilt limn→∞ P (|Hj − wj | > ) = 0
für jedes > 0 und unabhängig von initialen Zustand si .
•
Simulationen von Markoff-Ketten sollten diese theoretischen Ergebnisse bestätigen.
Z.B. Eine Ratte bewege sich in einem Labyrinth. Sie nimmt dabei jeden aus
einem Raum führenden Weg mit derselben Wahrscheinlichkeit.
Th. Risse, HSB: Markoff-Ketten
1
2
3
6
5
4
7
8
9
13
1
2
3
4
5
6
7
8
9


0
0 1/2 0
0
0
1 0 1/2 0
0 1/3 0 1/3 0
0
0
0 
2

1/3


0 1/2 0 1/2 0
0
0
0
0 
3


0 1/3 0 1/3 0
0
0 1/3
4

 0
1/4 0 1/4 0 1/4 0 1/4 0 

 0
P = 5



1/3
0
0
0
1/3
0
1/3
0
0
6



0
0
0
0 1/2 0 1/2 0 
7 0



0
0
0 1/3 0 1/3 0 1/3
8 0
0
0 1/2 0
0
0 1/2 0
9 0
Die Markoff-Kette ist nicht regulär, weil nur Zustandsübergänge von ungeradzahligen Zuständen zu geradzahligen und umgekehrt möglich sind. Offensichtlich ist die Markoff-Kette ergodisch. Anstatt ein System linearer Gleichungen in neun Unbekannten zu lösen, kann man vermuten, daß die Wahrscheinlichkeit eines Zustandes proportional zur Anzahl der Zugänge des zugehörigen Raumes ist. Sei daher v = (2, 3, 2, 3, 4, 3, 2, 3, 2). Wegen vP = v
1
ist w = 24
v der gesuchte Wahrscheinlichkeitsvektor.
c
Das Ehrenfest-Modell für Diffusion (pro Schritt wird eine der vier
Kugeln in den beiden Urnen zufällig ausgewählt und in die andere Urne
1
2
3
4 
 0
0 0
1
0
0
0



1
1/4
0
3/4
0
0



transferiert) hat die Übergangsmatrix P = 2 0 1/2 0 1/2 0 
.

3
0
0
3/4
0
1/4


4 0
0
0
1
0
1
(1, 4, 6, 4, 1) und damit die relativen Anteile an Zeit,
Es ergibt sich w = 16
1
(1, 4, 6, 4, 1) =
die der
Prozess
in
jedem
einzelnen Zustand verbringt. w = 16
4
4
4
4
4
1
, 1 , 2 , 3 , 4 ) entspricht gerade der Binomial-Verteilung, was ja
24 ( 0
auch insofern plausibel ist, als im Modell die vier Kugeln zufällig auf die
beiden Urnen verteilt werden.
c
Z.B.
3.4
Übungen
1. Welche der folgenden Matrizen
sind Übergangsmatrizen
regulärer
Mar!
!
!
1
1
1
1
0
1
, P2 = 12
, P3 =
,
koff-Ketten? P1 = 12
1 1
2 0
1 0




5 0 10
3 3 0


1 
1 
P4 = 15
0 15 0 , P5 = 6 0 3 3
0 3 12
2 2 2
Th. Risse, HSB: Markoff-Ketten
14
2. Unter welchen Bedingungen ist die Markoff-Kette im ’Stille Post’-Beispiel regulär? ergodisch aber nicht regulär?
Bestimme w für die ergodischen Markoff-Ketten.
!
0 1
3. Zeige: P =
ist ergodisch aber nicht regulär. Bestime w.
1 0
Zeige: limn→∞ Pn existiert nicht.
1 Pn
k
Zeige: mit An = n+1
k=0 P existiert limn→∞ An .
!
4. Für P =
1
2
2 0
bestimme w. Warum ist P nicht ergodisch?
1 1


4 0 0

1 
5. Zeige: P = 4 1 2 1 hat mehr als einen fixen Wahrscheinlichkeits0 0 4
vektor. Bestimme limn→∞ Pn . Hat limn→∞ Pn identischen Zeilen?
6. Zeige: das Ehrenfest-Modell ist ergodisch aber nicht regulär.
Zeige: w ist eine Binomial-Verteilung.
7. Zeige: ein ergodischer Prozess mit r Zuständen kann von jedem Zustand
in jeden anderen Zustand in höchstens r − 1 Schritten übergehen.
8. Sei P eine ergodische Markoff-Kette. Zeige: Wenn alle Diagonal-Elemente pii von P positiv sind, dann ist P regulär.
9. Sei P eine ergodische Markoff-Kette. Zeige: 12 (I + P) ist regulär.
10. Zeige: P und 12 (I + P) haben dieselben fixen Vektoren.
4
Grenzwertsatz regulärer Markoff-Ketten
Hier einer der beiden versprochenen Beweise für den
Satz Sei P die Übergangsmatrix einer regulären Markoff-Kette. Dann gilt
limn→∞ Pn = (w0 , w0 , . . . , w0 )0 für einen Wahrscheinlichkeitsvektor w = (wi )
mit wi > 0.
•
Lemma Bei insgesamt r Zuständen sei P = (pij ) eine r ×r-Übergangsmatrix
ohne verschwindende Elemente und d = minij pij . Dann gilt d > 0. Sei y =
(yi ) ∈ Rr ein Spaltenvektor mit mo = mini yi und Mo = maxi yi . Sei m1 =
mini (Py)i und M1 = maxi (Py)i . Dann gilt M1 − m1 ≤ (1 − 2d)(Mo − mo ).
15
Th. Risse, HSB: Markoff-Ketten
Py ist ein gewichtetes Mittel der Koordinaten von y. Das größte
gewichtete Mittel ergibt sich, wenn mit nur einer Ausnahme alle Koordinaten
den maximalen Wert Mo haben und jede dieser Koordinaten das maximale
Gewicht 1 − d trägt und wenn die einzige verbleibende Koordinate von y den
minimalen Wert mo hat und das minimale Gewicht d trägt. Entsprechend
ergibt sich das kleinste gewichtete Mittel, wenn mit nur einer Ausnahme alle
Koordinaten den minimalen Wert mo haben und jede dieser Koordinaten das
maximale Gewicht 1 − d trägt und wenn die einzige verbleibende Koordinate
von y den maximalen Wert Mo hat und das minimale Gewicht d trägt, d.h.
Bew.
Mo d + mo (1 − d) ≤ (Py)i ≤ mo d + Mo (1 − d)
woraus die Behauptung
M1 − m1 ≤ ( ≤ mo d + Mo (1 − d)) − (Mo d + mo (1 − d)) = (1 − 2d)(Mo − mo )
√
folgt.
Sei y ∈ Rr Wie im Lemma seien mn = mini (Pn y)i und Mn =
maxi (P y)i definiert. Wie im Lemma ist jede Komponente von Pn y ein gewichtetes Mittel der Komponenten von Pn−1 y. Dann gilt
Bew.
n
m o ≤ m 1 ≤ . . . ≤ m n ≤ . . . ≤ M n ≤ . . . ≤ M1 ≤ M o
und somit m = limn→∞ mn ≤ limn→∞ Mn = M . Um M − m = 0 zu gewährleisten, bleibt Mn − mn → 0 zu zeigen.
Angenommen, die Übergangsmatrix P habe keine verschwindenden Elemente. Dann ist d = minij pij > 0 und laut Lemma gilt
Mn − mn ≤ (1 − 2d)n (Mn−1 − mn−1 ) iteriert Mn − mn ≤ (1 − 2d)n (Mo − mo ).
Wegen r ≥ 2 gilt mit d ≤ 12 eben auch 0 ≤ 1 − 2d < 1, so daß Mn − mn → 0
für n → ∞ folgt. Da mn ≤ (Pn y)i ≤ Mn für jedes i gilt und da Mn −mn → 0,
muß jede Komponente von Pn y gegen denselben Wert m = u = M konvergieren, d.h. limn→∞ Pn y = (u, . . . , u)0 .
Sei nun y = (yi ) = (δi,j ) für ein festes j. Dann ist Py gerade die j-te
Spalte von P mit ausschließlich strikt positiven Elementen. Also gilt 0 <
mini (Pn y)i = m1 ≤ m. Dieses m ist aber gerade die j-te Komponente von
√
w, so daß alle Komponenten von w notwendig strikt positiv sind.
Bem. Ein anderer berühmter Beweis stammt von Döblin2 .
2
Wolfang Döblin (1915-1940)
◦
www-history.mcs.st-andrews.ac.uk/Biographies/Doeblin.html
Th. Risse, HSB: Markoff-Ketten
4.1
16
Übungen
!
!
2 2
1
1. Sei P =
und y =
. Berechne Pn y für kleine n.
1 3
0
Gegen welchen Vektor konvergiert Pn y ?
1
4
2. Sei P eine reguläre Markoff-Kette mit r Zuständen und y ∈ Rn .
Zeige: limn→∞ Pn y = (wy)i .

4 0
1 
3. Sei P = 4 1 0
0 0
toren. Ist P nicht
5

0
3
. Zeige: P hat zwei linear unabhängige fixe Vek4
regulär?
Kennzahlen für ergodische Markoff-Ketten
Man ist an der mittleren Zeit, bis das System einen bestimmten Zustand
einnimmt, oder an der mittleren Zeit für den Übergang von einem in einen
anderen Zustand interessiert.
Sei P die Übergangsmatrix einer ergodischen Markoff-Kette mit Zuständen
s1 , s2 , . . . , sr . Sei w = (wi ) der eindeutig bestimmte Wahrscheinlichkeitsvektor mit wP = w. Dann wird der Prozess relativ wj viele Zeiteinheiten im
Zustand sj verbringen.
Folgendes Vorgehen liefert genauere Einsichten: Man spezifiziert eine neue
Markoff-Kette, indem man den interessierenden Zustand sj durch pjj = 1
absorbierend macht. Bei Start in si verhält sich der neue Prozess solange wie
der alte, bis er den Zustand sj einnimmt.
Sei N = (nij ) die Fundamental-Matrix des neuen Prozesses, wobei nij der zu
erwartenden Anzahl von Malen entspricht, in denen sich der neue Prozess,
gestartet im transienten Zustand si , vor Absorption im Zustand sj befindet.
Für den alten Prozess ist nij also die zu erwartenden Anzahl von Malen, bis
der alte Prozess, gestartet im transienten Zustand si , sich erstmalig im Zustand sj befindet. N(1, 1, . . . , 1)0 = Ne ist die mittlere Anzahl von Schritten
des neuen Prozesses, gestartet in si , vor Absorption. Für den alten Prozess
ist N(1, 1, . . . , 1)0 = Ne daher die mittlere Anzahl von Schritten, bis der alte
Prozess, gestartet in si , erstmalig sj erreicht.
17
Th. Risse, HSB: Markoff-Ketten
5.1
MFPT
Def. Eine ergodische Markoff-Kette starte in si . Die mittlere Anzahl mij
von Schritten, bis der Prozess ausgehend von si erstmalig sj erreicht, heißt
Mean First Passage Time, MFPT. Man vereinbart mii = 0.
Ein Stück Käse macht aus dem Raum 5 im Ratten-Beispiel einen
absorbierenden Zustand.
Z.B.
1
2
3
6
5
4
7
8
9
1
2
3
4
6
7
8
9
5

0 1/2 0
0
0
1 0 1/2 0
0
2
0 1/3 0
0
0
0
0 1/3
1/3




0
1/2
0
1/2
0
0
0
0
0
3



0 1/3 0
0 1/3 0 1/3 1/3
4 0


0
0
0
0
0
0 1/3
P = 61/3 0
.



0
0
0 1/2 0 1/2 0
0 
7 0

0
0
0
0 1/3 0 1/3 1/3
8
 0



0 
0
0 1/2 0
0 1/2 0
9 0
5 0
0
0
0
0
0
0
0
1

mit Fundamental-Matrix

N = (I − Q)−1

14 9 4 3 9 4 3 2

4 4 2 2 2
 6 14 6



4
9 14 9 3 2 3 4 


1
4 6 14 2 2 4 6 
2

= 


6
4
2
2
14
6
4
2
8


4
3 2 3 9 14 9 4 




2 2 4 4 6 14 6 
2
2 3 4 9 3 4 9 14
Damit ist ist mittlere Anzahl von Schritten vor Absorption in Abhängigkeit
vom initialen Zustand gerade N(1, . . . , 1)0 = (6, 5, 6, 5, 5, 6, 5, 6)0 und B =
NR = (bij ) sind die Wahrscheinlichkeiten für die Übergänge von transienten
Zuständen si zum absorbierenden Zustand 5.
c
18
Th. Risse, HSB: Markoff-Ketten
5.2
MRT
vgl. MTTF, MTTR etc
Def. Eine ergodische Markoff-Kette starte in si . Die mittlere Anzahl ri von
Schritten, bis der Prozess ausgehend von si erstmalig wieder si erreicht, heißt
Mittlere Rückkehr-Zeit, Mean Recurrence Time, MRT.
Um die MFPT zu bestimmen, unterscheidet man einfach, ob der Prozess in
einem Schritt oder in mehreren Schritten vom Zustand si in den Zustand sj
übergeht: für i 6= j gilt
mij = 1 · pij +
X
pik (1 + mkj ) = pij +
k6=j
X
pik +
k6=j
X
pik mkj = 1 +
k6=j
X
pik mkj
k6=j
und für i = j ebenso (man erinnere mii = 0)
ri = 1 · pii +
X
pik (1 + mki ) = pii +
k6=i
5.3
X
pik +
k6=i
X
pik mki = 1 +
k6=i
X
pik mki .
k
MFPT und MRT
Def. M = (δij mij ) heißt MFPT-Matrix. D = (δij ri ) heißt MRT-Matrix. Sei
C = (1, 1, . . . , 1)0 (1, 1, . . . , 1) = ee0 eine r × r-Matrix, deren Elemente alle
identisch 1 sind.
Bem. Für i 6= j gilt mij = 1 + k6=j pik mkj = (C)ij + k pik mkj + (D)ij =
P
(PM + C − D)ij und für i = j gilt (M)ii = 0 = ri − ri = 1 + k pik mki =
(C)ii + (PM)ii − (D)ii , zusammen also M = PM + C − D oder ebenso
(I − P)M = C − D.
◦
P
P
Satz P sei Übergangsmatrix einer ergodischen Markoff-Kette. Dann gilt ri =
1/wi , wobei w = (wi ) der eindeutig bestimmte Wahrscheinlichkeitsvektor mit
w = wP ist.
•
Bew. Wegen w = wP gilt w(I − P) = 0. Also ist 0 = 0M = w(I − P)M =
wC−wD. Weil w ein Wahrscheinlichkeitsvektor ist, gilt wC = e0 . Weiterhin
√
ist wD = (wi ri ). Aus e0 = wC − wD = (wi ri ) folgt die Behauptung.
Bem. Für eine ergodische Markoff-Kette sind die wi strikt positiv, weil die
ri = 1/wi endlich sind.
◦
Die Ratte hält sich in den Räumen des Labyrinths ohne Käse mit
1
Wahrscheinlichkeiten w = 24
(2, 3, 2, 3, 4, 3, 2, 3, 2) auf. Die mittleren Rückkehrzeiten sind also r = (12, 8, 12, 8, 6, 8, 12, 8, 12).
c
Z.B.
Z.B. Im Wetter-Beispiel galt w =
sind also r = (2.5, 5, 2.5).
1
(2, 1, 2).
5
Die mittleren Rückkehrzeiten
c
19
Th. Risse, HSB: Markoff-Ketten
5.4
Fundamental-Matrix Z
Eine Fundamental-Matrix für ergodische Markoff-Ketten völlig analog zu derjenigen für absorbierende Markoff-Ketten kann es nicht geben, weil I − P für
ergodische Markoff-Ketten wegen Pe = e singulär ist.
Analog zu N = I + Q + Q2 + . . . mit Qn → 0 hilft hier der Ansatz
I + (P − W) + (P − W)2 + . . . mit Pn → W.
Wegen PW = W und wegen Wk = W gilt
(P − W)n =
n
X
n
i=0
i
!
(−1)i Pn−i Wi = Pn +
= Pn + W(
n
X
n
i=1
n
X
n
i=o
i
!
i
(−1)i Wi
!
(−1)i − 1) = Pn − W
und – analog zum Fall absorbierender Markoff-Ketten –
Z = (I − P + W)−1 =
∞
X
(P − W)n
n=o
falls die Reihe konvergiert. Die Existenz beleuchtet der
Satz P sei Übergangsmatrix einer ergodischen Markoff-Kette. Weiter sei
W = (w0 , w0 , . . . , w0 )0 , wobei w = (wi ) der eindeutig bestimmte Wahrscheinlichkeitsvektor mit w = wP ist. Dann ist die Matrix I − P + W regulär oder
eben invertierbar.
•
Bew. Sei x ein Spalten-Vektor mit (I − P + W)x = 0. Wegen w(I − P) = 0
und wW = w ist w0 = w(I−P+W)x = wx = 0 und zusammen (I−P)x =
0. Aus x = Px folgt mit dem Satz aus Abschnitt 3.3 auf S. 12, daß x ein
konstanter Vektor ist. Aus wx = 0 für w mit strikt positiven Elementen folgt
√
dann letztendlich x = 0.
Def. Z = (I−P+W)−1 heißt Fundamental-Matrix der ergodischen MarkoffKette P.




2 1 1
2 1 2
 1

1 
Z.B. Im Wetter-Beispiel gilt I − P + W = I − 4 2 0 2 + 5 2 1 2 =
1 1 2
2 1 2




18 −1
3
86 3 −14
1 
1 
−2 24 −2
6 63
6
, so daß Z = (I − P + W)−1 = 75 
 die
20 
3 −1 18
−14 3
86
Fundamental-Matrix ist.
c
20
Th. Risse, HSB: Markoff-Ketten
5.5
M aus Z berechnen
Lemma Für die Fundamental-Matrix Z = (I − P + W)−1 gilt Ze = e und
wZ = w sowie Z(I − P) = I − W.
Bew. Aus Pe = e oder eben (I−P)e = 0 und We = e folgt e = (I−P+W)e.
Multiplikation mit Z liefert Ze = e.
Aus wP = w oder eben w(I − P) = 0 und wW = w folgt analog w =
w(I − P + W) und per Multiplikation mit Z eben wZ = w.
(I − P + W)(I − W) = I − P + W + W + W − W = I − P multipliziert mit
√
Z ergibt Z(I − W) = I − P.
Satz M sei die MFPT-Matrix einer ergodischen Markoff-Kette mit Fundamental-Matrix Z = (zij ) und fixem Wahrscheinlichkeitsvektor w. Dann gilt
mij = (zjj − zij )/wj .
•
Bew. Aus (I − P)M = C − D und daher Z(I − P)M = ZC − ZD folgt mit
vorstehendem Lemma
M − WM = Z(I − P)M = C − ZD oder M = C − ZD + WM.
Für i 6= j gilt also mij = 1 − zij rj + (wM)j und für i = j eben 0 = mjj =
1 − zjj rj + (wM)j , aufgelöst also (wM)j = zjj rj − 1. Eingesetzt ergibt sich
√
mij = (zjj − zij )rj = (zjj − zij )/wj .

Z.B. Im Wetter-Beispiel galt Z =

Damit ergibt sich M =
1
3
0 12
0
10 12

 8

86 3 −14
1
1 
6 63
6
 und w = 5 (2, 1, 2).
75 
−14 3
86

10
8
c
.
0
Das Ehrenfest-Modell sei auf 2n Kugeln in den beiden Urnen verallgemeinert. Pro Sekunde werde eine Kugel ausgetauscht. Der Zustand sei
wieder durch die Anzahl der Kugeln in derersten Urne beschrieben. Für die
i

falls j = i − 1
 2n
i
falls j = i + 1 . Dann ist
Übergangswahrscheinlichkeiten gilt pij = 1 − 2n


0
sonst
P = (pij ) die Übergangsmatrix einer ergodischen, nicht regulären (warum?)
Markoff-Kette.
z.H. Man verifiziert wi = 2n
/22n .
o
i
Z.B.
Also gilt ri = 22n /
2n
i
für die mittleren Rückkehrzeiten.
√
√
−2n 2π2n
(2n)
(2n)2n e√
2 πn
Weil wegen Stirling wn = 2n2n ≈ (n
=
=
n e−n 2πn)2 22n
2πn
√1
πn
gilt oder
21
Th. Risse, HSB: Markoff-Ketten
weil die Binomial-Verteilung mit Parametern 2n und 21 gegen die Normal√
Verteilung konvergiert, kann für große n speziell wn ≈ √1πn und rn ≈ πn
angenähert werden.
c
5.6
Zentraler Grenzwert-Satz
Gegeben eine ergodische Markoff-Kette mit Zuständen s1 , s2 , . . . , sr . Bezeich(n)
ne Sj die Anzahl der Male, in denen während der ersten n Schritte sich der
Prozess im Zustand sj befunden hat. Man ist nun an der Verteilung der Zu(n)
fallsvariablen Sj interessiert. Der fixe Wahrscheinlichkeitsvektor w = (wj )
gibt ja die Zeit-Anteile an, in denen sich der Prozess im Gleichgewicht in
einzelnen Zuständen sj befindet.
(n)
z.H. Man verifiziert E (Sj ) ≈ nwj für n → ∞, indem man von
P
(n)
(k)
o
E (Sj ) = nk=1 pij für einen in si startenden Prozess ausgeht.
(n)
2
Weniger offensichtlich ist Var(Sj ) ≈ wj (2zjj − 1 − wj ) = σj für n → ∞.
Satz Für eine ergodische Markoff-Kette mit Fundamental-Matrix Z = (zij )
(n)
und fixem Wahrscheinlichkeitsvektor w sind die Zufallsvariablen Sj asymptotisch normal-verteilt: unabhängig vom initialen Zustand gilt für u, o ∈ R
und für n → ∞
(n)
P (u <
Sj
−nWj
√
nσj2
1 Z o −x2 /2
e
dx
< o) → √
2π u
(n)
wobei σj2 = wj (2zjj − 1 − wj ) die asymptotische Varianz von Sj
5.7
ist.
•
Übungen
!
1. Sei P =
1
4
2 2
. Bestimme Z und M.
1 3
!
2 2
. Der Prozess starte im Zu2. Im ’Stille Post’-Beispiel sei P = 14
3 1
stand ’j’. Bestimme die mittlere Anzahl von Schritten, bis die Information erstmalig falsch weitergegeben wird. Bestimme die MRT’s.
Verallgemeinere für beliebige a und b.
3. Zeige: Beim Würfeln ist die mittlere Anzahl von Würfen zwischen dem
Auftreten einer gegebenen Augenzahl gerade 6.
22
Th. Risse, HSB: Markoff-Ketten
4. Eine ergodische Markoff-Kette starte im Gleichgewicht, d.h. mit initialem Wahrscheinlichkeitsvektor w. Die mittlere Anzahl von Schritten
P
bis zum nächsten Auftreten des Zustandes si ist m̃i = k wk mki + wi ri .
Zeige: m̃i = zwiii unter Verwendung von wZ = w und mki = ziiw−zi ki .
5. Zeige: für eine ergodische Markoff-Kette gilt j mij wj = j zjj − 1 =
K. Die Kemeny-Konstante K ist unabhängig von i (plausible Erklärung
s.a. http://math.dartmouth.edu/˜doyle/docs/kc/kc.pdf)!
P
P
6. Sei P Übergangsmatrix einer regulären Markoff-Kette mit w. Eine Auszahlungsfunktion f legt Gewinn oder Verlust für jeden Zustand si fest.
Es gelte wf = 0. Für den mittlere Gewinn g(n) nach n Schritten gilt
g(n) = (I + P + . . . + Pn )f . Zeige: limn→∞ g(n) = g mit g = Zf .
Literatur
[1] Heinz Bauer: Wahrscheinlichkeitstheorie und Grundzüge der Maßtheorie; DeGruyter, Berlin 1991, ISBN 3-11-012191-3
[2] Lyndhurst Collins: An introduction to Markov chain analysis; Norwich,
Geo Abstracts, 1975, ISBN 0-902246-43-7
[3] Marek Fisz: Wahrscheinlichkeitsrechnung und mathematische Statistik;
VEB Deutscher Verlag der Wissenschaften, Berlin 1989, ISBN 3-32600079-0
[4] Charles Grinstead, J. Laurie Snell: Introduction to Probability;
AMS, 1997, ISBN 0-8218-0749-8 http://www.dartmouth.edu/˜chance/
teaching_aids/books_articles/probability_book/amsbook.mac.pdf
[5] William J. Stewart: Introduction to the numerical solution of Markov
chains; Princeton Univ. Press, 1994, ISBN 0-691-03699-3
Einschlägige klassische Literatur
[1] K.L. Chung: Markov Chains with Stationary Transition Probabilities;
Springer 1967
[2] J.L. Doobs: Stochastic Processes; Wiley 1953
Th. Risse, HSB: Markoff-Ketten
23
[3] W. Feller: An Introduction to Probability Theory and its Applications;
Wiley 1966
[4] D. Freedman: Markov Chains; Holden-Day 1975
[5] M. Iosifescu: Finite Markov Processes and their Applications; Wiley
1980
[6] J.G. Kemeny, J.L. Snell: Finite Markov Chains; van Nostrand 1960
[7] J.G. Kemeny, J.L. Snell, A.W. Knapp: Denumerable Markov Chains;
Springer 1976
[8] D. Revuz: Markov Chains; North-Holland 1975
[9] E. Seneta: Non-negative Matrices and Markov Chains; Springer 1981
24
Th. Risse, HSB: Markoff-Ketten
A
Lösungen der Übungen zu Abschnitt 1
1. Im ’Stille Post’-Beispiel berechne Pn für diverse a und b und n → ∞.
!
1 1
Z.B. für P =
gilt P2 = P und daher allgemein Pn = P
1 1
alle 0 < n ∈ N, so daß!Pn → P für n → ∞ folgt.
!
2n + 1 2n − 1
1
1
1 3 1
n
gilt P = 2n+1 n
→ 12
Z.B. für P = 4
n
1 3
2 −1 2 +1
1
für n → ∞.
1
2
2. Vergleiche im Wetter-Beispiel Pn und An =
1
n+1
Pn
k=o
für
!
1
1
Pk für große n.
3. Wie sehen in den Genetik-Beispielen die Wahrscheinlichkeitsvektoren
u(n) für große n vermutlich aus?


2 2 0


Z.B. für P = 14 1 2 1, also hybrid, gilt Pn → (w0 , w0 , w0 )0 für
0 2 2
1
0
n → ∞ mit w = 4 (1, 2, 1).


2 0 0


Z.B. für P = 12 1 1 0, also dominant, gilt Pn → (w0 , w0 , w0 )0 für
0 2 0
n → ∞ mit w0 = (1, 0, 0).
4. Visualisiere das Stepping Stone Model.
s.a. www.weblearn.hs-bremen.de/risse/papers/FHWN2008/StepStone.m
B
Lösungen der Übungen zu Abschnitt 2
1. Für welche a und b stellt das ’Stille Post’-Beispiel eine absorbierende
Markoff-Kette dar? Welche der Genetik-Beispiele sind absorbierend?
!
1−a
a
Wenn a = 0 oder b = 0, dann ist P =
absorbierend.
b
1−b


2 0 0

Die Markoff-Kette P = 12 
1 1 0, also dominant, ist mit einem ab0 2 0
sorbierenden Zustand absorbierend.


2 2 0


Die Markoff-Kette P = 14 1 2 1, also hybrid, ist nicht absorbie0 2 2
rend.
25
Th. Risse, HSB: Markoff-Ketten
16
8

2. Verifiziere N = 16 
8
4
Bestimme Ne und NR.

1 8 4
8 16 8 

 im Genetik-Beispiel mit Paaren.
2 16 8 
1 8 16

Die beiden Zustände GG,GG und gg,gg sind absorbierend. Dann ist
GG, Gg GG, gg Gg, Gg Gg, gg GG, GG gg, gg


0
1/4
0
1/4
0
GG, Gg 1/2
0
1
0
0
0 
GG, gg 
 0




1/8
1/4
1/4
1/16 1/16
Gg, Gg 1/4
 die ÜberP=
0
1/4
1/2
0
1/4 
Gg, gg 
 0



GG, GG 0
0
0
0
1
0 
gg, gg
0
0
0
0
0
1
!
Q R
gangsmatrix in kanonischer Form P =
. Man verifiziert leicht
0 I
N(I − Q) = I = (I − Q)N, also N = (I −!Q)−1 . Weiterhin gilt
0
1
1 3 2 2 1
0
Ne = 6 (29, 40, 34, 29) und NR = 4
.
1 2 2 3
3. Mache R im Wetter-Beispiel absorbierend und bestimme Ne und NR.
Falls der Zustand R absorbierend ist, muß pRR = 1 gelten. Die ÜberR
S
E
S
E
R


R 1/2 1/4 1/4
S 0 1/2 1/2




gangsmatrix P = S 1/2 0 1/2 ist P = E 1/4 1/2 1/4
E 1/4 1/4 1/2
R! 0
0
1
0 2
dargestellt in kanonischer Form mit Q = 41
, so daß I − Q =
1 2
!
!
4 −2
1
1 4 4
−1
und N = (I − Q) = 3
folgt. Dann ist Ne =
4 −1
2
2 8
1
(8, 10)0 und NR = (1, 1)0 .
3
4. Ein Prozess habe die Zustände 1, 2, 3, 4 und 5. Er startet in 1 und
geht in einem Schritt gleichwahrscheinlich zu jedem höheren Zustand
über. Der Zustand 5 ist absorbierend. Was ist die mittlere Anzahl von
Schritten, bis der absorbierende Zustand 5 erreicht wird?
Verallgemeinere das Beispiel auf n Zustände.
Vermute die Fundamental-Matrix des Prozesses und die mittlere Anzahl von Schritten bis zur Absorption.
Sei bk die mittlere Anzahl von Schritten bis zur Absorption, wenn der
Prozess im Zustand n − k startet.
26
Th. Risse, HSB: Markoff-Ketten
Zeige: bo = 0 und bk = 1 + k1 (bo + b1 + . . . + bk−1 ).
Nach Definition kann der Prozess vom Zustand n − k mit Wahrscheinlichkeit k1 , also gleichwahrscheinlich in einem Schritt in jeden der Zustände n − k + 1, n − k + 2, . . . , n − 1, n und jeweils
von n − (k − 1) in im Mittel bk−1 Schritten,
von n − (k − 2) in im Mittel bk−2 Schritten, usw.
und von n − 1 in im Mittel b1 Schritten
in den Zustand n übergehen. Zusammen gilt also
bk = k1 (1 + bk−1 ) + k1 (1 + bk−2 ) + . . . + k1 (1 + b1 ) + k1 (1 + bo )
= 1 + k1 (bo + b1 + . . . + bk−1 ),
√
wie behauptet.
k
Zeige: die charakteristische Funktion y = f (x) = ∞
k=0 bk x löst die
2 0
Differentialgleichung (1 − x) y − (1 − x)y − 1 = 0.
P
P∞
P
k−1
k
0
k
.
= f 0 (x) = ∞
Für y = f (x) = ∞
k=1 bk kx
k=1 bk x gilt y
k=0 bk x =
P
P∞
0
0
∞
1
1
k−1
k
Unter Verwendung von (1−x)2 = ( 1−x ) = ( k=o x ) = k=1 kx
=
P∞
y
1
k
0
k=o (k + 1)x folgt für die linke Seite lhs = y − 1−x − (1−x)2
P
∞
∞
∞
k
i
j
k
lhs = ∞
k=o (k + 1)x
i=1 bi x
j=o x −
k=o bk+1 (k + 1)x −
P
P∞
= k=o (bk+1 (k + 1) − (k + 1) − i+j=k bi )xk = 0,
P
P
P
P
da ja bk+1 (k + 1) = (k + 1) + (bo + b1 + . . . + bk−1 + bk ) für alle k gilt.
c
Zeige: die Lösungsgesamtheit der Dgl ist y = − log(1−x)
+ 1−x
.
1−x
−(1−x)/(1−x)+log(1−x)
0
Am einfachsten per Verifizieren: y = −
+
(1−x)2
1+c−log(1−x)
(1−x)2
1+c−log(1−x)
1−x
c
(1−x)2
√
=
und eingesetzt (1 − x)2 y 0 − (1 − x)y = 1 + c − log(1 − x) −
√
= 1 ⇐⇒ (1 + c − log(1 − x)) − (c − log(1 − x)) = 1
Zeige: bk = 1 + 21 + 13 + . . . + k1 für alle k > 0.
Wegen bo = 0 ist f (0) = 0. Also ist c = 0 und f (x) = − log(1−x)
. Wegen
1−x
P∞ 1 i
P∞
P∞ P∞ 1 i+j
xi
− log(1 − x) = i=1 i x gilt f (x) = i=1 i(1−x) = i=1 j=o i x
=
P∞ Pk 1 k
P∞
P∞ P
1
1
1 k
k
i+j=k i x =
k=1
i=1 i x =
k=1 (1 + 2 + . . . k )x . Mit dem
k=1
√
Identitätssatz für Potenzreihen folgt die Behauptung.
5. Angenommen, ein Experiment hat m gleichwahrscheinliche Ergebnisse.
Zeige: die mittlere Zahl unabhängiger Ausführungen des Experimentes,
k −1
bevor ein Ergebnis k-mal nacheinander auftritt, ist mm−1
.
Forme dazu eine absorbierende Markoff-Kette mit Zuständen 1,2,. . . ,k,
wobei der Zustand i dafür steht, daß ein Ergebnis gerade i-mal nacheinander auftritt. Die gesuchte mittlere Anzahl ist gerade um 1 größer
27
Th. Risse, HSB: Markoff-Ketten
als die mittlere Anzahl von Schritten vor Absorption, wenn der Prozess
im Zustand 1 gestartet ist.
Sei p = 1/m und q = 1 − p. Betrachte zur Illustration den Fall k = 2.
Dann gibt es nur den transienten
Zustand 1 und den absorbierenden
!
q p
Zustand 2. Es gilt P =
mit N = (I − Q)−1 = (1 − q)−1 = 1/p =
0 1
2 −1
m. Daher ist t = Ne = m sowie übereinstimmend mm−1
= m+1 = 1+t.
Für k = 3 gibt es die transienten Zustände
1 und 2 sowie den absor

q p 0

bierenden Zustand 3. Es gilt P = 
q 0 p mit N = (I − Q)−1 =
0 0 1
!
!
!
!−1
1 p
1 p
1+p
p −p
1
1
1
= p2
. So gilt t = Ne = p2
= p−pq
q p
q p
q+p
−q 1
3
1+p
1+p+p2
1 P2
1 1−p3
n
und speziell 1 + t1 = 1 + p2 = p2 = p2 n=0 p = p2 1−p = 1−p
=
p2 q
1−1/m3
1/m2 −1/m3
=
m3 −1
.
m−1
Für k = 4 gibt es die transienten Zustände 1,2 und 3 sowie
den ab
q p 0 0
q 0 p 0


sorbierenden Zustand 4. Hier gilt nun P = 
 mit N =
q 0 0 q 
0 0 0 1


−1

p −p 0
1
p p2




(I − Q)−1 = −q 1 −p = p13 1 − p2 p p2 . So gilt t =
q
qp p2
−q 0
1


2
1+p+p
2
2 +p3


Ne = p13  1 + p  und speziell 1 + t1 = 1 + 1+p+p
= 1+p+p
=
p3
p3
1
1−1/m4
1−p4
1 1−p4
m4 −1
1 P3
n
n=0 p = p3 1−p = p3 q = 1/m3 −1/m4 = m−1 .
p3
Im allgemeinen Fall gibt es die transienten Zustände
 1, 2, . . . , k−1 sowie

q p 0 0 ··· 0


 q 0 p 0 · · · 0


 q 0 0 q · · · 0


den absorbierenden Zustand k. Hier gilt P = 

 ... · · · 0 0 . . . ... 


q
··· 0 0
0 ··· 0 0
0
0


p
1
(P = diag(p*ones(1,k-1),1)+q*[ones(k-1,1);0]*[1 zeros(1,k-1)] +
[zeros(k-1,1);1]*[zeros(1,k-1) 1] in MATLAB) mit N = (I − Q)−1
28
Th. Risse, HSB: Markoff-Ketten
1
pk−1
 1−p
k−2
 k−1
 p
 1−pk−3
 k−1
 p


p

−q

 ..
=
 .
−q

−p 0 · · ·
1 −p · · ·
..
.
··· 1
···
−q · · ·
Damit
=
1
pk−1
0
0
1
0
0
0
..
.
−1




 =



−p




1
..
.
1
pk−2
1
pk−2
1−pk−3
pk−2
..
.
1
pk−3
1
pk−3
1
pk−3
..
.
1
pk−4
1
pk−4
1
pk−4
..
.
···
···
···
1
p

1
p
1

p
. .
· · · .. 


1
· · · p
· · · p1
1−p2
1−p2
1−p2
pk−2
pk−3
pk−4
q
q
q
pk−2
pk−3
pk−3
2 +...+pk−2
2 +...+pk−1
ist für t = Ne speziell 1+t1 = 1+ 1+p+ppk−1
= 1+p+ppk−1
Pk−1 n
1−1/mk
1−pk
1 1−pk
mk −1
n=0 p = pk−1 1−p = pk−1 q = 1/mk−1 −1/mk = m−1 .
1−p2
pk−1
q
pk−1
6. Ein Spieler gewinnt einen Euro mit Wahrscheinlichkeit p und verliert
einen Euro mit Wahrscheinlichkeit q = 1−p. Bestimme die Wahrscheinlichkeit wx dafür, daß der Spieler eine Menge T gewinnt und dann alles
verliert, wenn er mit x Euro gestartet ist. Modelliere den Vorgang durch
eine Markoff-Kette mit Zuständen 0,1,. . . ,T , wo 0 und T absorbierend
sind. Bestimme w50 für T = 100 und p = .48 durch Simulation.
Zeige: wx = p wx+1 + q wx−1 für x = 1, 2, . . . , T −1 mit wo = 0, wT = 1
(q/p)x −1
Zeige: für p = 12 = q ist wx = Tx und für p 6= q ist wx = (q/p)
T −1 .
Ein Spieler, der mit x Euro startet, erreicht den absorbierenden Zustand
mit Wahrscheinlichkeit wx , indem er entweder mit Wahrscheinlichkeit p
erst sein Startguthaben um einen Euro aufbessert und dann mit Wahrscheinlichkeit wx+1 alles verspielt oder indem er gleich mit Wahrscheinlichkeit q einen Euro und dann mit Wahrscheinlichkeit wx−1 den Rest
seines Guthabens verspielt. Also gilt wx = p wx+1 + q wx−1 und offensichtlich wo = 0 sowie wT = 1.
(q/p)x −1
Man verifiziert leicht, daß wx = Tx für p = 12 = q und wx = (q/p)
T −1 für
p 6= q Lösung obiger Gleichungen ist. Notwendigkeit?
C
Lösungen der Übungen zu Abschnitt 3
1. Welche der folgenden Matrizen
sind Übergangsmatrizen
regulärer
Mar!
!
!
0 1
1 1
1 1
koff-Ketten? P1 = 12
, P2 = 12
, P3 =
,
1 1
2 0
1 0




5 0 10
3 3 0


1 
1 
P4 = 15
0 15 0 , P5 = 6 0 3 3
0 3 12
2 2 2
P1 ist regulär, weil schon (P1 )1 =!P1 nur echt positive Elemente hat.
3 1
nur echt positive Elemente hat.
P2 ist regulär, weil P22 = 41
2 2
Th. Risse, HSB: Markoff-Ketten
P3 ist nicht regulär,

∗ ∗

Wegen P4 = 0 1
0 ∗

9
1 
2
Wegen P5 = 36  6
10
29
2n+1
= P3 gilt.
weil
P2n
3 = I und P3

∗
0
 ist P4 nicht regulär.
∗

18 9
15 15
 ist P5 regulär.
16 10
2. Unter welchen Bedingungen ist die Markoff-Kette im ’Stille Post’-Beispiel regulär? ergodisch aber nicht regulär?
Bestimme w für die ergodischen Markoff-Ketten.
!
1−a
a
P=
ist für a 6= 0, 1 6= b regulär.
b
1−b
!
0 1
Für a = 1 = b ist P =
ergodisch aber nicht regulär.
1 0
Offensichtlich löst w = (c/a, c/b) die Gleichung wP = w. Die Lösung
ab
w ist ein Wahrscheinlichkeitsvektor, wenn ac + cb = 1, wenn also c = a+b
1
gilt. Damit ist w = a+b
(b, a) die Gleichgewichtsverteilung.
!
0 1
3. Zeige: P =
ist ergodisch aber nicht regulär. Bestime w.
1 0
Zeige: limn→∞ Pn existiert nicht.
1 Pn
k
Zeige: mit An = n+1
k=0 P existiert limn→∞ An .
Wegen P2n = I und P2n+1 = P ist P ist ergodisch aber nicht regulär.
P hat die Gleichgewichtsverteilung w = 21 (1, 1).
Wegen P2n = I und P2n+1 = P existiert limn→∞ Pn !
nicht.
1 Pn
1 1 1
k
Es gilt limn→∞ An = limn→∞ n+1
.
k=0 P = 2
1 1
!
4. Für P =
1
2
2 0
bestimme w. Warum ist P nicht ergodisch?
1 1
Für den Wahrscheinlichkeitsvektor w = 12 (1, 1) gilt wP = w.
P ist nicht ergodisch, weil der Zustand 2 vom Zustand 1 aus nicht
erreicht werden kann.


4 0 0

1 
5. Zeige: P = 4 1 2 1 hat mehr als einen fixen Wahrscheinlichkeits0 0 4
vektor. Bestimme limn→∞ Pn . Hat limn→∞ Pn identischen Zeilen?
30
Th. Risse, HSB: Markoff-Ketten
Offensichtlich gilt
(1, 0, 0)P = (1,
0, 0) wie ebenso (0, 
0, 1)P = (0,
0, 1).



1
0
0
1 0 0
 n −1 1 2n −1 


Wegen Pn =  22n+1
gilt limn→∞ Pn =  12 0 12 , eben
2n
2n+1 
0
0
1
0 0 1
mit unterschiedlichen Zeilen!
6. Zeige: das Ehrenfest-Modell ist ergodisch aber nicht regulär.
Zeige: w ist eine Binomial-Verteilung.


0
1
0
0
0



1/4
0
3/4
0
0



Beispielsweise für P =  0 1/2 0 1/2 0 
 = (pij ) mit pij = 0

0 3/4 0 1/4

 0
0
0
0
1
0
(2n)
(2n+1)
falls i + j gerade gilt pij = 0 falls i + j ungerade und pij
= 0
falls i + j gerade. Daher ist P sicher nicht regulär. P ist ergodisch,
weil etwa die Zustandsübergänge 0 → 1 → 2 → 3 → 4 → 3 →
2 → 1 → 0 möglich sind. Etwa in diesem Beispiel gilt wP = w für
1
w = 16
(1, 4, 6, 4, 1).
7. Zeige: ein ergodischer Prozess mit r Zuständen kann von jedem Zustand
in jeden anderen Zustand in höchstens r − 1 Schritten übergehen.
Angenommen, der Zustand j sei vom Zustand i nicht in höchstens r −1
Schritten erreichbar, sondern nur in minimal s > r − 1 Schritten. In
s > r − 1 Schritten durchläuft der Prozess aber mehr als r Zustände.
Bei insgesamt r Zuständen muß der Prozess also mindestens einen Zustand mehrfach besuchen. Der Prozess macht also eine Schleife. Diese
kann unterbleiben, so daß der Zustand j vom Zustand i in weniger als
s Schritten erreichbar ist, was im Widerspruch zu Minimalität von s
steht.
8. Sei P eine ergodische Markoff-Kette. Zeige: Wenn alle Diagonal-Elemente pii von P positiv sind, dann ist P regulär.
Wegen der Ergodizität von P ist jeder Zustand j von jedem anderen
(n )
Zustand i erreichbar, d.h. pij ij > 0. Sei n = maxij nij . Dann sind alle
Einträge in Pn positiv, weil der Prozess mit positiver Wahrscheinlich(n )
keit pi,jij vom Zustand i in den Zustand j übergeht und wegen pjj > 0
eben noch für weitere n − nij Zustandsübergänge in j verbleiben kann.
9. Sei P eine ergodische Markoff-Kette. Zeige: 12 (I + P) ist regulär.
Wegen des 21 I Anteils sind alle Diagonal-Elemente positiv. Mit der vorangehenden Übung ist also 12 (I + P) regulär.
31
Th. Risse, HSB: Markoff-Ketten
10. Zeige: P und 12 (I + P) haben dieselben fixen Vektoren.
Mit wP = w gilt ebenso w 12 (I + P) = 21 w + 12 w = w. Umgekehrt folgt
aus w 12 (I + P) = w = 21 w + 12 wP eben auch wP = w.
D
Lösungen der Übungen zu Abschnitt 4
!
!
2 2
1
1. Sei P =
und y =
. Berechne Pn y für kleine n.
1 3
0
Gegen welchen Vektor konvergiert Pn y ?
1
4
!
Für P =
Pn y =
!
2 2
4n + 2 2 · 4n − 2
gilt Pn = 31 41n n
. Damit folgt
1 3
4 − 1 2 · 4n + 1
!
!
!
2
4n + 2
1
1 1 + 4n
=
→ 13
.
1
n
3
4 −1
1 − 4n
1
1
4
1 1
3 4n
2. Sei P eine reguläre Markoff-Kette mit r Zuständen und y ∈ Rn .
Zeige: limn→∞ Pn y = (wy)i .
Laut Satz in 3.1 auf S. 10 gilt limn→∞ Pn = (w0 , w0 , . . . , w0 )0 mit wP =
w für reguläre Markoff-Ketten P. Insbesondere gilt also limn→∞ Pn y =
(w0 , w0 , . . . , w0 )0 y, d.h. Pn y konvergiert gegen den konstanten Vektor
(wy)i .

4 0
1 
3. Sei P = 4 1 0
0 0
toren. Ist P nicht

0
3
. Zeige: P hat zwei linear unabhängige fixe Vek4
regulär?
Wie schon einmal gezeigt, gilt (1, 0, 0)P = (1, 0, 0) und (0, 0, 1)P =
(0, 0, 1). Damit hat P die beiden linear unabhängige Vektoren (1, 0, 0)
und (0, 0, 1) als fixe Vektoren. Die Markoff-Kette P kann nicht regulär
sein, da sonst der fixe Vektor w eindeutig wäre.
E
Lösungen der Übungen zu Abschnitt 5
!
1. Sei P =
1
4
2 2
. Bestimme Z und M.
1 3
32
Th. Risse, HSB: Markoff-Ketten
!n
1
4
n
Laut Übung auf S. 31 gilt P =
2 2
1 3
!
→
1
3
1 2
1 2
= W. Da!−1
−1
mit ist Z = (I − P + W)
!−1
1 −1
( 12
)
10 2
1 11
(zjj − zij )/wj =
1
9
=
1 − 1/2 + 1/3 −1/2 + 2/3
−1/4 + 1/3 1 − 3/4 + 2/3
!
11 −2
11
12
= 108
= 19
−1 10
−1
!
0
(10 + 2)3/2
=
(11 + 1)3
0
=
!
−2
und daher M =
10
!
0 2
.
4 0
!
2 2
2. Im ’Stille Post’-Beispiel sei P =
. Der Prozess starte im Zu3 1
stand ’j’. Bestimme die mittlere Anzahl von Schritten, bis die Information erstmalig falsch weitergegeben wird. Bestimme die MRT’s.
Verallgemeinere für beliebige a und b.
1
4
Für P =
1−a
a
b
1−b
!
−1
Dann ist Z = (I−P+W)
=
1
1
a+b
1
(b, a)
a+b
ist w =
fixer Vektor mit wP = w.
1 − (1−a) +
=
b
−b + a+b
a2 + ab + b a − ab − a2
b − ab − b2 a + ab + b2
!−1
b
a+b
a
−a + a+b
a
1 − (1−b) + a+b
!−1
!
=
a+b
(a+b)3
a + ab + b2 a2 + ab − a
b2 + ab − b a2 + ab + b
!
a + ab + b2 a2 + ab − a
=
. So gilt insbesondere für die MFPT
b2 + ab − b a2 + ab + b
a+b
1 a+b
1
2
2
= a+b
= a1
m12 = (z22 − z12 )/w2 = (a+b)
2 (a + ab + b − a − ab + a) a
a
sowie für die MRT r = ( w11 , w12 ) = ( a+b
, a+b
.
b
a )
1
(a+b)2
3. Zeige: Beim Würfeln ist die mittlere Anzahl von Würfen zwischen dem
Auftreten einer gegebenen Augenzahl gerade 6.
Die Markoff-Kette, die das Würfeln beschreibt, hat die Zustände 1,2,
3, 4, 5 und 6 mit P = 16 (1, 1, 1, 1, 1, 1)0 (1, 1, 1, 1, 1, 1). Wegen Pn = P
oder wegen der Unabhängigkeit der Würfe muß w = 61 (1, 1, 1, 1, 1, 1)
gelten. Damit folgt ri = 1/wi = 6.
4. Eine ergodische Markoff-Kette starte im Gleichgewicht, d.h. mit initialem Wahrscheinlichkeitsvektor w. Die mittlere Anzahl von Schritten
P
bis zum nächsten Auftreten des Zustandes si ist m̃i = k wk mki + wi ri .
Zeige: m̃i = zwiii unter Verwendung von wZ = w und mki = ziiw−zi ki .
Wegen mii = 0 und weil mki ja gerade die mittlere Anzahl von Schritten
ist, um vom Zustand k in den Zustand i zu gelangen, gilt in einer staP
P
tionären Kette m̃i = k6=i wk mki + wi ri = k wk mki + wi ri . Daher folgt
33
Th. Risse, HSB: Markoff-Ketten
m̃i = k wk mki + wi ri = zwiii k wk − w1i k wk zki + 1. Weil erstens w ein
Wahrscheinlichkeitsvektor ist und weil zweitens die i-te Komponente
P
von wZ = w gerade k wk zki = wi ist, gilt m̃i = zwiii 1 − w1i wi + 1 = zwiii .
P
P
P
5. Zeige: für eine ergodische Markoff-Kette gilt j mij wj = j zjj − 1 =
K. Die Kemeny-Konstante K ist unabhängig von i (plausible Erklärung
s.a. http://math.dartmouth.edu/˜doyle/docs/kc/kc.pdf)!
P
P
ij
ij
gilt j mij wj = j zjjw−z
wj = j zjj − j zij =
Wegen mij = zjjw−z
j
j
P
0
. . . , 1) = (1, . . . , 1)0 = e des Lemmas
j zjj − 1 = K, weil Ze = Z(1,
P
auf S. 20 ja nichts anderes als j zij = 1 bedeutet.
P
P
P
P
6. Sei P Übergangsmatrix einer regulären Markoff-Kette mit w. Eine Auszahlungsfunktion f legt Gewinn oder Verlust für jeden Zustand si fest.
Es gelte wf = 0. Für den mittlere Gewinn g(n) nach n Schritten gilt
g(n) = (I + P + . . . + Pn )f . Zeige: limn→∞ g(n) = g mit g = Zf .
Mit wf = 0 gilt Wf = 0 und aus (P − W)n = nk=0 nk Pk Wn−k folgt
P
(P − W)n f = Pn f . Zusammen gilt limn→∞ g(n) = limn→∞ nk=0 Pk f =
P
limn→∞ nk=0 (P − W)k f = Zf = g.
P