1 Markovsche Übergangsmatrizen

1
Markovsche Übergangsmatrizen
1.1
Einführung
Gegeben sei ein System S, das sich in genau einem von N Zuständen befinden kann.
Sei also Ω eine i.a. endliche oder abzählbare Menge von sog. „Zuständen“ eines
„Systems“, also Ω = {x1 , . . . , xN }.
P
Jede Funktion µ : Ω → [0, 1], so dass x∈Ω µ(x) = 1, nennt man eine Verteilung
auf Ω.
Sei nun µ eine vorgegebene Verteilung auf Ω. µ(x) gibt die Wahrscheinlichkeit
dafür an, dass sich das System zum Zeitpunkt t = 0 im Zustand x befindet. Man
sagt auch, dass µ die Verteilung des Systems zum Zeitpunkt 0 ist.
Um nun die Wahrscheinlichkeit einer Zustandsänderung darzustellen, definieren
wir eine Funktion p : Ω × Ω → [0, 1]. Diese Funktion kennt man auch unter dem
Namen Markovsche Übergangsfunktion.
Mit p(x, y) bezeichnen wir die Wahrscheinlichkeit, dass das System zum Zeitpunkt
t = 1 im Zustand y ist, nachdem es zum Zeitpunkt 0 im Zustand x war, also den
Übergang von Zustand x in Zustand y. Die Wahrscheinlichkeit für den Übergang
P
des Systems von Zustand x in irgendeinen der N Zustände ist dann y∈Ω p(x, y).
Da das System in irgendeinen Zustand übergehen muss, erhalten wir folgende
Definition 1.1.1 Unter einer Markovschen Übergangsmatrix (oder einer
stochastischen Matrix) auf Ω verstehen wir eine N × N - Matrix P = (p(x, y))x,y∈Ω
mit folgenden Eigenschaften:
1. ∀x, y ∈ Ω :
2. ∀x ∈ Ω :
p(x, y) ≥ 0.
P
y∈Ω
p(x, y) = 1.
Für ein System mit zwei verschiedenen Zuständen hat also die Markovsche Übergangsmatrix P die folgende Form:
P =
p(x1 , x1 ) p(x1 , x2 )
p(x2 , x1 ) p(x2 , x2 )
!
Beispiel 1.1.2 (Diffusionsmodell von Bernoulli-Laplace)
Angenommen, wir haben zwei Behältnisse A und B, von denen jedes genau N
Kugeln enthält.
n Kugeln seien schwarz und 2N − n Kugeln weiß.
Die Menge der Zustände sei Ω = {0, 1, . . . , n} Wir sagen, dass sich die Kugeln im
Zustand j befinden, wenn das Behältnis A j schwarze Kugeln enthält.
Wählen wir nun zufällig je eine Kugel aus den Behältnissen und vertauschen sie,
1
so ist die Wahrscheinlichkeit dafür, dass die Kugeln im Zustand k sind, wenn sie
vorher im Zustand j waren:
p(j, k) =
 (N −j)(n−j)


N2



 j(n−j)+(N −j)(N −(n−j))
N2
j(N −(n−j))



N2



0
p(j, k) =
falls k = j + 1 und k ≤ n
falls k = j
falls k = j − 1 und k ≥ 0
sonst
günstige
mögliche
• für k = j + 1 ziehe aus Behältnis A eine von N − j weißen Kugeln aus N
Kugeln und aus Behältnis B ziehe ich eine von n − j schwarzen Kugeln aus
N Kugeln. Die Wahrscheinlichkeiten werden multipliziert.
• für k = j kann ich aus Behältnis A eine von j schwarzen Kugeln und aus
Behältnis B eine von n − j schwarzen Kugeln ziehen - oder ich ziehe aus
Behältnis A eine von N − j weißen Kugeln und aus B eine von N − (n − j)
weißen Kugeln.
• für k = j − 1 ziehe ich aus Behältnis A eine von j schwarzen Kugeln und aus
Behältnis B eine von N − (n − j) weißen Kugeln.
Nehmen wir als konkretes Beispiel an: N = 4, n = 2. Wir haben also insgesamt 8
Kugeln, wovon nur zwei schwarz sind. Die Übergangsmatrix sieht folgendermaßen
aus:


8 8 0
1 

P =
 3 10 3 
16
0 8 8
Satz 1.1.3 Seien A und B Markovsche N × N - Übergangsmatrizen, die auf das
System S wirken. Dann ist AB eine Übergangsmatrix.
2
Beweis Ist (c(x, z))x,z∈Ω = y∈Ω a(x, y) b(y, z), dann gilt ∀x, z ∈ Ω : c(x, z) ≥
P
P
P
P
P
0. Und weiters z∈Ω c(x, z) = z∈Ω y∈Ω a(x, y) b(y, z) = y∈Ω a(x, y) z∈Ω b(y, z) =
P
y∈Ω a(x, y) = 1. Also ist AB = (c(x, z))x,z∈Ω eine Übergangsmatrix.
P
Beispiel 1.1.4 (Produkt von Markovschen Übergangsmatrizen)
Das folgende Beispiel soll die Aussage des vorhergehenden Satzes unterstreichen.
Wir nehmen wieder das Beispiel der Bernoulli-Laplace Verteilung:






8 8 0
8 8 0
22 36 6
1 
1 
1 



 3 10 3  ∗
 3 10 3  =
 13.5 37 13.5 
16
16
64
0 8 8
0 8 8
6 36 22
Wir sehen also, dass die Einträge der resultierenden Matrix alle positiv sind und
dass die Zeilensummen alle 1 ergeben. Die resultierende Matrix entspricht daher
der Definition einer Markovschen Übergangsmatrix.
1.2
Beispiele
Beispiel 1.2.1 (Zellteilung)
Eine jede Zelle eines Organismus bestehe aus N Teilchen, die entweder des Typs
A oder des Typs B sind.
Sei Ω = {0, . . . , N } die Menge der Zustände.
Wir sagen, dass sich eine Zelle im Zustand j befindet, wenn sie genau j Teilchen
des Typs A und N − j Teilchen des Typs B enthält.
Die Bildung einer Tochterzelle verläuft nun wie folgt: zunächst verdoppeln sich
sämtliche Teilchen einer Zelle, die Tochterzelle bildet sich dann durch zufällige
Auswahl von N Teilchen aus den vorhandenen 2j Teilchen des Typs A und 2N −2j
Teilchen des Typs B.
Die Wahrscheinlichkeit, dass die Tochterzelle dann im Zustand k ist, ist durch die
hypergeometrische Verteilung gegeben:
p(j, k) =
2j
k
2N −2j
N −k
2N
N
3
Denn ich wähle k Teilchen des Typs A aus 2j vorhandenden A-Teilchen und ich
wähle N −k Teilchen des Typs B aus 2(N −j) vorhandenden B-Teilchen. Insgesamt
ziehe ich N aus 2N Teilchen.
Da in jedem der Zustände einer der beiden Fälle
2j
0
p(j, 0) =
2N −2j
N
2N
N
2j
N
p(j, N ) =
2N −2j
0
2N
N
>0
für 0 < j ≤
>0
für
N
2
N
2
≤j<N
gilt, kann man von jedem Zustand aus die Zustände 0 und N erreichen. Ist man
in einem dieser beiden Zustände, gilt nun:
p(0, 0) =
0
0
2N
N
2N
N
=1
bzw. p(N, N ) =
2N −2N
(2N
N )( N −N )
=1
(2N
N )
Das heißt, man ist in diesen Zuständen gefangen.
Beispiel 1.2.2 (Random Walk)
Nehmen wir an, wir haben nun eine betrunkene Person, die auf einer Straße
zwischen zwei Mauern nach Hause wankt. Die Straße ist n Schritte breit. Sei
Ω = {0, . . . , n} die Menge der Zustände. Wir sagen, die Person befindet sich im
Zustand j, wenn sie j Schritte vom linken Straßenrand entfernt ist. Da sie nicht so
betrunken ist, ist es ihr noch möglich mit gleicher Wahrscheinlichkeit einen Schritt
nach links bzw. rechts oder geradeaus zu machen. Wir haben also folgendes Szenario:
P =
 1
 12
 3

 0






1
2
1
3
1
3

0
1
3
1
3
0
1
3
0
... ... ...
1
1
0
3
3
1
2








1 
3 
1
2
Auf der gleichen Straße geht ein wenig später eine stärker alkoholisierte Person nach
Hause. Diese schafft es nicht mehr, geradeaus zu gehen; die Wahrscheinlichkeit,
dass sie nach links oder rechts wankt, ist gleich groß. Da es aber möglich ist, dass
sie an der Mauer entlang geht, gilt:
p(0, 0) =
1
1
bzw. p(n, n) =
2
2
4
Es ergibt sich folgendes Szenario:
P =
 1
 12
 2

 0






1
2
0
1
2

0
1
2
0
0
1
2
1
0
0
2
.. .. ..
.
.
.
0
1
2








1 
2 
1
2
Die gleiche Person (sie kann noch immer nicht geradeaus gehen) wankt ein wenig
später eine andere Straße entlang, diese hat keine Mauern mehr als Begrenzung,
sondern an die Straße grenzt links und rechts eine Weide, die mit einem elektrischen
Weidezaun abgegrenzt ist. Dadurch gilt:
p(0, 0) = 0 bzw. p(n, n) = 0
Das Szenario ändert sich folgendermaßen:

P =
1.3










0 1
1
0
2
0 21

0
1
2
0
0
1
2
1
0
0
2
.. .. ..
.
.
.
0
1








1 
2 
0
Problemstellung
Sei S ein System mit der „Zustandsmenge“ Ω = {x1 , . . . , xN } und P eine Markovsche Übergangsmatrix. Wir interessieren uns nun für den Übergang des Systems
S über mehrere Zeiteinheiten gesehen.
Man startet bei einer Ausgangssituation zum Zeitpunkt t = 0. Diese Situation
kann man durch µ(0) (x) beschreiben, also durch die Wahrscheinlichkeit, dass sich
das System zum Zeitpunkt t = 0 im Zustand x befindet. Hierbei ist µ(0) (x) eine
1 × N - Matrix der Form µ(0) = (µ(0) (x1 ), . . . , µ(0) (xN )).
Um jetzt zum Zeitpunkt t = 1 überzugehen und die Wahrscheinlichkeit zu berechnen, mit der sich das System zum Zeitpunkt t = 1 im Zustand x befindet, geht
man wie folgt vor: µ(1) (x) = µ(0) (x) ∗ P. Eine alternative Schreibweise, die den
P
gleichen Sachverhalt beschreibt, wäre y∈Ω µ(y)p(x, y).
5
Um also zum nächsten Zeitpunkt zu gelangen, multipliziert man wieder mit der
Markovschen Übergangsmatrix. Dies ist richtig, weil die Übergangswahrscheinlichkeiten zeitunabhängig sind.
Wir interessieren uns jetzt für die Wahrscheinlichkeit, mit der sich das System
nach n Zeitschritten im Zustand x befindet.
µ(n) (x) = µ(n−1) (x) ∗ P = µ(n−2) (x) ∗ P ∗ P = · · · = µ(0) ∗ P n (x).
Man kann also direkt von der Ausgangssituation zu µn (x) gelangen, ohne alle
Vorgängerwahrscheinlichkeiten ausrechnen zu müssen. Die Matrix, die den Übergang vom Zeitpunkt 0 zum Zeitpunkt n beschreibt, ist dann gegeben durch P n =:
(pn (x, y)).
Beispiel 1.3.1 (Ehrenfest Kette)
In zwei Kammern A und B befinden sich insgesamt N Moleküle:
Wir wählen zufällig eines dieser Moleküle aus und geben es in die andere Kammer:
Sei Ω = {0, 1, . . . , N } die Menge der Zustände.
Zustand j bedeutet in diesem Modell: j Moleküle befinden sich in Kammer A und
N − j Moleküle befinden sich in Kammer B.
p(j, j + 1) =
(N − j)
N
Dies ist die Wahrscheinlichkeit, dass in der Kammer A j Moleküle sind und wir
ein Molekül aus Kammer B ausgewählt haben (sich die Anzahl der Moleküle in
Kammer A also um 1 erhöht)
p(j, j − 1) =
j
und sonst p(j, k) = 0.
N
6
Die Übergangsmatrix ist dann:

P =
0
 1
 N

 0






1
0
2
N
0

0
0
N −1
N
N −2
N
0
...
...
...
N −1
N
0
1
0








1 
N 
0
Das wollen wir wieder für ein konkretes Beispiel machen: Sei dazu N = 4, d.h. wir
haben Ω = {0, 1, 2, 3, 4}. P hat dann folgende Form:

P =









0 1 0 0 0
2


1
3


0 4 0 0 
0
4
1
2
 1
0 12 0 12 0 
P
=

8

0 0 43 0 14 

 0
0
0 0 0 1 0
0
5
0
3
0
6
0
6
0
6
0
3
0
5
0
0
0
1
0
2








Hier kann man sehen wie die Matrix nach t = 2 Schritten aussieht. Das heißt z.B
für die erste Zeile gilt: ich starte im Zustand 0 und lande nach zwei Zeiteinheiten
mit einer Wahrscheinlichkeit von 41 in Zustand 0 bzw. mit einer Wahrscheinlichkeit
von 34 in Zustand 2.
1.4
Stationäre Verteilungen
Definition 1.4.1 Sei P eine Markovsche Übergangsmatrix auf Ω. Eine Verteilung µ auf Ω heißt stationär (bzgl. P ) oder P-invariant, wenn µ = µP , i.e. wenn
P
für alle x ∈ Ω : µ(x) = y∈Ω µ(y)p(x, y).
Aus der Definition folgt, dass P T µT = µT . Also ist µT der Eigenvektor der Matrix
P T zum Eigenwert 1.
Satz 1.4.2 Sei P eine Markovsche Übergangsmatrix auf der endlichen Menge Ω
und ν eine beliebige Verteilung auf Ω.
1. P besitzt stets eine stationäre Verteilung ν, diese ist i.a. jedoch nicht eindeutig.
2. Gibt es für alle x, y ∈ Ω ein m ∈ N, so dass pm (x, y) > 0 - man nennt dies
die sogenannte Positivitätsbedingung, dann exisitiert der Limes
µ(x) := lim
n
n
1 X
νP n (x) f ür alle x ∈ Ω und es gilt :
n + 1 j=0
(a) ∀x ∈ Ω : µ(x) > 0.
(b) µ ist unabhängig von ν.
(c) µ ist die einzige P -invariante Verteilung auf Ω.
7
Beweis 1. Sei für n ∈ N : An := n1 (1+P +· · ·+P n−1 ), Q ein Häufungspunkt von
1
An und An(k) := n(k)
(1 + · · · + P n(k) ) eine gegen Q konvergierende Teilfolge von An .
Betrachte nun An(k) P =
· · ·+P n(k) +P n(k)+1 −1+1) = An(k) + P
1
(P +P 2
n(k)
n(k)+1 −1
n(k)
.
Wenn man nun auf beiden Seiten k → ∞ laufen lässt, erhält man: QP = Q.
Jede Zeile von Q ist dann eine stationäre Verteilung.
2.a. Wir nehmen an, dass für alle x, y ∈ Ω gilt p(x, y) ≥ ε > 0 und zeigen, dass
unter dieser Voraussetzung der Limes Q = lim
P n existiert und dass die Matrix
n
Q identische Zeilen µ := (µ(x1 ), . . . , µ(xN )) mit µ(x) > 0 besitzt; somit ist µ das
einzige invariante Wahrscheinlichkeitsmaß.
Für 1 ≤ n ≤ N seien mn (y) := minx pn (x, y) ≥ ε und M n (y) := maxx pn (x, y).
Dann gilt:
pn+1 (x, y) =
X
p(x, z)pn (z, y) ≥
z∈Ω
X
p(x, z)mn (y) = mn (y).
z∈Ω
Daher ist mn+1 (y) ≥ mn (n). Analog gilt: M n+1 (y) ≤ M n (y). Zu jedem y ∈ Ω sei
nun x(y) so bestimmt, dass M n (y) = pn (x(y), y), dann ist
pn+1 (x, y) =
X
p(x, z)pn (z, y)
z∈Ω
= εM n (y) − εM n (y) + p(x, x(y))pn (x(y), y) +
X
p(x, z)pn (z, y)
z6=x(y)
n
n
n
n
X
= εM (y) + (p(x, x(y)) − ε)p (x(y), y) +
p(x, z)pn (z, y)
z6=x(y)
X
≥ εM (y) + (p(x, x(y)) − ε)p (x(y), y) +
p(x, z)mn (y)
z6=x(y)


≥ εM n (y) + mn (y) p(x, x(y)) − ε +
X
p(x, z)
z6=x(y)


= εM n (y) + mn (y) 
X
p(x, z) − ε
z∈Ω
n
n
= εM (y) + m (y)(1 − ε)
Folglich ist mn+1 (y) ≥ εM n (y) + mn (y)(1 − ε). Analog gilt wiederum M n+1 (y) ≤
εmn (y) + M n (y)(1 − ε) und somit
M n+1 (y) − mn+1 (y) ≤ (1 − 2ε)(M n (y) − mn (y)).
Also konvergieren die Maxima und die Minima der einzelnen Spalten gegeneinander. Somit besitzt Q identische Zeilen µ := (µ(x1 ), . . . , µ(xN )) und es gilt:
µ(n) ≥ ε. Demnach ist µ das einzige invariante Wahrscheinlichkeitsmaß.
8
2.b. Falls ein m ∈ N existiert, sodass pm (x, y) > 0, also die Positivitätsbedingung erfüllt ist, dann gibt es ein k ∈ N, sodass die Folge Ak := P mk gegen eine
Matrix Q konvergiert, deren Zeilen alle gleich sind.
Für alle Verteilungen ν gilt, dass νQ = µ, wobei ∀y ∈ Ω : µ = Q(1, y). Also ist µ
unabhängig von der Verteilung ν.
2.c. Siehe Beweis von 2.a.
Nun zurück zum Bernoulli-Laplace Diffusionsmodell.
Nehmen wir als konkretes Beispiel an: N = 4, n = 2. Wir haben also insgesamt 8
Kugeln, wovon nur zwei schwarz sind. Die Übergangsmatrix sieht folgendermaßen
aus:


8 8 0
1 

P =
 3 10 3 
16
0 8 8
Die Matrix Q hat (nach 13 Iterationen) dann folgende Form:


0.2143 0.5714 0.2143

Q =  0.2143 0.5714 0.2143 

0.2143 0.5714 0.2143
Wir sehen also, dass eine eindeutige stationäre Verteilung existiert.
9