Markov-Ketten und ihre Greensche Funktion

BACHELORARBEIT
Markov-Ketten und ihre Greensche Funktion
Jasmin Riegler
Wien, Jänner 2013
Studienkennzahl:
Studienrichtung:
Betreuer:
A 033 621
Mathematik
Privatdoz. Dr. Mag. Bernhard Krön
Inhaltsverzeichnis
Einleitung
2
Hauptteil
3
1 Markov-Ketten
1.1 Einführende Beispiele . . . . . . . . . . . . . .
1.2 Definition von Markov-Ketten . . . . . . . . . .
1.2.1 Übergangsmatrix und Anfangsverteilung
1.2.2 Zufallsvariablen und Zufallszeiten . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
. 4
. 6
. 6
. 11
2 Erzeugende Funktionen der Übergangswahrscheinlichkeiten
2.1 Greensche Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Eigenschaften der Greenschen Funktion . . . . . . . . . . . . . . . . . .
2.1.2 Beispiele zur Greenschen Funktion . . . . . . . . . . . . . . . . . . . . .
14
14
14
19
Literaturverzeichnis
20
Einleitung
Den Beginn der Arbeit bilden einige anschauliche Beispiele, die den Begriff der Markov-Ketten
motivieren sollen und im Laufe der Arbeit gelöst werden. Daraufhin folgen im ersten Kapitel
die Definitionen der Markov-Kette und der zugehörigen Übergangsmatrix mit wichtigen Eigenschaften, die für die Berechnung einfacher Übergangswahrscheinlichkeiten gebraucht werden.
Im zweiten Kapitel diskutieren wir Theoreme und Anwendungen der Greenschen Funktion.
Den Schluss bilden einige Sätze, mit denen die Beispiele vom Anfang der Arbeit gelöst werden.
Bei der Disposition dieser Arbeit beziehe ich mich hauptsächlich auf das Buch Catene di
Markov e teoria del potenziale nel discreto[1] von Wolfgang Woess. Dazu habe ich ergänzend
einige Abschnitte aus anderer Lektüre zum Verständnis hinzugefügt, welche entsprechend gekennzeichnet wurden.
Alle Bezeichnungen sind geschlechterneutral zu verstehen.
3
1 Markov-Ketten
1.1 Einführende Beispiele
Beispiel 1. Das Wetter in Salzburg
Im Folgenden wird ein vereinfachtes Modell des Wetters in Salzburg behandelt, in dem keine
zwei sonnigen Tage aufeinander folgen. Ist es an einem Tag sonnig, so sind die Wahrscheinlichkeiten für Regen oder Schnee am nächsten Tag dieselben. Regnet es, so wird es mit 50%
am nächsten Tag wieder regnen, mit je 25% schneit es oder es scheint die Sonne.
Wir bezeichnen sonniges Wetter mit s, Regen mit r und Schnee mit n.
Diese Wahrscheinlichkeiten in einer Matrix geschrieben ergeben:
r
n 
 s
0 1/2 1/2
s
r 1/4 1/2 1/4
1/4 1/4 1/2
n
Aus der Matrix können wir ablesen, dass es nach einem sonnigen Tag mit Wahrscheinlichkeit
1/2 regnet, bzw. dass es nach einem verschneiten Tag mit Wahrscheinlichkeit 1/4 regnet.
Wir werden uns einige Fragen stellen:
(a) Heute regnet es. Mit welcher Wahrscheinlichkeit wird es nach zwei Wochen schönes Wetter
geben?
(b) Wie viele regnerische Tage in einem Monat können im Mittel erwartet werden?
(c) Was ist die durchschnittliche Dauer einer Schlechtwetter-Periode?
Diese Fragen aus dem Buch von Wolfgang Woess [1] und andere Problematiken aus dem
Skriptum [2] werden im Laufe der Arbeit beantwortet werden.
Beispiel 2. Irrfahrt eines Betrunken
Ein Betrunkener will aus dem Gasthaus heimkehren. Das Gasthaus liegt an einer geraden
Straße, an welcher am einen Ende sein Zuhause und am anderen Ende ein See gelegen sind. In
Richtung des Sees sind es 100 Schritte, während sein Haus vom Gasthaus 200 Schritte entfernt
ist. Mit einer Wahrscheinlichkeit von 23 macht der Betrunkene einen Schritt in Richtung seines
Zuhauses, während er mit einer Wahrscheinlichkeit von 13 in Richtung des Sees geht. Nach
jedem Schritt zögert er und vergisst welche Richtung er davor gewählt hat. So macht er sich
auf den Weg, ohne Erinnerung und in jede Richtung mit Wahrscheinlichkeiten von 23 und 13 .
Wenn der Betrunkene am See ankommt ertrinkt er, wenn er jedoch Zuhause ankommt, wird
er seinen Rausch ausschlafen.
(a) Mit welcher Wahrscheinlichkeit kommt der Betrunkene sicher nach Hause? Mit welcher
Wahrscheinlichkeit ertrinkt er?
(b) Wie viele Schritte braucht er durchschnittlich, wenn er zu Hause ankommt.
4
Beispiel 3. Ein einführendes Beispiel für die Definition der Markov-Ketten von [3] Schomaker
Jens.
Eine Person steht in einer von vier Ecken eines Raumes (hier s1 ), wirft eine Münze um zu
entscheiden in welche Richtung sie gehen soll und wiederholt dies beliebig oft.
s1 ←→ s2
l
l
s4 ←→ s3
Wir definieren nun eine Zufallsvariable Zn für jeden Schritt des Experiments, welche uns die
Ecke angibt in der die Person im n-ten Schritt ist. Es ergibt sich ein stochastischer Prozess
(Z0 , Z1 , . . .), welcher die Werte in {s1 , s2 , s3 , s4 } annimmt. Die Person startet in s1 . Also ist
P(Z0 = s1 ) = 1.
Durch das Werfen einer Münze bekommen wir für Z1 :
P(Z1 = s2 ) = 21 .
P(Z1 = s4 ) = 12 .
Um die Verteilung von Zn für n ≥ 2 zu berechnen, werden bedingte Wahrscheinlichkeiten
verwendet. Wir bekommen für den Fall Zn = s2 :
P(Zn+1 = s1 | Zn = s2 ) = 12 .
P(Zn+1 = s3 | Zn = s2 ) = 12 .
Aufgrund der Entscheidungsregel hängt Zn+1 nur von Zn ab und ist völlig unabhängig von
den vorhergehenden Werten. So gilt für Zn = s2 und beliebige i0 , . . . , in−1 ∈ {1, . . . , 4}
P(Zn+1 = s1 | Zn = s2 , Zn−1 = sin−1 , . . . , Z0 = si0 ) = 12 .
P(Zn+1 = s3 | Zn = s2 , Zn−1 = sin−1 , . . . , Z0 = si0 ) = 12 .
5
1.2 Definition von Markov-Ketten
Für die wahrscheinlichkeitstheoretische Definition der Markov-Kette verwenden wir den Wahrscheinlichkeitsraum (Λ, A, P) und die abzählbare Menge X als Zustandsraum. Wobei Λ eine
Menge ist, mit einer σ-Algebra A von Teilmengen von Λ und P ein Wahrscheinlichkeitsmaß
in A ist. Eine σ-Algebra A ist definiert durch:
1. Die Grundmenge Λ ist in A enthalten.
2. Wenn A eine Teilmenge A von Λ enthält, dann auch deren Komplement Ac = Λ \ A.
3. Wenn für jede natürliche Zahl n die Menge An in A ist, so ist auch die abzählbare
Vereinigung aller An in A.
Definition 1. Eine Markov-Kette ist eine Folge von Zufallsvariablen Zn , n = 0, 1, 2 . . .,
Zn : Λ → X mit folgenden Eigenschaften:
1. (Markov-Eigenschaft)
Für x0 , x1 , . . . , xn , xn+1 ∈ X mit P[Zn = xn , Zn−1 = xn−1 , . . . Z0 = x0 ] > 0, gilt:
P[Zn+1 = xn+1 | Zn = xn , Zn−1 = xn−1 , . . . , Z0 = x0 ]
= P[Zn+1 = xn+1 | Zn = xn ].
(1.1)
2. (Homogenität der Zeit)
Für x, y ∈ X und m, n ∈ N0 mit P[Zm = x] > 0 und P[Zn = x] > 0 gilt:
P[Zm+1 = y | Zm = x] = P[Zn+1 = y | Zn = x].
(1.2)
Die Markov-Eigenschaft bedeutet, dass kein Erinnerungsvermögen vorhanden ist: Die Zukunft
(Zustand n + 1) hängt nur von der Gegenwart (n) und nicht von der Vergangenheit ab.
1.2.1 Übergangsmatrix und Anfangsverteilung
Definition 2. Setzt man p(x, y) = P[Zk+1 = y | Zk = x] erhalten wir die Übergangsmatrix
P = (p(x, y))x,y∈X von Zn mit den Einträgen p(x, y).
Für die Übergangsmatrix ergeben sich durch die Definition folgende Eigenschaften:
1. Für die Einträge der Matrix gilt p(x, y) > 0 für alle x, y ∈ {1, . . . , k}, da Wahrscheinlichkeiten nicht negativ sind.
2. Die Zeilen der Übergangsmatrix summieren sich auf 1:
k
P
p(x, y) = 1 für alle x ∈ {1, . . . , k}.
y=1
Definition 3. (vgl. Definition 1.5 [3])
Die Anfangsverteilung einer Markov-Kette (Zn ) mit Zustandsraum {x0 , x1 , . . . , xk } wird durch
einen Zeilenvektor µ(0) definiert:
(0)
(0)
µ(0) = (µ1 , . . . , µk ) = (P[Z0 = x0 ], . . . , P[Z0 = xk ]).
6
Da µ(0) eine Wahrscheinlichkeitsverteilung auf dem Zustandsraum X bildet, gilt:
k
X
(0)
µi
= 1.
i=1
Ebenso ist µ(n) für n ≥ 1 als Wahrscheinlichkeitsverteilung der Markov-Kette zum Zeitpunkt
n definiert als:
(n)
(n)
µ(n) = (µ1 , . . . , µk ) = (P[Zn = x0 ], . . . , P[Zn = xk ]).
Die Anfangsverteilung von Zn repräsentiert ein Anfangsexperiment, wie zum Beispiel bei
einem Spiel die Ausgangsposition durch Würfeln zu entscheiden. Wir schreiben auch oft µ
statt µ(0) für die Anfangsverteilung.
Satz 1.1. Sei P die Übergangsmatrix einer Markov-Kette mit der Anfangsverteilung µ. Die
Wahrscheinlichkeit den Zustand xj nach n Schritten zu erreichen, ist genau der j-te Eintrag
im Vektor
µ(n) = µ(0) P n .
Beweis. Die Beweisführung ist aus [3] auf Seite 3f.
Induktion über n:
(0)
(0)
n = 1 : Sei µ(0) = (µ1 , . . . , µn ), dann gilt für j = 1, . . . , n :
(1) Def.
µj
= P[Z1 = xj ]
k
X
(∗)
=
P[Z0 = xi ]P[Z1 = xj | Z0 = xi ]
i=1
k
X
Def.
=
=
(0)
µi p(i, j)
i=1
(0)
(µi P )j .
Unter der Verwendung des Satzes für totale Wahrscheinlichkeit in (∗): P(B) =
N
P
j=1
(0)
Dabei ist (µi P )j der j-te Eintrag des Zeilenvektors µ(0) P .
n → n+1: Sei also die Behauptung für n gezeigt. Für j = 1, . . . , k gilt:
(n+1)
µj
= P[Zn+1 = xj ]
=
=
=
k
X
i=1
k
X
P[Zn = xi ]P[Zn+1 = xj | Zn = xi ]
(n)
µi p(i, j)
i=1
(n)
(µi P )j .
Es gilt µ(n+1) = µ(n) P und laut Induktionsvoraussetzung folgt:
I.V.
µ(n+1) = µ(n) P = µ(0) P n P = µ(0) P n+1 .
7
P[Aj ]P[B|Aj ].
Übergangswahrscheinlichkeit in n Schritten
Was ist die Wahrscheinlichkeit in einer Markov-Kette (X, P) von y nach x in n Schritten zu
kommen? Die Übergangswahrscheinlichkeit dafür entspricht:
p(n) (x, y) = P[Zn = y | Z0 = x] = Px [Zn = y],
für n ≥ 0, x, y ∈ X.
(1.3)
Es hängt p(n) (x, y) weder vom Startzustand noch von der Anfangsverteilung ab. Für die Anfangsverteilung µ und k ∈ N0 , mit Pµ [Zk = x] > 0, folgt
Pµ [Zk+n = y | Zk = x] = p(n) (x, y).
(1.4)
Es gilt:
p(0) (x, x) = 1, p(0) (x, y) = 0 für x 6= y, und p(1) (x, y) = p(x, y).
Wie in dem Skriptum [2] auf Seite 406f beschrieben, ist die quadratische Matrix im Beispiel 1
eine Übergangsmatrix. Die Einträge in der ersten Spalte sind die Wahrscheinlichkeiten für
Sonne nach den verschiedenen Wetterzuständen, in der zweiten und dritten Spalte jeweils für
Regen und Schnee. Die Wahrscheinlichkeit bezüglich der Markov-Kette vom Zustand x in zwei
Tagen beim Zustand y zu sein, ist genau gegeben durch p(2) (x, y).
Aus dem Beispiel ergibt sich, dass das Ereignis, dass es nach einem regnerischen heutigen Tag
in zwei Tagen schneit, genau die disjunkte Vereinigung dreier Ereignisse ist:
1. es regnet morgen und schneit in zwei Tagen,
2. es ist ein sonniger Tag morgen und schneit am Tag darauf,
3. oder es folgen zwei verschneite Tage.
Die Wahrscheinlichkeit des ersten Ereignisses ist das Produkt der bedingten Wahrscheinlichkeiten, dass es morgen regnet unter der Bedingung heute zu regnen und eines verschneiten Wetters in zwei Tagen bedingt, dass es morgen regnet. Unter Verwendung der Übergangsmatrix P
bekommen wir das Produkt p(2, 2)p(2, 3), so können auch die anderen Wahrscheinlichkeiten
als Produkt von Einträgen der Matrix geschrieben werden und es ergibt sich
p(2) (2, 3) = p(2, 2)p(2, 3) + p(2, 1)p(1, 3) + p(2, 3)p(3, 3).
Diese Gleichung erinnert an das innere Produkt zweier Vektoren, der zweiten Zeile von P mit
der dritten Spalte von P . Im Allgemeinen gilt für eine Matrix mit r Zustände:
p(2) (x, y) =
r
X
p(x, k)p(k, y).
k=1
Lemma 1
(i) Für die Übergangswahrscheinlichkeit gilt p(n+1) (x, y) =
P
p(x, w)p(n) (w, y). Dies ist
w∈X
das Element an der Stelle (x, y) der n-ten Potenz P n der Übergangsmatrix P .
(ii) In mehreren Schritten
P (m)gilt:
(m+n)
p
(x, y) =
p (x, w)p(n) (w, y) (Chapman-Kolmogorov-Gleichung).
w∈X
8
(iii) Die n-te Potenz P n der Übergangsmatrix P ist eine stochastische Matrix.
Beweis. (i) Die Werte p(n+1) (x, y) lassen sich wie folgt berechnen:
Der erste Weg führt von x zu einem bestimmten w ∈ X mit der Wahrscheinlichkeit
p(x, w). Die verbleibenden n Schritte müssen mit der Wahrscheinlichkeit p(n) (w, y) von
w nach y führen, unabhängig von den vergangenen Schritten. Aufsummiert über alle
möglichen Punkte w ergibt sich:
X
p(n+1) (x, y) =
p(x, w)p(n) (w, y).
(1.5)
w∈X
Für den Beweis dieser Formel verwenden wir vollständige Induktion.
Es sind (1.4) und (1.5) für n = 0 und n = 1 gezeigt. Wir nehmen an, dass sie für n ≥ 1
erfüllt sind und Pµ [Zk = 0] > 0.
Seien A, B, C ∈ A,
(
Pµ [A ∩ C]/Pµ [C] für Pµ [C] > 0,
Pµ [A | C] =
0
für Pµ [C] = 0;
Pµ [A ∩ B | C] = Pµ [B | C] Pµ [A | B ∩ C];
für A ∩ B = ∅,
Pµ [A ∪ B | C] = Pµ [A | C] + Pµ [B | C].
Aus der Definition der Markov-Ketten erhalten wir:
p(n+1) (x, y) = Pµ [Zk+n+1 = y | Zk = x]
= Pµ [∃w ∈ X : (Zk+n+1 = y und Zk+1 = w) | Zk = x]
X
=
Pµ [Zk+n+1 = y und Zk+1 = w | Zk = x]
w∈X
=
X
Pµ [Zk+1 = w | Zk = x] Pµ [Zk+n+1 = y | Zk+1 = w und Zk = x]
w∈X
(Es ist Pµ [Zk+1 = w und Zk = x] > 0 wenn Pµ [Zk+1 = w | Zk = x] > 0)
X
=
Pµ [Zk+1 = w | Zk = x] Pµ [Zk+n+1 = y | Zk+1 = w]
w∈X
=
X
p(x, w)p(n) (w, y).
w∈X
Für die Einträge der Übergangsmatrix P gilt laut Definition p(1) (x, y) = P[Zk+1 = y |
Zk = x], folgend bilden die Werte p(n) (x, y) = Pµ [Zk+n = y | Zk = x] die Einträge der
n-ten Potenz P n der Übergangsmatrix.
(ii) Für die Übergangswahrscheinlichkeiten in mehreren Schritten folgt für die entsprechenden Matrizen P m+n = P m P n aus dem Potenzieren von Matrizen.
(iii) Ausgehend von x ∈ X wird nach n Schritten sicher ein Element in X erreicht, d.h.:
X
X
1 = Px [Zn ∈ X] =
Px [Zn = y] =
p(n) (x, y).
y∈X
9
y∈X
Beispiel 4. Fortsetzung von Beispiel 1 mittels [2].
Wir werden uns nun mit den ersten sechs Potenzen der Übergangsmatrix des Wetters in Salzburg beschäftigen. Die Wettervorhersage von sechs Tagen ist, auf drei Dezimalstellen gerundet,
unabhängig vom heutigen Wetter.


0.000 0.500 0.500
P 1 = 0.250 0.500 0.250
0.250 0.250 0.500


0.250 0.375 0.375
P 2 = 0.188 0.438 0.375
0.188 0.375 0.438


0.188 0.406 0.406
P 3 = 0.203 0.406 0.391
0.203 0.391 0.406


0.203 0.398 0.398
P 4 = 0.199 0.402 0.398
0.199 0.398 0.402


0.199 0.400 0.400
P 5 = 0.200 0.400 0.399
0.200 0.399 0.400


0.200 0.400 0.400
P 6 = 0.200 0.400 0.400
0.200 0.400 0.400
In sechs Tagen sind die Wahrscheinlichkeiten für die Wetterzustände Sonne, Regen und Schnee
ungefähr 0.2, 0.4 und 0.4, unabhängig von der Anfangsverteilung.
Definition 4. (Definition 11.5, [2], S.433)
Eine Markov-Kette heißt regulär, wenn eine Potenz der Übergangsmatrix nur positive Elemente besitzt.
In anderen Worten, für n ∈ N ist es möglich von einem Zustand zu einem anderen Zustand in
genau n Schritten zu kommen.
Beispiel 5. Es sei in Beispiel 1 die Anfangsverteilung µ(0) = (1/3, 1/3, 1/3). Wir berechnen
die Verteilung der Zustände nach drei Tagen mittels der vorigen Berechnung von P 3 und dem
Satz 1.1:


0.188 0.406 0.406
µ(3) = µ(0) P 3 = (1/3, 1/3, 1/3) 0.203 0.406 0.391 = (0.198, 0.401, 0.401).
0.203 0.391 0.406
In drei Tagen, bei gleicher Anfangswahrscheinlichkeit für alle Wetterzustände, wird es mit
einer Wahrscheinlichkeit von knapp 20% sonnig, beziehungsweise mit je ungefähr 40% regnen
oder schneien.
10
1.2.2 Zufallsvariablen und Zufallszeiten
In diesem Abschnitt werden einige Zufallsvariablen definiert, die die Berechnung diverser Probleme vereinfachen. Ein Beispiel für Zufallsvariablen von Markov-Ketten in R sind die Besuche
in einer Menge W ⊂ X:
(
1 Zn (λ) ∈ W ;
W
vn (λ) =
0 sonst.
Wobei λ einen Weg der Zufallsvaraiable Zn beschreibt und für W = {x} schreiben wir
x
W
W
W
vW
n = vn . Die Zufallsvariable vk + vk+1 + . . . + vn (k ≤ n) ist die Anzahl der Besuche
∞
P
in W in der Zeitspanne zwischen den Zuständen k und n. Es ist vW =
vW
n die Gesamtann=0
zahl der Besuche in W . Der Erwartungswert der Besuche in W in diesem Zeitraum unter
Berücksichtigung der Anfangsverteilung µ ist
Eµ (vW
k
+
vW
k+1
+ ... +
vW
n )
=
n X
XX
µ(x)p(i) (x, y).
x∈X i=k y∈W
Eine Zufallszeit ist eine Zufallsvariable t: Λ → N0 ∪ {∞}, für die gilt
[t ≤ n] := {λ ∈ Λ|t(λ) ≤ n} ∈ A ∀n ∈ N0 .
Eine Zufallszeit t heißt Stoppzeit, wenn Pµ [t = ∞] = 0, diese Eigenschaft hängt im Allgemeinen von der Anfangsverteilung µ ab.
Für W ⊂ X, definieren wir die Zufallsvariablen
sW = min{n ≥ 0 | Zn ∈ W } und
tW = min{n ≥ 1 | Zn ∈ W }.
Die Zufallsvariable sW ist der Zeitpunkt des ersten Besuchs von Zn in W , während tW der
Moment des ersten Besuchs in W nach dem Start ist. Wieder schreiben wir sx und tx falls
W = {x}.
Dazu definieren wir einige hilfreiche Größen:
G(x, y) = Ex (vy ),
U (x, y) = Px [sy < ∞] und
F (x, y) = Px [ty < ∞],
für x, y ∈ X.
Die Größe G(x, y) ist die erwartete Anzahl der Besuche von (Zn ) in y, ausgehend von x,
während U (x, y) die Wahrscheinlichkeit von x ausgehend y zu erreichen ist, und F (x, y) die
Wahrscheinlichkeit y zu erreichen, nachdem man von x gestartet ist. Insbesondere ist F (x, x)
die Wahrscheinlichkeit von x auskehrend nach x zurückzukehren. Es folgt
U (x, x) = 1 und U (x, y) = F (x, y)
für x 6= y.
Wir schreiben
f (n) (x, y) = Px [ty = n] = Px [Zn = y, Zi 6= y für i = 1, . . . , n − 1]
11
mit f (0) (x, y) = 0 und bekommen
F (x, y) =
∞
X
f (n) (x, y) und G(x, y) =
n=0
∞
X
p(n) (x, y).
n=0
Beispiel 6. Jetzt können wir die Fragen von Beispiel 1 beantworten.
(a) Wenn es heute regnet entspricht die Wahrscheinlichkeit für schönes Wetter nach 2 Wochen
genau der Übergangswahrscheinlichkeit in 14 Schritten von Regen zu Sonne zu kommen.
Nach der Definition der Übergangswahrscheinlichkeit ist dies
p(14) (r, s).
Diese Zahl lässt sich berechnen, indem man die 14. Potenz der Übergangsmatrix berechnet
und das Element (r, s) daraus nimmt. Eine Matrix zu potenzieren kann sehr umfangreich
sein, daher sind wir an einer einfacheren Lösung interessiert, wofür die Greensche Funktion
definiert wird.
(b) Wenn es heute regnet, so ist der Erwartungswert der Anzahl der regnerischen Tage im
Laufe des nächsten Monats (30 Tage) genau der Erwartungswert über alle möglichen
Übergangswahrscheinlichkeiten
!
30
30
X
X
r
Er
vn =
p(n) (r, r).
n=0
n=0
Wir werden auch diese Lösung mittels der Greenschen Funktion berechnen.
(c) Eine Schlechtwetterperiode beginnt nach und endet vor einem schönen Tag. Die Dauer
von genau n Tagen hat folgende Wahrscheinlichkeit
P[Z1 , Z2 , . . . Zn ∈ {r, n}, Zn+1 = s | Z0 = s] =
Ps [Z1 , Z2 , . . . Zn ∈ {r, n}, Zn+1 = s] = Ps [ts = n + 1] = f (n+1) (s, s).
Eine Schlechtwetterperiode hält nicht für immer an, es gilt Ps [ts = ∞] = 0. Der Erwartungswert der Dauer einer Schlechtwetterperiode ist
Ern =
∞
X
nf (n+1) (s, s).
n=1
Zur Berechnung dieser Zahl können wir die Markov-Kette vereinfachen. Es gilt p(r, s) =
p(n, s) = 1/4, auf einen Tag mit schlechtem Wetter (r oder n) folgt ein schöner Tag (s) mit
Wahrscheinlichkeit 1/4 und ein anderer Schlechtwettertag (r oder n) mit 3/4, unabhängig
von der Art des schlechten Wetters (r oder n) am Vortag. Auf einen Tag mit schönem
Wetter (s) folgt mit Wahrscheinlichkeit 1 schlechtes Wetter (r oder n). Die Zustände r
und n können in einen einzigen Schlechtwetter-Zustand rn zusammengefasst werden und
es ergibt sich ein neuer Zustandsraum X̄ = {s, rn} mit der neuen Übergangsmatrix P̄ :
p̄(s, s) = 0,
p̄(s, rn) = 1,
p̄(rn, s) = 1/4, p̄(rn, rn) = 3/4.
P̄ =
s
rn
rn s
0
1
1/4 3/4
12
Wahrscheinlichkeiten, die r von n nicht unterscheiden, können nun mittels der neuen
Markov-Kette (X̄, P̄ ) und der Wahrscheinlichkeitsverteilung P̄x̄ , x̄ ∈ X̄ berechnet werden.
Ps [ts = n + 1] = P̄s [ts = n + 1]
= p̄(s, rn)(p̄(rn, rn))n−1 p̄(rn, s)
n−1
3
1
=1·
.
4
4
Und
Ps [ts = ∞] = 1 −
∞
X
P̄s [ts = n + 1] = 0.
n=0
Die zu erwartende Dauer einer Schlechtwetterperiode ist daher
n−1
∞
X
1
3
.
Ern =
n
4
4
n=1
Um diese Summe zu berechnen, verwenden wir einen Trick:
∞
∞
P n 0
P
n−1
z .
Für die Ableitung der analytischen Potenzreihe gilt:
nz
=
∞
P
n=1
n=0
1
besitzt den Wert
Die geometrische Reihe
für |z| < 1.
1−z
n=0
0
∞
P
1
1
Daraus folgt
=
.
nz n−1 =
1−z
(1 − z)2
n=1
Eingesetzt in unser Beispiel ergibt sich:
zn
n−1
∞
X
3
1
1
1
n
= ·
= 4.
4
4
4 (1 − 34 )2
n=1
Die durchschnittliche Dauer einer Schlechtwetterperiode ist 4 Tage.
13
2 Erzeugende Funktionen der
Übergangswahrscheinlichkeiten
Für eine Folge von reellen oder komplexen Zahlen (an )n∈N heißt die Potenzreihe
∞
P
an z n
n=0
erzeugende Funktion von (an )n∈N . Die erzeugende Funktion kann oft nützliche Informationen
über die Zahlenfolge liefern und hilft uns einige Problemstellungen leichter zu lösen.
2.1 Greensche Funktion
Definition 5. Die Greensche Funktion einer Markov-Kette (X, P ) ist definiert als
G(x, y|z) =
∞
X
p(n) (x, y)z n ,
x, y ∈ X, z ∈ C.
(2.1)
n=0
Ihr Konvergenzradius ist
r(x, y) = 1/ lim sup(p(n) (x, y))1/n ≥ 1.
n
Für z = r(x, y) kann die Folge konvergieren oder nach ∞ divergieren. In beiden Fällen
schreiben wir G(x, y|r(x, y)) für den entsprechenden Wert.
Nun ist r = inf{r(x, y) | x, y ∈ X} und |z| < r. Wir bilden die sogenannte Greensche Matrix
G(z) = (G(x, y|z))x,y∈X .
2.1.1 Eigenschaften der Greenschen Funktion
Das Element p(n) (x, y) ist an der Stelle (x, y) der Matrix P n . Daraus folgt für die Greensche
Matrix
G(z) =
∞
X
znP n,
n=0
wobei jede Koordinate dieser Matrix eine Potenzreihe ist, die jedenfalls für alle z mit |z| < r
konvergiert.
Da P 0 = I gilt, können wir die Matrix G(z) umformen:
G(z) = I +
∞
X
n
n
z P = I + zP
n=1
∞
X
n=0
14
z n P n = I + zP G(z).
Für die Berechnung der Elemente der Greenschen Matrix gilt mittels 1.5 auch
G(x, y|z) = p(0) (x, y) +
∞ X
X
p(x, w)p(n−1) (w, y)z n
n=1 w∈X
(∗)
(0)
Def
(0)
=p
(x, y) +
X
zp(x, w)
(x, y) +
p(n−1) (w, y)z n−1
n=1
w∈X
= p
∞
X
X
zp(x, w)G(w, y|z).
w∈X
Die Vertauschung der Summanden in (∗) ist durch die absolute Konvergenz erlaubt.
Wir erhalten (I − zP )G(z) = I, woraus für die Berechnung der Greenschen Matrix folgt
G(z) = (I − zP )−1 .
Für die weiteren Beispiele legen wir für X fest, dass es endlich ist, wodurch die Matrizen
endliche Dimension haben und es sich um die üblichen inversen Matrizen handelt.
Beispiel 7. Aus dem Beispiel 1 auf Seite 4 bekommen wir die Greensche Matrix:
−1
1
−z/2
−z/2
G(z) = −z/4 1 − z/2 −z/4  =
−z/4 −z/4 1 − z/2


(4 − 3z)(4 − z)
2z(4 − z)
2z(4 − z)
1
 z(4 − z)
2(8 − 4z − z 2 )
2z(2 + z) 
=
(1 − z)(4 − z)(4 + z)
z(4 − z)
2z(2 + z)
2(8 − 4z − z 2 )

Wir können nun die Antworten auf die Fragen a) und b) vervollständigen:
a) Die Wahrscheinlichkeit für schönes Wetter nach zwei Wochen entspricht der Übergangswahrscheinlichkeit in 14 Schritten von Regen nach Sonne zu kommen: p(14) (r, s).
Der Eintrag (r, s) der Matrix G(z) ist
z
z
1
1
G(r, s|z) =
=
+
.
(1 − z)(4 + z)
5 1−z 4+z
Ergibt in eine Reihe entwickelt
∞
X
1
(−1)n
=
1−
zn.
5
4n
n=0
Die Koeffizienten ergeben genau die Übergangswahrscheinlichkeiten
∞
X
1
(−1)n
(n)
p (r, s) =
1−
.
5
4n
n=0
In unserem Fall folgt für n=14 Tage also
p
(14)
1
(r, s) =
5
15
1
1 − 14
4
≈ 0.2.
Die Wahrscheinlichkeit für Sonne nach zwei Wochen ist ungefähr 20%.
Betrachtet man die 14. Potenz der Übergangsmatrix (gerundet)
r
n
 s
s
0.2 0.4 0.4
r 0.2 0.4 0.4,
n
0.2 0.4 0.4
P 14 =
kann man dasselbe Ergebnis ablesen.
b) Der Erwartungswert für regnerische Tage im Laufe eines Monats (30 Tage) ist
Er =
30
X
p(n) (r, r),
n=0
Dafür nehmen wir den Eintrag (r, r) der Matrix G(z)
G(r, r|z) =
2(8 − 4z − z 2 )
,
(1 − z)(4 − z)(4 + z)
dies ergibt die Potenzreihe
=
∞
X
n=0
1
z n (2−1−2n (5 − (−1)n + 41+n )).
5
Für unseren Erwartungswert gilt:
Er =
30
X
p
(n)
(r, r) =
n=0
30
X
1
n=0
5
(2−1−2n (5 − (−1)n + 41+n )).
Satz 2.1. Wenn X endlich ist, so ist G(x, y|z) eine rationale Funktion in z.
Beweis. Erinnern wir uns daran, dass für endliche invertierbare Matrizen A = (ai,j ) gilt
A−1 =
1
(a∗ ) mit a∗i,j = (−1)i−j det(A|j, i),
det(A) i,j
wobei det(A|j, i) die Determinante der Matrix bezeichnet, die von A durch Löschen der j-ten
Zeile und der i-ten Spalte erzielt wird. Dann ist
G(x, y|z) = (I − zPxy )−1 = ±
det(I − zPxy )
det(I − zP )
der Quotient zweier Polynome.
Für die erzeugenden Funktionen gilt
F (x, y|z) =
∞
X
f (n) (x, y)z n
n=0
und
∞
X
(
F (x, y|z) y 6= x;
U (x, y|z) =
Px [sy = n]z n =
1
y = x.
n=0
16
(2.2)
Satz 2.1
1
1 − F (x, x|z)
b) G(x, y|z) = F (x, y|z)G(y,
P y|z), wenn x 6= y
p(x, w)zF (w, y|z);
c) F (x, y|z) = p(x, y)z +
a) G(x, x|z) =
w6=y
Beweis. a) Zuerst zeigen wir den Zusammenhang von f (n) (x, x) und p(n) (x, x).
Wenn Z0 = x und Zn = x, mit n ≥ 1, gibt es einen Zustand dazwischen mit Zk = x,
aber Zi 6= x für i = 1, . . . , k − 1. Unter Verwendung der in Abschnitt 1.2.2 definierten
Zufallsvariablen gilt:
[Zk = x, Zi 6= x für i = 2, . . . , k − 1] = [tx = k],
k = 1, . . . , n.
Diese Ereignisse sind paarweise disjunkt. Mittels der Markov-Eigenschaft und der Formel (1.4) bekommen wir
p
(n)
(x, x) =
n
X
Px [Zn = x; tx = k]
k=1
=
n
X
Px [Zn = x|Zk = x, Zi 6= x für i = 1, . . . , k − 1]Px [tx = k]
k=1
=
=
=
n
X
k=1
n
X
k=1
n
X
Px [Zn = x|Zk = x]Px [tx = k]
p(n−k) (x, x)f (k) (x, x)
p(n−k) (x, x)f (k) (x, x).
k=0
In der letzten Gleichung haben wir verwendet, dass f (0) (x, x) = 0. Für n = 0 gilt p(0) (x, x) =
0
P
1, wobei
p(n−k) (x, x)f (k) (x, x) = 0. Es folgt:
k=0
G(x, x|z) =
∞
X
p(n) (x, x)z n
n=0
=1+
=1+
=1+
∞
X
p(n) (x, x)z n
n=1
∞ X
n
X
n=1 k=0
∞ X
n
X
f (k) (x, x)p(n−k) (x, x)z n
f (k) (x, x)p(n−k) (x, x)z n
n=0 k=0
= 1 + F (x, x|z)G(x, x|z).
17
Die letzte Identität folgt aus der Cauchyschen Produktformel für Reihen, welche besagt,
∞
∞
P
P
bk z k , welche im Punkt z absolut
ai z i und g(z) =
dass für zwei Potenzreihen f (z) =
i=0
k=0
konvergieren, gilt
f (z) · g(z) =
∞
n
X
X
n=0
!
ak bn−k
zn.
k=0
b) Für x 6= y, ist p(0) (x, y) = 0. Analog zu (a) folgt:
p
(n)
(x, y) =
n
X
f
(k)
(x, y)p
(n−k)
(y, y) =
k=1
⇒ G(x, y|z) =
∞
X
n
X
f (k) (x, y)p(n−k) (y, y) ∀n ≥ 0,
k=0
p(n) (x, y) =
n=1
∞ X
n
X
f (k) (x, y)p(n−k) (y, y) = F (x, y|z)G(y, y|z).
n=1 k=0
c) Es gilt f (1) (x, y) = p(x, y). Wenn n > 1 und ty = n, so muss gelten Z1 6= y. Die Ereignisse
[ty = n; Z1 = w],
w ∈ X \ {y},
sind paarweise unabhängig. Es folgt
X
f (n) (x, y) =
Px [ty = n; Z1 = w]
w6=y
=
X
Px [Z1 = w]Px [ty = n|Z1 = w]
w6=y
=
X
Px [Z1 = w]Pw [ty = n − 1]
w6=y
=
X
p(x, w)f (n−1) (w, y).
w6=y
Nun gilt
F (x, y|z) =
=
∞
X
n=1
∞
X
f (n) (x, y)z n
X
p(x, w)f (n−1) (w, y)z n
n=1 w6=y
= p(x, y)z +
∞ X
X
p(x, w)f (n−1) (w, y)z n
n=2 w6=y
= p(x, y)z +
X
w6=y
= p(x, y)z +
X
w6=y
18
p(x, w)z
∞
X
f (n) (w, y)z n
n=1
p(x, w)zF (w, y|z).
2.1.2 Beispiele zur Greenschen Funktion
Für die Lösung von Beispiel 2 auf Seite 4 über den Betrunkenen betrachten wir erst den verallgemeinerten Fall einer Irrfahrt auf X mit zwei absorbierenden Zustände.
Es ergibt sich die Markov-Kette mit Zustandsraum X = {0, 1, . . . , N }, N > 0, und den Übergangswahrscheinlichkeiten
p(0, 0) = p(N, N ) = 1 für die absorbierenden Schranken,
p(i, i + 1) = p,
p(i, i − 1) = q
für i = 1, . . . , N − 1 und
p(i, j) = 0 in allen anderen Fällen,
wobei 0 < p < 1 und q = 1 − p. Dieses Beispiel ist auch bekannt als der Ruin des Spielers.
Die gesuchten Wahrscheinlichkeiten vom Punkt j entweder den Zustand 0 oder N zu erreichen
entsprechen genau Pj [s0 < n] = U (j, 0), beziehungsweise U (j, N ) aus Abschnitt 1.2.2. Der
Erwartungswert der nötigen Schritte von j nach N zu kommen, unter der Annahme dass N
erreicht wird, ist
Ej (sN | sN < ∞) =
=
∞
X
n=1
∞
X
n=1
Es bezeichnet U 0 (j, N |z) =
∞
P
n Pj [sN = n | sN < ∞]
n
Pj [sN = n] (2.2) U 0 (j, N |1)
=
.
Pj [sN < ∞]
U (j, N |1)
n Pj [sN = n] die Ableitung von U (j, N |z) mit z = 1. Sei nun
n=1
U (j, N ) die Wahrscheinlichkeit beim Zustand N anzukommen, so gilt für die absorbierenden
Zustände
U (0, N |z) = 0 und U (N, N |z) = 1.
Für j zwischen 1 und N −1 führt der erste Schritt mit Wahrscheinlichkeit q zum Zustand j-1
und mit p zu j+1, wobei gilt, dass p + q = 1. Daraus folgt die Gleichung
U (j, N ) = qU (j − 1, N ) + pU (j + 1, N ),
j = 1, . . . N − 1.
Diese Rekursion ist mit den Anfangswerten U (0, N |z) = 0 und U (N, N |z) = 1 schnell zu
lösen. Um U (j, N |z) zu finden, kommen wir zu einer linearen Differentialgleichung in j von
zweiter Ordnung. Das charakteristische Polynom ist
pzλ2 − λ + qz = 0
mit Nullstellen
p
1 1 − 1 − 4pqz 2 ,
2pz
p
1 λ2 (z) =
1 + 1 − 4pqz 2 .
2pz
√
Untersucht man den Fall |z| < 1/2 pq, bekommt man verschiedene Nullstellen und
λ1 (z) =
U (j, N |z) = a · λ1 (z)j + b · λ2 (z)j .
19
Die Konstanten a und b lassen sich aus den Werten für j = 0 und j = N finden:
a + b = 0 und a · λ1 (z)N + b · λ2 (z)N = 1.
Es folgt
U (j, N |z) =
Für p 6= 21 , ρ =
q
p
λ2 (z)j − λ1 (z)j
,
λ2 (z)N − λ1 (z)N
1
|z| < √ .
2 pq
√
gilt 1 < 1/2 pq,
(
1,
ρ,
(
ρ,
1 + |p − q|
λ1 (2) =
=
2p
1,
1 − |p − q|
λ1 (1) =
=
2p
p < 1/2,
p > 1/2,
p < 1/2,
p > 1/2.
Daraus folgt für die Berechnung der Wahrscheinlichkeit
Pj [sN < ∞] = U (j, N |1) =
ρj − 1
.
ρN − 1
Weiters berechnet man
U 0 (j, N |1) =
1
N (ρj − 1)(ρN + 1) − j(ρj + 1)(ρN − 1) .
N
2
(q − p)(ρ − 1)
So folgt für p 6= 1/2
N
Ej (s |s
N
1
< ∞) =
q−p
ρN + 1
ρj + 1
N N
−j j
.
ρ −1
ρ −1
Im Fall p = 1/2 ist einfach zu zeigen, dass
U (j, N |1) =
1
.
N
Beispiel 8. Im Beispiel 2 auf Seite 4 über den Betrunkenen haben wir N = 300 Schritte
als Gesamtlänge der Strecke, die Wahrscheinlichkeiten p = 2/3, q = 1/3, mit ρ = 1/2 und
j = 200 (Schritte vom Gasthaus nach Hause). Wir wollen nun die Wahrscheinlichkeit für den
Betrunkenen nach Hause zu kommen, bzw. im See zu ertrinken, berechnen. Er startet bei 100
Schritten und die Wahrscheinlichkeit heim zu kommen entspricht
P100 [s300 < ∞] =
1 − 2−200
≈ 1.
1 − 2−300
Die durchschnittliche Anzahl von Schritten entspricht dem Erwartungswert
!
1 200
1 300
+
1
+
1
1
E100 (s300 |s300 < ∞) =
300 2 300
− 200 2 200
≈ 600.
1
1
q−p
−1
−1
2
2
Die Wahrscheinlichkeit, dass der Betrunkene nicht nach Hause zurückkehrt, ist quasi Null.
Um nach Hause zu kommen, braucht er im Durchschnitt 600 Schritte, also das Dreifache des
erforderlichen Minimums.
20
Literaturverzeichnis
[1]
Woess, Wolfgang. Catene di Markov e teoria del potenziale nel discreto. Quaderni dell’
Unione Matematica Italiana, 1996.
[2]
Dartmouth. Chapter 11. Markov Chains. Online verfügbar unter
http://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_
book/Chapter11.pdf
03.01.2013.
[3]
Schomaker, Jens. Einführung in die Theorie der Markov-Ketten. Online verfügbar unter
http://wwwmath.uni-muenster.de/statistik/lehre/SS12/SeminarAnwendungenWT/
Vortraege/Schomaker.pdf
30.11.2012.
Weitere Literatur:
[4]
Held, Leonhard. Stochastik fur Bioinformatiker.Markov-Ketten. Online verfügbar
unter
http://www.statistik.uni-muenchen.de/institut/ag/biostat/teaching/
stobio2006/script/script-kap7.pdf
17.1.2013.
[5]
Weingessel, Andreas. Statistik in der Finanzwirtschaft. Markoff-Ketten in diskreter Zeit.
Online verfügbar unter
http://www.ci.tuwien.ac.at/~weingessel/FStat2005/markoff.pdf
17.1.2013.
[6]
Penz, Markus. Markov-Ketten. Online verfügbar unter
http://homepage.uibk.ac.at/~c705204/pdf/markov.pdf
17.1.2013.L