9 Markoff"Ketten

9
9.1
Marko¤-Ketten
Grundlegende Begri¤e
Marko¤-Ketten kann man anschaulich wie folgt beschreiben: Ein Teilchen bewegt sich in
diskreter Zeit auf einer höchstens abzählbaren Menge I. Be…ndet es sich auf einem Platz
i 2 I, so wechselt es mit gewissen Wahrscheinlichkeiten (die von i abhängen) zu einem
anderen Platz j 2 I. Diese Übergangswahrscheinlichkeiten hängen aber nicht weiter von
der Vorgeschichte ab, das heisst vom Weg, auf dem das Teilchen zum Platz i gekommen
ist. Die Element in I nennen wir auch die “Zustände”, in denen sich die Kette be…nden
kann.
De…nition 9.1
Es sei I eine nichtleere, höchstens abzählbare Menge. Eine Matrix
P = (pij )i;j2I heisst
P
stochastische Matrix, wenn pij 2 [0; 1] für alle i; j 2 I und j2I pij = 1 für alle i 2 I
gelten. Die Komponenten pij nennt man die Übergangswahrscheinlichkeiten.
Eine auf einem Wahrscheinlichkeitsraum ( ; F; P ) de…nierte messbare Abbildung X :
! I nennen wir eine I-wertige Zufallsgrösse. Da wir I als abzählbar voraussetzen,
bedeutet Messbarkeit einfach, dass für jedes i 2 I die Menge f! : X (!) = ig in F ist.
De…nition 9.2
Sei P ein stochastische Matrix. Eine endlich oder unendlich lange Folge X0 ; X1 ; X2 ; : : :
I-wertiger Zufallsgrössen heisst (zeitlich homogene) Marko¤-Kette mit stochastischer
Matrix P, wenn für alle n 0 und alle i0 ; i1 ; : : : ; in ; in+1 2 I; die P (X0 = i0 ; : : : ; Xn =
in ) > 0 erfüllen, die Gleichung
P ( Xn+1 = in+1 j X0 = i0 ; X1 = i1 ; : : : ; Xn = in ) = pin in+1
gilt. Die Startverteilung
i 2 I.
(9.1)
einer Marko¤-Kette ist de…niert durch (i) = P (X0 = i),
Man schreibt oft P , um die Startverteilung hervorzuheben. Ist die Startverteilung
auf einen Punkt konzentriert, d. h·gilt (i) = 1 für ein i 2 I, so schreiben wir meist Pi
anstelle von P . Wenn wir einfach P schreiben, so betrachten wir eine beliebige nicht
weiter spezi…zierte Startverteilung. Wir haben die obige De…nition für eine unendlich
lange Marko¤-Kette formuliert. Die gleiche De…nition kann jedoch auch für eine Marko¤Kette X0 ; : : : ; XN von endlicher zeitlicher Länge verwendet werden. Ohne Beweis zitieren
wir den folgenden Satz über die Existenz von Marko¤-Ketten.
Satz 9.3
Sei I eine abzählbare Menge,
eine Wahrscheinlichkeitsverteilung auf I und P eine
stochastische Matrix. Sei ferner := I N0 , Xn : ! I für n 2 N0 die Projektionen und
F die Produkt- -Algebra auf ; d.h. die vom Mengensystem Xn 1 (fig) : n 2 N0 ; i 2 I
erzeugte -Algebra. Dann existiert genau ein Wahrscheinlichkeitsmass P auf ( ; F) mit
der Eigenschaft, dass die Folge (Xn )n2N0 eine Marko¤-Kette im Sinne der De…nition 9.2
mit Startverteilung ist.
154
Der Satz ist ein Spezialfall des Satzes von Ionescu-Tulcea, mit dem man praktisch
alle Existenzprobleme für Wahrscheinlichkeitsmasse mit einem Schlag lösen kann. Ein
Beweis wird in der Vorlesung im nächsten Semester gegeben werden.
Für s < t; s; t 2 N0 schreiben wir oft X[s;t] für die Folge (Xs ; Xs+1 ; : : : ; Xt ) ; den
sogenannten “Pfad”. Dieselbe Notation verwenden wir auch für eine (nicht zufällige)
Folge a = (ai )i2N0 : Wir schreiben auch i 2
= X[s;t] ; falls Xu 6= i für u = s; s + 1; : : : ; t ist.
Satz 9.4
Sei fXn gn2N0 eine Folge von I-wertigen Zufallsgrössen,
und P = (pij ) eine stochastischer Matrix.
eine Wahrscheinlichkeit auf I
a) fXn gn2N0 ist genau dann eine Marko¤-Kette mit stochastischer Matrix P und Startverteilung ; wenn für alle n 2 N0 und i0 ; i1 ; : : : ; in 2 I die Gleichung
P (X[0;n] = i[0;n] ) = (i0 )pi0 i1 pi1 i2 : : : pin
(9.2)
1 in
gilt.
b) Ist fXn gn2N0 eine Marko¤-Kette so gilt die folgende Aussage: Es seien n < m und
in 2 I sowie A I n und B I m n . Falls P (X[0;n 1] 2 A; Xn = in ) > 0 ist, so ist
P
X[n+1;m] 2 B j X[0;n
1]
2 A; Xn = in
= P (X[n+1;m] 2 B j Xn = in(9.3)
)
= Pin X[1;m
n]
2B
Beweis. a): Aus (9.1) folgt (9.2) durch Induktion nach n: De…nitionsgemäss gilt die
Behauptung für n = 0. Es gelte die Aussage für ein n 2 N0 und seien i0 ; i1 ; : : : ; in+1 2 I.
Ist P (X0 = i0 ; : : : ; Xn = in ) = 0, so gilt die behauptete Formel ebenfalls für n + 1: Ist
P (X0 = i0 ; : : : ; Xn = in ) > 0, so folgt aus De…nition
P
X[0;n+1] = i[0;n+1] = P (Xn+1 = in+1 j X[0;n] = i[0;n] )P (X[0;n] = i[0;n] )
= (i0 )pi0 i1 : : : pin
1 in
pin in+1 :
Umgekehrt folgt aus (9.2) sofort (9.1) durch Einsetzen in die De…nition der bedingten
Wahrscheinlichkeit.
b) Sei P (X[0;n 1] 2 A; Xn = in ) > 0. Mit der De…nition der bedingten Wahrscheinlichkeit und Teil a) folgt
P
X[n+1;m] 2 B j X[0;n
1]
2 A; Xn = in
P (X[n+1;m] 2 B; Xn = in ; X[0;n 1] 2 A)
P (X[0;n 1] 2 A; Xn = in )
P
P
(in+1 ;:::;im )2B
(i0 ;:::;in 1 )2A (i0 )pi0 i1 : : : pim
P
=
(i0 ;:::;in 1 )2A (i0 )pi0 i0 : : : pin 1 in
X
=
pin in+1 pin+1 in+2 : : : pim 1 im :
=
(in+1 ;:::;im )2B
155
1 im
Dieser Ausdruck auf der rechten Seite hängt nicht von A ab. Wir können insbesondere
A = I f0;1;:::;n 1g setzen. Dann erhalten wir
X
P X[n+1;m] 2 B j Xn = in =
pin in+1 pin+1 in+2 : : : pim 1 im :
(9.4)
(in+1 ;:::;im )2B
Somit folgt für eine beliebige Teilmenge A
I f0;1;:::;n 1g , die P (X[0;n 1] 2 A; Xn =
in ) > 0 erfüllt, die erste Formel. Die zweite ergibt sich aus (9.4) und a).
Die Aussage von b) heisst Marko¤-Eigenschaft. Es sollte jedoch hervorgehoben
werden, dass nicht jede Folge von I-wertigen Zufallsgrössen X0 ; X1 ; : : : , die (9.3) erfüllt,
auch eine homogene Marko¤-Kette im Sinne der De…nition 9.2 ist. Es gilt jedoch der
folgende Satz, dessen einfacher Beweis dem Leser überlassen sei:
Satz 9.5
Sei X0 ; X1 ; : : : eine Folge von I-wertigen Zufallsgrössen, die (9.3) erfüllt. Dann existert
eine Wahrscheinlichkeitsverteilung auf I und eine Folge fPn gn2N0 von stochastischen
Matrizen Pn = (pn (i; j))i;j2I , sodass für alle n 2 N und alle i0 ; i1 ; : : : ; in 2 I die folgende
Gleichung gilt:
P (X[0;n] = i[0;n] ) = (i0 )p0 (i0 ; i1 ) : : : pn
1 (in 1 ; in ):
Der Unterschied zu (9.2) besteht darin, dass wir dort die zusätzliche Eigenschaft
haben, dass die Übergangswahrscheinlichkeiten nicht von der Zeit abhängen. Man nennt
die Ketten deshalb zeitlich homogen. Wir schränken uns in diesem Kapitel vollständig
auf zeitlich homogene Ketten ein ohne dies jedesmal besonders zu betonen.
Eine stochastische Matrix P = (pij )i;j2I kann man stets ohne Probleme potenzieren:
(n)
(0)
Für n 2 N0 de…niert man die n-te Potenz Pn = (pij )i;j2I rekursiv durch pij = ij und
(n+1)
pij
=
X
(n)
pik pkj
k2I
für alle i; j 2 I, das heisst, Pn ist das n-fache Matrixprodukt von P mit sich selbst. Aus
der rekursiven De…nition folgt, dass Pn selbst eine stochastische Matrix ist. Es gelten
die aus der linearen Algebra bekannten Rechenregeln für Matrizen, insbesondere gilt
Pm Pn = Pm+n , das heisst
X (m) (n)
(m+n)
pik pkj = pij
; i; j 2 I:
(9.5)
k2I
(n)
(n)
Die Komponenten pij der Matrix Pn = (pij )i;j2I heissen n-stu…ge Übergangswahrscheinlichkeiten.
Lemma 9.6
Es sei X0 ; X1 ; X2 ; : : : eine Marko¤-Kette mit Startverteilung
Dann gilt
X
(n)
P (Xn = j) =
(i)pij
i2I
156
und Übergangsmatrix P.
für alle n 2 N0 und j 2 I. Ist die Startverteilung
(n)
Pi (Xn = j) = pij .
Beweis. Aus Satz 9.4 a) folgt
X
P (Xn = j) =
i0 ;:::;in
=
X
i0 ;:::;in
auf i 2 I konzentriert, so gilt
P (X0 = i0 ; : : : ; Xn
1 2I
(i0 )pi0 i1 : : : pin
1j
= in
1
=
X
1;
Xn = j)
(n)
(i)pij :
i2I
1 2I
Lemma 9.7
Sei X0 ; X1 ; X2 ; : : : eine Marko¤-Kette mit stochastischer Matrix P = (pij )i;j2I . Sind
m; n 2 N0 und i; j 2 I mit P (Xm = i) > 0, so gilt
(n)
P (Xm+n = j j Xm = i) = pij :
Beweis. Aus (9.3) folgt:
(n)
P ( Xm+n = j j Xm = i ) = Pi (Xn = j) = pij ;
die letzte Gleichung nach Lemma 9.6.
Lemma 9.8
(m+n)
Für alle m; n 2 N0 und i; j; k 2 I gilt pij
(m) (n)
pik pkj .
Beweis. Dies ergibt sich sofort aus (9.5).
9.2
Beispiele von Marko¤-Ketten
Zunächst einige Beispiele, die wir eigentlich schon kennen.
Beispiel 9.9
P
a) Sei pij = qj für alle i; j 2 I, wobei j2I qj = 1 ist. Dann gilt
P (X0 = i0 ; X1 = i1 ; : : : ; Xn = in ) = (i0 )qi1 : : : qin :
Man sieht leicht, dass qj = P (Xm = j) für m
1 ist. Somit gilt
P (X0 = i0 ; : : : ; Xn = in ) = P (X0 = i0 )P (X1 = i1 ) : : : P (Xn = in );
d. h,· die X0 ; X1 ; : : : ; Xn sind unabhängig.
b) Irrfahrt auf Z: Es sei Y1 ; Y2 ; : : : eine Folge unabhängiger, f1; 1g-wertiger Zufallsgrössen mitP
P (Yj = 1) = p und P (Yj = 1) = 1 p, wobei p 2 [0; 1] ist. Sei X0 := 0
und Xn := nj=1 Yj für n 1. Dann ist X0 ; X1 ; : : : eine Marko¤-Kette auf Z. Die
Übergangsmatrix P = (pij )i;j2Z ist durch pi;i+1 = p und pi;i 1 = 1 p eindeutig
festgelegt, und die Startverteilung ist in 0 konzentriert. Für p = 1=2 nennt man
das die (eindimensionale) symmetrische Irrfahrt.
157
c) Symmetrische Irrfahrt auf Zd : Hier ist I = Zd und p(i1 ;:::;id );(j1 ;:::;jd ) = 1=(2d),
falls ik = jk für alle bis auf genau ein k 2 f1; 2; : : : ; dg, für das jik jk j = 1 ist.
Alle anderen Übergangswahrscheinlichkeiten müssen dann gleich null sein.
d) Irrfahrt auf I = f0; : : : ; ng mit Absorption: 0 und n seien absorbierend, also
p00 = 1 und pnn = 1. Für i 2 f1; 2; : : : ; n 1g geschehe ein Schritt nach rechts
mit Wahrscheinlichkeit p 2 (0; 1) und ein Schritt nach links mit Wahrscheinlichkeit
q := 1 p,0also pi;i+1 = p und 1
pi;i 1 = q. Die stochastische Matrix hat somit die
1 0
0
Bq 0
C
p
B
C
B .. .. ..
C
Form P = B
C:
.
.
.
B
C
@
q
0 pA
0
0 1
e) Irrfahrt mit Re‡exion: Das gleiche Modell wie in Beispiel d) mit der Änderung,
dass p01 = pn;n 1 = 1 sein soll.
Einige interessante Beispiele können als sogenannte Urnenmodelle realisiert werden.
Beispiel 9.10
a) Polyas Urnenschema: In einer Urne liegen rote und schwarze Kugeln. Eine wird
zufällig gezogen und zusammen mit einer neuen Kugel der gleichen Farbe zurückgelegt. Hier ist I = f (r; s) j r; s 2 N g sowie p(r;s);(r+1;s) = r=(r + s) und
p(r;s);(r;s+1) = s=(r + s) für alle r; s 2 N. Polya hatte dies als einfaches Modell für
Ansteckungen (z.B. von Krankheiten) vorgeschlagen.
b) Ehrenfests Urnenmodell: Insgesamt n Kugeln liegen in zwei Urnen. Man wählt
eine der Urnen jeweils mit Wahrscheinlichkeit proportional zur Anzahl der Kugeln
in dieser Urne. Enthält die Urne 1 als k Kugeln (die Urne 2 also n k); so wählt
man die Urne 1 mit Wahrscheinlichkeit k=n und die Urne 2 mit Wahrscheinlichkeit 1 k=n: Anschliessend verschiebt man eine Kugel von der gewählten Urne
in die andere. Auf diese Weise fährt man weiter. Wir können für I einfach die
Möglichkeiten für die Belegung der Urne 1 nehmen, also I := f0; : : : ; ng : Der obige
Zufallsvorgang lässt sich durch die stochastische Matrix pk;k 1 = k=n; pk;k+1 :=
1 k=n, pk;j = 0 für j 2
= fk 1; k + 1g beschreiben. Das Beispiel ist von Ehrenfest
zur Illustration irreversibler Vorgänge in der Statistischen Mechanik angegeben
worden. Beginnen wir mit je gleich vielen Kugeln in beiden Urnen, so ist die Wahrscheinlichkeit 1; dass irgendwann einmal eine der Urnen leer ist. Dies werden wir
später nachweisen. Ist n nicht zu klein, so muss man jedoch sehr lange darauf
warten. Beginnt man umgekehrt mit allen Kugeln in einer Urne, so gelangt man
sehr viel schneller zu einem Ausgleich.
Zwei weitere wichtige Klassen von Beispielen sind Irrfahrten auf Graphen und Irrfahrten auf Gruppen. Ein Graph besteht aus “Knoten”und “Kanten”, wobei die Kanten
jeweils zwei Knoten verbinden, die jedoch auch gleich sein können. Wir schliessen auch
158
nicht aus, dass zwei verschiedene Kanten dieselben Knoten verbinden; wir wollen jedoch
voraussetzen, dass jeder Knoten nur zu endlich vielen Verbindungen gehört.
De…nition 9.11
Ein Graph G ist ein Tripel (K; V; '), bestehend aus einer nichtleeren, höchstens abzählbaren Knotenmenge K, einer höchstens abzählbaren Menge von Kanten V und einer
Abbildung ' : V ! K10 [ K20 , wobei Ki0 die Menge der i-elementigen Teilmengen von K
ist. Für e 2 K sei Ve := f v 2 V j e 2 '(v) g die Menge der zu e führenden Kanten. Wir
setzen stets voraus, dass der Graph, wie man sagt, lokal endlich ist, d.h. dass jVe j < 1
für jedes e 2 K gilt.
Beispiel 9.12
Sei G = (K; V; ') ein Graph gemäss der obigen De…nition. Wir de…nieren eine Marko¤Kette auf K. Anschaulich soll folgendes passieren: Be…ndet sich das Teilchen im Knoten
e 2 K, so wählt es (sofern vorhanden) eine der Verbindung aus Ve mit gleicher Wahrscheinlichkeit aus und springt zum anderen Knoten dieser Verbindung, der aber auch e
selbst sein kann. Gibt es keine Verbindung in Ve , so bleibt das Teilchen auf der Ecke e
sitzen. Formal de…nieren wir die stochastische Matrix P = (pef )e;f 2K durch
(
für Ve = ;;
ef
(9.6)
pef = jf v2V :'(v)=fe;f g gj
sonst:
jVe j
Die anderen pef sind gleich 0: Die so konstruierte Marko¤-Kette heisst symmetrische
Irrfahrt auf G.
O¤enbar ist die symmetrische Irrfahrt auf Zd ein Spezialfall des Beispiels 9.12 mit
K = Zd und V der Menge der Verbindungen nächster Nachbarn. Die Irrfahrt mit Re‡exion auf f0; : : : ; ng ist ebenfalls ein Spezialfall, wenn p = 1=2 ist, nicht aber die Irrfahrt
mit Absorption.
Eine weitere Verallgemeinerung der symmetrischen Irrfahrt auf Zd sind Irrfahrten
auf Gruppen.
Beispiel 9.13
Es seien G eine abzählbare Gruppe mit neutralem Element 1 und eine beliebige Wahrscheinlichkeitsverteilung auf G. Wir de…nieren pg;h = (g 1 h) für alle g; h 2 G. Wegen
der Gruppeneigenschaft ist für jedes g 2 G die Abbildung h 7! g 1 h bijektiv auf G, und
es gilt
X
X
X
pg;h =
(g 1 h) =
(h0 ) = 1:
h2G
h0 2G
h2G
Also ist P = (pg;h )g;h2G eine stochastische Matrix. Die zugehörige Marko¤-Kette heisst
-Irrfahrt auf G.
Die symmetrische Irrfahrt auf Zd ist wieder ein Spezialfall, denn Zd ist bezüglich
der Addition eine abelsche Gruppe und die Wahrscheinlichkeitsverteilung
ist in diePd
sem Fall gegeben durch ((x1 ; : : : ; xd )) = 1=(2d), falls
i=1 jxi j = 1 ist, und durch
((x1 ; : : : ; xd )) = 0 für alle anderen (x1 ; : : : ; xd ) 2 Zd .
159
Irrfahrten auf nichtabelschen Gruppen spielen bei der Modellierung von Mischvorgängen eine grosse Rolle. Zur Beschreibung des Mischens eines Kartenstapels wählt man
zum Beispiel die Gruppe aller Permutationen der Karten im Stapel.
Beispiel 9.14
Zum Schluss diskutieren wir noch kurz ein einfaches Beispiel eines sogenannten Verzweigungsprozesses, den sogenannten Galton-Watson Prozess. Damit wird eine sich
verändernde Population von Individuen modelliert. Mit Xn bezeichnen wir die Grösse
der Population zum Zeitpunkt n: Der Übergang von Xn nach Xn+1 wir nun wie folgt beschrieben. Jedes Indiviuum der n-Population hinterlässt eine zufällige Anzahl von Nachkommen und stirbt selbst ab, und zwar ist die Anzahl der Nachkommen (die auch 0 sein
kann) durch eine Verteilung q auf N0 gegeben. Wir nehmen weiter an, dass die Anzahlen
der Nachkommen der Individuen unabhängig sind. Wir bezeichnen mit 1 ; 2 ; : : : diese
Anzahlen der Individuen in der Population. Die Annahme ist also, dass diese Zufallsgrössen Werte in N0 annehmen, dass sie unabhängig sind, und dass P ( i = k) = q (k)
ist, wobei q ein Wahrscheinlichkeit auf N0 ist. Ist Xn = r; so ist Xn+1 als
Xn+1 =
r
X
i
i=1
de…niert. Falls r = 0 ist, so setzt man natürlich Xn+1 = 0: Die Verteilung von Xn+1 (bei
fester Populationsgrösse r zum Zeitpunkt n) ist dann als das r-fache Konvolutionsprodukt von q gegeben:
Xr
r
P (Xn+1 = s j Xn = r) = P
i = s = q (s) ;
i=1
wobei die Verteilung q
r
wie folgt de…niert ist:
0
(s) :=
(r+1)
(s) :=
q
q
0;s ;
s
X
q
r
(j) q (s
j) :
j=0
Dies folgt sofort aus der Unabhängigkeit der i : Es ist auch klar, dass
gilt. Wir de…nieren daher Übergangswahrscheinlichkeiten durch
prs := q
r
P
s2N0
q
r
(s) = 1
(s) :
Es gilt p0;j = 0;j ; p1;j = q (j) : Die anderen Übergangswahrscheinlichkeiten sind in
der Regel nicht mehr explizit berechenbar. Eine Marko¤-Kette mit dieser stochastischen
Matrix nennt man Galton-Watson Kette. 0 ist, wie man sagt, ein absorbierender
Zustand: Wenn die Population einmal ausgestorben ist, bleibt sie ausgestorben. Von
besonderem Interesse ist die Diskussion der Aussterbewahrscheinlichkeit
Pi (9n mit Xn = 0) :
Wir können im Moment jedoch nicht darauf eingehen.
160
9.3
Klasseneigenschaften, Rekurrenz, Transienz
De…nition 9.15
Es sei P = (pij )i;j2I eine stochastische Matrix. Man sagt, j 2 I sei von i 2 I aus
(n)
erreichbar, wenn ein n 2 N0 existiert mit pij > 0. Notation: i
j.
(0)
Die Relation
auf I ist re‡exiv und transitiv. Wegen pii = 1 > 0 gilt i
i für alle
(m)
(n)
i 2 I. Falls i
j und j
k gelten, so gibt es m; n 2 N0 mit pij > 0 und pjk > 0, und
(m+n)
(m) (n)
dann ist pik
pij pjk > 0 nach Lemma 9.8.
Die durch i j , (i
j und j
i) für i; j 2 I de…nierte Relation ist o¤enbar eine
Äquivalenzrelation auf I. Wir werden i j für den Rest dieses Kapitels stets in diesem
Sinne verwenden.
Sind A; B
I zwei Äquivalenzklassen der obigen Äquivalenzrelation, so sagen wir,
B ist von A aus erreichbar und schreiben A
B, wenn i 2 A und j 2 B existieren mit
i
j. O¤ensichtlich hängt dies nicht von den gewählten Repräsentanten in A und B
ab, ist also “wohlde…niert”.
De…nition 9.16
Es sei P eine stochastische Matrix.
a) Eine Teilmenge I 0 von I heisst abgeschlossen, wenn keine i 2 I 0 und j 2 I n I 0
existieren mit i
j.
b) Die Matrix P (und dann auch eine Marko¤-Kette mit stochastischer Matrix P) heisst
irreduzibel, wenn je zwei Elemente aus I äquivalent sind.
Bemerkung 9.17
Es sei P = (pij )i;j2I eine stochastische Matrix.
a) Ist I 0 I abgeschlossen, so ist die zu I 0 gehörige Einschränkung der stochastischen
Matrix P0 := (pij )i;j2I 0 eine stochastische Matrix für I 0 .
b) Ist P irreduzibel, so existieren keine abgeschlossenen echten Teilmengen von I.
Beispiel 9.18
a) Die symmetrische Irrfahrt auf Zd ist irreduzibel.
b) Polyas Urnenschema: Keine zwei Elemente von I = f (r; s) j r; s 2 N g sind äquivalent. Es gibt aber sehr viele abgeschlossene Teilmengen von I, zum Beispiel ist für
jede Wahl von r0 ; s0 2 N die Menge f (r; s) j r r0 ; s s0 g abgeschlossen.
c) Bei der Irrfahrt auf f0; : : : ; ng mit absorbierenden Rändern gibt es drei Äquivalenzklassen, nämlich f0g, f1; : : : ; n 1g und fng. Die Mengen f0g und fng sind abgeschlossen, und es gelten f1; : : : ; n 1g
fng und f1; : : : ; n 1g
f0g.
d) Eine symmetrische Irrfahrt auf einem Graphen G ist o¤enbar genau dann irreduzibel, wenn der Graph zusammenhängend ist. (Ein Graph heisst zusammenhängend,
wenn je zwei Knoten über einen endlichen Zug verbunden werden können.)
161
Für die nachfolgenden Überlegungen sei die Startverteilung
Um dies zu betonen, schreiben wir Pi statt P . Für n 2 N sei
(n)
fii := Pi (X1 6= i; : : : ; Xn
1
in i 2 I konzentriert.
6= i; Xn = i):
Lemma 9.19
Es gilt die sogenannte Erneuerungsgleichung
(n)
pii =
n
X
(k) (n k)
fii pii
;
k=1
n 2 N:
(9.7)
(n)
Beweis. Gemäss Lemma 9.7 gilt pii = Pi (Xn = i). Aufspalten des Ereignisses fXn = ig
nach dem ersten Zeitpunkt, an dem die Marko¤-Kette wieder i erreicht, ergibt
(n)
pii
=
=
n
X
k=1
n
X
k=1
Pi (i 2
= X[1;k
1] ;
Xk = i; Xn = i)
Pi (Xn = i j i 2
= X[1;k
1] ;
(k)
Xk = i) fii :
Anwendung der Marko¤-Eigenschaft (Satz 9.4b)) und Lemma 9.7 ergibt:
(n)
pii
=
n
X
k=1
Pi (Xn = i j Xk =
(k)
i)fii
=
n
X
(k) (n k)
fii pii
:
k=1
Wir führen die erste Rückkehrzeit Ti nach i ein:
Ti := inf fn
1 : Xn = ig :
(9.8)
Wir de…nieren das auch, wenn gar kein n 1 existiert mit Xn = i: In diesem Fall setzen
wir einfach Ti := 1: Von o¤ensichtlichem Interesse ist die Frage, ob Ti < 1 gilt oder
nicht, ob man also zu irgend einem (endlichen) Zeitpunkt wieder in i ist. O¤ensichtlich
(n)
gilt fii = Pi (Ti = n) ; und eine Anwendung der -Aditivität (Axiom 1.11) ergibt
fii = Pi (Ti < 1) :
De…nition 9.20
Sei P eine stochastische Matrix. Ein Element i 2 I heisst rekurrent falls
fii = 1
gilt, andernfalls heisst i transient.
Satz 9.21
P
(n)
i 2 I ist genau dann transient, wenn 1
n=0 pii < 1 gilt.
162
(9.9)
Beweis. Aus der Erneuerungsgleichung (9.7) erhalten wir
1
X
(n)
pii
=1+
n=0
=1+
1
X
n=1
1
X
(n)
pii
=1+
1 X
n
X
(k) (n k)
fii pii
(9.10)
n=1 k=1
(n)
pii fii :
n=0
Da alle Grössen nicht negativ sind, ist diese Gleichung in jedem Fall korrekt, wenn wir für
P
(n)
eine divergente Reihe 1
n=0 pii = 1 setzen. (Dies sollte aus der Analysis bekannt sein).
P
(n)
Wenn also fii = 1 ist, so folgt also 1
n=0 pii = 1: Die Umkehrung geht jedoch nicht
ganz so einfach: Aus fii < 1 kann aus der obigen Gleichung nicht auf die Konvergenz
P
(n)
von 1
n=0 pii geschlossen werden. Wir argumentieren wie folgt: Für 0 < s < 1 setzen
wir
1
1
X
X
(n)
(n)
(s) :=
pii sn ; (s) :=
fii sn :
n=0
n=0
Wegen s < 1 konvergieren diese Reihen und wir erhalten auf dieselbe Weise wie die
Gleichung (9.10):
1
(s) = 1 + (s) (s) ; (s) =
:
1
(s)
Ist
(1) = fii < 1, so folgt nun
1
X
1
(n)
pii = lim (s) =
s"1
n=0
1
fii
< 1:
Eine nützliche Eigenschaft ist, dass Rekurrenz und Transienz Klasseneigenschaften
sind:
Satz 9.22
Es seien i; j 2 I mit i
j. Dann ist i genau dann rekurrent, wenn j es ist.
(M )
Beweis. Aus i j folgt, dass M 2 N0 mit pij
Dann ist gemäss Lemma 9.8
(M +n+N )
pii
(M +n+N )
Analog folgt pjj
(M ) (n) (N )
pij pjj pji
(N )
> 0 und N 2 N0 mit pji
(n)
= pjj mit
(n)
pii . Somit gilt
1
X
n=0
(n)
pii < 1 ,
1
X
n=0
Die Behauptung folgt nun aus Satz 9.21
163
(n)
(M ) (N )
:= pij pji
pjj < 1:
> 0:
> 0 existieren.
Rekurrenz und Transienz sind also Klasseneigenschaften bezüglich unserer Äquivalenzrelation : Wir sprechen daher auf von rekurrenten bzw. transienten Klassen.
(n)
Wir verallgemeinern die De…nition von fii und setzen ganz allgemein für i; j 2 I :
(n)
fij := Pi (j 2
= X[1;n
1] ;
Xn = j) = Pi (Tj = n) ; n
1;
und
fij := Pi (Tj < 1)
1
Lemma 9.23
Sind i und j in derselben rekurrenten Klasse, so gilt fij = fji = 1.
(N )
Beweis. Wir müssen nur i 6= j diskutieren. Sei N 2 N0 die kleinste Zahl mit pji
Für M > N gilt
Pj (Tj
M; XN = i) =
N
X1
n=1
+
M
X
n=N +1
Pj (j 2
= X[1;n
Pj (j 2
= X[1;n
=
N
X1
1] ;
N
(n) (N n)
fjj pji
+
Pj (Tj
M
X
n=N +1
(N n)
1g ist pji
Xn = j; XN = i)
Xn = j; XN = i)
n=1
Für jedes n
ist
1] ;
Pj (j 2
= X[1;N
= 0, und Pj (j 2
= X[1;N
(N )
pji
M; XN = i)
M
X
1] ;
1] ;
XN = i)
(n N )
fij
(n N )
XN = i)fij
(N )
(N )
pji
1) = limM !1 Pj (Tj
= lim Pj (Tj
;
M !1
M ) = 1 folgt
M; XN = i)
(N )
pji fij :
(N )
Wegen fij 1 und pji > 0 ergibt sich fij = 1. fji = 1 folgt analog.
Eine weitere wichtige Klasseneigenschaft ist die Periodizität:
De…nition 9.24
Sei P eine stochastische Matrix und i 2 I: Die Periode di von i ist de…niert durch
n
o
(n)
di := ggT n 1 : pii > 0 ;
wobei wir ggT (;) := 1 setzen. i heisst aperiodisch, wenn di = 1 ist.
Lemma 9.25
a) Für i j gilt di = dj :
164
:
pji : Demzufolge
n=N +1
und wegen limM !1 Pj (Tj
> 0.
(ndi )
b) Ist di < 1; so existiert n0 2 N; sodass pii
> 0 für alle n
n0 gilt.
Beweis. a):
(N ) (M )
Für i = j ist nichts zu zeigen. Für i 6= j existieren N; M 2 N mit pij ; pji > 0: Aus
Lemma 9.8 folgt
(n+N +M )
(N ) (n) (M )
pii
pij pjj pji ;
(n)
(n+N +M )
(n)
(n+N +M )
und damit: pjj > 0 =) pii
> 0 für jedes n: Analog gilt pii > 0 =) pjj
>
0: Daraus ergibt sich a).
b):
n
o
(n)
Die Menge A := n 1 : pii > 0 hat ebenfalls wegen Lemma 9.8 die folgende
Halbgruppeneigenschaft: n 2 A; m 2 A =) n + m 2 A: Jede derartige Teilmenge von N
hat die Eigenschaft, dass ein n0 2 N existiert mit n ggT (A) 2 A für alle n n0 : Dies
sollte aus der Linearen Algebra bekannt sein. (Falls nicht: Übungsaufgabe).
Proposition 9.26
Endliche irreduzible Ketten sind rekurrent.
P (n)
Beweis. I sein endlich. Wegen j pij = 1 folgt, dass für jedes i ein j existiert mit
P (n)
P (n)
n pij = 1: Aus Lemma ?? folgt
n pjj = 1:
Irreduzible Ketten mit unendlichem I brauchen nicht rekurrent zu sein. Eines der
bekanntesten und wichtigsten Beispiele sind Irrfahrten auf Zd : Diese ist natürlich irreduzibel (aber hat Periode 2):
Satz 9.27
Die symmetrische Irrfahrt auf Zd (Beispiel 9.9 c)) ist rekurrend für d = 1; 2 und transient
für d 3:
P
(2n)
Beweis. Wir müssen einfach die Divergenz von 1
n=0 p00 für d = 1; 2 und die Konvergenz für d 3 nachweisen. Nun haben alle Pfade der Länge 2n dieselbe Wahrscheinlich(2n)
keit (2d) 2n : Um p00 = P0 (X2n = 0) zu berechnen, müssen wir dies mit der Anzahl
aller Pfade, die nach 2n Schritten in 0 sind, multiplizieren. Für d = 1 ist das ganz einfach.
O¤enbar gibt es 2n
n derartige Pfade und wir erhalten mit der Sterling-Approximation
(für d = 1) :
p
2n
4 n
1
(2n)
2n 2n
2n (2n=e)
p00 = 2
2
=p :
2n
n
n
(n=e) 2 n
(Hier bedeutet für zwei Folgen positiver Zahlen (an ) und (bn ) : limn!1 an =bn = 1:)
P (2n)
Daraus folgt n p00 = 1:
Für d = 2 ist die Sache etwas komplizierter. Um die Pfade zu zählen, die nach 2n
Schritten wieder im Nullpunkt sind, unterscheiden wir zunächst danach, wieviele Schritte
in “Ost-West-Richtung”und wieviele in “Nord-Süd-Richtung”gemacht werden. Es seien
2k Schritte in “Ost-West-Richtung”und 2n 2k Schritte in “Nord-Süd-Richtung”. Von
den 2k Ost-West-Schritten mussen k nach “Ost” und ebensoviele nach “West” gehen
und analog müssen sich die Nord-Süd-Schritte aufteilen, damit der Pfad nach den 2n
165
Schritten wieder im 0-Punkt ist. Somit ist die Anzahl der Pfade, die wieder nach 0
gelangen, durch
n
X
2n
2k
k=0
2k
k
2n
n
2k
k
=
n
X
(2n)!
=
(k! (n k)!)2
k=0
2n
n
2
(9.11)
gegeben. Der erste Faktor auf der linken Seite kommt von der Auswahl der 2k Ost–
West-Schritte aus allen 2n Schritten, der zweite von der Auswahl der k Ost-Schritte aus
den 2k Ost-West Schritten, und der letzte Faktor analog für die Nord-Süd Schritte. Die
zweite Gleichung sei dem Leser als Übungsaufgabe überlassen. Wir erhalten also
(2n)
p00
=4
2n
n
n
2
=
2
n
2n
n
2
1
n
und die Divergenz ist ebenfalls gezeigt.
Wir diskutieren nun den Fall d = 3: Der Fall d > 3 kann leicht darauf zurückgeführt
werden. Analog wie oben ergibt sich
P0 (X2n = 0) = 6
X
2n
0 k1 ;k2 ;k3
k1 +k2 +k3 =n
(2n)!
=2
(k1 !k2 !k3 !)2
2n
2n
n
X
0 k1 ;k2 ;k3
k1 +k2 +k3 =n
n!
k1 !k2 !k3 !
2
3
2n
:
Leider gibt es für die rechte Seite keine so einfach Formel mehr wie (9.11), sodass wir
etwas mehr arbeiten müssen.
X
0 k1 ;k2 ;k3
k1 +k2 +k3 =n
n!
k1 !k2 !k3 !
2
max 3
n
X
n!
: k1 + k2 + k3 = n
k1 !k2 !k3 !
0 k1 ;k2 ;k3
k1 +k2 +k3 =n
n!
3
k1 !k2 !k3 !
Nun ist die Summe auf der rechten Seite einfach 1; denn k1 !kn!2 !k3 ! 3 n ist die Wahrscheinlichkeit, dass eine Münze, die mit gleicher Wahrscheinlichkeit auf Kopf, Zahl oder Kante
fällt, k1 Kopfwürfe, k2 Zahlwürfe und k3 Kantenwürfe in n Würfen hat. Ist n durch 3
teilbar, n = 3m; so ist für k1 + k2 + k3 = 3m :
(3m)!
k1 !k2 !k3 !
(3m)!
;
(m!)3
was man mit einer elementaren Abschätzung nachprüfen kann. Mit Hilfe der StirlingFormel erhalten wir:
p
3m
6 m
1
3m (3m)!
3m (3m=e)
3
3
=
;
3
3m
3=2
6 m
(m!)
(m=e) (6 m)
also
P0 (X6m = 0)
p
1
1
= const m
3 m6 m
166
3=2
:
n
:
Nun ist o¤ensichtlich
(6m)
p00
1
6
2
(6m 2)
p00
(6m)
; p00
4
1
6
(6m 4)
p00
und somit folgt
1
X
n=0
(n)
p00 =
1
X
(2n)
p00
1 + const
n=0
1
X
m
m=1
3=2
< 1:
Der obige Satz stammt von George Pólya, der vom 1920 bis 1940 an der ETH Zürich
lehrte. Die Sage geht, dass Pólya den Satz für d = 2 bei ausgedehnten Spaziergängen
auf dem Zürichberg fand, bei denen er immer wieder auf die selben Bekannten stiess.
George Pólya, 1887-1985
9.4
Gleichgewichtsverteilung
De…nition 9.28
Eine Wahrscheinlichkeitsverteilung auf I heisst stationär oder GleichgewichtsverP
teilung bezüglich der stochastischen Matrix P = (pij )i;j2I , wenn (j) = i2I (i)pij
für alle j 2 I gilt. Wir werden auch Masse auf I betrachten, die keine Wahrscheinlich+
keiten sind,
P d.h. einfach Funktionen : I ! R : Ein solches Mass heist invariant, wenn
(j) = i2I (i)pij gilt.
167
Bemerkung 9.29
Ist ein invariantes Mass, so gilt natürlich
X
(n)
(j) =
(i)pij
i2I
für alle n 2 N0 : Ist P irreduzibel und ein nichttriviales invariantes Mass (d.h. nicht
identisch 0); so folgt daraus sofort, dass (j) > 0 ist für alle j: Ist nämlich i ein Zustand
(n)
mit (i) > 0 und j beliebig, so existiert n 2 N0 mit pij > 0 und demzufolge gilt
(n)
(j)
(i) pij > 0:
Ein wichtiger Spezialfall invarianter Masse liegt vor, wenn die sogenannte “detailed
balance” Bedingung erfüllt ist:
(i) pij =
(j) pji ; i; j 2 I:
(9.12)
Ein Mass ; das diese Bedingung erfüllt, ist o¤ensichtlich invariant, denn es gilt
X
X
(i) pij =
(j) pji = (j) :
i
i
Man muss jedoch betonen, dass in vielen Fällen invariante Masse existieren ohne dass
ein Mass existiert, das der detailed balance Bedingung genügt. Ein Beispiel, bei dem
die detailed balance Bedingung immer erfüllt ist, sind Irrfahrten auf Graphen. (Beispiel
9.12). Hier erfüllt (e) := jVe j ; e 2 K die Bedingung (9.12), denn es gilt (e) pef =
jf v 2 V : '(v) = fe; f g gj; was symmetrisch in e und f ist. (siehe (9.6)).
Wir verwenden im folgenden den Ausdruck Gleichgewichtsverteilung für Wahrscheinlichkeiten und “invariantes Mass“ für die allgemeinere Situation.
Bemerkung 9.30
a) Betrachten wir eine stationäre Verteilung = ( (i))i2I als Vektor im RI , so erfüllt
(als Zeilenvektor aufgefasst) die Gleichung P = . Das heisst, ist ein Linkseigenvektor von P zum Eigenwert 1. In der aus der Linearen Algebra üblichen Notation
ist T also ein Eigenvektor von PT zum Eigenwert 1. Man beachte, dass P in jedem
Fall den Eigenwert 1 hat, denn es gilt
0 1 0 1
1
1
B .. C B .. C
P @.A = @.A :
1
1
Zumindest wenn I endlich ist, folgt daraus, dass auch PT den Eigenwert 1 besitzt.
Es ist jedoch im Moment noch nicht klar, ob sich ein Eigenvektor mit nichtnegativen Komponenten …nden lässt.
b) Ist
stationär, so gilt
(j) =
X
i2I
168
(n)
(i)pij ;
also P (Xn = j) = (j) für alle j 2 I und n 2 N0 . Das heisst, hat die Marko¤-Kette
die Startverteilung , so ist die Verteilung von Xn gleich für alle n 2 N0 .
Wir setzen für den Rest des Unterkapitels voraus, dass P irreduzibel ist, d.h. dass
ganz I eine Äquivalenzklasse. Wir weisen zunächst nach, dass für rekurrente Ketten stets
mindestens ein invariantes Mass exisitiert (jedoch nicht notwendigerweise ein stationäres
Wahrscheinlichkeitsmass). Sie k 2 I beliebig. Wir setzen
XTk
k (i) := Ek
n=1
1fXn =ig :
Wir zählen also die Anzahl der Besuche in i bis zur ersten Rückkehr nach k und nehmen
davon den Erwartungswert unter der Kette, die in i startet. Falls der Erwartungswert
nicht existieren sollte, setzen wir k (i) = 1; wir werden jedoch gleich sehen, dass dies
nicht eintritt.
Proposition 9.31
Sie P irreduzibel und rekurrent und k sei in I: Dann gelten
a)
k
b)
k
(k) = 1:
ist ein invariantes Mass.
c) 0 <
d)
k
k
(i) < 1 gilt für alle i 2 I:
ist das einzige invariante Mass, das a) erfüllt.
Beweis. a) ist trivial. Wir beweisen b):
Wir bemerken zunächst, dass wir k (i) wie folgt umschreiben können:
k (i) = Ek
=
X1
n=1
1 X
X
1fXn =i; n
Tk g
Pk (Xn = i; Xn
1
=
1
X
Pk (Xn = i; n
Tk )
n=1
= j; n
Tk ) :
n=1 j2I
Man beachte nun, dass fn Tk g = k 2
= X[1;n 1] ist, d.h. ein Ereignis, das durch die
Pfade bis zum Zeitpunkt n 1 beschrieben ist. Anwendung der Marko¤-Eigenschaft (9.3)
zum Zietpunkt n 1 ergibt
Pk (Xn = i; Xn
1
= j; n
Tk ) = Pk (Xn
1
= j; n
Tk ) Pj (X1 = i)
= Pk (Xn
1
= j; n
1
169
Tk
1) pji :
Demzufolge ist
k
X
(i) =
pji
j2I
X
=
pji
X
n=1
1
X
Pk (Xn
X
= j; n
Pk (Xn = j; n
pji Ek
j2I
=
1
1
Tk
Tk
1)
1)
n=0
j2I
=
1
X
k
XTk
1
n=0
1fXn =jg
=
X
XTk
pji Ek
n=1
j2I
1fXn =jg
(j) pji :
j2I
Damit ist b) gezeigt.
Wir beweisen c): Aus b) folgt per Induktion sofort
X
(n)
k (i) =
k (j) pji
j2I
für jedes n 2 N0 ; also insbesonder 1 =
k
(n)
(k)
k
(j) pjk : Wegen der Irreduzibilität
(n)
existiert für jedes j ein n mit pjk > 0 und somit folgt
(n)
k (k) pkj
folgt auch k (j)
Beweis von d):
k
(n)
pkj :
(j) < 1 für jedes j: Anderseits
=
Somit folgt k (j) > 0 für jedes j:
sei ein beliebiges invariantes Mass mit (k) = 1: Dann gilt
X
(j) =
(i) pij + pkj
i2I:i6=k
Nun ersetzen wir (i) auf der rechten Seite durch denselben Ausdruck und erhalten
0
1
X
X
X
X
@
(j) =
(i1 ) pi1 i + pki A pij + pkj =
(i1 ) pi1 i pij +
pki pij + pkj
i2I:i6=k
=
X
i1 2I:ii 6=k
i;i1 2I:i;ii 6=k
(i1 ) pi1 i pij + Pk (Tk
2; X2 = j) + Pk (Tk
i2I:i6=k
1; X1 = j) :
i;i1 2I:i;ii 6=k
In dieser Weise fahren wir fort und erhalten schliesslich
!
n
n+1
X
Y
X
(j) =
(in )
pir ;ir 1 pi0 ;j +
Pk (Tk
i0 ;i1 ;:::;in 6=k
n+1
X
r=1
r=1
0
r=1
min(Tk ;n+1)
Pk (Tk
r; Xr = j) = Ek @
170
X
r=1
r; Xr = j)
1
1fXr =1g A :
Wegen
0
X
lim Ek @
n!1
folgt also
1
min(Tk ;n+1)
Tk
X
1fXr =1g A = Ek
r=1
(j)
Wir betrachten nun das Mass :=
der Vorausssetzung, dass a) erfüllt,
0=
k
r=1
1fXr =1g
!
=
k
(j)
(j) ; 8j:
k;
das ebenfalls invariant ist. Ferner gilt nach
(k) = 0: Somit folgt
X
(n)
(k) =
(j) pjk
j
für alle n: Wegen der Irreduzibilität folgt sofort (j) = 0 fur alle j 2 I:
Einer der Hauptsätze über Marko¤-Ketten ist der folgende Satz:
Satz 9.32
P sei irreduzibel. Dann sind die folgenden Aussagen a)-c) äquivalent.
a) Es existiert eine Gleichgewichtsverteilung (d.h. eine invariante Wahrscheinlichkeitsverteilung)
b) Es existiert i 2 I mit
Ei (Ti ) =
1
X
n=0
(n)
nfii < 1:
(9.13)
c) (9.13) gilt für alle i 2 I:
Sind diese Bedingungen erfüllt, so ist die Gleichgewichtsverteilung
durch
1
(i) =
Ei (Ti )
eindeutig und
(9.14)
gegeben.
Beweis. c)=)b) ist trivial. Wir zeigen b)=)a): Aus Ei (Ti ) < 1 folgt, dass i (und
somit die ganze Kette) rekurrent ist. Wir können daher Proposition 9.31 anwenden, die
besagt, dass ein invariantes Mass existiert, nämlich k : Nun gilt
X
j
k
(j) =
X
j
Ek
XTk
= Ek (Tk ) =
n=1
1
X
1fXn =jg
= Ek
(n)
nfkk =
k
n=0
Somit ist
(j) :=
k
< 1:
(j)
k
171
XTk X
n=1
j
1fXn =jg
ein invariantes Wahrscheinlichkeitsmass, d.h. eine Gleichgewichtsverteilung.
a)=)c): Sei eine Gleichgewichtsverteilung und k 2 I beliebig. Dann ist ^ (j) :=
(j) = (k) ein invariantes Mass mit ^ (k) = 1: Nach Proposition 9.31 gilt ^ = k : Nach
der vorangegangen Überlegung gilt dann
1
X
n=0
(n)
nfkk =
X
k
(j) =
j
X
^ (j) =
j
1
< 1:
(k)
Damit ist c) gezeigt.
Die Zusatzaussage des Satzes, dass die Gleichgewichtsverteilung eindeutig ist, folgt
sofort aus der vorangegangenen Diskussion, ebenso wie (9.14).
De…nition 9.33
P
(n)
i 2 I heisst positiv rekurrent, wenn Ei (Ti ) = 1
n=0 nfii < 1 gilt. Ist i rekurrent
aber nicht positiv rekurrent, so heisst i nullrekurrent.
Bemerkung 9.34
Ist P irreduzibel, so folgt aus Satz 9.32 sofort, dass alle Zustände positive rekurrent sind,
wenn einer es ist.
Es muss betont werden, dass die Gleichgewichtsverteilung, selbst wenn man weiss,
dass sie existiert, in der Regel nicht explizit berechnet werden kann. In wichtigen Fällen,
vor allem wenn die detailed balance Bedinung (9.12) efüllbar ist, kann man die Gleichgewichtsverteilung “erraten”, wie zum Beispiel bei Irrfahrten auf Graphen, wie wir gesehen
haben.
Wie wir in diesem Abschnitt gesehen haben, gibt es für eine irreduzible, rekurrente Kette bis auf Multiplikation mit einer Konstanten genau ein invariantes Mass. Für
transiente Ketten ist die Situation komplizierter. Es gibt transiente Ketten ohne (nichttriviales) invariantes Mass und solche, die mehrere besitzen. Natürlich kann eine irreduzible transiente Kette kein endliches invariantes Mass besitzen, denn aus Satz 9.32 folgt
automatisch die Positivrekurrenz, wenn ein solches existiert.
Beispiel 9.35
Wir betrachten die asymmetrische Irrfahrt auf Z: Sie hat die Übergangswahrscheinlichkeiten pi;i 1 = q < p = pi;i+1 ; mit q = 1 p: Die Bedingung für ein invariantes Mass
ist
(i) = (i 1) p + (i + 1) q:
Die allgemeine Lösung dieser Gleichung ist
(i) = A + B (p=q)i :
Es gilt (i) > 0 für alle i; sofern A und B positiv sind. Es existieren also mehrere
invariante Masse. Daraus folgt, dass die Kette transient ist, was man natürlich auch
direkt zeigen kann.
172
Ist p = q = 1=2; so ist die Kette, wie wir wissen, rekurrent. Die allgemeine Lösung
der obigen Gleichung ist in diesem Fall
(i) = A + Bi:
Dies erfüllt jedoch nur dann (i)
0; 8i; wenn B = 0 ist, in Übereinstimmung mit
dem Satz, dass im rekurrenten Fall ein invariantes Mass eindeutig ist (bis auf skalare
Multiplikation).
Proposition 9.36
Die symmetrische Irrfahrt für d = 1 und 2 ist nullrekurrent.
Beweis. Wir hatten schon gesehen, dass die Irrfahrt rekurrent ist. Es gibt also ein bis
auf Multiplikation mit einem Skalar eindeutiges invariantes Mass. Dieses Mass lässt sich
einfach erraten: (i) = 1 für alle i: Da dies kein Wahrscheinlichkeitsmass ist, kann die
Irrfahrt nicht positiv rekurrent sein, d.h. die Rückkehrzeiten haben keinen endlichen
Erwartungswert.
Proposition 9.37
Endliche irreduzible Marko¤-Ketten sind positiv rekurrent.
Beweis. Wir betrachten einen festen Punkt i 2 I und T := Ti : Wir müssen nur zeigen,
(n )
(n )
dass Ei (T ) < 1 gilt. Für jedes j 2 I existiert nj mit pji j > 0: Sie " := minj pji j > 0
und N := max fnj : j 2 Ig : Dann gilt Pj (T N )
" für alle j 2 I: Wir zeigen mit
Induktion nach k 2 N; dass
Pi (T > kN ) (1 ")k
(9.15)
ist. Für k = 1 ist das schon gezeigt. Für k > 1 gilt
X
Pi (T > kN ) =
Pi T > (k 1) N; X(k
1)N
= j; T > kn
1)N
= j Pj (T > n)
j:j6=i
X
=
Pi T > (k
1) N; X(k
j:j6=i
Pi (T > (k
1) N ) max Pj (T > n)
j:j6=i
(1
")k
1
(1
") :
Die zweite Gleichung folgt aus der Marko¤-Eigenschaft (9.3) und die letzte Ungleichung
benützt die Induktionsvoraussetzung. Damit ist (9.15) gezeigt. Aus dieser Ungleichung
folgt sofort
Ei (T ) =
1
X
Ei T 1fkN <T
k=0
1
X
N
k=0
(1
(k+1)N g
")k (k + 1) < 1:
173
1
X
k=0
Pi (T > kN ) (k + 1) N
9.5
Konvergenz gegen die Gleichgewichtsverteilung
Wir zeigen in diesem Abschnitt, dass die n-stu…gen Übergangswahrscheinlichkeiten einer
irreduziblen, aperiodischen und rekurrenten Marko¤-Kette konvergieren:
Satz 9.38
Sei P irreduzibel, aperiodisch und positiv rekurrent mit Gleichgewichtsverteilung : Dann
gilt
a) Für alle i; j 2 I gilt
(n)
lim p
n!1 ij
b) Für eine beliebige Startverteilung
=
(j) :
gilt:
lim P (Xn = j) =
n!1
(j) ; j 2 I:
b) folgt sofort aus a):
lim P (Xn = j) = lim
n!1
n!1
=
X
X
(n)
(i) pij =
i
(i) (j) =
X
i
(n)
(i) lim pij
n!1
(j) ;
i
P
P
(n)
wobei die Vertauschung des Limes mit der Summe wegen i (i) pij
i (i) =
1 < 1 gerechtfertigt ist.
Der Beweis von a) braucht etwas Vorbereitung.
^ auf I I ein: p^(i;j);(k;l) = pik pjl : Hat P die
Wir führen eine stochastische Matrix P
^ die Gleichgewichtsverteilung ^ (i; j) =
Gleichgewichtsverteilung ; so hat o¤ensichtlich P
(i) (j) : Ferner gilt
(n)
(n) (n)
p^(i;j);(k;l) = pik pjl :
^
Diese Eigenschaften prüft man sehr einfach nach. Es ist allerding nicht richtig, dass P
automatisch irreduzibel ist, wenn P es ist.
Lemma 9.39
^ irreduzibel und aperiodisch.
Ist P irreduzibel und aperiodisch, so ist P
Beweis. Seien i; j; k; l 2 I: Nach Lemma
Lemma 9.40
^ positiv rekurrent.
Erfüllt P die Voraussetzungen unseres Satzes, so ist P
^ ist irreduzibel und besitzt eine Gleichgewichtsverteilung. Nach Satz 9.32 folgt
Beweis. P
damit die Positivrekurrenz.
Sei i 2 I beliebig, aber fest gewählt. Wir betrachten nun eine Markovkette mit
^ und Startverteilung = i
stochastischer Matrix P
; d.h. (k; l) = ik (l) : ( hängt
174
natürlich von i ab). Die Marko¤-Kette schreiben wir als (Xn ; Yn )n2N0 : (Xn ) und (Yn )
sind einfach zwei unabhängige Marko¤-Ketten, die eine mit Start in i und die andere
mit Startverteilung : Sind i0 ; ; : : : ; in und j0 ; : : : ; jn zwei Folgen von Elementen in I;
so gilt o¤ensichtlich
P
X[0;n] = i[0;n] ; Y[0;n] = j[0;n] = Pi X[0;n] = i[0;n] P
Y[0;n] = j[0;n] :
(9.16)
Sei
T := inf fn 2 N0 : Xn = Yn g :
Lemma 9.41
lim P (T > N ) = 0;
N !1
d.h. es gilt P (T < 1) = 1:
Wir de…nieren nun eine neue Folge (Zn )n2N0 von I-wertigen Zufallsgrössen:
Zn :=
Xn f u
•r n T
:
Yn f u
•r n > T
Lemma 9.42
Z0 ; Z1 ; : : : ist eine Marko¤-Kette mit Start in i und stochastischer Matrix P:
Beweis. Wir müssen einfach die Gleichung (9.2) für die Z-Folge (für Start in i) nachweisen. Seien i0 ; : : : ; in 2 I:
P
Z[0;n] = i[0;n] =
n
X
P
Z[0;n] = i[0;n] ; T = k + P
Z[0;n] = i[0;n] ; T > n
P
X[0;k] = i[0;k] ; Y[k+1;n] = i[k+1;n] ; Y0 6= i0 ; : : : ; Yk
k=0
=
n
X
k=0
+P
1
6= ik
X[0;n] = i[0;n] ; Y0 6= i0 ; : : : ; Yn 6= in :
Mit (9.16) folgt
P
X[0;k] = i[0;k] ; Y[k+1;n] = i[k+1;n] ; Y0 6= i0 ; : : : ; Yk
= Pi X[0;k] = i[0;k] P
= Pi X[0;k] = i[0;k] P
1
6= ik
Y[k+1;n] = i[k+1;n] ; Y0 6= i0 ; : : : ; Yk
Y[k+1;n] = i[k+1;n] j Y0 6= i0 ; : : : ; Yk
P (Y0 6= i0 ; : : : ; Yk 1 6= ik 1 ; Yk = ik )
n
Y
= i;i0
pij 1 ;ij P (Y0 6= i0 ; : : : ; Yk 1 6= ik
j=1
175
1 ; Yk
= ik ) ;
1 ; Yk
1
1
= ik
6= ik
6= ik
1 ; Yk
1 ; Yk
= ik
= ik
1 ; Yk
= ik
und
P
X[0;n] = i[0;n] ; Y0 6= i0 ; : : : ; Yn 6= in =
i;i0
n
Y
pij
P (Y0 6= i0 ; : : : ; Yn 6= in ) :
1 ;ij
j=1
Nun ist
n
X
k=0
P (Y0 6= i0 ; : : : ; Yk
1
6= ik
1 ; Yk
= ik ) + P (Y0 6= i0 ; : : : ; Yn 6= in ) = 1:
Kombinieren wir diese Gleichungen, so erhalten wir
P
Z[0;n] = i[0;n] =
i;i0
n
Y
pij
1 ;ij
:
j=1
Beweis von Satz 9.38 a).
(n)
pij = P (Zn = j) = P (Zn = j; T
= P (Zn = j; T
n) + P (Zn = j; T > n) ;
(j) = P (Yn = j) = P (Yn = j; T
= P (Zn = j; T
n) + P (Zn = j; T > n)
n) + P (Yn = j; T > n)
n) + P (Yn = j; T > n)
Somit folgt
(n)
pij
(j)
2P (T > n) ! 0
für n ! 1; nach Lemma 9.41.
Bemerkung 9.43
Satz 9.38 muss im periodischen Fall etwas umformuliert werden. Für positiv rekurrente,
irreduzible Ketten mit Periode d gilt:
d 1
1X
P (Xn+k = i) =
n!1 d
lim
(i)
k=0
für jede Startverteilung
führen.
und jedes i 2 I. Wir wollen den Beweis jedoch nicht durch-
176