Markov-Ketten und Irrfahrten auf Z

Markov-Ketten und Irrfahrten auf Zd
Diana Atzmüller
20. März 2013
1
Inhaltsverzeichnis
1 Einleitung
3
2 Markov-Ketten
2.1 Grundlagen . . . . . . . . . . . . . . . . .
2.2 Übergangswahrscheinlichkeit in n Schritten
2.3 Green Kernel . . . . . . . . . . . . . . . .
2.4 Irreduzible Klassen und Periodizität . . . .
2.5 Rekurrenz und Transienz . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
. 4
. 6
. 8
. 9
. 11
3 Irrfahrten auf Zd
14
3.1 Einfache symmetrische Irrfahrt . . . . . . . . . . . . . . . . . 18
3.2 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Literaturverzeichnis
23
2
1
Einleitung
Von mehreren Teilgebieten der Mathematik und auch Physik werden MarkovKetten als stochastische Zufallsprozesse aus verschiedenen Blickwinkeln betrachtet und analysiert. Zusätzlich zum theoretischen Wert im wissenschaftlichen Sinne ist das Anwendungsspektrum breit gefächert. Es erstreckt sich
von Bereichen der Spieltheorie und Prognosen bzw. Risikobewertungen für
Finanz- und Versicherungsmärkte, über biologische Prozesse wie zum Beispiel
das Wachstum von Genomen, bis hin zur künstlichen Intelligenz im Bereich
Technik und Informatik, wo sich Markov-Modelle als versteckter, komplexer
Prozess in Spracherkennungsprogrammen und Spamfiltern wiederfinden. Diese Arbeit behandelt vorrangig den graphentheoretischen Hintergrund einiger
interessanter Gegebenheiten und Regeln im Umfeld von Markov-Ketten als
diskreten Prozess. Markov-Prozesse in kontinuierlicher Zeit, wie zum Beispiel
den Wiener Prozess der auch als Brownsche Bewegung bekannt ist, werden
nicht behandelt.
Irrfahrten, oder auch Random Walks, sind eine spezielle Art einer solchen
Markov-Kette. Man stelle sich einen Punkt vor, der sich auf eine unendliche
Wanderung auf einer Gruppe bzw. einem Graphen aus Knoten und Kanten
begibt. Dabei gibt es von jedem Knoten einen Pfad (einen Weg aus einer beliebigen Anzahl an Kanten) in jeden anderen Knoten. Jede Irrfahrt findet auf
so einem zusammenhängenden Graphen statt. Auch wenn ein solcher Spaziergang zufällig ist und jeder Schritt ein unabhängiges Ereignis darstellt, genügt
er dennoch gewissen Regeln und lässt allgemein gültige Schlüsse zu. Fragen
nach der Wahrscheinlichkeit einen bereits in der Vergangenheit passierten
Knoten noch einmal zu durchlaufen und wenn ja, wie oft und in welcher Zeit
dies voraussichtlich passiert, können zum Teil beantwortet werden. Besonders
interessant ist dabei die Beobachtung, dass sich die verschiedenen Dimensionen des Raumes, in dem sich das Teilchen bewegt, durchaus unterschiedlich
auf die Eigenschaften der Markov-Kette auswirken.
3
2
Markov-Ketten
2.1
Grundlagen
Vor der Untersuchung von Markov-Ketten gilt es ihre Definition in Erinnerung zu rufen.
Definition 1. Sei X ein endlicher oder abzählbar unendlicher Zustandsraum.
Eine Markov-Kette (Xn )n≥0 ist eine Folge von Zufallsvariablen mit folgenden
zwei Eigenschaften:
(i) P[Xt = xt | Xt−1 = xt−1 , . . . , X1 = x1 , X0 = x0 ]
= P[Xt = xt | Xt−1 = xt−1 ] ;
(ii) P[Xt+a+1 = y | Xt+a = x] = P[Xt+1 = y | Xt = x] ∀t, a ≥ 0 .
Die Markov-Eigenschaft wird in (i) beschrieben. Wie ohne Gedächtnis hängt
die Zukunft allein von der Gegenwart ab. Vorangegangene Ereignisse sind für
den nächsten Übergang nicht von Bedeutung. Zusätzlich genügt die MarkovKette (ii) und gilt damit als zeithomogen1 . Die Chance für einen bestimmten
Zustandswechsel im ersten Schritt entspricht jener zum fünften, letzten oder
jedem beliebigen anderen Zeitpunkt.
Die Übergangswahrscheinlichkeiten der verschiedenen
Zustände lassen sich
zu einer stochastischen Matrix P := p (x, y) x,y∈X mit P ∈ Mn (R) zusammenfassen. Dabei beschreibt p(x, y) die Chance eines Wechsels von x nach y
in einem Schritt. Es gilt
X
p(x, y) ≥ 0 ,
p(x, y) = 1 .
y∈X
Ist der Start einer Markov-Kette nicht festgelegt, ist zusätzlich eine Anfangsverteilung ν, ein Wahrscheinlichkeitsmaß auf X mit ν(x) := P[X0 = x]
gegeben. Im weiteren Verlauf steht
Pν [Xn = y] bzw. Px [Xn = y]
für die Wahrscheinlichkeit bei Anfangsverteilung ν bzw. Start im Zustand x
im n-ten Schritt y zu realisieren.
1
Zeithomogenität ist für eine Markov-Kette nicht unbedingt erforderlich. Die
Übergangswahrscheinlichkeiten können zu den verschiedenen Zeitpunkten variieren. Diese Arbeit beschränkt sich jedoch auf den stationären, diskreten Prozess mit konstanten
ein-Schritt Übergangswahrscheinlichkeiten.
4
Abbildung 1: Das Wetter in Salzburg. Mögliche Darstellung des Graphen
Γ(P ) mit zugehöriger stochastischer Übergangsmatrix P und Zustandsraum
X = {Sonne, Regen, Schnee}.
Bemerkung. Für A ∈ σ(X0 , . . . , Xm ) und B ∈ σ(Xm , . . . , Xm+n ) ist
P[A ∩ B | Xm = y] = P[A | Xm = y] · P[B | Xm = y] .
Da die Vergangenheit und die Zukunft bedingt auf die Gegenwart unabhängig
voneinander sind, verliert die Anfangsverteilung nach dem Start einer MarkovKette an Bedeutung. Eine MK (X, P ) vergisst sozusagen ihre Anfangsverteilung bedingt auf den Zustand zu einem späteren Zeitpunkt.
Definition 2. Für eine Markov-Kette (Xn )n≥0 mit Übergangsmatrix P ist
Γ(P ) der zugehörige orientierte Graph mit Knotenmenge V (Γ) = X und
[x, y] ist Element der Kantenmenge E(Γ) ⊂ V (Γ) × V (Γ) für p(x, y) > 0.
Ist ein Graph orientiert, so ist eine Kante wie ein gerichteter Pfeil anzusehen.
Aus der Existenz einer Kante von einem Knoten (Zustand) in einen Anderen
folgt nicht unmittelbar, dass auch die Rückkehr in einem einzigen Schritt
(oder überhaupt) möglich ist. Die Übergangswahrscheinlichkeit p(x, y) kann
als Gewichtung der gerichteten Kante [x, y] angesehen werden.
Der Graph einer Markov-Kette lässt sich sehr gut graphisch darstellen.
Abbildung 1 zeigt ein Beispiel für die Wettervorhersage zur kalten Jahreszeit
in Salzburg. Scheinbar überwiegen die schlechten Wetterverhältnisse und die
Einwohner können davon ausgehen, dass auf einen Sonnentag immer Regen
oder Schnee folgt. Bei näherer Betrachtung kommen Fragen über die Eigenschaften der Markovkette auf, die über die Vorhersage des nächsten Tages
hinausgehen. Dazu zwei Beispiele:
5
Angenommen es regnet heute.
Wie viele verregnete Tage sind in diesem Monat zu erwarten?
Wie groß ist die Chance auf schönes Wetter in zwei Wochen?
Im weiteren Verlauf werden Antworten darauf gefunden.
2.2
Übergangswahrscheinlichkeit in n Schritten
Die Zeilen einer stochastischen Matrix sind jeweils Verteilungen auf X. Daher
ist auch jede Matrixpotenz P n mit n ∈ N wiederum eine stochastische Matrix
und es gilt
P m+n = P m · P n ,
mit P 0 = I|X| .
(1)
Ist p(n) (x, y) das Element an der Stelle (x, y) der n-ten Potenz der Übergangsmatrix, so folgt aus (1) auch
X
p(n) (x, ω) p(m) (ω, y) .
(2)
p(m+n) (x, y) =
ω∈X
Dabei beschreibt
p(n) (x, y) = Px [Xn = y] = Pν [Xk+n = y | Xk = x]
die Wahrscheinlichkeit für einen Wechsel vom Zustand x zum Knoten y in n
Schritten. Die beiden Gleichungen (1) und (2) werden Chapman-KolmogorovGleichungen genannt.
Dass die einzelnen Übergänge unabhängige Ereignisse sind und die entsprechenden Regeln für bedingte Wahrscheinlichkeiten gelten, impliziert genauso
wie (2) die Wahrscheinlichkeit für den jeweils nächsten Übergang mit
X
p(x, ω)p(n) (ω, y) .
p(n+1) (x, y) =
ω∈X
Um verschiedene Ereignisse zeitlich zu bemessen, ist es wichtig eine weitere Zufallsvariable, den Begriff der Stoppzeiten einzuführen. Insbesondere
die Wahrscheinlichkeiten von Eintrittszeiten und Erwartungswerte sind von
Interesse, da sie der Analyse des asymptotischen Verhaltens von MarkovKetten dienen.
6
Definition 3. Eine Stoppzeit ist eine Zufallsvariable t mit Wertebereich
N0 ∪ {∞}, sodass
[tt ≤ n] = {ω ∈ Ω | t (ω) ≤ n} ∈ An ,
∀n ∈ N .
Eine Stoppzeit hat also die Eigenschaft, allein mit Hilfe der ersten n Elemente
einer Trajektion (Realisierung) zu bestimmen, ob t kleiner gleich n ist. Die
Definition mag formal sehr abstrakt klingen, spiegelt aber nur die intuitive
Interpretation des namentlichen Begriffs wider. Die Zuvallsvariable t gibt an,
ob ein bestimmtes Ereignis bis zum Zeitpunkt n eingetreten ist, oder nicht.
Definition 4. Für eine Menge W ⊂ X sind die (erste) Eintrittszeit und die
(erste) Rückkehrzeit definiert als
s W := inf {n ≥ 0 : Xn ∈ W }
und t W := inf {n ≥ 1 : Xn ∈ W } .
Weiters ist
vW
n
(
1 Xn ∈ W
:=
0 sonst
v
und
W
=
∞
X
vW
n .
n=0
Nur bei Start der Markovkette in W unterscheidet sich s W von t W . Die
Eintrittszeit beschreibt die Anzahl der Schritte bis zum ersten Besuch der
Markov-Kette in W , was schon beim Start der Fall sein kann. Hingegen
misst die Rückkehrzeit die Anzahl der Schritte bis zum ersten Eintreffen in
W nach dem Start. Die Zufallsvariable v W dient dem Abzählen der Besuche
von (X, P ) in W . Weitere wichtige Begriffe sind:
Die erwartete Anzahl der Besuche in y, bei Start in x
y
G(x, y) := Ex (vv ) =
∞
X
p(n) (x, y) .
n=0
Die Wahrscheinlichkeit bei Start in x jemals y zu realisieren
y
F (x, y) := Px [ss ≤ ∞] =
∞
X
f (n) (x, y) ,
mit f (n) (x, y) := Px [ssy = n] .
n=0
Die Wahrscheinlichkeit nach Start in x, Knoten y zu durchlaufen
U (x, y) := Px [tty ≤ ∞] =
∞
X
u(n) (x, y) ,
n=0
7
mit u(n) (x, y) := Px [tty = n] .
Damit lassen sich die Fragen zum Salzburger Wetterbeispiel bereits jetzt
beantworten. Die voraussichtliche Anzahl verregneter Tage im nächsten Monat ist
ERe (vv So
[0,30] )
=
30
X
p(n) (Re, So) .
(3)
n=0
Analog dazu ist die Wahrscheinlichkeit für Sonnenschein in 14 Tagen
p(14) (Re, So) .
(4)
Um eine effiziente Berechnung solcher Größen zu ermöglichen, werden
erzeugende Funktionen eingeführt. Es wird sich herausstellen, dass diese für
endliche Zustandsräume stets rational sind.
2.3
Green Kernel
Für die nähere Betrachtung von reellen oder komplexen Sequenzen werden
oft
Funktionen herangezogen. Das sind Potenzreihen der Form
P∞erzeugende
n
a
z
mit
z ∈ C. Für eine Markov-Kette (X, P ) ist der Green Kernel
n=0 n
oder auch die Green Funktion, die Potenzreihe
G(x, y|z) =
∞
X
p(n) (x, y)z n ,
x, y ∈ X, z ∈ C .
n=0
Der Konvergenzradius ist
−1
q
n
(n)
r(x, y) = lim sup p (x, y)
≥1.
n→∞
Zur späteren Zuordnung eines Zustandes als rekurrent oder transient, die
das asymptotische Verhalten von Übergängen beschreiben, werden erzeugende Funktionen benötigt. Die erwartete Anzahl der Besuche in y bei Start
in x entspricht der Potenzreihe G(x, y|1). Die Frage nach Konvergenz für
die unendliche Reihe G(x, y) wird für die Klassifizierung von Zuständen im
Weiteren eine große Rolle spielen.
Mittels linearer Algebra lässt sich der Green Kernel explizit berechnen.
Die Greenfunktionen der jeweiligen Zustände lassen sich zu einer Matrix
zusammenfassen und es gilt
∞
X
G(z) := G(x, y|z) x,y∈X =
znP n .
n=0
8
Der Konvergenzradius ist r = inf {r(x, y) | x, y ∈ X}. Für |z| < r konvergiert
die Reihe und wegen
G(z) = I +
∞
X
n
n
z P = I + zP
n=1
∞
X
z n P n = I + zP G(z)
n=0
ist G(z) = (I − zP )−1 für invertierbare (I − zP ).
Für endliche Knotenmengen ist also G(x, y|z) immer der Quotient zweier
rationaler Funktionen mit
G(x, y|z) = ±
det(I − zP |y, x)
.
det(I − zP )
Dabei bezeichnet (I − zP |y, x) die Matrix nach Streichen der y-ten Zeile
beziehungsweise x-ten Spalte von (I − zP ).
Durch die Einführung der Greenfunktion lassen sich die Größen (3) und
(4) aus dem Wetterbeispiel effizient berechnen. Die erwartete Anzahl verregneter Tage im nächsten Monat ist die Summe der ersten 31 Koeffizienten
von G(Re, Re|z). Der 15. Koeffizient der Reihe G(Re, So|z) gibt die Wahrscheinlichkeit für Sonnenschein in genau 14 Tagen an. Jeweils die rationalen
Funktionen zu berechnen und in eine Potenzreihe umzuformen wird dem
Leser überlassen.
2.4
Irreduzible Klassen und Periodizität
Für die Kommunikation zwischen den einzelnen Zuständen gelten nachstehende Notationen.
(i) x → y
n
wenn ∃n : p(n) (x, y) > 0 ;
(ii) x → y
für p(n) (x, y) > 0 ;
(iii) x 9 y
für p(x, y) = 0 ;
(iv) x ↔ y
wenn x → y
∧
y→x.
Im Folgenden geht es um die Klassifizierung von Knoten einer MarkovKette in wesentliche und unwesentliche Zustände. Bei Betrachtung der asymtotischen Entwicklung von (X, P ) verlieren unwesentliche Zustände ihr Bedeutung, da diese per Definition nur höchstens einmalig durchlaufen werden.
9
Abbildung 2: Veranschaulichung einer endlichen Markov-Kette mit ihren irreduziblen Klassen. Wesentlich sind C(11) und C(13). Der Knoten 13 ist
absorbierend.
Die Relation x → y ist wegen p(0) (x, x) = 1 reflexiv und transitiv, weil aus
m
n
m+n
x → ω und ω → y auch → y folgt. Für x ↔ y gilt aufgrund der Definition
auch Symmetrie.
Lemma 1. Die Relation ↔ ist eine Äquivalenzrelation auf X.
Definition 5. Eine irreduzible Klasse ist eine Äquivalenzrelation in Bezug
auf ↔. Besteht eine Markov-Kette aus einer einzigen irreduziblen Klassse, so
wird sie irreduzibel genannt. Eine irreduzible Klasse wird mit C(x) bezeichnet,
wobei x ein (beliebiger) Knoten dieser Klasse ist.
Abbildung (2) zeigt eine Markov-Kette mit endlichem Zustandsraum X
und ihre zugehörigen sechs irreduziblen Klassen. Alle Irrfahrten auf Zd sind
irreduzibel, da per Definition alle Knoten des Graphen miteinander kommunizieren.
Definition 6. Auf der Menge der irreduziblen Klassen einer Markov-Kette
bildet → eine Halbordnung. Bei Existenz werden die Maxima dieser Halbordnung wesentliche Klassen genannt. Ein Zustand x heißt wesentlich, wenn
C(x) wesentlich ist. Ist ein Knoten nicht wesentlich, so heißt er unwesentlich. Besteht eine wesentliche Klasse aus nur einem Knoten, so heißt dieser
absorbierend.
Anders ausgedrückt, x ist wesentlich : ⇐⇒ ∃y : y → x aber x 9 y .
10
Abbildung 3: Darstellung einer Markov-Kette mit unendlichem Zustandsraum N. Die MK (N, P ) besitzt unendlich viele irreduzible Klassen, jedoch
ist keine davon wesentlich.
Ist der Zustandsraum endlich, so besteht eine Äquivalenz zwischen den Eigenschaften wesentlich und rekurrent zu sein. Analog gilt dies für unwesentlich und transient. Der Begriff der Rekurrenz wird im nächsten Abschnitt
erläutert. Zusätzlich ist die Menge aller irreduziblen Klassen endlich, also
gibt es auch immer zumindest ein maximales Element. Abbildung 3 liefert
ein Beispiel für eine Markov-Kette auf einem unendlichen Zustandsraum mit
irreduziblen, aber dennoch keiner einzigen wesentlichen Klasse.
Definition 7. Die Periode eines Knotens x ∈ X ist die natürliche Zahl
n
ggT{n ≥ 1 : x → x} .
Zustände mit Periode 1 heißen aperiodisch.
Mögliche Rückkehrzeiten eines Zustandes sind also allesamt Vielfache seiner
Periode. Sie gibt an, wie viele Schritte mindestens für die Rückkunft in den
ursprünglichen Knoten notwendig sind. Die Periode ist innerhalb einer irreduziblen Klasse konstant, also klassenstabil. Um festzustellen, ob ein Knoten
beziehungsweise eine Klasse aperiodisch ist, ist es ausreichend zwei Pfade
von teilerfremder Länge zu finden, die beide in den ursprünglichen Zustand
zurückführen. In den meisten Szenarien von Irrfahrten auf Zd , die in den
folgenden Kapiteln behandelt werden, besitzen alle Knoten Periode 2.
2.5
Rekurrenz und Transienz
Definition 8. Es sei (X, P ) eine Markov-Kette. Ein Zustand x ∈ X nennt
sich rekurrent, wenn der Zufallsprozess nach Start in x sicher wieder zu x
zurückkehrt, also
U (x, x) = Px [∃ n > 0 : Xn = x] = 1 .
Anderenfalls heißt x transient. Zusätzlich sei
H(x, y) = Px [Xn = y für unendlich viele n ∈ N] ,
x, y ∈ X
die Wahrscheinlichkeit bei Start in x unendlich oft y zu durchlaufen.
11
Aufgrund der Zeithomogenität lässt sich folgern, dass eine unendlich lange
Sequenz (Xn )n≥0 bei sicherer Rückkehr in einen Zustand, diesen auch unendlich oft passiert. Wenn hingegen die Wahrscheinlichkeit für einen Zustand,
öfter als einmal durchlaufen zu werden kleiner 1 ist, so ist es unmöglich,
unendlich oft zurück zu kehren. Dieses interessante Phänomen, also
(
1 U (x, x) = 1
H(x, x) =
0 sonst
wird als Null-Eins–Gesetz bezeichnet. Eine kurze Beweisskizze dafür lässt
sich schnell erstellen. Ist x ein transienter Zustand mit U (x, x) = p und
0 ≤ p < 1, so ist p die Wahrscheinlichkeit mindestens einmal in den Knoten
x zurück zu kehren. Die Chance für dieses Ereignis mindestens ein zweites
Mal einzutreten ist folglich ≤ p2 . Für den Limes gilt daher
Px [Xn = x, unendlich oft ] = lim pn = 0 .
n→∞
Aufgrund der Markov-Eigenschaft und der Zeithomogenität folgt bei sicherer
Rückkehr in einen Zustand auch die unendliche Wiederholung dieser.
Theorem 1. Aus Rekurrenz eines Zustandes x ∈ X folgt also unzähliges
Durchlaufen und damit auch eine unendliche Anzahl erwarteter Besuche. Es
gilt sogar Äquivalenz mit
U (x, x) = 1 ⇐⇒ H(x, x) = 1 ⇐⇒ G(x, x) = ∞ .
Beweis. Die Aussage U (x, x) = 1 ⇒ H(x, x) = 1 beschreibt das NullEins-Gesetz. Aufgrund des Gesetzes der großen Zahlen gilt die Implikation
H(x, x) = 1 ⇒ G(x, x) = 1. Wegen monotoner Konvergenz ist
lim G(x, x|z) = G(x, x|1) bzw.
z→1−
lim U (x, x|z) = U (x, x|1) .
z→1−
Daraus folgt
1−
=
z→1 1 − U (x, x|z)
lim G(x, x|z) = lim
z→1−
(
∞
1
1−U (x,x)
U (x, x|z) = 1 ,
U (x, x) < 1 .
womit U (x, x) = 1 ⇐⇒ G(x, x) = ∞ gezeigt ist. Ist nun die erwartete
Anzahl der Besuche in x unendlich, dann ist auch die Rückkehr sicher mit
U (x, x) = 1.
12
Bei Betrachtung der asymptotischen Eigenschaften lassen sich alle Knoten einer Markov-Kette als rekurrent oder transient klassifizieren. Rekurrente
Zustände lassen sich zusätzlich in positiv rekurrente und nullrekurrente Knoten unterteilen.
Definition 9. Ein rekurrenter Zustand x heißt positiv rekurrent, wenn die
zu erwartende Rückkehrzeit Ex [ttx ] endlich ist, mit
x
Ex [tt ] =
∞
X
nu(n) (x, x) = U 0 (x, x|1−) < ∞
n=1
und nullrekurrent wenn er nicht posititv rekurrent ist.
Auch wenn ein rekurrenter Zustand mit Sicherheit öfter (unendlich oft)
durchlaufen wird, ist bei Nullrekurrenz zu erwarten, dass die Rückkehr unendlich viel Zeit in Anspruch nimmt.
Zusammengefasst gilt für die Asymptotik von irreduziblen MK (X, P ):
ˆ Ist X endlich und x ∈ X, so gilt
C(x) wesentlich ⇐⇒ C(x) rekurrent
und folglich analoges für unwesentlich und transient.
ˆ Ist x aus X rekurrent, dann ist
x nullrekurrent ⇐⇒ lim p(n) (x, x) = 0 .
n→∞
ˆ Ist x aus X transient, so folgt daraus
lim p(n) (x, x) = 0 .
n→∞
ˆ Ist X endlich und die Markov-Kette zusätzlich aperiodisch, so existiert
eine sogenannte stationäre oder invariante Verteilung Π auf X mit
Π·P =Π
bzw.
und
Π · Pn = Π
1
= Πx > 0 ,
n→∞
Ex [ttx ]
womit alle Zustände positiv rekurrent sind. Auf endlichen Zustandsräumen
ist Π ein Linkseigenvektor von P zum Eigenwert 1, derartig normiert,
sodass die Summe der Einträge eins ergibt, was einer Verteilung entspricht.
lim p(n) (x, x) =
13
Abbildung
4:
Illustration
einer
Übergangswahrscheinlichkeiten p und q.
3
Irrfahrt
auf
Z
mit
Irrfahrten auf Zd
Eine Irrfahrt beschreibt die zufällige Wanderung eines Teilchens auf einer
abelschen Gruppe. Jede Irrfahrt ist eine irreduzible Markov-Kette mit ungerichtetem Graphen. Betrachtet wird in diesem Fall der Random Walk auf
dem ganzzahligen Gitter Zd . Dabei sind jene Punkte benachbart, deren euklidischer Abstand eins ist. Ein breites Anwendungsspektrum unterstützt die
Forschung auf diesem Gebiet.
Im Allgemeinen sind Irrfahrten auf abelschen Gruppen G wie z.B. Zd eine
Summe von unabhängigen, ident verteilten G-wertigen Zufallsvariablen
Zn = 0 + Y1 + · · · + Yn ,
wobei die Verteilungen der Yn ein Wahrscheinlichkeitsmaß auf G mit Start
in 0 sind.
Zunächst ein Beispiel für den eindimensionalen Fall mit Zustandsmenge
Z. Dieses wird häufig als Irrfahrt des Betrunkenen auf einer unendlichen
Straße bezeichnet [1] W. Woess. Für den Random Walk auf dem Zahlenstrahl
in Abbildung 4 gilt
p(k, k + 1) = p,
p(k, k − 1) = q,
p + q = 1,
p(k, l) = 0 für kk − lk =
6 1.
Da Irrfahrten irreduzible Markov-Ketten sind und Rekurrenz eine Klasseneigenschaft ist, sind entweder alle Zustände rekurrent, oder alle transient. Es
genügt somit den Ursprung auf Rekurrenz zu untersuchen, um alle Knoten
zu analysieren. Dafür gibt es viele verschiedene Möglichkeiten.
14
Zum Beispiel mittels kombinatorischer Überlegung. Grundsätzlich ist eine
Rückkehr nur nach einer geraden Anzahl von Schritten möglich, da es der
gleichen Schrittlänge in die jeweils entgegengesetzte Richtung bedarf, um den
ursprünglichen Knoten erneut zu erreichen. Damit ist p(2n+1) (x, x) = 0, ∀n ≥
0 und die Irrfahrt besitzt Periode 2. Für die Rückkehrwahrscheinlichkeit nach
2n Schritten gilt
(2n)
n 2n
p (0, 0) = (pq)
.
n
Für große n lässt sich der Binomialkoeffizient mittels Sterlingformel ausdrücken
1
2n
1
⇒ p(2n) (0, 0) = (4pq)n√
.
∼ 22n√
n
πn
πn
Den Fall, dass p und q gleich groß sind, wird vorerst außer Acht gelassen. Sei
ohne Beschränkung der Allgemeinheit p größer q. Der Quotiententest zeigt,
dass die Reihe
∞
X
1
(4pq)n√
πn
n=0
konvergiert. Also ist G(x, x) < ∞ und alle Zustände sind transient. Für
p = q = 1/2 ist aber (4pq) = 1 und nach Abschätzung durch die harmonische
Reihe divergiert
∞
X
1
√
.
πn
n=0
Damit ist G(x, x) endlich und der Ursprung, sowie jeder andere Knoten der
irreduziblen Markov-Kette, ist rekurrent.
Die Irrfahrt in diesem Beispiel ist nun genau dann rekurrent, wenn der
Wechsel in jeden benachbarten Knoten gleichwahrscheinlich ist. In diesem
Fall heißt die Markov-Kette einfache symmetrische Irrfahrt.
Eine Alternative zur Kombinatorik bei der Untersuchung auf Rekurrenz
bieten die bereits eingeführten erzeugenden Funktionen der Größen G(x, y),
F (x, y) und U (x, y). Dafür wird folgendes Theorem benötigt.
15
Theorem 2. Ist (X, P ) eine Markov-Kette und sind x, y aus X dann gelten
für die erzeugenden Funktionen G(x, y|z), F (x, y|z) und U (x, y|z)
1
,
1 − U (x, x|z)
X
U (x, x|z) =
p(x, y)z F (y, x|z) ,
G(x, x|z) =
|z| < r(x, x) .
(5)
|z| < s(x, x) .
(6)
|z| < s(x, y) .
(7)
y6=x
Für y 6= x ist
F (y, x|z) =
X
p(x, ω)z F (ω, y|z) ,
ω∈X
Dabei steht s(x, y) für den Konvergenzradius von U (x, y|z) und wegen
u(n) (x, y) ≤ p(n) (x, y) ≤ 1
ist
s(x, y) ≥ r(x, y) ≥ 1 .
Die Suche nach U (0, 0) gestaltet sich wie folgt. Wegen Translationsinvarianz im Beispiel der Abbildung 4 ist
F (k, l|z) = F (k − l, 0|z) = F (0, l − k|z)
und mit (7) gilt
F (1, 0|z) =
X
p(1, ω)z · F (ω, 0|z) = . . . = qz + pz · F (2, 0|z) .
ω∈X
Um von Zustand 2 zurück in den Ursprung zu gelangen, muss erst Knoten 1
überquert werden. Aus
F (2, 0|z) = F (2, 1|z) · F (1, 0|z) = F (1, 0|z)2
folgt nach einsetzen und umformen
pz · F (1, 0|z)2 − F (1, 0|z) + qz = 0 .
Da für alle ungleichen Knoten in X die Größe F (x, y|0) = 0 ist, ist die
eindeutige Lösung der quadratischen Gleichung
1 p
F (1, 0|z) =
1 − 1 − 4pqz 2
2pz
16
und analog dazu ist
F (−1, 0|z) =
1 p
1 − 1 − 4pqz 2 .
2qz
Wegen (6) gilt
U (0, 0|z) =
X
p(0, y)z · F (y, 0|z) = pz · F (1, 0|z) + qz · F (−1, 0|z)
y
p
= 1 − 1 − 4pqz 2 .
Daraus folgt
p
1
U (0, 0) = 1 − (p − q)2 = 1 − |p − q| = 1 ⇐⇒ p = q = .
2
Damit ist, wie erwartet, auch bei Anwendung von Theorem 2 die Irrfahrt auf (Z, P ) genau dann rekurrent, wenn es sich dabei um eine einfache
symmetrische Irrfahrt handelt.
Ein anderes Beispiel für eine Irrfahrt (Z, Q) auf dem Zahlenstrahl genügt
den Regeln
1
1
q(k, k ± 1) = , q(k, k) =
und q(k, l) = 0 , für kk − lk =
6 1.
4
2
Hierbei handelt es sich um eine Irrfahrt mit Schleifen, da eine Chance größer
0 besteht im gleichen Zustand zu verweilen. Die Markov-Kette ist aperiodisch
und die Rückkehr in einen Knoten ist nicht mehr nur auf Wege der Länge 2n
beschränkt.
Es gilt für die Rückkehrwahrscheinlichkeit nach n Schritten
c
bn
2 X
n
n−k
1
1
(n)
q (0, 0) =
·
· 2k · n−2k
k
k
4
2
k=0
bn
c
2 1 X
n
n−k
= n·
·
· 2n−2k
4 k=0 k
k
(8)
Dabei ist die Summe über alle k die jeweilige Anzahl der möglichen Kombinationen k Schritte nach rechts und k Schritte
nach links zu gehen, mit
2n
n − 2k Schleifen. Man kann zeigen, dass n der Summe in (8) entspricht [1].
Das führt zu einer vereinfachten Darstellung
1 2n
(n)
q (0, 0) = n
.
n
4
Damit ist auch die Irrfahrt (Z, Q) nullrekurrent.
17
3.1
Einfache symmetrische Irrfahrt
Definition 10. Eine einfache symmetrische Irrfahrt (SRW) auf Zd ist eine Irrfahrt mit Knotengrad deg(x) = 2d, für alle x in X. Zusätzlich gilt
Gleichverteilung auf der Menge der Einheitsvektoren {±e1 , · · · , ±ed }.
Wie schon im letzten Kapitel beschrieben, ist SRW im eindimensionalen
rekurrent. Dabei kehrt die Irrfahrt in jeden Knoten mit Sicherheit wieder
zurück und das unendlich oft. Die erwartete Zeit, die eine Rückkehr in Anspruch nimmt, ist unendlich, da neben Rekurrenz auch
lim p(2n) (0, 0) = lim √
n→∞
n→∞
1
=0
nπ
gilt. Somit ist die einfache symmetrische Irrfahrt auf Z nullrekurrent.
Genauso lässt sich Nullrekurrenz für den SRW auf Z auch folgendermaßen
zeigen.
√
z
U (0, 0|z) = 1 − 1 − z 2 ⇒ U 0 (0, 0|z) = √
, |z| < 1
1 − z2
und
E0 [tt0 ] = lim U (0, 0|z) = ∞ .
z→1−
Theorem 3. Satz von Polya (1921)
Ein Simple Random Walk auf Zd ist eine MK (X, P ) mit
(
1
falls y ∈ {x ± ei : i = 1, . . . , d}
p(x, y) = 2d
0 sonst
Für d ≤ 2 ist (X, P ) rekurrent, für d ≥ 3 transient.
Beweis. Sei d = 2.
Zunächst stelle man sich zwei Betrunkene vor, die je einen SRW auf Z gehen.
Beide starten dabei im Ursprung und gehen völlig unabhängig voneinander
ihren Weg. Ihre gemeinsame Trajektion auf Z2 besucht dabei nur die Punkte
(k, l) mit k, l ∈ Z und k + l ≡ 0 (mod 2). Die Markov-Kette bewegt sich
zu einem der vier Punkte (k ± 1, l ± 1) mit Übergangswahrscheinlichkeit
p1 (k, k ± 1) · p1 (l, l ± 1) = 1/2 · 1/2 = 1/4. Die dementsprechenden Knoten
und Kanten liegen auf dem zweidimensionalen Straßennetz wie in Abbildung
5 veranschaulicht. Grau strichliert zeichnen sich die Kanten des doppelten
Random Walks ab. Die zusammengesetzte Markov-Kette ist isomorph zu
Z2 , da sich die Knoten und Kanten bei
√ Drehung um 45 und Stauchung der
Kanten durch Normierung der Länge 2 auf 1 decken.
18
Abbildung 5: Veranschaulichung einer Irrfahrt auf Z2 . Rechts eine Darstellung des Isomorphismus zwischen der doppelten Markov-Kette zweier Wanderer und dem zweidimensionalen Gitter.
Aufgrund des Isomorphismus bleiben die Übergangswahrscheinlichkeiten
erhalten und für den SRW auf dem zweidimensionalen Straßennetz gilt
2
1 2n
1
(2n)
.
p (00, 0 ) =
∼
2n
2
n
πn
Unter anderem zeigt das Minorantenkriterium, dass
∞
X
1
G(x, x) =
=∞
πn
n=1
und alle Zustände x ∈ Z2 rekurrent sind. Die Übergangswahrscheinlichkeiten
bilden eine Nullfolge, womit
Ex [ttx ] = ∞, ∀x ∈ Z2 ,
und die Markov-Kette nullrekurrent ist.
Sei d = 3.
Den Graphen Z3 kann man als Aneinanderreihung von Würfeln interpretieren. Mit Hilfe des Multinomialkoeffizienten lässt sich wiederum die 2nSchritt Übergangswahrscheinlichkeit für die einfache symmetrische Irrfahrt
kombinatorisch berechnen. Es gibt jeweils sechs Kanten, die aus einem Knoten heraus führen, daher ist die Wahrscheinlichkeit ausgewählt zu werden
für jede Richtung 1/6 . Auch hier ist analog zur Irrfahrt ohne Schleifen eine
19
Rückkehr nur nach einer geraden Schrittanzahl möglich. Für die 2n-Schritt
Übergangswahrscheinlichkeit gilt
p
(2n)
(2n)
1
(00, 0 ) =
6
X a,b,c≥0
a+b+c=n
2n
a, a, b, b, c, c
n 2
2n X 2n
n
1
1
.
=
2
n
a,
b,
c
3
a,b,c≥0
(9)
a+b+c=n
Die Wahrscheinlichkeitsverteilung des Multinomialkoeffizienten ist
X n 1 n 1 1 1 n
=
+ +
= 1 und
a, b, c
3
3 3 3
a+b+c=n
n
a, b, c
≤
n
m, m, m
∀a, b, c .
Daraus folgt, dass
2n 1
2n
n
1
1
(9) ≤
∼ c√
,
2
n
m, m, m
3
n3
für eine geeignete Konstante c größer null.
Schließlich ist
G(00, 0 ) ∼
X c
√
<∞,
n3
n
konvergent, was auf Transienz für die einfache symmetrische Irrfahrt auf Z3
deutet.
Definition 11. Für einen ungerichteten Graphen G = (V, E) heißt G̃ =
(Ṽ , Ẽ) Teilgraph von G wenn Ṽ ⊆ V und Ẽ ⊆ E ist.
Da Z3 ein Teilgraph für jedes höherdimensionale Gitter ist, sind auch
überall dort alle Knoten aus Zd mit d ≥ 3 transient. Verläuft sich die einfache
symmetrische Irrfahrt bereits auf Z3 in die sogenannten unendlichen Weiten,
so tut sie dies erst recht in größeren Räumen.
20
3.2
Ausblick
Im Zuge der Analyse von Markov-Ketten und Irrfahrten stößt man neben
gewonnenen Erkenntnissen immer wieder auf neue, allgemeinere Fragen. Zum
Beispiel drängt sich nach Betrachtung des Satzes von Polya (3) auf Seite 18
die Frage nach dem allgemeinen Zusammenhang zwischen der Struktur eines
Graphen X und der Asymptotik von p(n) (x, x) mit x aus X, auf. Bis heute
wird an derartigen Fragestellungen gearbeitet und geforscht [2] R.E. Burkard.
Einen Ansatz für die Beantwortung solch grundlegender Fragen bieten
isoperimetrische Ungleichungen. Sie vergleichen das Volumen von einem Körper
im d-dimensionalen Raum mit seiner Oberfläche. Dafür müssen diese Begriffe
hier erst eingeführt werden.
Definition 12. Für eine Menge A von Knoten eines Graphen sei
X
Vol(A) :=
deg(x)
x∈A
das Volumen von A und ∂A sei ihr Rand, also die Menge aller Kanten, die
aus A hinaus führen. Für A bezeichnet
Area(A) := |∂(A)|
die Oberfläche von A.
Theorem 4. Für eine natürliche Zahl d erfüllt ein Graph X eine d-dimensionale
isoperimetrische Ungleichung (ISd ), wenn es eine positive Konstante c gibt,
sodass für jede endliche Teilmenge A von X folgende Ungleichung erfüllt ist.
1
Area(∂A) ≥ c · Vol(A)1− d
Für d = ∞ ist sogar von einer starken isoperimetrischen Ungleichung (IS) die
Rede. Oberfläche und Volumen entsprechen hier der gleichen Größenordnung.
Lemma 2. Das ganzzahlige Gitter Zd erfüllt (ISd ) jedoch nicht (ISd+k ) für
beliebiges k ∈ N.
Theorem 5. Erfüllt der Graph X die Ungleichung (ISd ), so gilt für alle x, y
aus X
1
p(n) (x, y) ≤ c · deg(y) · √
.
nd
21
Damit ist ein Zusammenhang zwischen der Struktur eines Graphen und
der Asymptotik der einzelnen Übergangswahrscheinlichkeiten gegeben, was
die Frage in der Einleitung des Kapitels beantwortet. Auch bei der Untersuchung von Irrfahrten auf Rekurrenz lassen sich mit Hilfe von isoperimetrischen Ungleichungen Antworten finden.
Theorem 6.
X erfüllt (IS) ⇐⇒ ∃p < 1 : ∀x ∈ X : p(n) (x, x) ≤ pn
Mit Worten ausgedrückt muss jeder Graph, der die starke isoperimetrische
Ungleichung erfüllt auch transient sein. Denn für alle x aus X gilt
∞
X
n=0
p
(n)
∞
X
1
(x, x) ≤
<∞.
kn
n=0
Damit ist die erwartete Anzahl der Rückkehrten in denselben Knoten endlich,
was Transienz für alle Knoten des Graphen X impliziert.
22
Literatur
[1] W. Woess (2009). Denuamerable Markov Chains (Generating Functions, Boundary Theorie, Ramdom Walks on Trees). European Mathematical Society
[2] Rainer E. Burkard, Wolfgang Maass, Peter Weibel (Hg.) (2000). Zur
Kunst des formalen Denkens. Passagen Verlag Wien.
[3] A. Depperschmidt(2011).
Markovketten.
Universität
Freiburg.
Verfügbar
unter:
http://www.stochastik.unifreiburg.de/Vorlesungen/vvSS2011/VorMarkovketten/markovketten.pdf
23