Markovsche Prozesse im Casino 1 Einleitung 2 Markov

Markovsche Prozesse im Casino
Simon Griwatz
1
Einleitung
Diese Arbeit beschäftigt sich mit dem Thema Markovsche Prozesse im Casino
und soll die Grundlagen schaffen, um sich mit dem Problem zu beschäftigen, wie
lange man ein Deck von Spielkarten mischen muss, um eine wirklich faire Verteilung der Karten zu erreichen. Ein ähnliches Problem ist, für eine Irrfahrt auf
einen Graphen einen Zeitpunkt zu bestimmen, zu dem die Wahrscheinlichkeitsverteilung der aktuelle Position über den Knoten des Graphen gleichverteilt ist.
Das Verhalten einer Irrfahrt auf einem Graphen läßt sich durch Markov-Ketten
beschreiben.
Aus diesem Grund beginne ich mit den Grundlagen markovscher Prozesse und
der Irrfahrt auf Graphen. Anschließend zeige ich eine auf Strong Uniform Times
basierende Methode, mit deren Hilfe wir eine Schranke für die Konvergenz zur
gesuchten Gleichverteilung abschätzen können.
2
2.1
Markov-Ketten
Definition
Eine Markov-Kette M ist ein stochastischer Prozess, der durch die Anfangsverteilung X0 , die Übergangswahrscheinlichkeiten Pij und durch seinen Zustandsraum
S definiert ist. Der Zustandsraum S ist entweder endlich oder abzählbar unendlich. Die Übergangsmatrix P gibt die Wahrscheinlichkeiten an von einem Zustand
in den folgenden zu gelangen. Diese Übergangsmatrix hat eine Zeile und eine
Spalte für jeden Zustand aus S. Ein Eintrag Pij in der Übergangsmatrix P ist
die Wahrscheinlichkeit, dass der nächste Zustand j sein wird, wenn der jetzige
P
Zustand i ist. So gilt 0 ≤ Pij ≤ 1 und j Pij = 1 für alle i, j ∈ S.
Eine wichtige Eigenschaft von Markov-Ketten ist, dass das zukünftige Verhalten einer Markov-Kette nur von dem aktuellen Zustand abhängt und nicht
von davon, wie sie in diesem Zustand gekommen ist. Eine Markov-Kette ist also
gedächnislos. Dies folgt aus der Beobachtung, dass die Übergangswahrscheinlichkeit Pij nur von dem aktuellen Zustand i abhängt.
P r[Xt+1 = j|X0 = i0 , X1 , ..., Xt = i] = P r[Xt+1 = j|Xt = i] = Pij
Aufgrund dieser Eigenschaft kann die Wahrscheinlichkeit, mit der ein Übergang
von i nach j mit n Schritten stattfindet, durch die n-fache Multiplikation der
Übergangsmatrix berechnet werden. Die dabei entstehende neue Übergangsmatrix
(n)
nennen wir n-stufige Übergangsmatrix Pij .
Für einen gegebenen Startzustand X0 = i wird die Wahrscheinlichkeit, dass der
(t)
erste Übergang in den Zustand j nach t Schritten stattfindet, mit rij beschrieben
und ist gegeben durch
(t)
rij = P r [Xt = j, und für 1 ≤ s ≤ t − 1, Xs 6= j|X0 = i] .
Die Wahrscheinlichkeit, dass es für einen Startzustand X0 = i einen Übergang in
den Zustand j nach t > 0 Schritten stattfindet, nennen wir fij und ist gegeben
durch
fij =
X
(t)
rij .
t>0
Die erwartete Anzahl von Schritten um den Zustand j vom Zustand i aus zu
erreichen, nennen wir hij und ist gegeben durch
hij =
X
(t)
trij .
t>0
Ein Zustand i für den die Wahrscheinlichkeit, dass es nach Verlassen dieses Zustands einen weiteren Besuch von i gibt kleiner als 1 ist, also fii < 1 ist und damit
auch hii = ∞ gilt, wird transient genannt.
Ein Zustand i, in den die Markov-Kette nach Verlassen irgendwann wieder
zurückkehren wird, also fii = 1 gilt, heißt persistent. Gilt für einen persistenten
Zustand i, dass hii = ∞, wird er null persistent genannt. Andernfalls, also wenn
hii 6= ∞, wird der Zustand nicht null persistent genannt.
2.2
Endlichkeit
Endliche Markov-Ketten sind Markov-Ketten mit einer endlichen Anzahl von
Zuständen. Jeder dieser Zustände ist dann entweder transient oder nicht-null persistent.
2.3
Unreduzierbarkeit
Die Reduzierbarkeit einer Markov-Kette hängt eng mit dem Graph zusammen,
durch den die Markov-Kette dargestellt werden kann. Aus diesem Grund betrachten wir zuerst die graphentheoretischen Grundlagen.
Ein Graph C heißt stark zusammenhängend, wenn für jedes Paar von Knoten
i und j ∈ C Pfade existieren, so dass i von j und j von i zu erreichen ist (siehe
Abbildung 1). Eine starke Zusammenhangskomponente in einem Graphen G ist
ein maximaler Teilgraph C, der stark zusammenhängend ist. Eine starke Zusammenhangskomponente C ist eine finale starke Zusammenhangskomponente, wenn
zusätzlich gilt, dass es keine Kanten von einem Knoten in C zu einem Knoten
außerhalb von C gibt (siehe Abbildung 2).
In einer endlichen Markov-Kette, die in irgendeinem Knoten in einer starken
Zusammenhangskomponenete C startet, ist die Wahrscheinlichkeit jeden anderen
Knoten in der gleichen starken Zusammenhangskomponente in einer endlichen
Anzahl von Schritten zu erreichen größer als 0. Wenn C eine finale starke Zusammenhangskomponente ist, dann ist diese Wahrscheinlichkeit gleich 1, da die
Markov-Kette die finale starke Zusammenhangskomponente nie verläßt, wenn sie
diese einmal betreten hat. Daraus folgt, dass ein Zustand nur dann persistent ist,
wenn er in einer finalen starken Zusammenhangskomponente liegt.
Eine Markov-Kette ist unreduzierbar, wenn ihr ein Graph zugrunde liegt, der
aus einer einzigen starken Zusammenhangskomponente besteht. Diese einzige starke Zusammenhangskomponente in einer unreduzierbaren Markov-Kette muss endlich sein und deshalb sind alle Zustände dieser Markov-Kette persistent.
a
b
e
f
c
d
g
h
G1={a,b,c,d}
C1={a,b,c}
G2={e,f,g,h}
C2={e,f,g}
Abbildung 1: starke Zusammenhangskomponente C1 im gerichteten Graph G1
und starke Zusammenhangskomponente C2 im ungerichteten Graph G2
2.4
Periodizität
Die Periodizität eines Zustands i ist die größte ganze Zahl T, für die eine Anfangsverteilung q (0) und eine positive Zahl a existiert, so dass alle Zeitpunkte t, für die
(t)
qi > 0 zur arithmetischen Reihe {a + Ti |i ≥ 0} gehören. Für einen verbundenen,
ungerichteten Graphen G ist die Periodizität eines Zustands i der größte gemeinsame Teiler (ggT) der Länge aller geschlossenen Wege von i in G. Dabei ist ein
a
b
e
f
c
d
g
h
G1={a,b,c,d}
C1={a,b,c}
G2={e,f,g,h}
C2={e,f,g}
Abbildung 2: finale starke Zusammenhangskomponente C1 im gerichteten Graph
G1 und finale starke Zusammenhangskomponente C2 im ungerichteten Graph G2
geschlossener Weg ein Weg, der in einem Zustand i startet und in dem selben
Zustand i endet.
Ein Zustand wird periodisch genannt, wenn er eine Periodizität größer als 1
hat und aperiodisch, wenn dies nicht gilt. Mit anderen Worten ist eine Zustand
i periodisch, wenn eine Rückkehr nach i nicht nach einer beliebigen Schrittzahl
möglich ist.
Eine Markov-Kette, in der jeder Zustand aperiodisch ist, wird aperiodische
Markov-Kette genannt. In Abbildung 3 sehen wir ein Beispiel für eine periodische
Markov-Kette.
a
½
½
c
b
½
½
d
X0=(1,0,0,0)
X1=(0,½,½,0)
X2=(½,0,0,½)
X3=(0,½,½,0)=X1
X4=X2
usw.
Abbildung 3: Beispiel für eine periodische Markov-Kette
2.5
Ergodizität
Ein ergodischer Zustand ist aperiodisch und nicht-null persistent. Bei einer ergodischen Markov-Kette ist jeder Zustand ergodisch.
2.6
Stationäre Verteilung
Eine stationäre Verteilung einer Markov-Kette mit Übergangsmatrix P ist eine
Wahrscheinlichkeitsverteilung π, so dass gilt π = πP . Also verbleibt die Markov-
Kette, nachdem sie die stationäre Verteilung erreicht hat, in der selbigen.
An einem Beispiel können wir uns dies verdeutlichen. Wir nehmen die durch den
Graphen in Abbildung 4 gebildete Markov-Kette mit




1/3
0 1/2 1/2




P =  1/2 0 1/2  und π =  1/3 .
1/3
1/2 1/2 0




0 + 1/6 + 1/6
1/3 ∗ 0 + 1/3 ∗ 1/2 + 1/3 ∗ 1/2




Dann ist πP =  1/3 ∗ 1/2 + 1/3 ∗ 0 + 1/3 ∗ 1/2  =  1/6 + 0 + 1/6  =
1/6 + 1/6 + 0
1/3 ∗ 1/2 + 1/3 ∗ 1/2 + 1/3 ∗ 0


1/3


 1/3  = π.
1/3
½
a
½
b
½
c
Abbildung 4: Beispiel Graph zur stationären Verteilung
2.7
Fundamentalsatz für Markov-Ketten
Jede unreduzierbare, endliche und aperiodische Markov-Kette hat die folgenden
Eigenschaften:
1. Alle Zustände sind ergodisch.
2. Es gibt eine einzigartige stationäre Verteilung π, so dass für 1 ≤ i ≤ n,
πi > 0.
3. Für 1 ≤ i ≤ n, fii = 1 und hii = 1/πi .
4. Sei N (i, t) die Anzahl der Besuche des Zustands i in t Schritten der MarkovKette, dann gilt:
N (i, t)
lim
= πi
t→∞
t
3
Irrfahrten auf Graphen
Eine Irrfahrt auf einem Graphen können wir uns vorstellen als die Ausführung
von einzelnen zufällig ausgewählten Schritten von Knoten zu Knoten entlang der
Kanten beginnend auf einem beliebigen Knoten des Graphen.
Zum Verständnis betrachten wir den verbundenen und ungerichteten Graphen
G = (V, E). Eine Irrfahrt auf G ist dann folgendes: Wir beginnen auf einem beliebigen Knoten v0 des Graphen G. Als ersten Schritt wählen wir von dort zufällig
einen Knoten v1 , aus all den Knoten, die durch eine Kante mit v0 verbunden sind.
Also ist v1 ein Nachbarknoten von v0 . Zu diesem Knoten v1 bewegen wir uns
dann. Dies ist das selbe, als wenn wir eine Kante des Knoten v0 wählen würden
und dieser zum Knoten v1 folgen würden. Als zweiten Schritt wiederholen wir
diesen Vorgang für v1 , wählen also zufällig einen Knoten v2 , aus all den Knoten,
die durch eine Kante mit v1 verbunden sind, zu dem wir uns bewegen. Dieser
Vorgang wird immer weiter wiederholt. Zufällig ausgewählt bedeutet in diesem
Fall, daß der Nachbarknoten gleichmäßig zufällig ausgewählt wird und die Entscheidung zu jedem Zeitpunkt unabhängig von den vorherigen Entscheidungen ist.
Dies bedeutet, dass wir Irrfahrten auf Graphen durch Markov-Ketten beschreiben
können.
Sei G = (V, E) ein stark zusammenhängender, nicht bipartiter und ungerichteter
Graph mit n Knoten und m Kanten. Dies führt zu einer Markov-Kette MG , dessen
Zustände die Knoten von Graph G sind und dessen Übergangsmatrix für alle
Paare aus Knoten u, v ∈ V folgendermaßen erstellt wird:
Puv = 1/d(u), falls (u, v) ∈ E
Puv = 0 sonst.
Wobei d(w) der Grad des Knoten w ist. Weil G stark zuammenhängend ist, ist
MG unreduzierbar. Für einen stark zusammenhängenden, ungerichteten Graphen
G ist die Periodizität der Zustände von MG der größte gemeinsame Teiler (ggT)
der Länge aller geschlossener Wege in G. Weil G ungerichtet ist, gibt es geschlossene Wege der Länge 2, die über die selbe Kante zweimal hintereinander gehen.
Da G auch nicht bipartit ist, hat es ungerade Kreise, die zu geschlossenen Wegen
ungerader Länge führen. Daraus folgt, dass der ggT der geschlossenen Wege 1
ist. Also ist MG aperiodisch. Da wir nur eine begrenzte Anzahl von Zuständen
betrachten ist MG auch endlich. Somit erfüllt MG die Bedingungen des Fundamentalsatz für Markov-Ketten 2.7 und hat aus diesem Grund eine einzigartige
stationäre Verteilung π. Es gilt für alle v ∈ V, πv = d(v)/2m.
4
4.1
Strong Uniform Times
Definitionen von Distanzen zwischen Verteilungen
Sei P = (Pij ) eine unreduzierbare aperiodische Übergangsmatrix auf einem endlichen Zustandsraum I = i, j, k, .... Sei i0 ∈ I und i0 = X0 , X1 , X2 , ... die zugehörige Markov-Kette mit Anfangszustand i0 . Sei πn die Wahrscheinlichkeitsverteilung
(n)
πn (j) = Pi0 j = P r(Xn = j). Laut dem Fundamentalsatz für Markov-Ketten existiert für P eine stationäre Verteilung π. Außerdem gilt πn (j) → π(j) für n → ∞
für jedes j ∈ I.
Eine Möglichkeit, die Distanz zwischen zwei Verteilungen Q1 und Q2 auf I zu
bestimmen, ist die totale Variation:
kQ1 − Q2 k = max |Q1 (A) − Q2 (A)| =
A⊂I
1X
|Q1 (i) − Q2 (i)|
2 i∈I
Die totale Variation gibt also die maximale Summe der Abweichungen nach oben
oder nach unten zwischen Q1 (i) und Q2 (i) für alle i ∈ I an. Da gelten muss
P
P
1 = i∈I Q1 (i) = i∈I Q2 (i), muss die Summe der Abweichung noch oben und
unten die selbe sein. Damit ist die totale Variation die Hälfte aller Abweichungen.
(Siehe Abbildungen 5 und 6)
Mit gegebenen P und i0 können wir definieren:
d(n) = kπn − πk
Eine andere Möglichkeit, die Distanz zwischen zwei Verteilungen Q1 und Q2 zu
bestimmen, ist die Separation:
s(Q1 , Q2 ) = max(1 −
i
Q1 (i)
)
Q2 (i)
Die Separation ist die kleinste Zahl s ≥ 0, so dass Q1 = (1 − s)Q2 + sV für eine
Q1 (i)
1 (i)
Verteilung V. Somit gilt Q1 ≥ (1 − s)Q2 . Außerdem ist 1 − Q
= Q2 (i)−Q
.
Q2 (i)
2 (i)
(Siehe Abbildungen 8 und 9)
Mit gegebenen P und i0 können wir definieren:
s(n) = s(πn , π)
Für alle Q1 und Q2 gilt
0 ≤ kQ1 − Q2 k ≤ s(Q1 , Q2 ) ≤ 1.
Die Ungleichung kQ1 − Q2 k ≤ s(Q1 , Q2 ) gilt, weil
X
kQ1 −Q2 k =
i:Q2 (i)≥Q1 (i)
und weil
j
(Q2 (i) max(1−
i:Q2 (i)≥Q1 (i)
P
i:Q2 (i)≥Q1 (i) Q2 (i)
max(1 −
X
(Q2 (i)−Q1 (i)) ≤
≤ 1 und maxj (1 −
X
Q1 (j)
)
Q2 (j) i:Q (i)≥Q
2
1 (i)
Q1 (j)
Q2 (j) )
Q2 (i) ≤ max(1 −
j
j
X
Q1 (j)
Q1 (j)
) = max(1−
)
j
Q2 (j)
Q2 (j) i:Q (i)≥Q
2
= s(Q1 , Q2 ) ist, gilt
Q1 (j)
) ∗ 1 = s(Q1 , Q2 ).
Q2 (j)
Dann gilt auch:
d(n) ≤ s(n)
In Abbildung 5 bis Abbildung 9 wird dieser Zusammenhang graphisch dargestellt.
4.2
Definition der Strong Uniform Time
Sei i0 = X0 , X1 , X2 , ... die gleiche Markov-Kette wie in Abschnitt 4.1 mit dem
Anfangszustand i0 und der stationären Verteilung π. Sei s(n) die Separation.
Definition: Eine Strong Uniform Time T ist eine zufällig ausgewählte Stoppzeit
für (Xn : n ≥ 0), so dass
(a) P r(Xk=i |T = k) = π(i) für alle 0 ≤ k < ∞, i ∈ I.
Man kann (a) umformulieren zu
(b) P r(Xk=i |T ≤ k) = π(i) für alle 0 ≤ k < ∞, i ∈ I
oder zu
(c) XT hat die Verteilung π und ist unabhängig von T .
Aussage:
(a) Falls T eine Strong Uniform Time für {Xn } ist, dann gilt s(n) ≤ P r(T > n),
n ≥ 0.
(b) Es existiert eine Strong Uniform Time T , so dass s(n) ≤ P r(T > n), n ≥ 0
mit Gleichheit hält.
Beweis für Aussage (a):
P r(Xn = i) ≥ P r(Xn = i, T ≤ n) = P r(Xn = i|T ≤ n)P r(T ≤ n)
Weil Xm mit {T = m} die bedingte Verteilung π hat und von jedem Xn , n ≥ m,
die bedingte Verteilung π ist, ist π auch die bedingte Verteilung Xn mit {T ≤ n}.
Also gilt
1 (i)
Q
0,3
0,25
0,2
Q1 = (0,25 | 0,25 | 0,3 | 0,05 | 0,15)
0,15
0,1
Q2 = (0,2 | 0,2 | 0,2 | 0,2 | 0,2)
0,05
0
1
2
3
4
5
Abbildung 5: Die Länge aller Balken ergibt
i∈I |Q1 (i) − Q2 (i)|. Weil 1 =
P
P
Q
(i)
=
Q
(i),
können
sowohl
die
blauen
Balken, als auch die roten
1
2
i∈I
i∈I
P
Balken als maxA⊂I |Q1 (A) − Q2 (A)| = kQ1 − Q2 k = 12 i∈I |Q1 (i) − Q2 (i)| gelten.
P
0,3
0,25
0,2
Q1 = (0,25 | 0,25 | 0,3 | 0,05 | 0,15)
0,15
0,1
Q2 = (0,2 | 0,2 | 0,2 | 0,2 | 0,2)
0,05
0
1
2
3
4
5
Abbildung
6: Die Summe der Längen
(Q
2 (i) − Q1 (i)) = kQ1 − Q2 k.
i:Q2 (i)≥Q1 (i)
der
roten
Balken
ergibt
P
0,3
0,25
0,2
Q1 = (0,25 | 0,25 | 0,3 | 0,05 | 0,15)
0,15
0,1
Q2 = (0,2 | 0,2 | 0,2 | 0,2 | 0,2)
0,05
0
1
Abbildung
2
3
4
7: Die Summe der
Q1 (j)
i:Q2 (i)≥Q1 (i) (Q2 (i) maxj (1 − Q2 (j) ).
P
5
Längen
der
roten
Balken
ergibt
0,3
0,25
0,2
Q1 = (0,25 | 0,25 | 0,3 | 0,05 | 0,15)
0,15
0,1
Q2 = (0,2 | 0,2 | 0,2 | 0,2 | 0,2)
0,05
0
1
2
3
4
5
1 (j)
Abbildung 8: Die Summe der Längen der roten Balken ergibt maxj (1− Q
Q2 (j) )∗1 =
s(Q1 , Q2 ).
0,3
0,25
0,2
Q1 = (0,25 | 0,25 | 0,3 | 0,05 | 0,15)
0,15
0,1
Q2 = (0,2 | 0,2 | 0,2 | 0,2 | 0,2)
0,05
0
1
2
3
4
5
Abbildung 9: Der rote Balken im Verhältnis zum grünen Balken ergibt maxi (1 −
Q1 (i)
Q2 (i)−Q1 (i)
1 (i)
=1− Q
Q2 (i) ) = s(Q1 , Q2 ), weil
Q2 (i)
Q2 (i) .
P r(Xn = i|T ≤ n)P r(T ≤ n) = P r(T ≤ n)π(i) = [1 − P r(T > n)]π(i).
Beweis für Aussage (b):
Definiere an = mini πn (i)/π(i). Sei k die kleinste Zahl, für die ak > 0 gilt.
Definiere T so, dass
P r(T < k) = 0
P r(T = k|Xk = i) =
ak π(i)
,
P r(Xk = i)
i ∈ I.
Dies impliziert P r(T = k, Xk = i) = ak π(i), weil
P r(T = k|Xk = i) =
=⇒
ak π(i)
,
P r(Xk = i)
P r(T = k|Xk = i)P r(Xk = i) =
=⇒
i∈I
ak π(i)P r(Xk = i)
,
P r(Xk = i)
P r(T = k, Xk = i) = ak π(i),
i∈I
i ∈ I.
Induktiv für n > k ist
P r(T = n|Xn = i, T > n − 1) =
an − an−1
,
πn (i)
π(i) − an−1
i ∈ I.
(1)
Wir zeigen nun:
P r(Xn = i, T = n) = π(i)(an − an−1 ),
n ≥ k, i ∈ I
(2)
Diese Gleichung können wir umformen in:
P r(Xn = i|T = n)P r(T = n) = π(i)(an − an−1 ),
n ≥ k, i ∈ I.
Dies impliziert, dass T eine Strong Uniform Time ist, also dass P r(Xn = i|T =
n) = π(i) gilt. Somit gilt auch P r(T = n) = an − an−1 .
Dies läßt sich durch Widerspruch beweisen, in dem wir P r(Xn = i|T = n) =
π̂(i) und P r(T = n) = ân definieren, wobei wenigstens ein i existiert, so dass
π̂(i) 6= π(i). Nehmen wir ein i, so dass π̂(i) > π(i), dann gibt es auch ein j, so
dass π̂(j) < π(j). Somit erhalten wir:
ân =
(an − an−1 )π(i)
π̂(i)
und
ân =
(an − an−1 )π(j)
π̂(j)
Durch Gleichsetzung erhalten wir:
(an − an−1 )π(i)
(an − an−1 )π(j)
=
π̂(i)
π̂(j)
=⇒
=⇒
π(i)
(an − an−1 )π(j)
=
π̂(i)
(an − an−1 )π̂(j)
π(i)
π(j)
=
π̂(i)
π̂(j)
π(i)
< 1 aufgrund der Bedingung π̂(i) > π(i) und π(j)
wobei aber π̂(i)
π̂(j) > 1 aufgrund
der Bedingung π̂(j) < π(j). Somit ist die Gleichung nicht korrekt. Ein π̂(i) 6= π(i)
mit P r(Xn = i|T = n) = π̂(i) existiert nicht.
Außerdem gilt, weil P r(T = n) = an − an−1 ,
P r(T ≤ n) =
n
X
P r(T = i) = (an −an−1 )+(an−1 −an−2 )+. . .+(a1 −a0 ) = an −a0 = an = 1−s(πn , π).
i=1
(3)
Dies gibt die gewünschte Gleicheit in Aussage (b), denn s(πn , π) = 1 − P r(T ≤
n) = P r(T > n).
Nun müssen wir noch beweisen, dass die Gleichung (2) gilt. Dies läßt sich
induktiv zeigen. Sei B(y) die Gleichung P r(Xy = i, T = y) = π(i)(ay − ay−1 ).
Induktionsanfang: Für y = k ist, weil ak−1 = 0,
P r(Xk = i, T = k) = π(i)(ak − ak−1 ) = π(i)ak .
Induktionsannahme: B(y) ist erfüllt für alle y < n.
Induktionsschritt: Wir zeigen, dass B(n) wahr ist. Weil
P r(Xn = i, T = n) = P r(T = n|Xn = i, T > n − 1)P r(Xn = i, T > n − 1)
= P r(T = n|Xn = i, T > n − 1)(P r(Xn = i) − P r(Xn = i, T ≤ n − 1))
mit Gleichung (1) und P r(Xn = i) = πn (i)
P r(Xn = i, T = n) =
an − an−1
(πn (i)
πn (i)
π(i) − an−1
− P r(Xn = i, T ≤ n − 1))
(4)
ist, fehlt uns
P r(Xn = i, T ≤ n − 1).
Wir wissen, dass
P r(Xn = i, T = y) = π(i)(ay − ay−1 ),
y<n
wobei P r(Xy = i|T = y) = π(i) und P r(T = y) = ay − ay−1 . Aus P r(Xy = i|T =
y) = π(i) folgt P r(Xu = i|T = y) = π(i) für alle u ≥ y. Das bedeutet, dass auch
P r(Xn = i|T = y) = π(i), weil n ≥ y für alle y < n. Daraus folgt, dass
P r(Xn = i|T = y)P r(T = y) = P r(Xn = i, T = y) = π(i)(ay − ay−1 ).
Somit ist
P r(Xn = i, T ≤ n−1) =
n−1
X
P r(Xn = i, T = y) =
n−1
X
π(i)(ay −ay−1 ) = π(i)
(ay −ay−1 )
y=0
y=0
y=0
n−1
X
= π(i)((ay − ay−1 ) + (ay+1 − ay ) . . . (an−1 − an−2 )) = π(i)an−1 .
Dieses Ergebnis können wir in Gleichung (4) einsetzen und erhalten
P r(Xn = i, T = n) =
=
an − an−1
(πn (i)
πn (i)
−
a
n−1
π(i)
an − an−1
πn (i)
((
πn (i)
π(i)
π(i) − an−1
=
πn (i)
π(i)
πn (i)
π(i)
− an−1
− an−1
− π(i)an−1 )
− an−1 )π(i))
(an − an−1 )π(i)
= (an − an−1 )π(i).
Damit ist die Gleichung (2) bewiesen und aus diesem Grund gilt auch Gleichung
(3), die die gewünschte Gleicheit in Aussage (b) gibt.
4.3
Beispiel: Würfel in N Dimensionen
Für unser Beispiel, der Irrfahrt auf einem N-dimensionalen Würfel, definieren wir
zuerst den Würfel. Sei I = {0, 1}N die Menge aller N-stelligen Bezeichnungen der
Knoten des Würfels. Für die Knoten i = (i1 , ..., iN ) und j = (j1 , ..., jN ) ∈ I sei
Pij =
X
1
falls
|is − js | = 0 oder 1
N +1
s
Pij = 0 sonst
Durch die Bedingung, s |is − js | = 1, erhalten wir für Knoten, die sich nur an
einer Stelle unterscheiden, die Überganswahrscheinlichkeit 1/(N + 1). Somit ist
jeder Knoten direkt mit N anderen Knoten verbunden. Durch die Bedingung,
P
s |is − js | = 0, erhalten wir für jeden Knoten des Würfels die Überganswahrscheinlichkeit 1/(N + 1), dass keine Bewegung durchgeführt wird und die MarkovKette in dem aktuellen Zustand verharrt. Diese Bedingung ist notwendig, damit
die Markov-Kette aperiodisch ist.
P
Um die Strong Uniform Time für die Irrfahrt auf einem N-dimensionalen Würfel
zu konstruieren, benutzen wir einen Markierungsprozess. Dazu definieren wir die
Markov-Kette folgendermaßen:
Seien θ1 , θ2 , ... unabhängig und gleichförmig auf {0, 1, ..., N }. Dann kann die
Irrfahrt Xn = (Xn (i) : 1 ≤ i ≤ N ) mit X0 = 0 definiert werden durch
Xn (i) = Xn−1 (i) + 1(i=θn ) , 1 ≤ i ≤ N , wobei die Addition Modulo 2 ist.
Die einzelnen Knoten und damit auch die Zustände der Markov-Kette werden
also durch eine eindeutige N-stellige binäre Zahlenfolge beschrieben, die wir im
folgenden Knotenbezeichnung nennen. Dabei steht Xn (i) für die i-te Stelle der
Knotenbezeichnng zum Zeitpunkt n. θn = i bedeutet, dass zum Zeitpunkt n eine
Bewegung stattfindet, wobei sich die aktuelle Knotenbezeichnung an der i-ten
Stelle aufgrund der Addition Modulo 2 von 0 auf 1 oder von 1 auf 0 ändert.
θn = 0 bedeutet, dass zum Zeitpunkt n keine Bewegung stattfindet, also die
Markov-Kette im selben Zustand verbleibt. Eine 0-te Stelle, also Xn (i) mit i = 0,
die man ändern könnte, gibt es nicht.
Für einen Würfel in drei Dimensionen erhalten wir so eine Knotenbezeichnungen
wie in Abbildung 10.
Jetzt können wir den Markierungsprozess beschreiben:
110
010
111
011
101
100
000
001
Abbildung 10: Knotenbezeichnungen für einen Würfel in drei Dimensionen
Zu Beginn ist keine Stelle der Knotenbezeichnungen markiert. Bei einem normalen Schritt wird keine Stelle markiert, wenn die geänderte Stelle θn vorher
schon markiert wurde oder die Möglichkeit gewählt wurde, keine Bewegung durchzuführen, also θn = 0 ist. Wird aber eine Stelle θn geändert, die zuvor noch
nicht markiert wurde, dann wird diese Stelle mit einer Wahrscheinlichkeit von
1
2 markiert. Andernfalls wird eine Stelle markiert, die nicht der geänderte Stelle
entspricht. Diese Auswahl mit einer Wahrscheinlichkeit von 21 kann durch einen
fairen Münzwurf simuliert werden. Sobald nur noch genau eine unmarkierte Stelle
j existiert, ändert sich das Vorgehen. In diesem Fall wird keine Stelle markiert,
wenn die geänderte Stelle θn vorher schon markiert wurde. Wird aber die einzige
noch nicht markierte Stelle j ausgewählt, also θn = j ist, oder die Möglichkeit
gewählt, keine Bewegung durchzuführen, also θn = 0 ist, dann wird die letzte
noch nicht markierte Stelle markiert.
Beschreiben wir dies nun formal. Sei Dn ∈ {Kopf, Zahl} der Münzwurf und
Cn = (Cn (i) : 1 ≤ i ≤ N ), wobei Cn (i) = 1 bedeutet, dass die Stelle i vor oder
zur Zeit n markiert wurde.
C0 = 0
Falls θn = 0 oder Cn−1 (θn ) = 1, dann Cn = Cn−1 .
Falls Cθn (n − 1) = 0 und | {i : Cn−1 (i) = 0)} | = m ≥ 2, dann:
falls Dn = Kopf , dann Cn (i) = Cn−1 (i) + 1(i=θn ) ,
falls Dn = Zahl, dann Cn (i) = Cn−1 (i) + 1(i=ξn ) , wobei ξn gleichförmig
auf {i : Cn (i) = 0} \θn .
Falls {i : Cn−1 (i) = 0} = {j}, dann:
falls θn ∈
/ {0, j}, dann Cn = Cn−1 ,
falls θn ∈ {0, j}, dann Cn (i) = Cn−1 (i) + 1(i=j) .
Sei nun T der erste Zeitpunkt, zu dem alle Stellen der Knotenbezeichnung markiert
wurden. Dann ist T eine Strong Uniform Time. Um dies zu beweisen, zeigen wir
für jedes B ⊆ {1, ..., N } und jedes n ≥ 1, dass die Verteilung von {Xn (i); i ∈ B}
mit B = {i : Cn (i) = 1} gleichförmig auf {0, 1}B ist.
Durch Induktion über n auf B = {1, ..., N }, können wir zeigen, das T eine
Strong Uniform Time ist.
Induktionsanfang: Für n = 1 können wir feststellen, dass es zuvor noch keine
markierte Stelle und damit auch noch keine geänderte Stelle gab. Deshalb gibt es
für diesen Fall zwei Möglichkeiten:
I) Es wird keine Bewegung gewählt, also θ1 = 0. In diesem Fall passiert
nichts. Also ist die Verteilung von {X1 (i); i ∈ B} mit B = {i : C1 (i) = 1} = {}
gleichförmig auf {0, 1}B .
II) Es wird eine Stelle ausgewählt, die vorher noch nicht markiert wurde, also
C1 (θ1 ) = 0. Die Wahrscheinlichkeit, dass die in diesem Schritt geänderte Stelle
auch die markierte Stelle ist beträgt 21 und die Wahrscheinlichkeit, dass irgendeine
andere Stelle markiert wird auch 12 , wodurch die Wahrscheinlichkeit, dass die markierte Stelle λ1 eine 0 oder 1 ist auch 12 beträgt und damit {X1 (λ1 )} gleichverteilt
auf {0, 1} ist. Also ist {X1 (i); i ∈ B} mit B = {i : C1 (i) = 1} = {λ1 } gleichverteilt
auf {0, 1}B .
Induktionsannahme: {Xn (i); i ∈ B} ist gleichverteilt auf {0, 1}B mit B = {i : Cn (i) = 1}.
Induktionsschritt: Für n = n + 1 gibt es fünf Möglichkeiten:
I) Es wird keine Bewegung gewählt, also θn+1 = 0. In diesem Fall passiert
nichts. Es gilt
B = {i : Cn+1 (i) = 1} = {i : Cn (i) = 1}, also ist die Verteilung von {Xn+1 (i); i ∈ B}
gleichförmig auf {0, 1}B mit B = {i : Cn+1 (i) = 1}.
II) Es wird eine Stelle ausgewählt, die vorher schon markiert wurde, also
Cn+1 (θn+1 ) = 1. Da diese Stelle mit einer Wahrscheinlichkeit von 12 entweder eine
1 oder eine 0 ist, ist die Stelle nachdem sie geändert wurde auch wieder mit einer
Wahrscheinlichkeit von 12 entweder eine 0, wenn sie vorher eine 1 war, oder eine
1, wenn sie vorher eine 0 war. Damit ist {Xn+1 (θn+1 )} gleichverteilt auf {0, 1}
und θn+1 ∈ B = {i : Cn (i) = 1}. Also ist die Verteilung von {Xn+1 (i); i ∈ B}
gleichförmig auf {0, 1}B mit B = {i : Cn+1 (i) = 1} = {i : Cn (i) = 1} .
III) Es wird eine Stelle ausgewählt, die vorher noch nicht markiert wurde, also Cn+1 (θn+1 ) = 0. In diesem Fall wird mit einer Wahrscheinlichkeit von 12 die
geänderte Stelle markiert und sonst irgendeine andere Stelle, wodurch die Wahrscheinlichkeit, dass die markierte Stelle λn+1 eine 0 oder eine 1 ist 12 beträgt und
damit {Xn+1 (λn+1 )} gleichverteilt auf {0, 1} ist. Es gilt B = {i : Cn+1 (i) = 1} =
{i : Cn (i) = 1}+{λn+1 }. Also ist die Verteilung von {Xn+1 (i); i ∈ B} gleichförmig
auf {0, 1}B mit B = {i : Cn+1 (i) = 1}.
IV) Es existiert nur noch eine unmarkierte Stelle j und es wird keine Bewegung
gewählt, also θn+1 = 0. In diesem Fall wird die letzte Stelle markiert. Weil die
Wahrscheinlichkeit, dass keine Bewegung gewählt wird, gleich der Wahrscheinlichkeit ist, dass j gewählt wird, also P r(θn+1 = 0) = P r(θn+1 = j), wurde die
markierte Stelle λn+1 mit einer Wahrscheinlichkeit von 12 nicht geändert und sonst
geändert. Die Wahrscheinlichkeit, dass die markierte Stelle λn+1 eine 0 oder eine
1 ist, beträgt somit 12 und deshalb ist {Xn+1 (λn+1 )} gleichverteilt auf {0, 1}. Es
gilt B = {i : Cn+1 (i) = 1} = {i : Cn (i) = 1} + {λn+1 }. Also ist die Verteilung von
{Xn+1 (i); i ∈ B} gleichförmig auf {0, 1}B mit B = {i : Cn+1 (i) = 1}.
V) Es existiert nur noch eine unmarkierte Stelle j und es wird die Stelle j
gewählt, also θn+1 = j. In diesem Fall wird die letzte Stelle markiert. Weil die
Wahrscheinlichkeit, dass j gewählt wird, gleich der Wahrscheinlichkeit ist, dass
keine Bewegung gewählt wird, also P r(θn+1 = j) = P r(θn+1 = 0), wurde die
markierte Stelle λn+1 mit einer Wahrscheinlichkeit von 12 geändert und sonst nicht
geändert. Die Wahrscheinlichkeit, dass die markierte Stelle λn+1 eine 0 oder eine
1 ist, beträgt somit 12 und deshalb ist {Xn+1 (λn+1 )} gleichverteilt auf {0, 1}. Es
gilt B = {i : Cn+1 (i) = 1} = {i : Cn (i) = 1} + {λn+1 }. Also ist die Verteilung von
{Xn+1 (i); i ∈ B} gleichförmig auf {0, 1}B mit B = {i : Cn+1 (i) = 1}.
Damit ist für jedes B ⊆ {1, ..., N } und jedes n ≥ 1 bewiesen, dass {Xn (i); i ∈ B}
mit B = {i : Cn (i) = 1} gleichverteilt auf {0, 1}B ist und deshalb auch, dass T
eine Strong Uniform Time ist.
Um das Ende der Verteilung von T abzuschätzen, schreiben wir
T = WN + WN −1 + ... + W1 ,
wobei Wk die Anzahl von Schritten ist, während denen es k unmarkierte Stellen gibt. Also ist Wk die Wartezeit von dem Zeitpunkt, zu dem die (N − k)te
Stelle markiert wurde bis zur Markierung einer weiteren Stelle. Dann sind die
Wk unabhängig mit geometrischer Verteilung [P r(X = n) = p(1 − p)n−1 , p =
die Wahrscheinlichkeit für einen Erfolg]. Weil k unmarkierte Stellen existieren,
beträgt die Wahrscheinlichkeit für einen Erfolg Nk+1 , somit ist
P r(Wk = m) =
k
k
(1 −
)m−1 ,
N +1
N +1
P r(W1 = m) =
2
2
(1 −
)m−1 ,
N +1
N +1
m ≥ 1, k ≥ 2,
m ≥ 1.
Damit bestimmen wir den Erwartungswert [E(x) = 1/p, p = die Wahrscheinlichkeit für einen Erfolg]
E(T ) =
N
N +1 N +1 N +1
N +1
N +1 X
N +1
+
+
+...+
=
+
≤ (N +1)(1+log N )
2
2
3
k
2
k
k=2
und die Varianz [V AR(x) =
V AR(T ) =
2
N +1
( N 2+1 )2
1−
+
1−p
,
p2
2
N +1
( N 2+1 )2
1−
+
p = die Wahrscheinlichkeit für einen Erfolg]
3
N +1
( N 3+1 )2
1−
+...+
k
N +1
( Nk+1 )2
1−
Die Chebyshev
Ungleichung P r(|T − E(T )| >= C) <=
p
(c − 1) V ar(T ), c > 1
q
P r(|T − E(T )| >= (c − 1) V AR(T )) ≤
=⇒
=
2
N +1
( N 2+1 )2
1−
V AR(T )
C2
1
,
(c − 1)2
k
N +1
k 2
k=2 ( N +1 )
+
N 1−
X
ergibt mit C =
c>1
q
P r(T >= (c − 1) V AR(T )) + E(T )) ≤ 1/(c − 1)2 ,
c > 1.
Mit dem Erwartungswert E(T ) = (N + 1)(1 + log N ) und der Varianz V AR(T ) =
(N + 1)2 erhalten wir
q
P r(T >= (c − 1) (N + 1)2 ) + ((N + 1)(1 + log N ))) ≤ 1/(c − 1)2 ,
=⇒
P r(T >= (N + 1)(1 + log N + c − 1)) ≤ 1/(c − 1)2 ,
=⇒
P r(T ≥ (N + 1)(log N + c)) ≤
1
,
(c − 1)2
c>1
c>1
c > 1.
Mit dieser Methode bekommen wir für die Irrfahrt auf einem Würfel in N Dimensionen also eine Schranke für s(n), die nicht trivial ist für n ≥ (N + 1)(log N + 2).
5
Literatur
[1] Randomized Algorithms, R. Motwani and P. Raghavan, Cambridge University
Press 1995
[2] Strong Uniform Times and Finite Random Walks, D. Aldous and P. Diaconis,
Advances in Applied Mathematics 1987
≤ (N +1)2 .