Vorlesung 11a Markovketten

Vorlesung 11a
Markovketten
Teil 2
1
Erwartete Treffzeiten
2
Erwartete Treffzeiten
Sei X eine Markovkette mit Zustandsraum S
und Übergangsmatrix P .
Erwartete Treffzeiten
Sei X eine Markovkette mit Zustandsraum S
und Übergangsmatrix P .
Für eine Teilmenge C ⊂ S ist
TC = min{n : n ≥ 0, Xn ∈ C}
die erste Treffzeit von C.
Erwartete Treffzeiten
Sei X eine Markovkette mit Zustandsraum S
und Übergangsmatrix P .
Für eine Teilmenge C ⊂ S ist
TC = min{n : n ≥ 0, Xn ∈ C}
die erste Treffzeit von C.
Es geht um die Berechnung von Ea[TC ]:
Für a ∈
/C
Zerlegung von Ea[TC ]
nach dem ersten Schritt:
b
a
C
Erst ein Schritt
von a nach b gemäß P (a, b),
S
dann “Neustart” in b:
3
Für a ∈
/C
Zerlegung von Ea[TC ]
nach dem ersten Schritt:
b
a
C
Erst ein Schritt
von a nach b gemäß P (a, b),
S
dann “Neustart” in b:
4
Für a ∈
/C
Zerlegung von Ea[TC ]
nach dem ersten Schritt:
b
a
C
Erst ein Schritt
S
von a nach b gemäß P (a, b),
dann “Neustart” in b:
Ea[TC ] = 1 +
X
b∈S
P (a, b) Eb[TC ]
Für a ∈
/C
Zerlegung von Ea[TC ]
nach dem ersten Schritt:
b
a
C
Erst ein Schritt
S
von a nach b gemäß P (a, b),
dann “Neustart” in b:
Ea[TC ] = 1 +
X
b∈S
P (a, b) Eb[TC ]
(Formales Argument hierfür: siehe Buch Seite 106.)
Und für a ∈ C
ist Pa(TC = 0) = 1,
a
C
also
Ea[TC ] = 0.
S
5
Und für a ∈ C
ist Pa(TC = 0) = 1,
a
C
also
Ea[TC ] = 0.
S
6
b
a
Fazit:
C
S
a 7→ e(a) := Ea[TC ] erfüllt das Gleichungssystem
e(a) = 1 +
X
P (a, b) e(b)
für a ∈
/ C,
b∈S
e(a) = 0
für a ∈ C.
7
Beispiel:
Erwartete Zeit bis zum ersten Erfolg.
q
n
p
e
8
Beispiel:
Erwartete Zeit bis zum ersten Erfolg.
q
n
p
e
En[Te] = 1 + q En[Te] + pEe[Te] .
Beispiel:
Erwartete Zeit bis zum ersten Erfolg.
q
n
p
e
En[Te] = 1 + q En[Te] + pEe[Te] .
Wegen Ee[Te] = 0 wird dies gelöst durch
Beispiel:
Erwartete Zeit bis zum ersten Erfolg.
q
n
p
e
En[Te] = 1 + q En[Te] + pEe[Te] .
Wegen Ee[Te] = 0 wird dies gelöst durch
En[Te] = 1/p.
Beispiel 2:
Einfache Irrfahrt auf den ganzen Zahlen: E0[T1] =?
9
Beispiel 2:
Einfache Irrfahrt auf den ganzen Zahlen: E0[T1] =?
Zerlegung nach dem ersten Schritt:
1 0 + 1 E [T ]
E0[T1] = 1 + 2
2 −1 1
Beispiel 2:
Einfache Irrfahrt auf den ganzen Zahlen: E0[T1] =?
Zerlegung nach dem ersten Schritt:
1 0 + 1 E [T ]
E0[T1] = 1 + 2
2 −1 1
Andererseits gilt:
E−1[T1] = E−1[T0] + E0[T1] = 2E0[T1]
Beispiel 2:
Einfache Irrfahrt auf den ganzen Zahlen: E0[T1] =?
Zerlegung nach dem ersten Schritt:
1 0 + 1 E [T ]
E0[T1] = 1 + 2
2 −1 1
Andererseits gilt:
E−1[T1] = E−1[T0] + E0[T1] = 2E0[T1]
Zusammen: E0[T1] = 1 + E0[T1],
Beispiel 2:
Einfache Irrfahrt auf den ganzen Zahlen: E0[T1] =?
Zerlegung nach dem ersten Schritt:
1 0 + 1 E [T ]
E0[T1] = 1 + 2
2 −1 1
Andererseits gilt:
E−1[T1] = E−1[T0] + E0[T1] = 2E0[T1]
Zusammen: E0[T1] = 1 + E0[T1],
mit der Lösung E0[T1] = ∞.
Transport von Verteilungen
Pρ(Xn = c)
zerlegt nach Xn−1 ergibt die Rekursion
10
Transport von Verteilungen
Pρ(Xn = c)
zerlegt nach Xn−1 ergibt die Rekursion
Pρ(Xn = c) =
X
b∈S
Pρ(Xn−1 = b) P (b, c)
Mit
πn(·) := Pρ(Xn ∈ ·) ,
n = 0, 1, . . .
lautet diese Rekursion
Transport von Verteilungen
Pρ(Xn = c)
zerlegt nach Xn−1 ergibt die Rekursion
Pρ(Xn = c) =
X
b∈S
Pρ(Xn−1 = b) P (b, c)
Mit
πn(·) := Pρ(Xn ∈ ·) ,
n = 0, 1, . . .
lautet diese Rekursion
πn(c) =
X
b∈S
πn−1(b)P (b, c) ,
n≥1
Zweischritt-Übergangswahrscheinlichkeiten
P 2(a, c) := Pa(X2 = c) ,
n ≥ 0 , a, c ∈ S
11
Zweischritt-Übergangswahrscheinlichkeiten
P 2(a, c) := Pa(X2 = c) ,
n ≥ 0 , a, c ∈ S
Zerlegungen nach dem Zwischenschritt:
Pa(X2 = c) =
X
b∈S
Pa(X1 = b)Pb(X1 = c)
Zweischritt-Übergangswahrscheinlichkeiten
P 2(a, c) := Pa(X2 = c) ,
n ≥ 0 , a, c ∈ S
Zerlegungen nach dem Zwischenschritt:
Pa(X2 = c) =
X
b∈S
2
P (a, c) =
Pa(X1 = b)Pb(X1 = c)
X
b∈S
P (a, b) P (b, c)
Zweischritt-Übergangswahrscheinlichkeiten
P 2(a, c) := Pa(X2 = c) ,
n ≥ 0 , a, c ∈ S
Zerlegungen nach dem Zwischenschritt:
Pa(X2 = c) =
X
b∈S
2
P (a, c) =
Pa(X1 = b)Pb(X1 = c)
X
P (a, b) P (b, c)
b∈S
P 2 = (P 2(a, c))a,c∈S lässt sich also auffassen als
Produkt der Matrix P mit sich selbst.
Mehrschritt-Übergangswahrscheinlichkeiten
P n(a, c) := Pa(Xn = c) ,
n ≥ 0 , a, c ∈ S
12
Mehrschritt-Übergangswahrscheinlichkeiten
P n(a, c) := Pa(Xn = c) ,
n ≥ 0 , a, c ∈ S
Zerlegung nach dem ersten Schritt:
P n(a, c)
=
X
b∈S
P (a, b) P n−1(b, c)
Mehrschritt-Übergangswahrscheinlichkeiten
P n(a, c) := Pa(Xn = c) ,
n ≥ 0 , a, c ∈ S
Zerlegung nach dem ersten Schritt:
P n(a, c)
=
X
P (a, b) P n−1(b, c)
b∈S
Zerlegung nach dem letzten Schritt:
P n(a, c)
=
X
b∈S
P n−1(a, b) P (b, c)
Mehrschritt-Übergangswahrscheinlichkeiten
P n(a, c) := Pa(Xn = c) ,
n ≥ 0 , a, c ∈ S
Zerlegung nach dem ersten Schritt:
P n(a, c)
=
X
P (a, b) P n−1(b, c)
b∈S
Zerlegung nach dem letzten Schritt:
P n(a, c)
=
X
P n−1(a, b) P (b, c)
b∈S
P n = (P n(a, c))a,c∈S lässt sich also auffassen als
n-te Matrixpotenz von P .
Gleichgewichtsverteilungen
13
Gleichgewichtsverteilungen
Eine Verteilung π auf S heißt
Gleichgewichtsverteilung zur Übergangsmatrix P ,
wenn eine der folgenden äquivalenten Bedingungen erfüllt ist:
Gleichgewichtsverteilungen
Eine Verteilung π auf S heißt
Gleichgewichtsverteilung zur Übergangsmatrix P ,
wenn eine der folgenden äquivalenten Bedingungen erfüllt ist:
(G1)
X
a∈S
π(a)P (a, b) = π(b) ,
b∈S.
Gleichgewichtsverteilungen
Eine Verteilung π auf S heißt
Gleichgewichtsverteilung zur Übergangsmatrix P ,
wenn eine der folgenden äquivalenten Bedingungen erfüllt ist:
(G1)
X
π(a)P (a, b) = π(b) ,
b∈S.
a∈S
(G2)
Pπ (X1 = b) = Pπ (X0 = b) ,
b∈S
Gleichgewichtsverteilungen
Eine Verteilung π auf S heißt
Gleichgewichtsverteilung zur Übergangsmatrix P ,
wenn eine der folgenden äquivalenten Bedingungen erfüllt ist:
(G1)
X
π(a)P (a, b) = π(b) ,
b∈S.
a∈S
(G2)
Pπ (X1 = b) = Pπ (X0 = b) ,
b∈S
(Dann haben auch X2, X3, . . . die Verteilung π.)
Reversible Gleichgewichtsverteilungen
Hinreichend für
(G2)
Pπ (X1 = b) = Pπ (X0 = b) ,
b∈S
ist die Bedingung
(R)
Pπ (X0 = a, X1 = b) = Pπ (X0 = b, X1 = a) ,
a, b ∈ S
14
Reversible Gleichgewichtsverteilungen
Hinreichend für
(G2)
Pπ (X1 = b) = Pπ (X0 = b) ,
b∈S
ist die Bedingung
(R)
Pπ (X0 = a, X1 = b) = Pπ (X0 = b, X1 = a) ,
a, b ∈ S
(Denn dann ist das Paar (X0, X1) so verteilt wie (X1, X0),
also insbesondere X0 so wie X1.)
Gleichbedeutend mit
(R)
Pπ (X0 = a, X1 = b) = Pπ (X0 = b, X1 = a) ,
a, b ∈ S
ist
π(a)P (a, b) = π(b)P (b, a) ,
a, b ∈ S .
π heißt dann reversible Gleichgewichtsverteilung zu P .
15
Beispiel
für eine nicht reversible Gleichgewichtsverteilung:
16
Beispiel
für eine nicht reversible Gleichgewichtsverteilung:
Zyklische Irrfahrt auf S = {a, b, c}, mit
Beispiel
für eine nicht reversible Gleichgewichtsverteilung:
Zyklische Irrfahrt auf S = {a, b, c}, mit
P (a, b) = P (b, c) = P (c, a) := p,
Beispiel
für eine nicht reversible Gleichgewichtsverteilung:
Zyklische Irrfahrt auf S = {a, b, c}, mit
P (a, b) = P (b, c) = P (c, a) := p,
P (b, a) = P (c, b) = P (a, c) := 1 − p
Beispiel
für eine nicht reversible Gleichgewichtsverteilung:
Zyklische Irrfahrt auf S = {a, b, c}, mit
P (a, b) = P (b, c) = P (c, a) := p,
P (b, a) = P (c, b) = P (a, c) := 1 − p
Die uniforme Verteilung auf S
ist eine Gleichgewichtsverteilung zu P .
Beispiel
für eine nicht reversible Gleichgewichtsverteilung:
Zyklische Irrfahrt auf S = {a, b, c}, mit
P (a, b) = P (b, c) = P (c, a) := p,
P (b, a) = P (c, b) = P (a, c) := 1 − p
Die uniforme Verteilung auf S
ist eine Gleichgewichtsverteilung zu P .
Nur für p = 1/2 ist sie reversibel.
Beispiel:
Die einfache Irrfahrt auf dem Würfel S = {0, 1}3:
17
Beispiel:
Die einfache Irrfahrt auf dem Würfel S = {0, 1}3:
Von jedem a ∈ S geht man in einem Schritt
zu einem rein zufällig ausgewählten Nachbarn.
Beispiel:
Die einfache Irrfahrt auf dem Würfel S = {0, 1}3:
Von jedem a ∈ S geht man in einem Schritt
zu einem rein zufällig ausgewählten Nachbarn.
(Zwei Elemente von S heißen benachbart,
wenn sie sich in genau einer Komponente unterscheiden.)
Für benachbarte Knoten a und b ist hier P (a, b) = 1/3.
Beispiel:
Die einfache Irrfahrt auf dem Würfel S = {0, 1}3:
Von jedem a ∈ S geht man in einem Schritt
zu einem rein zufällig ausgewählten Nachbarn.
(Zwei Elemente von S heißen benachbart,
wenn sie sich in genau einer Komponente unterscheiden.)
Für benachbarte Knoten a und b ist hier P (a, b) = 1/3.
Die uniforme Verteilung auf S
ist reversible Gleichgewichtsverteilung.
Beispiel:
Die einfache Irrfahrt
auf einem ungerichteten, zusammenhängenden Graphen
mit endlicher Knotenmenge S
18
Beispiel:
Die einfache Irrfahrt
auf einem ungerichteten, zusammenhängenden Graphen
mit endlicher Knotenmenge S
Von jedem a ∈ S geht man in einem Schritt
zu einem rein zufällig ausgewählten Nachbarn:
1 ,
P (a, b) = g(a)
mit b Nachbar von a, g(a) := # Nachbarn von a
Ansatz:
π(a) := 1c g(a)
19
Ansatz:
π(a) := 1c g(a)
Die Verteilung π erfüllt die die Reversibilitätsbedingung (R),
denn für benachbarte Knoten a, b gilt:
20
Ansatz:
π(a) := 1c g(a)
Die Verteilung π erfüllt die die Reversibilitätsbedingung (R),
denn für benachbarte Knoten a, b gilt:
1
1
1
1
g(a)
= g(b)
c
g(a)
c
g(b)
Man kann zeigen (hier ohne Beweis):
Es gibt nur eine Gleichgewichtsverteilung.
Fazit: Die Gewichte der Knoten
unter der Gleichgewichtsverteilung
sind proportional zur Anzahl der Nachbarn der Knoten.
Beispiel 4: Das Ehrenfest-Modell,
veröffentlicht 1909 von Paul und Tatjana Ehrenfest, konzipiert
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
21
Beispiel 4: Das Ehrenfest-Modell,
veröffentlicht 1909 von Paul und Tatjana Ehrenfest, konzipiert
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
d Teilchen sind verteilt auf eine linke und eine rechte Urne:
Beispiel 4: Das Ehrenfest-Modell,
veröffentlicht 1909 von Paul und Tatjana Ehrenfest, konzipiert
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
d Teilchen sind verteilt auf eine linke und eine rechte Urne:
ℓ Teilchen links, r Teilchen rechts.
Beispiel 4: Das Ehrenfest-Modell,
veröffentlicht 1909 von Paul und Tatjana Ehrenfest, konzipiert
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
d Teilchen sind verteilt auf eine linke und eine rechte Urne:
ℓ Teilchen links, r Teilchen rechts.
In jedem Schritt wird rein zufällig eines aus den d
ausgewählt und in die andere Urne verfrachtet.
Beispiel 4: Das Ehrenfest-Modell,
veröffentlicht 1909 von Paul und Tatjana Ehrenfest, konzipiert
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
d Teilchen sind verteilt auf eine linke und eine rechte Urne:
ℓ Teilchen links, r Teilchen rechts.
In jedem Schritt wird rein zufällig eines aus den d
ausgewählt und in die andere Urne verfrachtet.
Die Übergangsw’keiten für die Anzahl links sind somit:
Beispiel 4: Das Ehrenfest-Modell,
veröffentlicht 1909 von Paul und Tatjana Ehrenfest, konzipiert
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
d Teilchen sind verteilt auf eine linke und eine rechte Urne:
ℓ Teilchen links, r Teilchen rechts.
In jedem Schritt wird rein zufällig eines aus den d
ausgewählt und in die andere Urne verfrachtet.
Die Übergangsw’keiten für die Anzahl links sind somit:
d−ℓ
,
P (ℓ, ℓ + 1) =
d
ℓ
P (ℓ, ℓ − 1) = .
d
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
22
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Die Teilchen werden durchnummeriert mit 1, . . . , d.
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Die Teilchen werden durchnummeriert mit 1, . . . , d.
ai = 1 falls das Teilchen mit Nr. i in linker Urne,
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Die Teilchen werden durchnummeriert mit 1, . . . , d.
ai = 1 falls das Teilchen mit Nr. i in linker Urne,
z (i) = 0
......
in rechter Urne.
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Die Teilchen werden durchnummeriert mit 1, . . . , d.
ai = 1 falls das Teilchen mit Nr. i in linker Urne,
z (i) = 0
......
in rechter Urne.
a := (a1, . . . , ad) ∈ {0, 1}d.
Dynamik des Feinmodells:
23
Dynamik des Feinmodells:
Ein i ∈ {1, . . . , d} wird rein zufällig ausgewählt
und das ai wird “geflippt”
(von 0 nach 1 bzw. von 1 nach 0).
Dynamik des Feinmodells:
Ein i ∈ {1, . . . , d} wird rein zufällig ausgewählt
und das ai wird “geflippt”
(von 0 nach 1 bzw. von 1 nach 0).
Das ergibt die Irrfahrt auf dem Würfel {0, 1}d.
Dynamik des Feinmodells:
Ein i ∈ {1, . . . , d} wird rein zufällig ausgewählt
und das ai wird “geflippt”
(von 0 nach 1 bzw. von 1 nach 0).
Das ergibt die Irrfahrt auf dem Würfel {0, 1}d.
Diese hat ein reversibles Gleichgewicht:
die uniforme Verteilung.
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
24
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
l(a) :=
d
X
i=1
ai
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
l(a) :=
d
X
i=1
ai
Ist Z = (Z (1), . . . , Z (d)) uniform verteilt auf {0, 1}d,
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
l(a) :=
d
X
i=1
ai
Ist Z = (Z (1), . . . , Z (d)) uniform verteilt auf {0, 1}d,
dann ist
d
X
i=1
1 )-verteilt.
Z (i) Binomial(d, 2
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
l(a) :=
d
X
i=1
ai
Ist Z = (Z (1), . . . , Z (d)) uniform verteilt auf {0, 1}d,
dann ist
d
X
i=1
Z (i) Binomial(d, 1
2 )-verteilt.
25
Zur Probe: Die Binomial(d, 1
2 )-Verteilung
ist ein reversibles Gleichgewicht für das Ehrenfest-Modell:
26
Zur Probe: Die Binomial(d, 1
2 )-Verteilung
ist ein reversibles Gleichgewicht für das Ehrenfest-Modell:
ℓ+1
d
d
−
ℓ
d
−d
−d
=2
.
2
ℓ+1
ℓ
d
d