Vorlesung 12b ¨Ubergangswahrscheinlichkeiten und

Vorlesung 12b
Übergangswahrscheinlichkeiten
und
Gleichgewichtsverteilungen
Teil 1
1
Wir wissen schon:
2
Wir wissen schon:
Eine gemeinsame Verteilung kann man verstehen als
“Produkt” aus Start-und Übergangsverteilung:
Wir wissen schon:
Eine gemeinsame Verteilung kann man verstehen als
“Produkt” aus Start-und Übergangsverteilung:
ν1(x) P (x, y) = ν(x, y),
x ∈ S1, y ∈ S2.
Wir wissen schon:
Eine gemeinsame Verteilung kann man verstehen als
“Produkt” aus Start-und Übergangsverteilung:
ν1(x) P (x, y) = ν(x, y),
x ∈ S1, y ∈ S2.
Im Folgenden schränken wir uns ein auf den Fall
S1 = S2 = S.
Gegeben sei eine Übergangswahrscheinlichkeit
(Übergangsverteilung, stochastische Dynamik)
P
auf S:
3
Gegeben sei eine Übergangswahrscheinlichkeit
(Übergangsverteilung, stochastische Dynamik)
P
auf S:
Für jedes x ∈ S ist P (x, .) eine W-Verteilung auf S.
Eine Klasse von Beispielen wird geliefert durch die
gewöhnliche Irrfahrt auf einem ungerichteten Graphen,
4
Eine Klasse von Beispielen wird geliefert durch die
gewöhnliche Irrfahrt auf einem ungerichteten Graphen,
z. B. S = Zd,
S = {0, 1}3.
Eine Klasse von Beispielen wird geliefert durch die
gewöhnliche Irrfahrt auf einem ungerichteten Graphen,
z. B. S = Zd,
S = {0, 1}3.
Man hat auf S eine Nachbarschaftsstruktur,
beschrieben durch eine symmetrische Relation ∼.
Eine Klasse von Beispielen wird geliefert durch die
gewöhnliche Irrfahrt auf einem ungerichteten Graphen,
z. B. S = Zd,
S = {0, 1}3.
Man hat auf S eine Nachbarschaftsstruktur,
beschrieben durch eine symmetrische Relation ∼.
N (x) := {y ∈ S : y ∼ x}.
Eine Klasse von Beispielen wird geliefert durch die
gewöhnliche Irrfahrt auf einem ungerichteten Graphen,
z. B. S = Zd,
S = {0, 1}3.
Man hat auf S eine Nachbarschaftsstruktur,
beschrieben durch eine symmetrische Relation ∼.
N (x) := {y ∈ S : y ∼ x}.
Annahme: Für jedes x ∈ S ist N (x) endlich und nicht leer.
Eine Klasse von Beispielen wird geliefert durch die
gewöhnliche Irrfahrt auf einem ungerichteten Graphen,
z. B. S = Zd,
S = {0, 1}3.
Man hat auf S eine Nachbarschaftsstruktur,
beschrieben durch eine symmetrische Relation ∼.
N (x) := {y ∈ S : y ∼ x}.
Annahme: Für jedes x ∈ S ist N (x) endlich und nicht leer.
g(x) := #N (x).
Eine Klasse von Beispielen wird geliefert durch die
gewöhnliche Irrfahrt auf einem ungerichteten Graphen,
z. B. S = Zd,
S = {0, 1}3.
Man hat auf S eine Nachbarschaftsstruktur,
beschrieben durch eine symmetrische Relation ∼.
N (x) := {y ∈ S : y ∼ x}.
Annahme: Für jedes x ∈ S ist N (x) endlich und nicht leer.
g(x) := #N (x).
1 .2
Von x gehe zu jedem Nachbarn mit gleicher W’keit g(x)
Sei P eine Übergangswahrscheinlichkeit auf S.
5
Sei P eine Übergangswahrscheinlichkeit auf S.
Man iteriert:
Sei P eine Übergangswahrscheinlichkeit auf S.
Man iteriert:
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
Sei P eine Übergangswahrscheinlichkeit auf S.
Man iteriert:
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
:= P (a, x1)P (x1, x2) · · · P (xn−1, xn).
Sei P eine Übergangswahrscheinlichkeit auf S.
Man iteriert:
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
:= P (a, x1)P (x1, x2) · · · P (xn−1, xn).
Vorstellung: Wie’s weitergeht,
hängt nur vom aktuellen Zustand ab
und passiert immer nach der gleichen Regel P :
Sei P eine Übergangswahrscheinlichkeit auf S.
Man iteriert:
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
:= P (a, x1)P (x1, x2) · · · P (xn−1, xn).
Vorstellung: Wie’s weitergeht,
hängt nur vom aktuellen Zustand ab
und passiert immer nach der gleichen Regel P :
gegeben man ist jetzt im Zustand a,
Sei P eine Übergangswahrscheinlichkeit auf S.
Man iteriert:
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
:= P (a, x1)P (x1, x2) · · · P (xn−1, xn).
Vorstellung: Wie’s weitergeht,
hängt nur vom aktuellen Zustand ab
und passiert immer nach der gleichen Regel P :
gegeben man ist jetzt im Zustand a,
macht man den nächsten Schritt mit W’keit P (a, b) nach b.
Insbesondere hat man:
6
Insbesondere hat man:
Pa{X0 = a} = 1
Insbesondere hat man:
Pa{X0 = a} = 1
Pa{X1 = b} = P (a, b).
Insbesondere hat man:
Pa{X0 = a} = 1
Pa{X1 = b} = P (a, b).
Pa{X2 = c} =?
Insbesondere hat man:
Pa{X0 = a} = 1
Pa{X1 = b} = P (a, b).
Pa{X2 = c} =?
Summiere dazu über alle möglichen Ausgänge von X1:
Pa{X2 = c} =
X
b∈S
P (a, b)P (b, c)
Insbesondere hat man:
Pa{X0 = a} = 1
Pa{X1 = b} = P (a, b).
Pa{X2 = c} =?
Summiere dazu über alle möglichen Ausgänge von X1:
Pa{X2 = c} =
X
P (a, b)P (b, c)
b∈S
=: P 2(a, c),
in Analogie zum Matrixprodukt!
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
= P (a, x1)P (x1, x2) · · · P (xn−1, xn).
7
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
= P (a, x1)P (x1, x2) · · · P (xn−1, xn).
Pa{Xn = xn}
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
= P (a, x1)P (x1, x2) · · · P (xn−1, xn).
Pa{Xn = xn}
=
X
x1,...,xn−1
P (a, x1)P (x1, x2) · · · P (xn−1, xn)
Pa{X0 = a, X1 = x1, . . . , Xn = xn}
= P (a, x1)P (x1, x2) · · · P (xn−1, xn).
Pa{Xn = xn}
=
X
x1,...,xn−1
P (a, x1)P (x1, x2) · · · P (xn−1, xn)
=: P n(a, xn).
Wie ist X2 verteilt, wenn man nicht in a,
sondern in einem zufälligen Zustand startet?
8
Wie ist X2 verteilt, wenn man nicht in a,
sondern in einem zufälligen Zustand startet?
Wir notieren die Startverteilung als Subskript von P.
Wie ist X2 verteilt, wenn man nicht in a,
sondern in einem zufälligen Zustand startet?
Wir notieren die Startverteilung als Subskript von P.
Nach dem Satz von der totalen Wahrscheinlichkeit ist
Wie ist X2 verteilt, wenn man nicht in a,
sondern in einem zufälligen Zustand startet?
Wir notieren die Startverteilung als Subskript von P.
Nach dem Satz von der totalen Wahrscheinlichkeit ist
Pρ{X1 = x1} =
X
x0∈S
ρ(x0)P (x0, x1)
Wie ist X2 verteilt, wenn man nicht in a,
sondern in einem zufälligen Zustand startet?
Wir notieren die Startverteilung als Subskript von P.
Nach dem Satz von der totalen Wahrscheinlichkeit ist
Pρ{X1 = x1} =
X
x0∈S
ρ(x0)P (x0, x1)
=: (ρP ) (x1),
Wie ist X2 verteilt, wenn man nicht in a,
sondern in einem zufälligen Zustand startet?
Wir notieren die Startverteilung als Subskript von P.
Nach dem Satz von der totalen Wahrscheinlichkeit ist
Pρ{X1 = x1} =
X
x0∈S
ρ(x0)P (x0, x1)
=: (ρP ) (x1),
in Analogie zum Produkt “Zeilenvektor mal Matrix”.
Beispiel 1: Gewöhnliche Irrfahrt (Xn) auf Z
9
Beispiel 1: Gewöhnliche Irrfahrt (Xn) auf Z
Bei Start der Irrfahrt im Ursprung gilt:
Beispiel 1: Gewöhnliche Irrfahrt (Xn) auf Z
Bei Start der Irrfahrt im Ursprung gilt:
1
Yn := (Xn + n) ist Binomial (n, 1
)-verteilt.
2
2
Beispiel 1: Gewöhnliche Irrfahrt (Xn) auf Z
Bei Start der Irrfahrt im Ursprung gilt:
1
Yn := (Xn + n) ist Binomial (n, 1
)-verteilt.
2
2
Umgekehrt ist die Verteilung von Xn ,
P n(0, .),
eine erst um den Faktor 2 gestreckte
1 )- Verteilung.
und dann um −n verschobene Binomial (n, 2
Beispiel 2: Die Irrfahrt auf dem Würfel S = {0, 1}3:
10
Beispiel 2: Die Irrfahrt auf dem Würfel S = {0, 1}3:
Anders als im vorigen Beispiel
“zerfließt” hier P n(a, .) für n → ∞ nicht.
Beispiel 2: Die Irrfahrt auf dem Würfel S = {0, 1}3:
Anders als im vorigen Beispiel
“zerfließt” hier P n(a, .) für n → ∞ nicht.
Man kann zeigen (vgl. Skript Kersting Abschnitt 5.4):
Beispiel 2: Die Irrfahrt auf dem Würfel S = {0, 1}3:
Anders als im vorigen Beispiel
“zerfließt” hier P n(a, .) für n → ∞ nicht.
Man kann zeigen (vgl. Skript Kersting Abschnitt 5.4):
1
P n(a, b) → 8
für n → ∞,
und die uniforme Verteilung π(a) ≡ 1
8
ist eine Gleichgewichtsverteilung
im Sinn der folgenden Definition:
Definition:
11
Definition:
Eine Verteilung π auf S heißt
Gleichgewichtsverteilung zu P ,
wenn eine der folgenden 3 äquivalenten Bedingungen gilt:
Definition:
Eine Verteilung π auf S heißt
Gleichgewichtsverteilung zu P ,
wenn eine der folgenden 3 äquivalenten Bedingungen gilt:
(G1)
Pπ {X1 = b} = Pπ {X0 = b},
b ∈ S,
Definition:
Eine Verteilung π auf S heißt
Gleichgewichtsverteilung zu P ,
wenn eine der folgenden 3 äquivalenten Bedingungen gilt:
(G1)
Pπ {X1 = b} = Pπ {X0 = b},
(G2)
X
a
π(a)P (a, b) = π(b),
b ∈ S,
b ∈ S,
Definition:
Eine Verteilung π auf S heißt
Gleichgewichtsverteilung zu P ,
wenn eine der folgenden 3 äquivalenten Bedingungen gilt:
(G1)
Pπ {X1 = b} = Pπ {X0 = b},
(G2)
X
π(a)P (a, b) = π(b),
a
(G3)
πP = π.
b ∈ S,
b ∈ S,
Bemerkung:
12
Bemerkung:
Hinreichend dafür, dass π Gleichgewichtsverteilung zu P ist,
ist die folgende Bedingung
Bemerkung:
Hinreichend dafür, dass π Gleichgewichtsverteilung zu P ist,
ist die folgende Bedingung
(R1)
Pπ {X0 = a, X1 = b} = Pπ {X0 = b, X1 = a},
a, b ∈ S.
Bemerkung:
Hinreichend dafür, dass π Gleichgewichtsverteilung zu P ist,
ist die folgende Bedingung
(R1)
Pπ {X0 = a, X1 = b} = Pπ {X0 = b, X1 = a},
a, b ∈ S.
Denn unter Pπ ist dann (X0, X1) so verteilt wie (X1, X0),
Bemerkung:
Hinreichend dafür, dass π Gleichgewichtsverteilung zu P ist,
ist die folgende Bedingung
(R1)
Pπ {X0 = a, X1 = b} = Pπ {X0 = b, X1 = a},
a, b ∈ S.
Denn unter Pπ ist dann (X0, X1) so verteilt wie (X1, X0),
also insbesondere X0 so verteilt wie X1.
Gleichbedeutend mit
(R1)
Pπ {X0 = a, X1 = b} = Pπ {X0 = b, X1 = a},
a, b ∈ S.
13
Gleichbedeutend mit
(R1)
Pπ {X0 = a, X1 = b} = Pπ {X0 = b, X1 = a},
a, b ∈ S.
ist
Gleichbedeutend mit
(R1)
Pπ {X0 = a, X1 = b} = Pπ {X0 = b, X1 = a},
a, b ∈ S.
ist
(R2)
π(a)P (a, b) = π(b)P (b, a),
a, b ∈ S.
Gleichbedeutend mit
(R1)
Pπ {X0 = a, X1 = b} = Pπ {X0 = b, X1 = a},
a, b ∈ S.
ist
(R2)
π(a)P (a, b) = π(b)P (b, a),
a, b ∈ S.
Eine Verteilung π mit dieser Eigenschaft heißt
reversible Gleichgewichtsverteilung zu P .
Beispiel 2 (fortgesetzt)
14
Beispiel 2 (fortgesetzt)
Die uniforme Verteilung auf S = {0, 1}3 ist
reversible Gleichgewichtsverteilung bzgl. der Irrfahrt auf S.
Beispiel 2 (fortgesetzt)
Die uniforme Verteilung auf S = {0, 1}3 ist
reversible Gleichgewichtsverteilung bzgl. der Irrfahrt auf S.
In der Tat:
Beispiel 2 (fortgesetzt)
Die uniforme Verteilung auf S = {0, 1}3 ist
reversible Gleichgewichtsverteilung bzgl. der Irrfahrt auf S.
In der Tat:
Für x und y benachbart ist
Beispiel 2 (fortgesetzt)
Die uniforme Verteilung auf S = {0, 1}3 ist
reversible Gleichgewichtsverteilung bzgl. der Irrfahrt auf S.
In der Tat:
Für x und y benachbart ist
1 · 1 = π(y)P (y, x).
π(x)P (x, y) = 8
3
Beispiel 2 (fortgesetzt)
Die uniforme Verteilung auf S = {0, 1}3 ist
reversible Gleichgewichtsverteilung bzgl. der Irrfahrt auf S.
In der Tat:
Für x und y benachbart ist
1 · 1 = π(y)P (y, x).
π(x)P (x, y) = 8
3
Für x und y nicht benachbart ist
π(x)P (x, y) = 0 = π(y)P (y, x).
2
Beispiel 3: Das Ehrenfest-Modell,
erfunden 1905 von Paul und Tatjana Ehrenfest
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
15
Beispiel 3: Das Ehrenfest-Modell,
erfunden 1905 von Paul und Tatjana Ehrenfest
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
N Teilchen sind verteilt auf eine linke und eine rechte Urne:
Beispiel 3: Das Ehrenfest-Modell,
erfunden 1905 von Paul und Tatjana Ehrenfest
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
N Teilchen sind verteilt auf eine linke und eine rechte Urne:
ℓ Teilchen links, r Teilchen rechts.
Beispiel 3: Das Ehrenfest-Modell,
erfunden 1905 von Paul und Tatjana Ehrenfest
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
N Teilchen sind verteilt auf eine linke und eine rechte Urne:
ℓ Teilchen links, r Teilchen rechts.
In jedem Schritt wird rein zufällig eines aus den N
ausgewählt und in die andere Urne verfrachtet.
Beispiel 3: Das Ehrenfest-Modell,
erfunden 1905 von Paul und Tatjana Ehrenfest
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
N Teilchen sind verteilt auf eine linke und eine rechte Urne:
ℓ Teilchen links, r Teilchen rechts.
In jedem Schritt wird rein zufällig eines aus den N
ausgewählt und in die andere Urne verfrachtet.
Die Übergangsdynamik für die Anzahl links ist somit:
Beispiel 3: Das Ehrenfest-Modell,
erfunden 1905 von Paul und Tatjana Ehrenfest
als Spielzeugmodell für Boltzmanns Statistische Mechanik:
N Teilchen sind verteilt auf eine linke und eine rechte Urne:
ℓ Teilchen links, r Teilchen rechts.
In jedem Schritt wird rein zufällig eines aus den N
ausgewählt und in die andere Urne verfrachtet.
Die Übergangsdynamik für die Anzahl links ist somit:
N −ℓ
,
P (ℓ, ℓ + 1) =
N
ℓ
P (ℓ, ℓ − 1) = .
N
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
16
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Die Teilchen werden durchnummeriert mit 1, . . . , N .
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Die Teilchen werden durchnummeriert mit 1, . . . , N .
z (i) = 1 falls das Teilchen mit Nr. i in linker Urne,
z (i) = 0
......
in rechter Urne.
Hat diese Dynamik eine (reversible)
Gleichgewichtsverteilung,
und wenn ja, wie sieht sie aus?
Ein eleganter Weg zur Antwort führt über ein Feinmodell:
Die Teilchen werden durchnummeriert mit 1, . . . , N .
z (i) = 1 falls das Teilchen mit Nr. i in linker Urne,
z (i) = 0
......
in rechter Urne.
z := (z (1), . . . , z (N )) ∈ {0, 1}N .
Dynamik des Feinmodells:
17
Dynamik des Feinmodells:
Ein i ∈ {1, . . . , N } wird rein zufällig ausgewählt
Dynamik des Feinmodells:
Ein i ∈ {1, . . . , N } wird rein zufällig ausgewählt
und das zi wird “geflippt”
(von 0 nach 1 bzw. von 1 nach 0).
Dynamik des Feinmodells:
Ein i ∈ {1, . . . , N } wird rein zufällig ausgewählt
und das zi wird “geflippt”
(von 0 nach 1 bzw. von 1 nach 0).
Das ergibt die Irrfahrt auf dem Würfel {0, 1}N .
Dynamik des Feinmodells:
Ein i ∈ {1, . . . , N } wird rein zufällig ausgewählt
und das zi wird “geflippt”
(von 0 nach 1 bzw. von 1 nach 0).
Das ergibt die Irrfahrt auf dem Würfel {0, 1}N .
Diese hat ein reversibles Gleichgewicht:
die uniforme Verteilung.
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
18
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
L :=
N
X
i=1
Z (i)
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
L :=
N
X
Z (i)
i=1
Ist Z = (Z (1), . . . , Z (N )) uniform verteilt auf {0, 1}N ,
dann ist L Binomial(N, 1
2 )-verteilt.
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
L :=
N
X
Z (i)
i=1
Ist Z = (Z (1), . . . , Z (N )) uniform verteilt auf {0, 1}N ,
dann ist L Binomial(N, 1
2 )-verteilt.
Zur Probe: Die Binomial(N, 1
2 )-Verteilung
ist ein reversibles Gleichgewicht fürs Ehrenfest-Modell:
Vom Feinmodell zum Ehrenfest-Modell kommt man durch
“Zählen der Teilchen links”:
L :=
N
X
Z (i)
i=1
Ist Z = (Z (1), . . . , Z (N )) uniform verteilt auf {0, 1}N ,
dann ist L Binomial(N, 1
2 )-verteilt.
Zur Probe: Die Binomial(N, 1
2 )-Verteilung
ist ein reversibles Gleichgewicht fürs Ehrenfest-Modell:
N
−
ℓ
N
ℓ+1
N
−N
−N
2
=2
.2
ℓ
ℓ+1
N
N
Beispiel eines nicht reversiblen Gleichgewichts:
19
Beispiel eines nicht reversiblen Gleichgewichts:
S = {1, 2, 3},
P (1, 2) = P (2, 3) = P (3, 1) := p,
P (2, 1) = P (3, 2) = P (1, 3) := 1 − p =: q.
Beispiel eines nicht reversiblen Gleichgewichts:
S = {1, 2, 3},
P (1, 2) = P (2, 3) = P (3, 1) := p,
P (2, 1) = P (3, 2) = P (1, 3) := 1 − p =: q.
π(x) ≡ 1
3 ist Gleichgewischtsverteilung, denn
Beispiel eines nicht reversiblen Gleichgewichts:
S = {1, 2, 3},
P (1, 2) = P (2, 3) = P (3, 1) := p,
P (2, 1) = P (3, 2) = P (1, 3) := 1 − p =: q.
π(x) ≡ 1
3 ist Gleichgewischtsverteilung, denn
1
3
1 + q 1.
=p3
3
Beispiel eines nicht reversiblen Gleichgewichts:
S = {1, 2, 3},
P (1, 2) = P (2, 3) = P (3, 1) := p,
P (2, 1) = P (3, 2) = P (1, 3) := 1 − p =: q.
π(x) ≡ 1
3 ist Gleichgewischtsverteilung, denn
1
3
1 + q 1.
=p3
3
Aber für p 6= q ist π nicht reversibel, denn
Beispiel eines nicht reversiblen Gleichgewichts:
S = {1, 2, 3},
P (1, 2) = P (2, 3) = P (3, 1) := p,
P (2, 1) = P (3, 2) = P (1, 3) := 1 − p =: q.
π(x) ≡ 1
3 ist Gleichgewischtsverteilung, denn
1
3
1 + q 1.
=p3
3
Aber für p 6= q ist π nicht reversibel, denn
1
3
p 6= 1
3 q.
Beispiel eines nicht reversiblen Gleichgewichts:
S = {1, 2, 3},
P (1, 2) = P (2, 3) = P (3, 1) := p,
P (2, 1) = P (3, 2) = P (1, 3) := 1 − p =: q.
π(x) ≡ 1
3 ist Gleichgewischtsverteilung, denn
1
3
1 + q 1.
=p3
3
Aber für p 6= q ist π nicht reversibel, denn
1
3
p 6= 1
3 q.
“Rückwärts in die Zeit läuft ein anderer Film.”
2