Blatt 5 - Mathematische Physik

TU München, Zentrum Mathematik
Lehrstuhl für Mathematische Physik
WS 2013/2014
Prof. Dr. Silke Rolles
Dr. Christian Döbler
Blatt 5
Markovketten [MA2404]
Ausgabe: 04. Dezember 2013
Abgabe: 18. Dezember 2013, 14.15 Uhr im Briefkasten im Untergeschoss
Tutoriumsaufgabe 1. Überprüfen Sie, ob für die folgenden stochastischen Matrizen reversible Verteilungen existieren und geben Sie diese gegebenenfalls an:


1 1 8
1 
3 3 4 ,
Π1 =
10 5 5 0


0 2 1
1
Π2 = 1 0 2 ,
3 2 1 0


1/2 0 1/2
Π3 = 1/3 0 2/3
1/2 1/2 0
Tutoriumsaufgabe 2. Sei E endlich und sei Π ∈ [0, 1]E×E eine doppelt-stochastische
Matrix.
(a) Zeigen Sie, dass die Gleichverteilung auf E stationär bezüglich Π ist.
(b) Sei nun Π zusätzlich irreduzibel. Unter welcher Bedingung gibt es eine bezüglich Π reversible Verteilung?
Tutoriumsaufgabe 3. Sei (Xn )n∈N0 eine homogene Markovkette mit Zustandsraum E und Übergangsmatrix Π ∈ [0, 1]E×E . Die Startverteilung α von (Xn )n∈N0
sei stationär mit α(i) > 0 für alle i ∈ E. Für i, j ∈ E definieren wir Π0 (i, j) :=
α(j)Π(j,i)
. Zeigen Sie:
α(i)
(a) Π0 ist eine stochastische Matrix auf E und α ist auch bezüglich Π0 stationär.
(b) Ist Π irreduzibel, so auch Π0 .
(c) Sei N ∈ N und sei der Prozess (Yn )n=0,1,...,N definiert durch Yn := XN −n ,
n = 0, 1, . . . , N . Dann ist (Yn )n=0,1,...,N eine homogene Markovkette mit Startverteilung α und Übergangsmatrix Π0 , wobei wir Definition 1.3 sinngemäß auf
den endlichen Zeithorizont N übertragen.
(d) Ist α reversibel für (Xn )n∈N0 , so haben (Xn )n=0,1,...,N und (XN −n )n=0,1,...,N für
jedes N ∈ N dieselbe Verteilung.
1
2
Tutoriumsaufgabe 4. Sei (Xn )n∈N0 ein stochastischer Prozess auf dem Wahrscheinlichkeitsraum (Ω, F, P ) mit Werten in der abzählbaren Menge E und sei
(Fn )n∈N0 die natürliche Filtration zu (Xn )n∈N0 . Für eine Stoppzeit τ : Ω →
N0 ∪ {+∞} heißt
Fτ := {A ∈ F : A ∩ {τ ≤ n} ∈ Fn für alle n ∈ N0 }
die σ-Algebra der τ -Vergangenheit.
(a) Zeigen sie, dass Fτ in der Tat eine σ-Algebra ist.
(b) Zeigen Sie, dass die Zufallsvariable Xτ Fτ -messbar ist. Hierbei definieren wir
(
Xτ (ω) (ω) , falls τ (ω) ∈ N0
Xτ (ω) :=
,
∆
, falls τ (ω) = +∞
wobei ∆ ∈
/ E ein fest gewählter Zustand ist.
Hausaufgabe 1. (4 Punkte)
(a) Seien l < m ganze Zahlen und seien p, q ∈ (0, 1) mit p + q = 1. Zeigen Sie,
dass eine Folge (xn )l≤n≤m reeller Zahlen genau dann die Rekursionsformel
xn = pxn−1 + qxn+1 ,
löst, wenn sie die Form
(
A + B( pq )n ,
xn =
A + Bn ,
l < n < m,
falls p 6= q
falls p = q = 1/2
für n = l, . . . , m hat, wobei A, B ∈ R sind.
(b) Seien N ∈ N, E = {0, 1, . . . , N }, p, q ∈ (0, 1) mit p + q = 1 und sei Π ∈
[0, 1]E×E die Übergangsmatrix mit Π(0, 0) = q, Π(0, 1) = p, Π(N, N ) = p,
Π(N, N − 1) = q und Π(i, i − 1) = q, Π(i, i + 1) = p für 1 ≤ i ≤ N − 1. Eine zugehörige Markovkette (Xn )n∈N0 nennt man Irrfahrt mit elastischen Rändern.
Skizzieren Sie einen geeigneten Übergangsgraphen und begründen Sie, dass
die Markovkette irreduzibel ist und somit nach Hausaufgabe 4, Blatt 3 eine
eindeutige stationäre Verteilung besitzt. Leiten Sie dann zwei Rekursionsformeln her: Eine, die sich aus der Definition einer stationären Verteilung ergibt
und eine für eine reversible Verteilung. Lösen Sie die erste mit Hilfe von (a)
und die zweite direkt. Dieses Beispiel soll verdeutlichen, dass die Berechnung
reversibler Verteilungen häufig einfacher ist als die allgemeiner stationärer Verteilungen.
Hausaufgabe 2. (4 Punkte) Sei (Xn )n∈N0 eine irreduzible, homogene Markovkette mit Zustandsraum E, Übergangsmatrix Π ∈ [0, 1]E×E und stationärer Startverteilung α. Auf dem R-Vektorraum
P
V := L2 (E, α) := {f : E → R | i∈E f (i)2 α(i) < ∞} definieren wir
3
(1)
hf, giα :=
X
f (i)g(i)α(i) ,
f, g ∈ V .
i∈E
Weiter definieren
wir die lineare Abbildung T : V → V durch
P
(T f )(i) := j∈E Π(i, j)f (j), d.h. T f = Πf .
(a) Weisen Sie nach, dass durch (1) ein Skalarprodukt auf V definiert wird.
(b) Zeigen Sie, dass α genau dann reversibel für (Xn )n∈N0 ist, wenn T ein selbstadjungierter Endomorphismus des euklidischen Vektorraumes (V, h·, ·iα ) ist.
(c) Folgern Sie: Ist |E| < ∞ und ist α reversibel, so ist die stochastische Matrix
Π über R diagonalisierbar. Insbesondere hat sie nur reelle Eigenwerte.
Hausaufgabe 3. (4 Punkte) Seien E eine abzählbare Menge und i ∈ E fest
gewählt. Sei (Xn )n∈N0 eine homogene Markovkette mit Zustandsraum E, die in i
startet und mit
Ti := inf{n ≥ 1 : Xn = i}
gelte fii = P (Ti < ∞) = 1. Wir definieren Ti1 := Ti und rekursiv
Tik+1 := inf{n ≥ Tik + 1 : Xn = i} ,
k ≥ 1.
Zeigen Sie, dass dadurch fast sicher endliche Zufallsvariablen definiert sind und,
dass die Zufallsvariablen Sik , k ∈ N, mit Si1 := Ti1 und Sik := Tik − Tik−1 (k ≥ 2)
unabhängig und identisch wie Ti verteilt sind.
Hinweis: Verwenden Sie die starke Markoveigenschaft und die Tatsache, dass es
reicht zu zeigen, dass Si1 , . . . , Sin für jedes n ∈ N unabhängig und identisch verteilt
sind.
Hausaufgabe 4. (4 Punkte) Seien p, q ∈ (0, 1) mit p + q = 1 und seien ξ1 , ξ2 , . . .
unabhängige und identisch verteilte Zufallsvariablen mit P (ξ1 = 1) = P
p und P (ξ1 =
−1) = q. Die Markovkette (Xn )n∈N0 auf Z mit X0 = 0 und Xn := nj=1 ξj heißt
Bernoulli-Irrfahrt. Für j ∈ Z sei
Hj := inf{n ≥ 0 : Xn = j} ∈ N0 ∪ {+∞}
die Eintrittszeit in j. Dies ist nach Beispiel 6.3 eine Stoppzeit bezüglich der natürlichen Filtration.
(a) P
Für 0 ≤ s < 1 definieren wir die erzeugende Funktion ϕ(s) := E0 [sH1 ] =
∞
n
n=0 P0 (H1 = n)s von H1 . Zeigen Sie, dass
p
1 − 1 − 4pqs2
ϕ(s) =
2qs
4
gilt.
Hinweis: Verwenden Sie die gewöhnliche Markov-Eigenschaft um die Gleichung ϕ(s) = ps + qsE−1 [sH1 ] herzuleiten und dann die starke Markoveigenschaft an der Stelle H0 um zu zeigen, dass E−1 [sH1 ] = ϕ(s)2 gilt.
(b) Folgern Sie, dass
1 − |p − q|
P0 (H1 < ∞) = lim ϕ(s) =
=
s↑1
2q
(
p/q
1
, falls p < q
.
, falls p ≥ q