Stochastische Prozesse

INSTITUT FÜR STOCHASTIK
UNIVERSITÄT KARLSRUHE
Priv.-Doz. Dr. D. Kadelka
Dipl.-Math. W. Lao
SS 2009
Blatt 4
Übungen zur Vorlesung
Stochastische Prozesse
Musterlösungen
Aufgabe 16: (Success Run, Fortsetzung)
Wie wir
in Aufgabe 14 nachgerechnet
haben, ist die Markovkette beim Success run transient,
Q∞
P∞
wenn k=0 pk > 0 oder äquivalent k=0 (1 − pk ) < ∞.
Zeigen Sie nun, dass für den Success run im transienten Fall kein invariantes Maß existiert.
Bestimmen Sie außerdem das bis auf einen konstanten Faktor eindeutige invariante Maß im
rekurrenten Fall.
Lösung: Die Markovkette der Erfolgsleiter sei gegeben durch X = (Xn )n∈INP
0 . Angenommen
X ist transient und besitzt ein invariantes Maß ν. Wegen νP = ν folgt dann ∞
i=0 νi (1−pi ) =
Qi−1
ν0 und νi = νi−1 pi−1 für alle i ≥ 1. Letzteres impliziert νi = ν0 j=0 pj .
Setzt man nun ν0 = 1 so gilt
!
!
∞
∞
i−1
N
i−1
i
X
X
Y
X
Y
Y
1=
νi (1 − pi ) = 1 − p0 +
pj (1 − pi ) = 1 − p0 + lim
pj −
pj
i=0
i=1
= 1 − p0 + lim
N →∞
p0 −
N
Y
j=0
pj
!
N →∞
j=0
=1−
∞
Y
i=1
j=0
j=0
pj .
j=0
Q
Da X transient ist, gilt ∞
j=0 pj > 0. Somit folgt in diesem Fall ein Widerspruch, d.h. hier
existiert kein invariantes Maß.
Ist die Markovkette jedoch rekurrent, so ist ein invariantes Maß ν definiert durch
ν0 = 1 und νi =
i−1
Y
pj .
j=0
Aufgabe 17:
Die Übergangsmatrix
P einer irreduziblen Markovkette (Xn )n∈IN0 sei doppelt stochastisch,
P
d.h. es gelte i∈E Pij = 1 für alle j ∈ E. Zeigen Sie:
a) Ist E endlich, so ist (Xn )n∈IN0 positiv rekurrent. Bestimmen Sie in diesem Fall die
stationäre Verteilung.
b) Ist E abzählbar unendlich, so ist (Xn )n∈IN0 transient oder nullrekurrent.
Lösung:
a) E ist endlich und irreduzibel. Nach Korollar 4.16 sind alle Zusände positiv rekurrent und
nach Theorem 4.22 existiert
daher
eine stationäre Verteilung. Da P doppelt stochastisch
1
1
∗
ist, erhält man π = |E| , . . . , |E| als stationäre Verteilung von (Xn ).
b) Angenommen (Xn ) istP
positiv rekurrent. Nach Theorem 4.22 existiert dann eine stationäre
Verteilung π. Wegen i∈E πi = 1 gilt limi→∞ πi = 0 und somit existiert
πi0 = max{πi : i ∈ E} > 0.
πP n = π impliziert πi0 =
P
(n)
j∈E
πj Pji0 und damit
X πj (n)
1=
P
πi0 ji0
j∈E
für alle n ∈ IN.
Angenommen es existiert ein j0 ∈ E mit πj0 < πi0 . Da (Xn ) irreduzibel ist, existiert ein
(n)
n ∈ IN mit Pj0 i0 > 0 und somit
X πj (n) X πj (n) πj (n) X (n)
1=
Pji0 =
Pji0 + 0 Pj0 i0 <
Pji0 = 1 .
π
π
πi0
i0
i0
j∈E
j∈E
j6=j0
Es muss also πj = πi0 für alle j ∈ E gelten. Wegen πi0 > 0 führt dies aber zum Widerspruch
X
X
1=
πj =
πi0 = |E|πi0 = ∞ .
j∈E
j∈E
Die Markovkette (Xn ) muss also transient oder nullrekurrent sein.
Aufgabe 18:
Sei X := (Xn )n∈IN0 eine homogene Markovkette mit Zustandsraum E := IN0 und Übergangsmatrix P mit

1,
falls k = 0, ℓ = 1,



p,
falls k > 0, ℓ = k + 1,
Pkℓ =

1 − p, falls k > 0, ℓ = k − 1,



0,
sonst.
Hierbei ist 0 < p < 1 fest. Untersuchen Sie die Eigenschaften von X in Abhängigkeit von p
und berechnen Sie gegebenenfalls die stationäre Verteilung π ∗ .
Lösung: Wir bestimmen zuerst den Übergangsgraphen GP von P .
p
1
0
1
1−p
p
2
1−p
p
3
1−p
4
...
1−p
Es gilt genau dann Pkℓ > 0, wenn Pℓk > 0, so dass Bedingung (5.2) erfüllt ist. G̃P ist zusammenhängend und besitzt keine Kreise, ist daher ein Baum. Insbesondere ist P irreduzibel
und Beispiel 5.7 anwendbar.
Wir setzen λ0 := 1 und gemäß (5.3) für k ∈ IN
Pk−1k
1 · pk−1
pk−1
1
P01 P12
λk =
·
· ...·
=
=
= ·
k
k
P10 P21
Pkk−1
(1 − p)
(1 − p)
p
p
1−p
k
.
Die weiteren Eigenschaften von P sind durch
λ̄ :=
∞
X
k=0
k
∞
X
1
p
λk = 1 +
·
p
1−p
k=1
p
≥ 1 und damit λ̄ = ∞, so dass in diesem Fall P nullrekurrent
bestimmt. Für p ≥ 12 gilt 1−p
oder transient ist. Ist dagegen p < 12 , so gilt
λ̄ = 1 +
1
1
1
2 · (1 − p)
·
=
< ∞.
p = 1+
1 − p 1 − 1−p
1 − 2p
1 − 2p
In diesem Fall ist also P positiv rekurrent und besitzt die stationäre Verteilung π ∗ =
(λk /λ̄)k∈IN0 mit
(
1−2p
,
falls k = 0,
λ
k
= 2(1−p)
πk∗ =
1−2p
pk−1
λ̄
· (1−p)k+1 , falls k > 0.
2
Die Periode von 0 ergibt sich aus dem Übergangsgraphen. Wegen (P 2 )00 > 0 gilt d0 ∈
{1, 2}. Da immer ein Übergang von einem geraden in einen ungeraden Zustand erfolgt und
umgekehrt, ist d0 = 1 nicht möglich. Daher gilt d0 = 2.
Um für den Fall p ≥ 12 zwischen Nullrekurrenz und Transienz unterscheiden zu können, wenden wir Aufgabe 8 an. Sei dazu D := {0} und τ := inf{n ∈ IN0 : Xn = 0} die Erstbesuchszeit
(1)
in 0. Wegen P01 = 1 ist hD
< ∞) gerade die Wahrscheinlichkeit,
1 := P1 (τ < ∞) = P0 (τ0
bei Start in 0 jemals wieder nach 0 zurückzukehren.
Sei γ = (γs )s∈IN0 eine Lösung von (∗) in Aufgabe 8, d.h.
(
1,
falls s = 0,
(∗) γs = P∞
falls s > 0.
k=0 Psk · γk = (1 − p) · γs−1 + p · γs+1 ,
Wegen Aufgabe 8 ist hD die kleinste nicht negative Lösung von (∗).
Speziell für p = 12 gilt 2γs = γs−1 + γs+1 oder auch γs+1 = 2 · γs − γs−1 , s ≥ 1, woraus
1 − γs+1 = 1 − 2γs + γs−1 = 2 · (1 − γs ) − (1 − γs−1),
s≥1
folgt. Wegen 1 − γ0 = 0 folgt hieraus mit vollständiger Induktion über s
1 − γs = s · (1 − γ1 ),
s ≥ 1.
D
D
Wäre daher hD
1 < 1, so würde 1 − hs = s · (1 − h1 ) > 1 für genügend großes s gelten. Dies
(1)
1
ist nicht möglich und daher gilt P0 (τ0 < ∞) = hD
1 = 1. Für p = 2 ist also P nullrekurrent.
Sei jetzt p > 12 . Um zu zeigen, dass P transient ist, genügt es eine Lösung von (∗) mit γ1 < 1
finden. Eine derartige Lösung ist
s
1−p
γs =
, s ∈ IN0 .
p
Daher ist P für den Fall p >
1
2
transient.
Aufgabe 19: (Beweis von Theorem 4.30)
Zeigen Sie: Ist E irreduzibel und nullrekurrent, dann gilt limn→∞ P(Xn = k) = 0 für alle
k ∈ E.
Hinweis: Sie dürfen benutzen, dass dieses Resultat gilt, wenn E zusätzlich aperiodisch ist.
Lösung: Aus dem Beweis zu Theorem 4.30 folgt die Behauptung für den Fall d = 1. Sei
jetzt d ∈ IN beliebig. Dann gilt für k ∈ E
X
lim P(Xn = k) = lim
P(X0 = s) · P(Xn = k | X0 = s)
n→∞
n→∞
s∈E
= lim
n→∞
X
P(X0 = s) · Ps (Xn = k)
s∈E
und wegen 0 ≤ Ps (Xn = k) ≤ 1 und dem Satz von der dominierten Konvergenz genügt es
die Behauptung für den Fall P(X0 = s) = 1 zu zeigen.
d
a) Wir zeigen zuerst, dass limn→∞ Ps (Xn = k) = 0 für alle k, s ∈ E mit k ←→ s gilt.
Wegen Korollar 2.6 sind X (d) := (Xn·d)n∈IN0 und (Xi·d )i≥n Markovketten. Wegen Korollar
3.6 angewandt auf die zweite Markovkette gilt P(X(n+1)·d = ℓ | Xn·d = k) = (P d )kℓ , sobald
P(Xn·d = k) > 0 erfüllt ist. Daher ist X (d) eine homogene Markovkette mit Übergangsmatrix
P d und mit Werten in E (0) .
Bzgl. des Zustandsraumes E (0) ist dann X (d) irreduzibel und wegen Aufgabe 11 b) auch
(d)
aperiodisch. Ist τs die Rückkehrzeit nach s bzgl. X und τs die bzgl. X (d) , so gilt nach
(d)
Konstruktion τs = d · τs , da zu anderen Zeitpunkten als d, 2d, . . . keine Rückkehr von X
(d)
(d)
nach s möglich ist. Daher gilt auch Ps (τs < ∞) = 1 und Es τs = ∞. X (d) selbst ist also
wieder nullrekurrent, aperiodisch und irreduzibel.
(d)
Daher gilt limn→∞ Ps (Xn = k) = 0 für alle k ∈ E (0) , also limn→∞ Ps (Xnd = k) = 0. Wegen
Ps (Xnd+j = k) = 0 für j = 1, . . . , d − 1 gilt also a).
b) Sei s ∈ E fest und k ∈ E (j) mit 1 ≤ j ≤ d − 1. Dann gilt für n ≥ j
X
X
Ps (Xn = k) =
Ps (Xj = ℓ, Xn = k) =
Ps (Xj = ℓ) · Pℓ (Xn = k).
ℓ∈E (j)
ℓ∈E (j)
Wegen a) gilt limn→∞ Pℓ (Xn = k) = 0 für alle ℓ ∈ E (j) und wegen des Satzes von der
dominierten Konvergenz dann auch limn→∞ Ps (Xn = k) = 0.
Aufgabe 20:
Beweisen Sie das diskrete Erneuerungstheorem:
Sei (Tk )k∈IN0 eine Folge unabhängiger, IN0 -wertiger Zufallsvariable, von denen T1 , T2 , . . . alle
identisch
P verteilt sind mit Werten in IN und mit g.g.T.{ℓ ∈ IN : P(T1 = ℓ) > 0} = 1. Sei
Sk := ki=0 Ti , k ∈ IN0 und νn := |{k ∈ IN0 : Sk = n}|. Dann gilt
lim Eνn = lim P(νn = 1) =
n→∞
n→∞
1
.
ET1
Lösung: Wegen Ti > 0 für alle i ∈ IN gilt S0 < S1 < S2 < . . . und damit
P(νn = 1) =
∞
X
k=0
P(Sk = n).
P
Wir nehmen an, dass die Behauptung gilt, wenn T0 ≡ 0. Sei S0′ := 0 und Sk′ := ki=1 Ti und
νn′ das zugehörige νn . Es gilt dann Sk = T0 + Sk′ mit stochastisch unabhängigen T0 und Sk′
und daher
lim P(νn = 1) = lim
n→∞
lim
n→∞
n→∞
∞ X
n
X
∞
X
P(Sk = n) = lim
n→∞
k=0
∞ X
n
X
P(T0 = ℓ, Sk′ = n − ℓ)
k=0 ℓ=0
n
X
P(T0 = ℓ) · P(Sk′ = n − ℓ) = lim
n→∞
k=0 ℓ=0
P(T0 = ℓ) ·
ℓ=0
∞
X
P(Sk′ = n − ℓ) =
k=ℓ
n
X
1
′
P(T0 = ℓ) · P(νn−ℓ
= 1) =
.
n→∞
|
{z
} ET1
ℓ=0
→1/ET1
|
{z
}
lim
→1
Daher gilt die Behauptung dann auch für den allgemeinen Fall.
Wir setzen jetzt voraus, dass T0 ≡ 0.
Sei n0 := max{k ∈ IN : P(T1 = k) > 0)}. Wir konstruieren eine irreduzible, aperiodische
homogene Markovkette X = (Xn )n∈IN0 mit Zustandsraum E := {0, 1, . . . , n0 − 1} derart,
dass P(Xn = 0) = P(νn = 1) für alle n ∈ IN0 .
Sei (Yn )n∈IN eine Folge unabhängiger Zufallsvariablen mit Yn ∼ T1 , n ∈ IN. Sei X0 := 0 und
U : E × IN → E definiert durch
(
x − 1, falls x ≥ 1,
U(x, y) :=
y − 1, falls x = 0.
Wegen Satz 2.13 ist X = (Xn )n∈IN0 , induktiv definiert durch Xn = U(Xn−1 , Yn ), n ∈ IN, eine
homogene Markovkette mit Zustandsraum E und Übergangsmatrix P mit


falls k ≥ 1, ℓ = k − 1,
1,
Pkℓ = P(U(k, Y1 ) = ℓ) = P(T1 = ℓ + 1), falls k = 0,
, k, ℓ ∈ E.


0,
sonst
Ist x ∈ E beliebig, dann gibt es nach Voraussetzung ein k > x mit P(T1 = k) > 0, also auch
P0,k−1 > 0. Wegen Pk,k−1 = 1 für k > 0 gilt daher 0
x
0 für alle x ∈ E, so dass P
irreduzibel ist. Wegen {n ∈ IN : P(T1 = n) > 0} ⊂ {n ∈ IN : (P n )00 > 0} gilt zudem nach
Voraussetzung g.g.T.{n ∈ IN : (P n )00 > 0} = 1, so dass P auch aperiodisch ist.
(n)
Sei τ0 die n-te Rückkehrzeit nach 0, n ∈ IN. Da alle Zufallsvariablen Y1 , Y2 , . . . endlich sind,
(n)
gilt nach Konstruktion der Markovkette notwendig τ0 < ∞, so dass P rekurrent ist. Ferner
gilt
(1)
(1)
P(τ0 = j) = P0 (τ0 = j) = P(Y1 = j) = P(T1 = j), j ∈ IN,
(1)
(1)
(2)
(1)
(3)
(2)
also τ0 ∼ T1 . Da wegen Korollar 4.12 die Zufallsvariablen τ0 , τ0 − τ0 , τ0 − τ0 , . . . alle
unabhängig und identisch verteilt sind, gilt auch
(k)
τ0
=
(1)
τ0
+
k
X
(j)
(j−1)
τ0 − τ0
∼ Sk ,
k ∈ IN
j=2
und daher
(k)
lim P(νn = 1) = lim P(∃k ∈ IN : Sk = n) = lim P(∃k ∈ IN : τ0
n→∞
n→∞
n→∞
= n)
= lim P(Xn = 0) =
n→∞
1
.
ET1
Aufgabe 21: (Ehrenfests Urnenmodell)
Seien in einer Urne zu Beginn r rote und s schwarze Kugeln mit r + s ≥ 1. Es wird jeweils
zufällig eine Kugel gezogen und eine Kugel der anderen Farbe zurückgelegt. Es sei Xn die
zufällige Anzahl der roten Kugeln nach n Ziehungen.
a) Begründen Sie, dass X := (Xn )n∈IN0 eine irreduzible homogene Markovkette mit Zustandsraum E = {0, 1, . . . , r + s} ist. Bestimmen Sie die Übergangsmatrix P von X.
Hinweis: Aufgabe 7.
b) Bestimmen Sie die Periode von E.
c) Begründen Sie, dass X reversibel ist.
d) Zeigen Sie, dass die Binomialverteilung Bin(r + s, 1/2) die stationäre Verteilung von
X ist. Wie lange dauert es im Mittel, bis eine Urne ohne schwarze Kugeln wieder keine
schwarzen Kugeln enthält?
Lösung: Es liegt die Situation von Aufgabe 7
a) Identifiziert man in Aufgabe 7d) (Rn )n∈IN0
Übergangsmatrix ist (Pik )i,k∈E mit

i

 r+s
i
Pik = 1 − r+s


0,
mit c = −1 und d = 1 vor.
mit (Xn )n∈IN0 , so folgt die Behauptung. Die
für k = i − 1,
für k = i + 1,
sonst.
b) Die Periode von E ist d = 2. Denn wegen (P 2 )00 > 0 gilt d = 1 oder d = 2. d = 1 ist
aber nicht möglich, da für i, k ∈ E mit Pik > 0 immer k ≡ (i + 1) mod 2 gilt, d.h. von zwei
aufeinander folgenden Zuständen ist einer immer gerade, der andere ungerade.
c) Es gilt Pik > 0 genau dann, wenn Pki > 0 gilt, so dass Bedingung (5.2) erfüllt ist. Zudem
hat GP die Gestalt
0 ←→ 1 ←→ 2 ←→ . . . ←→ r + s,
ist also ein Baum. Wegen Beispiel 5.7 ist X reversibel.
d) Zu zeigen ist, dass Bin(r + s, 1/2) die detaillierten Bilanzgleichungen erfüllt, also für
0≤i=k−1<r+s
r + s −(r+s)
r + s −(r+s)
i
r + s −(r+s) r + s − i
2
· 1−
=
2
·
2
· Pik =
i
i
r+s
i
r+s
r + s − 1 −(r+s)
r + s −(r+s) i + 1
r + s −(r+s)
k
=
2
=
2
·
=
2
·
i
i+1
r+s
k
r+s
r + s −(r+s)
=
2
· Pki .
k
∗
Damit gilt (5.1). Ist π ∗ die stationäre Verteilung, dann gilt insbesondere πr+s
= 2−(r+s) . Nach
Theorem 4.22 ist die mittlere Rückkehrzeit nach r + s
Er+s τr+s = mr+s =
1
∗
πr+s
= 2r+s .