Stochastische Prozesse und Itô

B. Schmalfuß
Paderborn, den 10. Juni 2009
Stochastische Prozesse und Itô-Kalkül
(7. Übung)
Markov-Ketten
(I) Es sei W (t) (t ≥ 0) ein eindimensionaler Wiener Prozess und n ∈ N0 . Mittels
der Itô-Formel zeige man
EW (t)n =
1
n(n − 1)
2
Zt
EW (s)n−2 ds
für n ≥ 2.
0
2n+1
Man folgere hieraus EW (t)
= 0.
Hinweis: Überprüfen Sie, dass die Voraussetzungen für die Itô-Formel erfüllt sind!
(II) Ein fairer Würfel werde n-mal geworfen (n ∈ N). X(n) bezeichne das Maximum
der geworfenen Zahlen bis zum n-ten Wurf. Zeige, dass X(n) eine Markov-Kette ist
und bestimme die Übergangsmatrix und die n-Schritt Übergangsmatrix.
(III) Man zeige, dass die Relation des Kommunizierens eine Äquivalenzraltion darstellt, d.h.
(a) Reflexivität: i ↔ i
(b) Symmetrie: i ↔ j ⇒ j ↔ i
(c) Transitivität: i ↔ j & j ↔ k ⇒ i ↔ k.
Definition 1: Sei n ∈ N0 . Ein diskreter stochastischer Prozess X(n) mit Wertevorrat N0 heißt (homogene) Markov-Kette, falls
P(X(n + 1) = j|X(0) = i0 , . . . , X(n) = in = i) = P(X(n + 1) = j|X(n) = i) =: pij
für alle i0 , i1 , . . . , in , j, n. pij wird als Übergangswahrscheinlichkeit vom Zustand i
zum Zustand j bezeichnet und die Matrix P = (pij )i,j als Übergangsmatrix.
(1) Betrachte zwei Urnen A und B, von denen A zwei weiße und B zwei schwarze
Kugeln enthält. Es wird aus jeder Urne gleichzeitig eine Kugel gezogen und in die
andere gelegt. X(n) bezeichne die Anzahl der schwarzen Kugeln in Urne A nach n
Ziehungen. Zeige, dass X(n) ein Markov-Prozess ist und gebe die Übergangsmatrix
an.
Definition 2: Eine Matrix M = (mij )i,j ist eine stochastische Matrix, falls
• P
mij ≥ 0
∀i, j
•
m
=
1
∀i.
ij
j
(2) Falls P eine stochastische Matrix ist, dann auch P n .
Definition 3: Die Wahrscheinlichkeit
(n)
pij = P(X(n + m) = j|X(m) = i)
wird als n-Schritt Übergangswahrscheinlichkeit bezeichnet. Entsprechend heißt P (n)
(n)
= (pij )i,j die n-Schritt Übergangsmatrix.
(3) (Chapman-Kolmogorov ) Es gilt
(n+m)
pij
=
X
(n) (m)
pik pkj .
k
In Matrixschreibweise bedeutet dies gerade: P (n+m) = P (n) P (m) .
(4) Zeige: P (n) = P n .
(5) Gegeben sei die Übergangsmatrix

1
0
P =  31
0
2
3
1
2

0
0 .
1
2
Man zeichne das Übergangsdiagramm und bestimme P (n) .
Definition 4: Wir sagen, dass ein Zustand j vom Zustand i aus erreichbar ist
(n)
(Schreibweise: i → j), falls es ein n gibt, so dass pij > 0. Falls i → j und j → i,
so kommunizieren die Zustände i und j (Schreibweise: i ↔ j). Falls alle Zustände
miteinander kommunizieren, so heißt die Markov-Kette irreduzibel.
(6) Man untersuche die Markov-Ketten mit den Übergangsmatrizen




1 0 0
1 0 0
P1 = 0 1 0 , P2 =  0 12 12 
1
1
1
0 0 1
3
3
3
auf Kommunikation.
(n)
Definition 5: Es sei d(i) der ggT aller n ≥ 1 mit pii > 0. Der Zustand i heißt
aperiodisch, falls d(i) = 1 und periodisch, falls d(i) > 1.
(7) Falls i ↔ j, dann gilt d(i) = d(j).
(8) Man untersuche die Markov-Kette mit

0
P = 0
1
der Übergangsmatrix

1 0
0 1
0 0
auf Periodizität.
Definition 6: Für i, j bezeichne
n
fij
= P(X(n) = j, X(r) 6= j
∀r ∈ {1, 2, . . . , n − 1}|X(0) = i)
die Wahrscheinlichkeit für den Übergang vom Zustand i in den Zustand j in genau
0
1
n Schritten, wobei wir fij
= 0 und fij
= pij setzen. Die Wahrscheinlichkeit, dass i
irgendwann in j übergeht, ist dann gegeben durch
X
n
fij =
fij
.
n
Falls fii = 1, dann heißt der Zustand i rekurrent. Im Fall fii < 1 ist der Zustand i
transient.
P (n)
(9*) Der Zustand i ist rekurrent genau dann, wenn n pii = ∞. Er ist transient
P (n)
genau dann, wenn n pii < ∞
(10) Betrachte eine Markov-Kette mit der Übergangsmatrix
1 0
P = 1 1 .
2
2
Untersuche, ob die Zustände 0 und 1 rekurrent bzw. transient sind.
∗
∗
∗
Definition
P ∗ 7: π = (π0 , π1 , . . .) heißt stationäre Verteilung einer Markov-Kette,
falls i πi = 1 und
π ∗ = π ∗ P,
wobei P die Übergangsmatrix der Markov-Kette bezeichne.
(11) Man gebe die stationäre Lösung der Markov-Kette aus Aufgabe (1) an.
Abgabe der Aufgaben (I) - (III) bis zum 29.06. in der Übung.