2.¨Ubung – Markov Prozesse

2. Übung – Markov Prozesse
1. Seien Z0 , Z1 , . . . i.i.d. Bernoulli-verteilt: P (Zi = 1) = p, P (Zi = 0) = 1 − p.
Definiere S0 = 0 und Sn = Z1 + · · · + Zn . Überprüfe für folgende (Xn )n≥0 ob es
sich um Markovketten handelt. Falls ja, bestimme die Übergangsmatrix. Falls nein,
finde ein Beispiel wo P (Xn+1 = i|Xn = j, Xn−1 = k) nicht unabhängig von k ist.
(a) Xn = Zn
(b) Xn = Sn
(c) Xn = S0 + S1 + · · · + Sn
2. Sei (Xn )n≥0 Markov (λ, P ). Zeige, dass für Yn = Xkn gilt (Yn )n≥0 ist Markov (λ, P k ).
3. Es sei Yn das Maximum der ersten n Ausgänge einer Folge unabhängiger Würfelexperimente,
(Yn ∈ {1, 2, 3, 4, 5, 6}). Ist (Yn ) eine Markov-Kette? Falls ja berechne die Übergangsmatrix
P und deren Potenzen.
4. Zwei unfaire Münzen (Kopf / Zahl). Münze 1: P (K) = 0.7, Münze 2: P (K) = 0.6.
Falls im n-ten Wurf Kopf, dann (n + 1)-ter Wurf mit Münze 1.
Falls im n-ten Wurf Zahl, dann (n + 1)-ter Wurf mit Münze 2.
Angenommen der erste Wurf war Zahl.
(a) Mit welcher Wahrscheinlichkeit ist der (n + 1)-te Wurf Zahl?
(b) Mit welcher Wahrscheinlichkeit erfolgt der fünfte Wurf mit Münze 1?
5. Sei (Xn )n≥0 Markov (λ, P ) auf {1, 2, 3} mit


0
1
0
P =  0 2/3 1/3 
p 1−p 0
Berechne P (Xn = 3|X0 = 3) für
(a) p = 1/16
(b) p = 1/12
Hinweis: Vgl. Example 1.1.6 von Norris. Die Grundidee besteht einfach darin die
Übergansmatrix zu diagonalisieren P = U ΛU −1 . Dann gilt P n = U Λn U −1 . Allerdings lassen sich nicht alle Matrizen diagonalisieren, bei mehrfachen Eigenwerten
erhält man die sogenannte Jordan’sche Normalform (elementare lineare Algebra).
6. Löse obiges Beispiel für p = 1/6
3
Hinweis: (−1 + i)n = 2n/2 ein 4 π = 2n/2 (cos 43 nπ + i sin 34 nπ)
3
(−1 − i)n = 2n/2 e−in 4 π = 2n/2 (cos 43 nπ − i sin 34 nπ)
Somit Ansatz
(n)
p11 = a +
2n/2
6n
b cos 34 nπ + c sin 34 nπ