Markovketten

Fiedler/Klimovsky
Wintersemester 2015/2016
Markovketten
Übungsblatt 7 - Probeklausur
Abgabe
freiwillig, Besprechung am Mittwoch, den 03.02.2016 um 10:15 Uhr in WSC-S-U-3.02
Aufgabe 1 [4 Punkte]
a) Formuliere die Markov-Eigenschaft.
b) Sei (Xn )n∈N0 eine Folge von unabhängigen Zufallsvariablen, die jeweils mit der Wahrscheinlichkeit 21 die Werte +1 oder −1 annehmen. Entscheide in jedem der drei folgenden Fälle, ob
eine Markovkette gegeben ist. Falls ja, gib den Zustandsraum und die Übergangsmatrix an. Falls
nein, begründe, warum die Markov-Eigenschaft nicht gilt.
i) (Xn )n∈N0
ii) (Yn )n∈N0 mit Y0 = 0 und Yn := Xn + Xn−1 für n ≥ 1
iii) (Zn )n∈N0 mit Z0 = 0 und Zn :=
n
X
Xj für n ≥ 1
j=1
Aufgabe 2 [5 Punkte]
a) Sei S der Zustandsraum einer Markovkette (Xn )n∈N0 . Definiere,
wann eine Menge von Zuständen A ⊂ S irreduzibel ist.
Sei nun (Yn )n∈N0 eine Markovkette auf dem Zustandsraum S := {1, 2, 3, 4, 5, 6, 7} und mit der
Übergangsmatrix


1 2 3 4 5 6 7
 1 0 1 1 0 0 0 0 


2
2


 2 12 0 0 21 0 0 0 


 3 1 0 0 0 1 0 0 


2
2
P = (p(i, j))i,j∈S = 

 4 0 0 0 0 21 12 0 


 5 0 0 0 0 0 1 2 

3
3 

1
3 
 6 0 0 0 0 4 0 4 
7 0
0
0
1
5
0
0
4
5
b) Entscheide und begründe kurz, welche Zustände rekurrent und welche transient sind.
c) Bestimme alle Klassen von Zuständen, die gleichzeitig wesentlich und irreduzibel sind.
d) Bestimme die Periode jedes Zustandes.
Seite 2 von 3
Aufgabe 3 [4 Punkte]
Zustandsraum.
a) Formuliere den Konvergenzsatz für Markovketten mit endlichem
b) Es sei der folgende Graph auf der Knotenmenge S = {1, 2, 3, 4, 5} gegeben:
5
3
4
1
2
[In der Mitte ist kein Knoten, sondern nur der Schnittpunkt der Kanten {1, 4} und {2, 3}.]
Sei (Xn )n∈N0 nun eine Irrfahrt auf diesem Graphen. Zeige, dass
lim P(Xn = x)
n→∞
für alle x ∈ S existiert und berechne diesen Grenzwert für alle x ∈ S.
Aufgabe 4 [3 Punkte]
Eine Maus befindet sich in einer Wohnung mit 5 Räumen. Im Raum G
befindet sich ein großes Stück Gouda, im Raum K hingegen wartet eine hungrige Katze, welche
die Maus sofort auffrisst, wenn sie sich in den Raum K begibt. Die Maus startet im Raum M
und bewegt sich in jedem Zeitschritt gemäß des folgenden Übergangsgraphen:
; R1
1
4
1
2
)
1
2
MY
1
4
{
1
3
1
2
1
2
K
A
5
R2
G
1
6
Berechne die Wahrscheinlichkeit, dass die Maus den Gouda erreicht, bevor sie von der Katze
gefressen wird.
Seite 3 von 3
Aufgabe 5 [4 Punkte]
a) Definiere die detaillierten Gleichgewichtsbedingungen.
Sei nun (Xn )n∈N0 eine Markovkette mit Zustandsraum S

1
 1 0.3
P = (p(i, j))i,j∈S = 
 2 c
3 0.2
:= {1, 2, 3} und der Übergangsmatrix

2
3
a
b 

0.3 d 
0.2 0.6
b) Wie muss man die Parameter a, b, c, d wählen, damit die einzige stationäre Verteilung die
Gleichverteilung π = ( 13 , 31 , 13 ) ist?
c) Angenommen, wir hätten bereits die passenden Parameter a, b, c, d gefunden und starten X
in der stationären Verteilung, d.h. P(X0 = j) = 13 für alle j ∈ S. Bestimme die folgenden
Wahrscheinlichkeiten:
i) P(X4 = 3)
ii) P(X0 = 1 | X1 = 2)
Zusatzaufgabe [4 Punkte]
a) Gib eine Markovkette mit unendlichem Zustandsraum an, die
keine stationäre Verteilung besitzt und beweise deine Behauptung.
b) Gib eine Markovkette mit unendlichem Zustandsraum an, die mindestens eine stationäre
Verteilung besitzt und beweise deine Behauptung.