Markov-Ketten WS 2015/16

Markov-Ketten
WS 2015/16
4.Übungsblatt
Aufgaben für den 03.12.2015
1. Sei {X(n)}n∈N0 eine Markov-Kette mit diskreter Zeit, die die Anzahl des Ereignisses
1“ in einer binärwertiger Sequenzen zur Zeitpunkt n beschreibt. Beide Ereignisse
”
0“ oder 1“ seien statistisch unabhängig und die Auftrittswahrscheinlichkeiten für
”
”
die beiden einzelnen zufälligen Ereignisse seien:
P[ 1“] = p und P[ 0“] = 1 − p.
”
”
a) Bestimmen Sie die Übergangsmatrix von {X(n)}n∈N0 und veranschaulichen Sie
den entsprechenden Übergangsgraph.
b) Bestimmen Sie die Wahrscheinlichkeit für die Übergänge in m Schritten.
c) Zeigen Sie, dass die Markov-Kette {X(n)}n∈N0 keine stationäre Zustandsverteilung hat.
2. Ein gewisse Rechnensystem sei nur in drei Zuständen beobachtbar: besetzt“, frei“,
”
”
in Wartung befindlich“. Diesen Systemzuständen seien beziehungsweise die Zah”
len 1,2,3 zugeordnet. Das Rechnensystem verhalte sich wie ein homogene MarkovProzeß. Unter der Annahme, daß das System in gleichen Abständen (etwa jeden
Tag zu gleicher Uhrzeit 14.00 Uhr) beobachtet wird, sei


0.6 0.2 0.2

P =
0.1 0.8 0.1
0.6 0.0 0.4
die Übergangsmatrix. Beweisen Sie, daß der erwähnte Markov-Prozeß irreduzibel
ist. Bestimmen Sie außerdem die stationären Zustandswahsrcheinlichkeiten.
3. Vier Server S1 , S2 , S3 und S4 schicken zueinander ein Datenpaket. Server S1 und
S2 übertragen es dem anderen mit Wahsrcheinlichkeit 1/2 und den Server S3 und
S4 jeweils mit Wahrscheinlichkeit 1/4. Die Server S3 und S4 senden es den Server
S1 und S2 jeweils mit Wahsrcheinlichkeit 1/2 und nie den Server S3 und S4 . Wie oft
bekommt jeder Server (auf Dauer gesehen) das Datenpaket.
4. Gegeben sei die Markov-Kette {X(n)}n∈N0 mit drei Zuständen (Übergangsgraph in
Abbildung 1).
a) Bestimmen Sie die Zustandsübergangsmatrix P der Markov-Kette {X(n)}n∈N0 .
b) Welche Bedingungen müssen an die Wahrscheinlichkeiten a und p gestellt werden, damit die Markov-Kette irreduzibel und/oder aperiodisch ist?
c) Bestimmen Sie den Gleichgewichtswahrscheinlichkeitsvektor π = (π1 , π2 , π3 ).
d) Bestimmen Sie die mittlere Rückkehrzeit mii im Zustand i = 2.
e) Für welche Werte von a und p gilt π1 = π2 = π3 ?
Abbildung 1: Übergangsgraph der Markov-Kette {X(n)}n∈N0
5. Gegeben sei eine Markov-Kette {X(n)}n∈N0 mit Zustandsraum E = {1, 2, . . . , 7}
und Übergangsmatrix

0.2

0.7

 0

 0
P =

 0

 0

0.1
0.8
0.3
0
0
0
0.1
0.1

0
0
0
0
0

0
0
0
0
0

0.3 0.5 0.2 0
0

0.6 0 0.4 0
0
.

0 0.4 0.6 0
0

0.1 0.2 0.2 0.3 0.1

0.1 0 0.1 0.2 0.4
a) Ordnen Sie die Zustände gemäß ihren ergodischen Klassen und stellen Sie die
Matrix P in kanonischer Form dar.
b) Bestimmen Sie die stationäre Zustandsverteilung für jede ergodische Klasse
sowie, wenn die Markov-Kette in dem transienten Zustand startet.
6. Sei {X(n)}n∈N0 eine bewertete Markov-Kette mit Zustandsraum E = {1, 2, 3},
Übergangsmatrix


1/2 1/4 1/4


P = 1/2 0 1/2
1/4 1/4 1/2
und den erwarteten unmittelbaren Erlösen q1 = 8, q2 = 16, q3 = 7.
a) Bestimmen Sie den erwarteten Erlös vi (n), i ∈ E, n ∈ N0 für v(0) = (0, 0, 0)′
und stellen Sie diese Funktion für jeden Zustand i in abhängigkeit von n graphisch dar.
b) Ermitteln Sie den Gewinn des Prozesses gi , i ∈ E. Sind alle gi gleich gross?
Begründen Sie das Ergebniss.
c) Bestimmen Sie die Asymptote für die Funktion vi (n), wenn n → ∞ und zeichnen Sie diese zusammen mit der echten Funktion vi (n).