Blatt 7 Markovketten [MA2404]

TU München, Zentrum Mathematik
Lehrstuhl für Mathematische Physik
WS 2013/2014
Prof. Dr. Silke Rolles
Dr. Christian Döbler
Blatt 7
Markovketten [MA2404]
Ausgabe: 08. Januar 2014
Abgabe: 22. Januar 2014, 14.15 Uhr im Briefkasten im Untergeschoss
Für die Bearbeitung dieses Blattes braucht man die Aussage des Konvergenzsatzes
für Markovketten (Satz 8.2).
definition. Sei E eine abzählbare Menge und seien µ und ν Wahrscheinlichkeitsmaße auf (E, P(E)). Der Abstand von µ und ν in Totalvariation ist definiert
durch
1 X
dTV (µ, ν) :=
µ(i) − ν(i) .
2 i∈E
Satz (Konvergenzsatz). Sei (Xn )n∈N0 eine irreduzible, aperiodische, positiv rekurrente Markovkette. Dann gilt für alle Startverteilungen µ, ν:
lim dTV Pµ (Xn ∈ ·) , Pν (Xn ∈ ·) = 0 .
n→∞
Insbesondere gilt für die stationäre Verteilung α:
lim dTV Pµ (Xn ∈ ·) , α = 0 und lim Pi (Xn = j) = α(j)
n→∞
n→∞
für alle i, j ∈ E.
Tutoriumsaufgabe 1. Seien E = {1, 2, 3}, µ = (1/2, 1/4, 1/4) und


1/2 1/2 0
Π = 1/3 1/3 1/3 .
0 1/2 1/2
Weiter sei (Xn )n∈N0 eine Markovkette mit Startverteilung µ und Übergangsmatrix
Π. Berechnen Sie limn→∞ Pµ (Xn = j) sowie Ej [Tj ] für alle j ∈ E.
Tutoriumsaufgabe 2. Ein fairer Würfel werde wiederholt geworfen. Mit Yn
bezeichnen wir die Augensumme nach den ersten n Würfen, n ∈ N0 . Bestimmen
Sie mit Begründung
lim P (Yn ist ein Vielfaches von 13 ) .
n→∞
Hausaufgabe 1. (4 Punkte) Betrachten Sie die symmetrische Gruppe Sr aller
bijektiven Selbstabbildungen der Menge {1, 2, . . . , r}. Eine Irrfahrt (Xn )n∈N0 auf
Sr (siehe Hausaufgabe 2, Blatt 1 auch für die im Folgenden verwendete Notation)
können wir auffassen als ein Mischmodell eines Kartendecks mit genau r Karten.
Formalisieren Sie in den folgenden drei Fällen jeweils den Mischvorgang, indem Sie
die zugehörige Verteilung µ angeben und zeigen Sie, dass die Voraussetzungen des
2
Konvergenzsatzes erfüllt sind. Bestimmen Sie weiterhin jeweils die Limesverteilung
der Markovkette (Xn )n∈N0 . Was bedeutet dies für die Interpretation der Irrfahrten
als Mischmodelle für Kartenspiele?
(i) Eine zufällig, gleichverteilt gewählte Karte wird aus dem Stapel herausgenommen und an einer davon unabhängig gewählten, zufälligen Position wieder
eingefügt.
(ii) Die oberste Karte wird an einer zufälligen, gleichverteilt gewählte Position
wieder eingefügt.
(iii) Es werden unabhängig voneinander zwei Zahlen in {1, . . . , r} gleichverteilt
gewählt und die Karten an den entsprechenden Positionen vertauscht.
Hausaufgabe 2. (4 Punkte)
(a) Seien pk ∈ (0, 1), k = 1, 2, 3, mit p1 + p2 + p3 = 1. Ein Student besitzt drei Bücher, die von 1 bis 3 durchnummeriert sind und zu Beginn in einer beliebigen
Anordnung von links nach rechts in seinem Regal stehen. Jeden Morgen wählt
er unabhängig von den vorigen Tagen das Buch mit der Nummer k mit Wahrscheinlichkeit pk aus, liest es und stellt es am Abend an die Stelle ganz links ins
Regal zurück. Sei qn die Wahrscheinlichkeit, dass am Abend des n-ten Tages
die Bücher in der Reihenfolge 1, 2, 3 stehen. Zeigen Sie, dass limn→∞ qn unabhängig von der ursprünglichen Anordnung der Bücher existiert und berechnen
Sie diesen Grenzwert.
(b) Lösen Sie die gleiche Aufgabe mit dem Unterschied, dass der Student nun
jeden Morgen das Buch, das an k-ter Stelle (von links nach rechts) im Regal
steht, mit Wahrscheinlichkeit pk auswählt und es am Abend an die Stelle ganz
links ins Regal zurückstellt.
Hausaufgabe 3. (4 Punkte) Sei (Xn )n∈N0 eine irreduzible, positiv rekurrente
Markovkette mit Zustandsraum E, Übergangsmatrix Π ∈ [0, 1]E×E und Periode
d ∈ N. Seien C0 , . . . , Cd−1 die Zerlegung aus Satz 4.15 und µ eine Startverteilung
auf E mit µ(C0 ) = 1. Zeigen Sie, dass für alle r ∈ {0, 1, . . . , d − 1} und j ∈ Cr gilt:
d
lim Pµ (Xnd+r = j) =
.
n→∞
Ej [Tj ]
Hausaufgabe 4. (4 Punkte) Gegeben sei eine Urne, die stets insgesamt höchstens N ∈ N Kugeln enthalte, die jeweils entweder weiß oder rot seien. Es seien Wn
bzw. Rn die Anzahl der weißen bzw. roten Kugeln in der Urne nach der n-fachen
Durchführung des folgenden Verfahrens: Falls die Urne nicht leer ist, wird eine
zufällige Kugel entnommen und durch einen fairen Münzwurf entschieden, ob sie
wieder zurückgelegt wird oder nicht. Wenn die Urne leer ist, wird zunächst durch
einen fairen Münzwurf entschieden, ob die Urne wieder befüllt wird oder nicht.
Falls ja, wird N -mal eine faire Münze geworfen und für jeden Wurf Kopf bzw.
Zahl eine weiße bzw. rote Kugel zurückgelegt. Für n ∈ N sei Xn := (Wn , Rn ).
Zeigen Sie, dass (Xn )n∈N0 als Markovkette aufgefasst werden kann und geben Sie
einen geeigneten Zustandsraum E sowie die Übergangsmatrix Π an. Berechnen Sie
außerdem die asymptotische Verteilung von Xn für n → ∞.