Markovketten Wintersemester 2008/09 Proseminar

Markovketten
Wintersemester 2008/09
Proseminar, Karl Oelschläger
Zur mathematischen Modellierung dynamischer Vorgänge, die vom Zufall beeinflußt werden, benutzt man im allgemeinen stochastische Prozesse. In einfachen
Situationen sind dies Prozesse X in diskreter Zeit mit einem diskreten Zustandsraum, d.h., X = (Xn )n∈N0 , wobei die Zufallsvariablen Xn , n ∈ N0 , Werte in einer
höchstens abzählbaren Menge S annehmen. Speziell ist X eine Markovkette, wenn
P Xn+k = s′ | X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn
{z
} | {z }
| {z } |
Gegenwart
Zukunft
Vergangenheit
′
= P Xn+k = s |Xn = sn , n ∈ N0 , k ∈ N, s0 , s1 , . . . , sn , s′ ∈ S.
Zur Charakterisierung der zukünftigen Entwicklung einer Markovkette reicht also
die Kenntnis des gegenwärtigen Zustandes aus. Die Kenntnis der zeitlichen Entwicklung in der Vergangenheit bringt in diesem Fall keinen Informationsgewinn.
Die Größen
Pn (s1 , s2 ) = P Xn+1 = s2 |Xn = s1 , s1 , s2 ∈ S, n ∈ N0 ,
heißen (1-Schritt-)Übergangswahrscheinlichkeiten. Sie werden zu den (1-Schritt-)
Übergangsmatrizen Pn = (Pn (s, s′ ))s,s′ ∈S , n ∈ N0 , zusammengefaßt. Eine Markovkette besitzt stationäre Übergangswahrscheinlichkeiten, falls Pn = P unabhängig
von n ist 1. In diesem Proseminar werden nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden.
Beispiel 1 (Symmetrische Irrfahrt in Z; Modell für ein eindimensionales diffundierendes Teilchen). Diese Markovkette ist durch die Übergangswahrscheinlichkeiten
P[Xn+1 = a + 1|Xn = a] = P[Xn+1 = a − 1|Xn = a] =
1
,
2
a ∈ Z, n ∈ N0 ,
charakterisiert.
Beispiel 2 (Symmetrische Irrfahrt in Zd ; Modell für ein d-dimensionales diffundierendes Teilchen). Diese Markovkette besitzt die Übergangswahrscheinlichkeiten
1
, n ∈ N0 , k ∈ Zd , q = 1, . . . , d,
2d
wobei eq der Einheitsvektor in die q-te Koordinatenrichtung ist. Bei diesem Prozeß
werden alle 2d Nachbarpunkte im jeweils nächsten Schritt mit gleicher Wahrscheinlichkeit erreicht.
P[Xn+1 = k ± eq |Xn = k] =
Beispiel 3 (Galton-Watson-Prozeß; Modell für die zeitliche Entwicklung einer Population). Es sei angenommen, daß
• die Menge der Zeitpunkte diskret ist, daß es
• keine Unterschiede zwischen den einzelnen Individuen gibt 2, daß
• die Individuen voneinander unabhängig sind und daß
• die Lebensdauer gleich 1 ist 3.
Diese Annahmen werden mathematisch dadurch realisiert, daß angenommen wird,
daß zu jedem Zeitpunkt n ∈ N0 jedes dann lebende Individuum unabhängig von den
anderen eine zufällige Anzahl von Nachkommen hat und dann stirbt. Die Anzahl
der Nachkommen eines Individuums habe die Verteilung b = (bk )k∈N0 .
1In diesem Fall besitzt die Markovkette X eine zeitlich homogene Dynamik.
2Insbesondere gibt es nur ein Geschlecht.
3Der auf diesen Modellannahmen basierende, hier vorgestellte einfache Verzweigungsprozeß läßt
sich auf Bemühungen im 18. und 19. Jahrhundert zurückführen, das Anwachsen und Aussterben
von Adelsfamilien zu beschreiben. In einem solchen Zusammenhang entspricht eine Zeiteinheit
einer Generation.
Sei nun Xn die Größe der Population zum Zeitpunkt n ∈ N0 , und sei 4 ζnl ,
n ∈ N0 , l ∈ N, eine Familie von i.i.d. Zufallsvariablen mit der Verteilung b, d.h.,
P[ζnl = m] = bm , n, m ∈ N0 , l ∈ N. Der stochastische Prozeß X = (Xn )n∈N0 , dessen
Dynamik durch die Beziehung 5
(1)
Xn+1 =
Xn
X
ζnl ,
n ∈ N,
l=1
repräsentiert werden kann, ist eine Markovkette mit Zustandsraum S = N0 .
Das Proseminar wendet sich an Studenten mit Vorkenntnissen im Umfang einer
Vorlesung Einführung in die Statistik / Stochastik“. Ein Einblick in die Theorie
”
der Markovketten wird in den Lehrbüchern [1] - [3] gegeben.
Themen für Vorträge des Proseminars: Aus den folgenden Themenkomplexen
können Vorträge vergeben werden.
• Einführung, elementare Beispiele, siehe [1], Chapter 6.1, 1-2 Vorträge.
• Klassifikation der Zustände, Zerlegung von Markovketten, siehe [1], Chapter
6.2 - 6.3, 2-3 Vorträge.
• Rekurrenz bzw. Transienz der symmetrischen Irrfahrt, siehe [2], Chapter 2,
Section 6, 1 Vortrag.
• Stationäre Verteilungen, Grenzwertsätze, siehe [1], Chapter 6.4, 1-3 Vorträge.
• Anwendungsbeispiele: Warteschlangenmodelle, Modelle für Lagerhaltung,
Modelle aus der Genetik, Verzweigungsprozesse, siehe [2], Chapter 2, Section 2, C - H, 1-2 Vorträge.
• ...
Bei Interesse an einem Vortrag können telefonisch (06221/544874), bzw. durch
eine E-Mail ([email protected]) weitere Details (Präzisierung des Umfangs der Vorträge, ergänzende Literatur) erfragt werden. Zwischen
dem 28.7.08 und dem 12.9.08 muß mit Verzögerungen bei der Beantwortung von
E-Mails gerechnet werden.
Literatur
[1] G. Grimmett, D. Stirzaker. Probability and Random Processes, 3rd Edition. Oxford University Press, 2003.
[2] S. Karlin, H.M. Taylor. A First Course in Stochastic Processes. Academic Press, 1975.
[3] U. Krengel. Einführung in die Wahrscheinlichkeitstheorie und Statistik, Vieweg.
4Für n ∈ N und l ∈ N soll ζ l die Größe der Nachkommenschaft des l-ten der zur Zeit n
0
n
lebenden Individuen modellieren. Da die Größe Xn der Population zum Zeitpunkt n a priori
l für alle l ∈ N eingeführt.
jeden Wert in N0 annehmen kann, werden die Zufallsvariablen ζn
5(1) verdeutlicht, daß die Größe X
n+1 der Bevölkerung zum Zeitpunkt n + 1 die Summe der
l , l = 1, . . . , X , der zum Zeitpunkt n lebenden Individuen
Größen der Nachkommenschaften ζn
n
ist. Insbesondere treten die zum Zeitpunkt n lebenden Individuen zum Zeitpunkt n + 1 selbst
nicht mehr in Erscheinung.