MARKOVKETTEN: THEORETISCHE GRUNDLAGEN

MARKOVKETTEN: THEORETISCHE GRUNDLAGEN, BEISPIELE UND
SIMULATIONEN MIT MAPLE
KLAUS JANSSEN, HANNS KLINGER UND REINHOLD MEISE
Zusammenfassung. Seit einiger Zeit wird angeregt, Markovketten in der gymnasialen Oberstufe zu behandeln. Weil viele Lehrerinnen und Lehrer aufgrund ihrer Ausbildung mit diesem
Bereich der Stochastik nicht so vertraut sind, stellen wir in dem vorliegenden Artikel die theoretischen Grundlagen für homogene Markovketten dar und gehen auf einige Beispiele und Fragestellungen ein. Um das Verhalten von Markovketten erfahrbar zu machen, stellen wir außerdem
eine MAPLE-Datei zur Verfügung, die es erlaubt, die verschiedenen Beispiele zu simulieren.
1. Einleitung
In vielen Anwendungen ist es sinnvoll und notwendig, die zeitliche Entwicklung eines gegebenen Systems mit verschiedenen Zuständen als zufällig zu modellieren. Der einfachste Ansatz
dafür besteht darin, mit einer Folge unabhängiger Zufallsvariablen zu arbeiten. Weil die Unabhängigkeit häufig nicht gegeben ist, geht man in dem nächst einfachen Ansatz davon aus, dass
die künftige zufällige Entwicklung des Systems nur von dem aktuellen Zustand und nicht von
seiner Vorgeschichte abhängt. Folgen von Zufallsvariablen, die ein derartiges Verhalten haben,
nennt man Markovketten. Sie haben sich in vielen Situationen als angemessene Beschreibung
für die zufällige Entwicklung von Systemen erwiesen. Die Theorie der Markovketten enthält eine
Fülle von praktisch anwendbaren und auch theoretischen Ergebnissen.
Dieser Sachverhalt mag ein Grund dafür gewesen sein, dass die Richtlinien für den MathematikUnterricht in der Sekundarstufe II des Landes Nordrhein-Westfalen die Behandlung von Markovketten empfehlen. Dadurch sollen auch Querverbindungen zwischen der Stochastik und der
linearen Algebra aufgezeigt werden. In der Praxis dürfte diese Empfehlung nicht so einfach zu
realisieren sein, da in der üblichen Lehrerausbildung nur selten stochastische Prozesse behandelt
werden. Durch Umfragen im Zusammenhang mit Fortbildungsveranstaltungen stellte sich heraus, dass eine gewisse Nachfrage zu dem Thema besteht. Dies hat die Autoren dazu angeregt,
die mathematischen Grundlagen darzustellen, die für eine exakte Definition von Markovketten
benötigt werden. Darüberhinaus werden wichtige Aussagen und erste Beispiele behandelt. Die
Beispiele sind so gewählt, dass sie sowohl durch kleine Experimente realisiert als auch exakt
berechnet werden können. Außerdem zeigen sie, in welcher Weise Querverbindungen zwischen
Markovketten, linearer Algebra und Analysis bestehen. Auf Beispiele mit praktischen Anwendungen gehen wir nicht ein, da solche recht kompliziert sind und die Markov-Eigenschaft häufig
nur unterstellt, aber nicht begründet wird.
Die behandelten Beispiele kann man zur Veranschaulichung am Rechner simulieren, wenn
man die MAPLE-Datei benutzt, welche die Autoren zur Verfügung stellen. Sie steht im Internet
unter www.math.uni-duesseldorf.de/∼meise/maple.html und kann dort abgeholt werden.
2. Grundlegende Begriffe
Behandelt man Fragen der Stochastik in der Oberstufe, so beschränkt man sich in der Regel auf abzählbare Wahrscheinlichkeitsräume, um komplizierte Begriffsbildungen zu vermeiden.
1
2
K. JANSSEN, H. KLINGER UND R. MEISE
Eine präzise Definition von Markovketten erfordert aber überabzählbare Grundräume und Wahrscheinlichkeitsmaße, die auf σ-Algebren definiert sind. Betrachtet man allerdings nur Markovketten innerhalb eines festen Zeithorizonts, so kommt man mit dem elemantaren Konzept von
Wahrscheinlichkeitsmaßen auf der Potenzmenge einer endlichen Menge aus. Dann lassen sich
aber interessante Grenzwertaussagen nicht oder nur schwerfällig formulieren.
Im Folgenden stellen wir die benötigten allgemeinen Begriffe vor und verweisen für die Details
auf die Lehrbuchliteratur (z. B. Engel [3], Henze [5], Krengel [9]).
2.1. Definition. Ist Ω eine nicht-leere Menge, so bezeichnet man mit P(Ω) die Potenzmenge
von Ω, d.h., die Menge aller Teilmengen von Ω. Eine Teilmenge A von P(Ω) heißt σ-Algebra,
falls A die folgenden Eigenschaften hat:
(1) Ω ∈ A.
(2) Ist A ∈ A, so ist auch Ω \ A ∈ A.
S
(3) Für jede Folge (Aj )j∈N in A ist auch j∈N Aj in A.
Bemerkung. Ist A eine σ-Algebra, so folgert man leicht T
aus 2.1 (1)–(3), dass die leere Menge ∅
zu A gehört, und dass mit jeder Folge (Aj )j∈N in A auch j∈N Aj in A ist. Insbesondere gehören
daher mit A und B auch A ∪ B sowie A ∩ B zu A.
2.2. Definition. Ein Wahrscheinlichkeitsraum (Ω, A, P ) besteht aus einer nicht-leeren Menge
Ω, einer σ-Algebra A ⊂ P(Ω) und einem Wahrscheinlichkeitsmaß P auf A. Letzteres bedeutet,
dass P : A → [0, 1] die folgenden Eigenschaften hat
(1) P (Ω) = 1.
(2) P ist σ-additiv, d. h. für jede Folge (Aj )j∈N in A, für die Aj ∩ Ai = ∅ ist für alle j 6= i,
gilt
∞
∞
[
X
P(
Aj ) =
P (Aj ).
j=1
j=1
2.3. Beispiele. (1) Ist A eine endliche Menge, so bezeichnet man mit #A die Anzahl der Elemente von A. Ist Ω 6= ∅ eine endliche Menge, so definiert man auf P(Ω) das Laplacesche Wahrscheinlichkeitsmaß PL durch
#A
PL (A) :=
.
#Ω
Dann ist (Ω, P(Ω), PL ) ein Wahrscheinlichkeitsraum.
(2) Ist Ω eine nicht-leere Menge, und E ⊂ P(Ω), so gibt es eine kleinste σ-Algebra σ(E) ⊂ P(Ω),
welche E enthält. Dies folgt aus der leicht einzusehenden Tatsache, dass der Durchschnitt von
σ-Algebren wieder eine σ-Algebra ist.
Ist Ω = Rn , so definiert man die σ-Algebra B(Rn ) aller Borelmengen in Rn als die kleinste
σ-Algebra in P(Rn ), welche alle abgeschlossenen Teilmengen des Rn enthält. Wie man leicht
nachprüft, gilt für O := {G ⊂ Rn : G ist offen} und K := {K ⊂ Rn : K ist kompakt}:
B(Rn ) = σ(O) = σ(K).
(3) Ist λ : B(R) → [0, ∞] das Lebesgue-Maß auf R, und definiert man
Z
1 1
P : B(R) → [0, 1], P (A) :=
dλ(x),
2
A π1+x
so ist (R, B(R), P ) ein Wahrscheinlichkeitsraum.
2.4. Definition. Ist (Ω, A, P ) ein Wahrscheinlichkeitsraum, so definiert man für B ∈ A mit
P (B) > 0 das bedingte Wahrscheinlichkeitsmaß P (· | B) : A → [0, 1] durch die bedingten
MARKOVKETTEN
3
Wahrscheinlichkeiten
P (A ∩ B)
, A ∈ A.
P (B)
Offenbar ist P (· | B) dann ein Wahrscheinlichkeitsmaß auf (Ω, A).
P (A | B) :=
Bezeichnungen. Ist (Ω, A, P ) ein Wahrscheinlichkeitsraum und sind X, Y : Ω → R Funktionen,
so setzt man für M ⊂ R
{X ∈ M } := {ω ∈ Ω : X(ω) ∈ M }.
Ist M = {a}, so schreibt man {X = a} statt {X ∈ {a}}. Sind die betreffenden Mengen in
A, so schreibt man P (X ∈ M ) statt P ({X ∈ M }) und P (Y = b | X = a) anstelle von
P ({ω ∈ Ω : Y (ω) = b} | {ω ∈ Ω : X(ω) = a}).
2.5. Definition. Ist (Ω, A, P ) ein Wahrscheinlichkeitsraum, so heißt X : Ω → R eine reelle
Zufallsvariable auf Ω, falls X A-meßbar ist, d.h., falls für jedes t ∈ R gilt {X ∈ ]−∞, t]} ∈
A. Ist X eine Abbildung von Ω in eine höchstens abzählbare Menge, so nennt man X eine
Zufallsvariable, falls {X = b} ∈ A gilt für alle
R b in dem Wertebereich von X.
Ist X eine reelle Zufallsvariable, für die Ω |X|dP < ∞ gilt, so definiert man den Erwartungswert E(X) von X als
Z
XdP.
E(X) :=
Ω
2.6. Beispiel. Ist (Ω, A, P ) ein Wahrscheinlichkeitsraum und X : Ω → R eine Zufallsvariable,
die höchstens abzählbar
viele Werte annimmt, so besitzt X einen Erwartungswert genau dann,
P
wenn die Reihe b∈X(Ω) |b| · P (X = b) konvergiert, und es gilt
X
E(X) =
b · P (X = b).
b∈X(Ω)
2.7. Heuristische Einführung von Markovketten. Gegeben sei ein System, welches die
Zustände 1, 2, . . . , k, k ≥ 2 annehmen kann. Zu sukzessiven diskreten Zeitpunkten ändert das
System auf zufällige Weise seinen Zustand. Der zeitliche Ablauf der Systemzustände ist dann
eine Folge, welche aus den Zahlen 1 bis k besteht, die für k = 3 etwa so aussieht:
2, 1, 3, 1, 1, 2, 3, 1, 3, 1, 2, . . . .
Will man Aussagen über alle möglichen Zustandsfolgen herleiten, z. B. darüber, wie häufig das
System im Mittel im Zustand j ist, so muß man Annahmen über die Wahrscheinlichkeiten von
Zustandsänderungen machen. Von A. A. Markov (1856 - 1922) stammt die folgende MarkovBedingung:
Die Zustandsänderung des Systems zur Zeit n nach n+1 hängt nur davon ab, in welchem
Zustand sich das System zur Zeit n befindet. Ist das System zur Zeit n im Zustand i, so
wird es mit Wahrscheinlichkeit pij (n) in den Zustand j übergehen.
Die Markovbedingung impliziert also, dass die Vorgeschichte des Ablaufs keine Rolle bei der
Zustandsänderung spielt, sondern nur der aktuelle Zustand und die Zeit bestimmen, wie die
Änderung erfolgt.
Für die Anwendungen ist es wichtig, auch abzählbare Zustandsräume zuzulassen. Die präzise
Fassung der heuristischen Überlegung führt dann zu der folgenden Definition.
2.8. Definition. Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum, F eine höchstens abzählbare Menge,
genannt der Zustandsraum. Eine Folge (Xn )n∈N0 von Zufallsvariablen auf Ω mit Werten in F
heißt Markovkette, falls die folgende Bedingung erfüllt ist:
(2.1)
Für jedes n ∈ N0 und i0 , . . . , in+1 ∈ F mit P (X0 = i0 , . . . , Xn = in ) > 0 gilt
P (Xn+1 = in+1 | Xn = in ) = P (Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ).
4
K. JANSSEN, H. KLINGER UND R. MEISE
Man nennt P (Xn+1 = in+1 | Xn = in ) die Übergangswahrscheinlichkeit zur Zeit n vom Zustand in in den Zustand in+1 . Hängen die Übergangswahrscheinlichkeiten nicht von n ab, so
spricht man von einer homogenen Markovkette. Im weiteren werden wir uns nur mit homogenen
Markovketten befassen.
Das folgende Beispiel ist mit Absicht einfach gehalten. Wie wir in 3.14 zeigen werden, kann
man es dazu benutzen, das Auftreten gewisser Muster bei Münzwurfserien zu modellieren.
2.9. Beispiel. Als Beispiel betrachten wir ein System mit den drei Zuständen 1, 2 und 3. Die
Übergänge des Systems von einem Zustand in einen anderen werden für 0 < p < 1 und q := 1−p
durch das folgende Zustandsdiagramm beschrieben:
2
p
q
? 1
q
@
I
@
@@
@@
p@@p
@@
@@
R
@
@
q
3
p
Dabei bedeutet i −→ j, dass das System mit Wahrscheinlichkeit p in den Zustand j übergeht,
wenn es sich im Zustand i befindet. Man möchte z. B. wissen, wie häufig sich das System im
Mittel im Zustand i befindet. Damit wir diese Frage beantworten können, klären wir zunächst,
warum bei der Betrachtung von Markovketten Konzepte aus der linearen Algebra auftreten.
3. Stochastische Matrizen und Markovketten
Um aufzuzeigen, wie homogene Markovketten mit endlichem Zustandsraum F mit stochastischen Matrizen zusammenhängen, erinnern wir zunächst an einige Definitionen aus der linearen
Algebra.
3.1. Definition. (a) Eine Familie A := (aij )i=1,...,m,j=1,...n reeller Zahlen bezeichnet man als
eine reelle m × n-Matrix.
(b) Ist B = (bij )i=1,...,n,j=1,...,k eine reelle n × k-Matrix, so definiert man für A wie in (a) das
Produkt C := AB als diejenige m × k-Matrix, für die gilt
cij =
n
X
aiν bνj , 1 ≤ i ≤ m, 1 ≤ j ≤ k.
ν=1
(zi )m
i=1
Für Zeilenvektoren z =
und Spaltenvektoren s = (sj )nj=1 ist damit auch festgelegt, was
man unter zA und As zu verstehen hat; man interpretiert einfach z als 1 × m-Matrix und s als
n × 1-Matrix.
(c) Ist k ∈ N, so bezeichnet man die Matrix I := (δij )ki,j=1 als die k × k-Einheitsmatrix. Ist A
eine k × k-Matrix, so definiert man A0 := I und An+1 := AAn , n ∈ N0 .
(d) Zwei m × n-Matrizen A und B werden addiert vermöge der Festsetzung
(A + B)i,j := aij + bij , 1 ≤ i ≤ m, 1 ≤ j ≤ n.
Bemerkung. Die Multiplikation von Matrizen ist i.a. nicht kommutativ. Man zeigt leicht, dass
für k × k-Matrizen A und n, m ∈ N0 gilt: An Am = An+m .
MARKOVKETTEN
5
3.2. Definition. (a) Ein Zeilenvektor z = (z1 , . . . , zk ) heißt stochastischer Vektor, falls zi ≥ 0
P
für 1 ≤ i ≤ k und ki=1 zi = 1.
(b) Eine reelle m × k-Matrix A = (aij )i=1,...,m,j=1,...,k heißt stochastische Matrix, falls alle ihre
Zeilenvektoren (ai,j )kj=1 , 1 ≤ i ≤ m, stochastische Vektoren sind.
Eine Interpretation stochastischer Vektoren liefert die folgende Bemerkung.
3.3. Bemerkung. Sei F = {1, . . . , k} eine endliche Menge und µ ein Wahrscheinlichkeitsmaß
auf (F, P(F )). Dann ist µ bekanntlich durch seine Zähldichte µi := µ({i}), i ∈ F , eindeutig
bestimmt und der Zeilenvektor µ = (µi )ki=1 ist offenbar ein stochastischer Vektor. Umgekehrt
k
liefert jeder stochastische Vektor
Pz = (zi )i=1 ein Wahrscheinlichkeitsmaß µz auf P(F ), welches
für A ∈ P(F ) durch µz (A) := i∈A zi definiert ist. Offenbar ist die Zähldichte von µz gerade
der Vektor z. Wir werden daher im weiteren zwischen dem Maß µ und dem Vektor (µi )ki=1 nicht
mehr unterscheiden.
Um einen Zusammenhang zwischen stochastischen Vektoren und Matrizen und homogenen
Markovketten (Xn )n∈N0 mit endlichem Zustandsraum herzuleiten, bemerken wir, dass man ohne
Einschränkung den Zustandsraum F minimal wählen kann. Wir setzen daher im weiteren voraus,
dass es zu jedem i ∈ F ein n ∈ N0 gibt mit
P (Xn = i) > 0.
3.4. Definition. Sei (Xn )n∈N0 eine homogene Markovkette mit minimalem Zustandsraum F =
{1, . . . , k} auf dem Wahrscheinlichkeitsraum (Ω, A, P ).
(a) Für j ∈ F setzt man πj := P (X0 = j) und bezeichnet den Zeilenvektor π := (πj )kj=1 als die
Startverteilung der Markovkette.
(b) Für i ∈ F und n ∈ N0 mit P (Xn = i) > 0 setzt man
pij := P (Xn+1 = j | Xn = i).
Weil die Markovkette homogen ist, hängt pij nicht von n ab. Die Matrix
M := (pij )ki,j=1
bezeichnet man als die Übergangsmatrix der Markovkette.
3.5. Bemerkung. Unter den Voraussetzungen von 3.4 ist die Startverteilung π der Markovkette
(Xn )n∈N0 ein stochastischer Vektor, und die Übergangsmatrix M ist eine stochastische Matrix.
S
Dabei folgt die erste Aussage aus Ω = {X0 ∈ F } = kj=1 {X0 = j}. Die zweite folgt analog, da
für i ∈ F und n ∈ N mit P (Xn = i) > 0 die bedingte Wahrscheinlichkeit A 7→ P (A | Xn = i)
ein Wahrscheinlichkeitsmaß auf A ist.
Der folgende Satz zeigt, dass die Startverteilung π und die Übergangsmatrix M einer homogenen Markovkette (Xn )n∈N0 bereits das Verhalten der Markovkette festlegen.
3.6. Satz. Sei (Xn )n∈N eine homogene Markovkette mit minimalem Zustandsraum F = {1, . . . , k}
auf dem Wahrscheinlichkeitsraum (Ω, A, P ) mit Startverteilung π und Übergangsmatrix M .
Dann gilt für n ∈ N0 und i0 , i1 , . . . , in ∈ F :
(3.1)
P (X0 = i0 , X1 = i1 , . . . , Xn = in ) = πi0 pi0 i1 · · · pin−1 in .
Beweis. Um die Aussage durch Induktion nach n ∈ N0 zu beweisen, bemerken wir zunächst,
dass sie für n = 0 nach Definition der Startverteilung π richtig ist. Nehmen wir an, dass (3.1) für
n ∈ N0 bereits bewiesen ist und fixieren wir i0 , . . . , in+1 ∈ F , so sind zwei Fälle zu unterscheiden:
1. Fall: P (X0 = i0 , . . . , Xn = in ) 6= 0.
6
K. JANSSEN, H. KLINGER UND R. MEISE
Dann erhält man aus der Definition bedingter Wahrscheinlichkeiten, der Markov-Bedingung
(2.1) und der Induktionsannahme
P (X0 = i0 , . . . , Xn+1 = in+1 )
= P (Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) · P (Xn = in , . . . , X0 = i0 )
= P (Xn+1 = in+1 | Xn = in ) · πi0 pi0 i1 . . . pin−1 in = πi0 pi0 i1 . . . pin in+1 .
2. Fall: P (X0 = i0 , . . . , Xn = in ) = 0.
Dann gilt 0 ≤ P (X0 = i0 , . . . , Xn+1 = in+1 ) ≤ P (X0 = i0 , . . . , Xn = in ) = 0 und daher
P (X0 = i0 , X1 = i1 , . . . , Xn+1 = in+1 ) = 0 = πi0 pi0 i1 · · · pin in+1
auch in diesem Fall.
Der folgende Satz zeigt, dass man die Zähldichte der Verteilung von Xn aus der Startverteilung
und der Übergangsmatrix M berechnen kann.
3.7. Satz. Sei (Xn )n∈N eine homogene Markovkette mit minimalem Zustandsraum F = {1, . . . , k}
auf dem Wahrscheinlichkeitsraum (Ω, A, P ) mit Startverteilung π und Übergangsmatrix M .
Dann gilt für n ∈ N0 :
(3.2)
P (Xn = j) =
k
X
πi (M n )ij für alle j ∈ F.
i=1
Beweis. Um (3.2) durch Induktion zu beweisen, beachten wir, dass M 0 per Definition die k × kEinheitsmatrix ist. Daher gilt (3.2) für n = 0 nach Definition der Wahrscheinlichkeiten πi , 1 ≤
i ≤ k. Ist (3.2) für n ∈ N0 bereits bewiesen, so setzen wir
F 0 := {l ∈ F : P (Xn = l) 6= 0}.
Weil P ein Wahrscheinlichkeitsmaß auf A ist, folgt dann aus
[
˙
{Xn+1 = j} =
{Xn+1 = j, Xn = l},
l∈F
der Definition bedingter Wahrscheinlichkeiten und (3.2):
X
X
P (Xn+1 = j) =
P (Xn+1 = j, Xn = l) =
P (Xn+1 = j, Xn = l)
l∈F 0
l∈F
=
X
P (Xn = l)P (Xn+1 = j | Xn = l)
l∈F 0
=
=
X
k
X
l∈F 0
i=1
k
X
i=1
πi
!
n
πi (M )il
k
X
l=1
plj =
k
k
X
X
l=1
!
(M n )il plj
=
k
X
!
n
πi (M )il
plj
i=1
πi (M n+1 )ij .
i=1
In den bisherigen Betrachtungen sind wir davon ausgegangen, dass eine homogene Markovkette (Xn )n∈N0 mit minimalem endlichem Zustandsraum gegeben ist. Wie die Sätze 3.6 und 3.7
zeigen, sind dann wichtige Größen der Markovkette durch ihre Startverteilung π und ihre Übergangsmatrix M festgelegt. Daher ist die Vermutung naheliegend, dass es zu jedem stochastischen
Vektor π (der Länge k) und jeder stochastischen k × k-Matrix M eine Markovkette (Xn )n∈N0
gibt, so dass π deren Startverteilung und M deren Übergangsmatrix ist. Diese Vermutung ist
richtig, allerdings kann man sie nur dann elementar beweisen, wenn man sich auf einen endlichen Zeithorizont N ∈ N0 beschränkt. Will man eine Markovkette (Xn )n∈N0 mit ganz N0 als
MARKOVKETTEN
7
Parameterbereich für die Zeit konstruiueren, so ist erheblicher maßtheoretischer Aufwand nötig.
Im Folgenden stellen wir beide Aspekte vor.
3.8. Lemma. Für k ∈ N, k ≥ 2, seien π = (πj )kj=1 ein stochastischer Vektor, M = (pij )ki,j=1 eine
stochastische Matrix und N ∈ N0 gegeben. Dann gelten folgende Aussagen für F = {1, . . . , k}.
(a) Es gibt ein Wahrscheinlichkeitsmaß QN auf (F N +1 , P(F N +1 )), dessen Zähldichte gegeben
ist durch
qi0 ,...,iN := πi0 pi0 i1 · · · piN −1 iN für (i0 , i1 , . . . , iN ) ∈ F N +1 .
(b) Für 0 ≤ n ≤ N sei Yn : F N +1 → F definiert durch Yn (i0 , . . . , iN ) = in . Dann gelten:
(i) QN (Y0 = j) = πj für jedes j ∈ F .
(ii) QN (Yn+1 = j | Yn = i) = pij für i, j ∈ F und n < N mit QN (Yn = i) > 0.
(c) Für jedes n < N und jedes (i0 , . . . , in+1 ) ∈ F n+2 mit QN (Y0 = i0 , . . . , Yn = in ) > 0 gilt
QN (Yn+1 = in+1 | Yn = in , . . . , Y0 = i0 ) = QN (Yn+1 = in+1 | Yn = in ).
Beweis. (a) Offenbar ist qi0 ,...,iN ≥ 0 für jede Wahl von i0 , . . . , iN in F . Es bleibt zu zeigen,
dass all diese Zahlen sich zu 1 aufsummieren. Dies folgt durch vollständige Induktion, da das
Produkt eines stochastischen Zeilenvektors mit einer passenden stochastischen Matrix wiederum
ein stochastischer Zeilenvektor ist:
k
k
X
X
Induktionsanfang N = 0:
qi =
πi = 1.
i=1
i=1
Induktionsschluss von N auf N + 1: Weil M eine stochastische Matrix ist, folgt aus der Induktionsannahme:
X
X
X
qi0 ,...,iN +1 =
qi0 ,...,iN
piN iN +1 = 1.
(i0 ,...,iN +1 )∈F N +2
iN +1 ∈F
(i0 ,...,iN )∈F N +1
(b), (c) Offenbar ist {Y0 = j} = {(j, i1 , . . . , iN ) : i1 , . . . , iN ∈ F }. Weil mit M auch M N eine
stochastische Matrix ist, gilt daher
QN (Y0 = j) =
X
πj · pj i1 · · · piN −1 iN =
i1 ,...,iN ∈F
k
X
πj (M N )jν = πj .
ν=1
Für n < N und i0 , . . . , in+1 ∈ F gilt offenbar
{Y0 = i0 , . . . , Yn+1 = in+1 } = {(i0 , . . . , iN ) : in+2 , . . . , iN ∈ F }.
Daher erhält man aus dem obigen Argument durch Induktion nach n:
X
QN (Y0 = i0 , . . . , Yn+1 = in+1 ) =
πi0 · pi0 i1 · · · piN −1 iN
in+2 ,...,iN ∈F
=
(3.3)
k
X
πi0 · pi0 i1 · · · pin in+1 (M N −n−1 )in+1 ,ν = πi0 · pi0 i1 · · · pin in+1 .
ν=1
Ist QN (Y0 = i0 , . . . , Yn = in ) > 0, so folgt aus der Definition der bedingten Wahrscheinlichkeit
und (3.3)
QN (Yn+1 = in+1 | Yn = in , . . . , Y0 = i0 ) =
QN (Yn+1 = in+1 , . . . , Y0 = i0 )
= pin in+1 .
QN (Yn = in , . . . , Y0 = i0 )
Ist QN (Yn = i) > 0, so folgt analog aus (3.3)
QN (Yn+1
QN (Yn+1 = j, Yn = i)
= j | Yn = i) =
=
QN (Yn = i)
P
i ,...,in−1 ∈F
0
P
πi0 · pi0 i1 · · · pin−1 i · pij
i0 ,...,in−1 ∈F
πi0 · pi0 i1 · · · pin−1 i
= pij .
8
K. JANSSEN, H. KLINGER UND R. MEISE
Nach dieser elementaren Konstruktion von ”Markovketten mit endlichem Zeithorizont” soll
nun skizziert werden, wie man Markovketten zum Zeitbereich N0 konstruiert. Dies ist nicht
mehr elementar möglich, sondern erfordert den gleichen maßtheoretischen Aufwand wie die
Konstruktion des Borel-Lebesgue-Maßes.
3.9. Theorem. Seien F eine endliche Menge mit k-Elementen, π ein stochastischer k-Vektor
und M eine stochastische k × k-Matrix. Dann existiert ein Wahrscheinlichkeitsraum (Ω, A, P )
sowie eine darauf definierte Folge (Xn )n∈N0 von Zufallsvariablen mit Werten in F , so dass
(Xn )n∈N0 eine homogene Markovkette mit Startverteilung π und Übergangsmatrix M ist.
Beweisskizze. a) Konstruktion von Ω, (Xn )n∈N0 und A:
Sei Ω = F N0 = {(in )n∈N0 : in ∈ F für alle n ∈ N0 } der Raum aller ”möglichen Verläufe” der
gesuchten Markovkette. Ω ist nicht abzählbar für k > 1 (wie man z.B. aus der dyadischen
Entwicklung der reellen Zahlen in (0, 1) folgert). Wir definieren für n ∈ N0 die Abbildung
Xn : Ω → F als die Projektion auf die n-te Komponente, d.h. für ω = (iν )ν∈N0 ∈ Ω ist
Xn (ω) = in .
Für N ∈ N0 sei
[
{X0 = i0 , . . . , XN = iN } : A ∈ P(F N +1 )}.
AN := {
(i0 ,...,iN )∈A
Man sieht leicht: AN ist die kleinste σ-Algebra von Teilmengen von Ω, so dass die Abbildungen
X
Sn mit n ≤ N messbarSsind. Die zu konstruierende σ-Algebra A ⊂ P(Ω) muss also mindestens
N ∈N0 AN enthalten.
N ∈N0 AN ist selber keine σ-Algebra, aber es existiert eine kleinste σAlgebra A mit AN ⊂ A für alle N ∈ N0 . Bezüglich dieser σ-Algebra A ist dann jedes Xn eine
Zufallsvariable.
b) Konstruktion von P : Man sieht leicht, dass für N ∈ N0 durch ”Transport der Struktur” das
Wahrscheinlichkeitsmaß QN (aus Lemma 3.8) auf (F N +1 , P(F N +1 )) in ein Wahrscheinlichkeitsmaß PN auf (Ω, AN ) überführt wird gemäß PN ((X0 , . . . , XN ) ∈ A) := QN (A) für A ∈ P(F N +1 ).
Dieses Wahrscheinlichkeitsmaß ist festgelegt durch
PN (X0 = i0 , . . . , XN = iN ) = πi0 · pi0 i1 · · · piN −1 iN für alle i0 , . . . , iN ∈ F.
Offenbar verhalten sich die Zufallsvariablen X0 , . . . , XN bezüglich PN genauso wie die Zufallsvariablen Y0 , . . . , YN aus Lemma 3.8 bezüglich QN .
Überdies ist AN ⊂ AN +1 und die Restriktion von PN +1 auf AN ist gleich PN wegen
PN +1 (X0 = i0 , . . . , XN = iN ) =
k
X
PN +1 (X0 = i0 , . . . , XN = iN , XN +1 = j)
j=1
=
k
X
πi0 · pi0 i1 · · · piN j = πi0 · pi0 i1 · · · piN −1 iN
j=1
= PN (X0 = i0 , . . . , XN = iN ),
Pk
da j=1 piN j = 1 gilt.
Somit bleibt ”nur noch” zu zeigen: Auf (Ω, A) existiert ein Wahrscheinlichkeitsmaß P für dessen
Restriktion P |AN = PN gilt. Dies lässt sich in der Tat mit einigem Aufwand zeigen, z.B. durch
Anwendung des Fortsetzungssatzes von Caratheodory (vgl. Bauer [1], Satz I.5.6).
3.10. Bemerkung. Ist das Borel-Lebesgue-Maß auf R bekannt, so lässt sich eine Markovkette
zu gegebenem stochastischem Vektor π = (πi )ki=1 und gegebener stochastischer Matrix M =
(pij )ki,j=1 elementar wie folgt konstruieren (siehe Behrends [2], Remark auf S. 8): Als Wahrscheinlichkeitsraum wählt man Ω = [0, 1[ versehen mit der σ-Algebra
A = σ({[a, b[: 0 ≤ a < b < 1})
MARKOVKETTEN
9
der borelschen Mengen und dem Borel-Lebesgue-Maß P auf (Ω, A).
Wir zerlegen zunächst [0, 1[ in k disjunkte Intervalle A1 , . . . , Ak der Länge π1 , . . . , πk und definieren X0 : Ω → {1, . . . , k} durch X0 (ω) = i für ω ∈ Ai . Offenbar ist dann P (X0 = i) = P (Ai ) = πi
für 1 ≤ i ≤ k. Anschließend zerlegen wir jedes Intervall Ai der Länge πi in Teilintervalle Aij
der Länge πi pij für 1 ≤ j ≤ k. Durch Fortführen dieses Verfahrens konstruiert man induktiv
zu n ∈ N und i0 , . . . , in ∈ {1, . . . , k} Intervalle Ai0 i1 ···in der Länge πi0 · pi0 i1 · · · pin−1 in und definiert Xn (ω) := in für ω ∈ Ai0 i1 ...in . Man rechnet leicht nach, dass (Xn )n≥0 eine homogene
Markovkette zur Startverteilung π und Übergangsmatrix M ist.
3.11. Beispiel. Wir nehmen nun die Fragestellung aus Beispiel 2.9 wieder auf. Die Angaben in
dem dortigen Zustandsdiagramm liefern die stochastische Matrix


q p 0
M = (pij )i,j=1,2,3 = q 0 p .
q p 0
Nach Theorem 3.9 gibt es zu jeder Startverteilung π = (πi )ki=1 und jeder stochastischen Matrix
M = (pij )ki,j=1 einen Wahrscheinlichkeitsraum (Ω, A, P ) und eine darauf definierte homogene
Markovkette (Xn )n∈N0 , deren Übergangsmatrix M ist. Weil nach Satz 3.7 die Wahrscheinlichkeit
P (Xn = j) mithilfe der Matrix M n aus der Startverteilung π berechnet werden kann, benutzen
wir MAPLE, um M 10 , M 20 und M 30 zu berechnen. Wir erhalten für p = q = 12

M 10

0.5000000000 0.3330078125 0.1669921875
=  0.5000000000 0.3339843750 0.1660156250 
0.5000000000 0.3330078125 0.1669921875

M 20

0.5000000000 0.3333330154 0.1666669846
=  0.5000000000 0.3333339691 0.1666660309 
0.5000000000 0.3333330154 0.1666669846

M 30

0.5000000000 0.3333333330 0.1666666670
=  0.5000000000 0.3333333340 0.1666666660 
0.5000000000 0.3333333330 0.1666666670
Diese Rechnung legt die Vermutung nahe, dass die Folge (M n )n∈N gegen eine Grenzmatrix M ∞
konvergiert, in der alle Zeilen aus dem gleichen stochastischen Vektor bestehen. Um die Bedeutung dieses Vektors experimentell zu klären, benutzen wir eine Simulation der Markovkette,
um für R-malige Realisierungen der Kette bei gegebener endlicher Länge zu bestimmen, wie
häufig im Mittel der Zustand j vorliegt. Die Simulation zeigt bei großem R, dass die relativen
Häufigkeiten sehr dicht bei den entsprechenden Komponenten der Zeilen von M ∞ liegen. Damit
haben wir in einem Beispiel einen Sachverhalt beobachtet, welcher ein Spezialfall des folgenden
Satzes ist.
3.12. Satz. Sei M = (pij )ki,j=1 eine stochastische Matrix, zu der es ein ν ∈ N gibt, so dass alle
Elemente von M ν positiv sind. Dann gelten die folgenden Aussagen:
(a) Es gibt genau einen stochastischen Zeilenvektor z mit der Eigenschaft z = zM .
(b) Die Folge (M n )n∈N konvergiert komponentenweise gegen die stochastische Matrix M ∞ ,
deren Zeilenvektoren alle gleich dem Vektor z aus (a) sind.
10
K. JANSSEN, H. KLINGER UND R. MEISE
(c) Ist (Xn )n∈N0 eine homogene Markovkette mit der Übergangsmatrix M und der Startverteilung π = (δi0 i )ki=1 für ein i0 mit 1 ≤ i0 ≤ k, und definiert man die Zufallsvariable T
durch
T := inf{n ∈ N : Xn = i0 },
so gilt für den Erwartungswert E(T ) von T und z aus (a):
1
E(T ) =
.
zi0
Beweis: Siehe Krengel [9] 16.1 und 17.9.
Die Zufallsvariable T aus 3.12 (c) wird als Wiederkehrzeit in den Startpunkt bezeichnet. Ist
(Xn )n∈N0 eine homogene Markovkette mit der Übergangsmatrix M und der Startverteilung z
mit z = zM , so nennt man z auch stationäre Verteilung von (Xn )n∈N0 . Denn nach Satz 3.7
stimmt für jedes n ∈ N die Verteilung der Zufallsvariablen Xn mit z überein, d. h. es gilt
(P (Xn = j))kj=1 = z.
3.13. Bemerkung. Der Satz 3.12 liefert die theoretische Bestätigung für die bei der Simulation
beobachteten Ergebnisse. Denn setzt man p := q := 21 bei der in Beispiel 3.11 angegebenen
Matrix, so berechnet sich der stochastische Zeilenvektor z aus Satz 3.12 (a) als z = ( 21 , 13 , 16 ).
Nach dem Gesetz der großen Zahlen folgt daher aus Satz 3.12 (c) (s. auch Bemerkung 4.2), dass
das System nach Start im Zustand i im langfristigen Mittel nach z1i Schritten erstmals wieder
im Zustand i sein wird für i = 1, 2, 3. Konkret heißt dies, dass das System sich etwa zur Hälfte
aller Zeiten im Zustand 1, zu einem Drittel aller Zeiten im Zustand 2 und nur zu einem Sechstel
aller Zeiten im Zustand 3 befinden wird. Damit ist die in Beispiel 2.9 gestellte Frage beantwortet
und zugleich eine Methode zur Berechnung der Antwort aufgezeigt.
3.14. Bemerkung. Beispiel 3.11 kann man auch als die Modellierung der folgenden Frage ansehen:
Wenn man eine Münze mit den Seiten K (für Kopf) und Z (für Zahl) beliebig oft wirft, wie häufig
wird man dann im Mittel das Muster KK beobachten, wenn man nach jedem Auftreten des
Musters mit der Zählung neu beginnt? Dabei soll 0 < p < 1 die Wahrscheinlichkeit dafür
angeben, dass Kopf fällt, während q = 1 − p die Wahrscheinlichkeit für Zahl angibt.
Um diese Fragestellung auf die Markovkette aus Beispiel 3.11 zu reduzieren, setzen wir F :=
{1, 2, 3} und interpretieren diese Zustände so: Der Zustand 1 liegt vor, wenn Z fällt. Der Zustand
2 liegt vor, wenn K fällt, aber zuvor Z gefallen war. Der Zustand 3 liegt vor, wenn K fällt, davor
auch K fiel, aber davor Z oder eine gerade Anzahl von Köpfen K gefallen war. Wie man sich
leicht klar macht, erhält man dann als Übergangsmatrix gerade die Matrix aus Beispiel 3.11.
Daher kann man das in 3.13 angegebene Verfahren auch dazu benutzen, um die eingangs gestellte
Frage zu beantworten. Präziser: Ist z der stochastische Zeilenvektor mit der Eigenschaft z = zM
aus 3.12 (a) für gegebenes p, so beträgt die Wartezeit auf das Muster KK im Mittel z13 . Für
p = q = 12 erhält man daher die mittlere Wartezeit 6.
4. Muster bei Münzwurfserien, Wartezeiten
In diesem Abschnitt wollen wir uns mit der Bestimmung von Wartezeiten für das Auftreten eines Musters bei homogenen Markovketten beschäftigen. Dazu führen wir die erzeugende
Funktion einer Zufallsvariablen mit Werten in N0 ∪ {∞} ein und zeigen, wie man mit ihrer
Hilfe Wartezeiten berechnen kann. Dieses Verfahren liefert interessante Querverbindungen zur
linearen Algebra und der Analysis und ist darüberhinaus auch in allgemeineren Situationen anwendbar. Ein Beispiel für eine derartige Anwendung ist die Bestimmung der Wartezeit bis zum
Auftreten eines bestimmten Musters in einem DNA-Strang, wie es in Example 9.1 in Lange [10]
beschrieben wird. In den hier behandelten einfachen Beispielen kann man die Wartezeiten auch
elementar berechnen, indem man Rekursionsformeln oder Folgen unabhängig identisch verteilter
MARKOVKETTEN
11
Zufallsvariablen verwendet. Wir gehen darauf in den Bemerkungen 4.4, 4.8 und 4.11 kurz ein, um
auch andere Berechnungsweisen vorzustellen. Dieser Zugang wird in Henze [6] zur Untersuchung
komplizierter Muster gewählt.
4.1. Warten auf Muster bei Münzwurfserien. Wird eine Münze unabhängig wiederholt
geworfen und das Ergebnis notiert, so erhält man eine Folge, die etwa so aussieht:
Z, K, Z, Z, K, Z, K, K, K, Z, Z, K, Z, K, K, Z, Z, Z, Z, K, K, Z, . . . .
Diese Folgen interpretieren wir als Realisierungen von unabhängigen identisch verteilten Zufallsvariablen. Damit wir einen geeigneten Wahrscheinlichkeitsraum (ΩW , AW , PW ) aus Abschnitt 3
herleiten können, interpretieren wir die Folge als Realisierung
einer
Markovkette (Wn )n∈N0 mit
q p
dem Zustandsraum {Z, K} zu der stochastischen Matrix
, p + q = 1, wobei q die Wahrq p
scheinlichkeit für Z und p die für K ist. Als Startverteilung für die Kette (Wn )n∈N0 nehmen wir
πZ = 1, πK = 0. Wir interessieren uns für die Wartezeit auf das Muster KK bzw. KZ. Präzise
formuliert sei
TKK := inf{n ∈ N : Wn = K und Wn−1 = K},
TKZ := inf{n ∈ N : Wn = Z und Wn−1 = K}.
Wegen W0 = Z gelten offenbar TKK ≥ 2 und TKZ ≥ 2.
Dann sind die folgenden Fragen naheliegend:
(a) Auf welches der Muster KK oder KZ muss man im Mittel länger warten?
(b) Wenn man darauf wetten soll, welches der Muster KK oder KZ in einer Serie zuerst
erscheint, ist es dann günstiger auf KK oder auf KZ zu wetten?
4.2. Experimente zur Beantwortung der Fragen. Diese Fragen kann man für p = q = 1/2
durchaus experimentell angehen, indem man zunächst Vermutungen aufstellt und dann mehrfach
auf unabhängige Weise Münzwurfserien produziert. Realisiert man R solche Münzwurfserien, so
(r)
beobachtet man im r-ten Experiment die Wartezeit tKK bis zum erstmaligen Auftreten des
(r)
Musters KK (bzw. tKZ bis zum Muster KZ) für 1 ≤ r ≤ R. Die hieraus sich ergebenden
mittleren Wartezeiten
R
R
1 X (r)
1 X (r)
tKK :=
tKK bzw. tKZ :=
tKZ
R
R
r=1
r=1
können nach dem Gesetz der großen Zahlen (für die unabhängig identisch verteilten Zufallsva(r)
(r)
riablen TKK bzw. TKZ ) für großes R als Näherungswert für die Erwartungswerte E(TKK ) bzw.
E(TKZ ) angesehen werden.
In der konkret oben angegebenen Ergebnisfolge ist tKK = 7, tKZ = 2 (wenn man das erste Z
als den vorgegebenen Startzustand Z zur Zeit 0 interpretiert).
Die Simulation am Computer liefert für R = 1000:
(a) tKK ∼ 6, tKZ ∼ 4.
(b) Wetten auf KK und KZ scheint in etwa gleich günstig zu sein.
Letzteres kann man leicht wie folgt erklären: Man betrachte die Münzwurfserie bis zu dem
Zeitpunkt, an dem erstmalig Kopf fällt; im nächsten Zeitpunkt fällt dann jeweils mit Wahrscheinlichkeit 1/2 Kopf oder Zahl, und das Spiel ist entschieden.
Um die Erwartungswerte E(TKK ) und E(TKZ ) exakt zu berechnen, modellieren wir zunächst
die Experimente und stellen dann ein allgemeines Verfahren vor, mit welchem wir in 4.7 und
4.10 unten E(TKK ) und E(TKZ ) bestimmen.
4.3. Modellierung. Wir interessieren uns zunächst nur für die wahrscheinlichkeitstheoretischen
Aussagen über die Wartezeit TKK bis zum erstmaligen Auftreten eines Doppelkopfes, d.h., des
12
K. JANSSEN, H. KLINGER UND R. MEISE
Musters KK.
Dazu gehen wir nun abweichend von Beispiel 3.11 so vor, dass wir nach Erreichen des ersten
Doppelkopfes in diesem Zustand verharren. Wir betrachten also den Zustandsraum F := {1, 2, 3}
mit folgender Interpretation: Das System befindet sich
im Zustand 1, falls das Muster KK zuvor noch nicht aufgetreten ist und Zahl fällt;
im Zustand 2, falls das Muster KK zuvor noch nicht aufgetreten ist, zuletzt Zahl fiel
und jetzt Kopf fällt;
im Zustand 3, falls das Muster KK bereits aufgetreten ist oder falls K fällt und damit
das Muster KK auftritt.
Die in 4.1 angegebene Folge von Z − K-Symbolen übersetzt sich dann in die Folge
1, 2, 1, 1, 2, 1, 2, 3, 3, . . .
Die so entstehende Folge lässt sich als Realisierung einer Folge (Xn )n∈N0 von Zufallsvariablen interpretieren. Man bestimmt leicht die Matrix M = (pij )3ij=1 der Übergangswahrscheinlichkeiten
pij := P (Xn+1 = j | Xn = i) gemäß


q p 0
M =  q 0 p ,
0 0 1
wobei 0 < p < 1 als Wahrscheinlichkeit eines Kopfwurfes gegeben ist und q := 1 − p gesetzt
wird. Es ist anschaulich klar und lässt sich auch nachrechnen, dass die Folge (Xn )n∈N0 in der
Tat eine Markovkette zur Startverteilung π1 := 1, π2 := 0, π3 := 0 und Übergangsmatrix M
ist.
Die Wartezeit TKK bis zum erstmaligen Auftreten des Musters KK übersetzt sich nun in eine
Zufallsvariable T3 für diese Markovkette gemäß
T3 := inf{n ∈ N0 : Xn = 3},
und statt die Verteilung oder den Erwartungswert für TKK mithilfe des Modells aus 4.1 zu
bestimmen, kann man dies für die nun vorliegende Markovkette bzgl. T3 tun. Dies werden wir
anschließend durchführen.
4.4. Bemerkung. Es lässt sich ”leicht” eine Rekursionsformel für pn := P (TKK = n) aufstellen:
Offenbar ist p0 = p1 = 0, p2 = P (TKK = 2) = p2 . Für n ≥ 3 tritt das Ereignis {TKK = n}
genau dann ein, wenn gilt:
(i) im ersten Wurf fällt Zahl, anschliessend muss man n−1 Würfe bis zum ersten Doppelkopf
warten oder
(ii) im ersten Wurf fällt Kopf, im zweiten Wurf fällt Zahl und anschliessend muss man n − 2
Würfe bis zum nächsten Doppelkopf warten,
also ist pn = qpn−1 + pqpn−2 .
Speziell für den Fall p = q = 1/2 ergibt sich für fn−1 := 2n pn die Rekursionsformel
fn+1 = fn + fn−1
(n ≥ 1).
Dann gelten f0 = 0 und f1 = 1. Aufgrund der Rekursionsformel ist (fn )n∈N0 daher die Folge der
Fibonacci-Zahlen (vgl. auch Humenberger [7] für mehr Details).
Wir wollen nun die Berechnung von Wartezeiten systematisch angehen und führen dazu das
Konzept der erzeugenden Funktion für Zufallsvariable mit Werten in N0 ∪ {∞} ein.
4.5. Erzeugende Funktionen. Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum und
T = Ω → N0 ∪ {∞}
MARKOVKETTEN
13
eine Zufallsvariable. Man definiert die zu T assoziierte erzeugende Funktion f durch
(4.1)
f (x) :=
∞
X
P (T = n)xn ,
|x| ≤ 1.
n=0
Aus dem Weierstraßschen Majorantenkriterium folgt die gleichmäßige Konvergenz der Reihe.
Daher ist f auf [0, 1] stetig, und es gilt
(4.2)
f (1) =
∞
X
P (T = n) = P (T < ∞) = 1 − P (T = ∞).
n=0
Insbesondere ist P (T = ∞) = 0 äquivalent zu f (1) = 1. Kann man f und damit auch seine
Taylorreihe konkret bestimmen, so erhält man dann sogar die Verteilung von T , d. h., P (T = n)
für n ∈ N0 ∪ {∞}.
Um den Erwartungswert von T zu berechnen, beachten wir, dass man für Funktionen, welche
durch Potenzreihen dargestellt werden, die Ableitung im Inneren des Konvergenzkreises durch
gliedweises Differenzieren erhält. Daher gilt
0
f (x) =
∞
X
nP (T = n)xn−1 ,
|x| < 1.
n=1
Aus dem Abelschen Grenzwertsatz folgt nun
f 0 (1) =
∞
X
nP (T = n).
n=1
Ist P (T = ∞) = 0, so gilt daher
(4.3)
E(T ) =
∞
X
nP (T = n) = f 0 (1).
n=1
Folglich kann man E(T ) berechnen, wenn man eine auswertbare Darstellung für f 0 findet.
Erzeugende Funktionen sind oft ein sehr nützliches Hilfsmittel zur Untersuchung von Zufallsvariablen mit Werten in N0 ∪ {∞}. Einige Aussagen und Beispiele dazu findet man in Chapter
XI von Feller [4] und Abschnitt 4 von Engel [3].
4.6. Satz. Sei M = (pij )ki,j=1 eine stochastische Matrix mit pkk = 1 und π = (δνi )ki=1 für ein ν
mit 1 ≤ ν < k. Ist (Xn )n∈N0 gemäß Theorem 3.9 eine Markovkette mit Übergangsmatrix M und
Startverteilung π, und definiert man die Zufallsvariable T durch
T := inf{n ∈ N0 : Xn = k},
so gilt für die erzeugende Funktion f von T :
f (x) = (1 − x) (I − xM )−1
νk
, |x| < 1.
Beweis. Aufgrund der Wahl von π folgt aus Satz 3.7
P (Xn = k) =
k
X
n
πi (M n )ik = (M n )νk =: Mνk
.
i=1
0 = I
Wegen ν 6= k gilt Mνk
νk = 0 und daher P (T = 0) = 0. Ferner gilt P (T ≤ n) = P (Xn = k)
für n ≥ 1. Indem man diese Aussagen verwendet, erhält man für die erzeugende Funktion f der
14
K. JANSSEN, H. KLINGER UND R. MEISE
Zufallsvariablen T und |x| < 1:
f (x) =
(4.4)
=
∞
X
n=0
∞
X
n
P (T = n)x =
∞
X
(P (T ) ≤ n) − P (T ≤ n − 1))xn
n=1
n n
Mνk
x
−
n=1
= (1 − x)
∞
X
n−1 n
Mνk
x
=
n=1
∞
X
∞
X
n n
Mνk
x
−x
n=1
n n
Mνk
x = (1 − x)
n=1
∞
X
∞
X
n n
Mνk
x
n=1
n n
Mνk
x .
n=0
Nun beachten wir, dass für jede k × k-Matrix A und x ∈ R gilt
!
!
m
m
X
X
n
n
(4.5)
(I − xA)
(xA)
=
(xA) (I − xA) = I − xm+1 Am+1 .
n=0
n=0
Weiß man zusätzlich, dass die folgende Voraussetzung erfüllt ist
(4.6)
es gibt C > 0, so dass |(An )ij | ≤ C für alle 1 ≤ i, j ≤ k, n ∈ N,
so folgt aus (4.5), dass für x mit |x| < 1 gilt
−1
(I − xA)
=
∞
X
(xA)n .
n=0
Diese Identität ist die Verallgemeinerung der geometrischen Reihe auf Matrizen. Weil mit M
auch M n eine stochastische Matrix ist, erfüllt M die Bedingung (4.6). Daher folgt aus (4.4)
(4.7)
f (x) = (1 − x)((I − xM )−1 )νk
und damit die Behauptung.
4.7. Folgerung. Die erzeugende Funktion f der Wartezeit TKK berechnet sich als
f (x) =
x2 p2
, |x| ≤ 1.
1 − xq − x2 qp
Ferner gelten P (TKK < ∞) = 1 und
E(TKK ) =
1
1
+ 2.
p p
Insbesondere gilt im Fall des fairen Münzwurfs (p = q = 12 )
E(TKK ) = 6.
Beweis. Wie die Überlegungen in 4.3 gezeigt haben, suchen wir E(TKK ) für die Markovkette
(Xn )n∈N0 mit der Übergangsmatrix


q p 0
M =  q 0 p
0 0 1
und der Startverteilung π = (1, 0, 0). Nach Satz 4.6 gilt
f (x) = (1 − x) (I − xM )−1 .
13
Die Inverse der Matrix (I − xM ) läßt sich leicht direkt berechnen (oder auch mit Hilfe von
MAPLE ermitteln). Setzt man r := x2 qp + xq − 1, so erhält man
MARKOVKETTEN

(I − xM )−1 =
−1
−xp
15
−x2 p2 /(1 − x)


1
−1 xq − 1 (xq − 1)xp/(1 − x)


r
0
0
r/(1 − x)
und daher
x2 p2
x2 p2
=− 2
.
r
x qp + xq − 1
Die zweite Aussage folgt nun aus (4.2), da
f (x) = −
P (TKK < ∞) = f (1) =
p2
p2
=
= 1.
1 − q − pq
p − pq
Wegen
f 0 (x) =
xp2 (2 − xq)
(x2 qp + xq − 1)2
gilt daher nach (4.3)
E(TKK ) = f 0 (1) =
Für p =
1
2
p2 (1 + p)
1
1
p2 (1 + p)
=
= + 2.
((1 − p)p + 1 − p − 1)2
p4
p p
erhält man hieraus
E(TKK ) = 2 + 4 = 6.
4.8. Bemerkung. Setzt man pn := P (TKK = n) für n ∈ N0 , so sieht man direkt p0 = p1 = 0 und
p2 = p2 . Aus der Gleichung für f in Folgerung 4.7 folgt
f (x) = p2 x2 + qxf (x) + qpx2 f (x), x ∈ [0, 1].
Hieraus erhält man über die Potenzreihendefinition von f durch Koeffizientenvergleich erneut
die Rekursionsgleichung
pn = qpn−1 + qppn−2 , n ≥ 3,
die wir auf anderem Wege bereits in der Bemerkung 4.4 hergeleitet hatten. Die Verteilung von
TKK lässt sich aus der Gestalt der erzeugenden Funktion f explizit bestimmen mittels Partialbruchzerlegung für f und Darstellung der Summanden als geometrische Reihen (vergl. Feller [4]
Chapter VI für die Durchführung dieses Programms in einigen speziellen Beispielen). Alternativ
kann man auch die Differenzengleichung für die (pn )n∈N0 mit den Anfangsbedingungen p1 = 0,
p2 = p2 lösen. Mit beiden Methoden gelangt man zum folgenden Ergebnis:
pn =
p2
((δ + γ)n−1 + (−1)n (δ − γ)n−1 ), n ≥ 1,
2δ
p
q
wobei γ := , δ := q 2 /4 + pq gesetzt wurde.
2
4.9. Bemerkung. Ist man nur an dem Erwartungswert E(TKK ) von TKK interessiert, so kann
man diesen mithilfe von Satz 3.12 auch einfacher auf die folgende Weise erhalten.
Zu F = {1, 2, 3}, der Matrix M aus der Bemerkung 3.11 mit p = q = 21 und dem stochastischen
Vektor π = (0, 0, 1) gibt es nach Theorem 3.9 einen Wahrscheinlichkeitsraum (Ω0 , A0 , P 0 ) und eine
homogene Markovkette (Yn )n∈N0 auf Ω0 , die π als Startverteilung und M als Übergangsmatrix
hat. Wie in 3.13 bemerkt wurde, gilt für z = (1/2, 1/3, 1/6) die Identität z = zM . Für
T30 := inf{n ∈ N : Yn = 3}
folgt daher aus Satz 3.12 (c)
E(T30 ) =
1
= 6.
z3
16
K. JANSSEN, H. KLINGER UND R. MEISE
Um hieraus den Erwartungswert E(TKK ) = E(T3 ) für die in 4.3 angegebene Markovkette zu
folgern, bemerken wir, dass für die zugehörigen Ketten (Xn )n∈N0 und (Yn )n∈N0 gilt
1
1
P 0 (Y1 = 1) = = P (X1 = 1) und P 0 (Y1 = 2) = = P (X1 = 2).
2
2
Daraus folgt induktiv, dass (Xn )n∈N und (Yn )n∈N bis zum erstmaligen Auftreten des Zustands
3 die gleiche Verteilung haben, und somit TKK genauso verteilt ist wie T30 .
4.10. Bemerkung. In ganz ähnlicher Weise kann man die erzeugende Funktion der Wartezeit
TKZ berechnen. Dazu modelliert man das entsprechende Problem mithilfe der Matrix


q p 0
M = 0 p q 
0 0 1
und der Startverteilung (1, 0, 0), wobei 0 < p < 1 die Wahrscheinlichkeit für einen Kopfwurf
angibt und q := 1 − p gesetzt ist.
Aus Satz 4.6 folgt nun durch Berechnung von (I − xM )−1 für die erzeugende Funktion g der
Wartezeit TKZ bis zum erstmaligen Auftreten des Musters KZ in zwei aufeinander folgenden
Würfen
pqx2
pqx(2 − qx − px)
g(x) =
und
g 0 (x) =
.
(1 − px)(1 − qx)
(1 − px)2 (1 − qx)2
Hieraus folgen P (TKZ < ∞) = 1 und
1 1
(4.8)
E(TKZ ) = + .
p q
Insbesondere gilt im Fall p = q = 21 :
E(TKZ ) = 4.
4.11. Bemerkung. Die Identität (4.8) läßt sich elementar auch dadurch herleiten, dass man TKZ
als Summe von zwei unabhängigen Zufallsvariablen interpretiert. Dazu beachten wir, dass man
für die gemäß 4.1 durch
q p
M=
q p
und die Startverteilung (1, 0) erzeugte Markovkette (Wn )n∈N0 das Ereignis {TKZ = n} auch
dadurch beschreiben kann, dass Wn−1 = K und Wn = Z gelten und für kein j < n Wj−1 = K
und Wj = Z ist.
Die Betrachtung aller Möglichkeiten liefert für n ∈ N
{TKZ = n} =
n−1
[
{W1 = Z, . . . , Wi−1 = Z, Wi = K, . . . , Wn−1 = K, Wn = Z}.
i=1
Dabei sind die in der Vereinigung auftretenden Ereignisse disjunkt. Deswegen gilt
P (TKZ = n) =
n−1
X
q
i−1
p
n−i
q=
i=1
n−1
X
q i pn−i .
i=1
Um diesen Ausdruck anders zu interpretieren, seien U und V unabhängige Zufallsvariable, für
die
P (U = i) = q i−1 p
und
P (V = j) = pj−1 q,
i, j ∈ N
gelten. Dann gilt für n ∈ N
P (U + V = n) =
n−1
X
i=1
P (U = i, V = n − i) =
n−1
X
i=1
P (U = i)P (V = n − i)
MARKOVKETTEN
=
n−1
X
q i−1 p pn−i−1 q =
i=1
n−1
X
17
q i pn−i = P (TKZ = n).
i=1
Folglich haben TKZ und U + V die gleiche Verteilung und somit auch die gleiche erzeugende
Funktion und den gleichen Erwartungswert. Wegen
∞
∞
∞
∞
X
X
X
X
1
1
=
E(U ) =
i q i−1 p =
i q i−1 (1 − q) =
(i q i−1 − i q i ) =
qi =
1−q
p
i=1
i=1
i=1
und
E(V ) =
∞
X
i=0
i pi−1 q =
i=1
1
q
folgt daher
E(TKZ ) = E(U + V ) = E(U ) + E(V ) =
1 1
+ .
p q
5. Markovketten mit abzählbarem Zustandsraum
In den Abschnitten 3 und 4 haben wir Markovketten mit endlichem Zustandsraum betrachtet.
Für viele Fragestellungen ist diese Annahme aber zu restriktiv, etwa für die Behandlung von
Irrfahrten oder Warteschlangen. Daher gehen wir nun auch auf abzählbare Zustandsräume ein
und betrachten zunächst ein Beispiel.
5.1. Beispiel. Mit einer Folge unabhängiger Münzwürfe verbinden wir das folgende Spiel: Ein
Spieler mit Anfangskapital Null und unbegrenztem Kredit erhält einen Euro, wenn Kopf geworfen wird. Fällt Zahl, so muß er einen Euro bezahlen. Mit Xn bezeichnen wir seinen Kontostand
zur Zeit n, also nach dem n-ten Wurf der Münze. Um eine Formel für Xn anzugeben, bezeichnen
wir mit An das Ereignis ”beim n-ten Wurf der Münze fällt Kopf”, mit Acn das Komplementärereignis und mit 1An bzw. 1Acn die entsprechenden Indikatorvariablen. Dann gilt X0 = 0 und
Xn = Xn−1 + 1An − 1Acn .
Hieraus erhält man rekursiv
Xn =
n
X
(1Ai − 1Aci ) = 2
i=1
n
X
1Ai − n, n ∈ N.
i=1
Geht man von einer fairen Münze aus, so gelten
1
P (Ai ) = P (Aci ) = .
2
Pn
1
Daher ist die Zufallsvariable i=1 1Ai gemäß B(n, 2 ) verteilt, d. h. es gilt
n
X
n 1
P(
1Ai = k) =
, 0 ≤ k ≤ n.
k 2n
i=1
Die Verteilung von Xn ergibt sich folglich durch
n 1
P (Xn = 2k − n) =
, 0 ≤ k ≤ n.
k 2n
Man kann auch eine multiplikative Variante dieses Spiels betrachten, indem man für geeignete
Parameter u > 1 > v definiert
X0 := 1 und Xn := Xn−1 · (u1An + v1Acn ) für n ≥ 1.
Derartige Varianten werden zur Simulation von Börsenkursen in dem Cox-Ross-RubinsteinModell benutzt (siehe Irle [8]).
18
K. JANSSEN, H. KLINGER UND R. MEISE
5.2. Bezeichnungen. Sei F eine abzählbare Menge, versehen mit der σ-Algebra P(F ) aller
Teilmengen von F . Eine Folge (Xn )n∈N0 von Zufallsvariablen auf einem Wahrscheinlichkeitsraum
(Ω, A, P ) mit Werten in F heißt homogene Markovkette, falls für i, j ∈ F und
pij := P (Xn+1 = j | Xn = i)
die Bedingung (2.1) aus Definition 2.8 gilt, und zwar unabhängig von n ∈ N0 , sofern P (Xn =
in , . . . , X0 = i0 ) 6= 0. Wir interpretieren
M := (pij )i,j∈F
wiederum als stochastische Matrix, nun allerdings mit unendlich vielen Zeilen und Spalten, falls
F nicht endlich ist. Den stochastischen Zeilenvektor π = (πj )j∈F , der durch πj := P (X0 = j),
j ∈ F , definiert wird bezeichnen wir als die Startverteilung der Markovkette (Xn )n∈N0 .
Wie man leicht nachprüft, kann man den in Abschnitt 3 eingeführten Matrixkalkül auch in der
allgemeineren Situation anwenden, wenn man beachtet, dass die dort auftretenden Summen in
absolut konvergente Reihen übergehen. Die Aussagen in 3.6 - 3.9 übertragen sich entsprechend
bei gleichbleibenden Beweisen.
5.3. Definition. Eine Markovkette (Xn )n∈N0 mit dem Zustandsraum Zd für ein d ∈ N heißt
Irrfahrt, falls es einen stochastischen Vektor (pj )j∈Zd gibt, so dass gilt
pij = pj−i , i, j ∈ Zd .
Man nennt (pj )j∈Zd die Sprungverteilung der Irrfahrt, da pj die Wahrscheinlichkeit dafür angibt,
dass man vom Zustand 0 ∈ Zd in den Zustand j ∈ Zd übergeht. Irrfahrten sind also dadurch
ausgezeichnet, dass die Übergangswahrscheinlichkeiten räumlich homogen sind.
5.4. Beispiel. Für d ∈ N definiere man p = (pj )j∈Zd durch

d
X

 1
|jk | = 1
, falls |j| :=
pj :=
2d
k=1


0
, sonst.
Dann wird durch die Übergangsmatrix
M = (pj−i )i,j∈Zd , π = (δ0j )j∈Zd
eine Markovkette (Xn )n∈N0 definiert, welche man als symmetrische Irrfahrt auf Zd bezeichnet.
Ist d = 1, so ist die symmetrische Irrfahrt auf Z offenbar eine Modellierung des Spiels, welches
wir in Beispiel 5.1 betrachtet haben.
5.5. Bemerkung. Viele Eigenschaften symmetrischer Irrfahrten auf Zd lassen sich elementar mit
Methoden der Wahrscheinlichkeitsrechnung herleiten (vgl. z.B. Feller [4], Chapter III) . Das Pfadverhalten der symmetrischen Irrfahrt auf Z kann man mit dem zugehörigen MAPLE-Programm
simulieren. Dabei fällt auf, dass sich die Pfade häufig recht lange auf einer Seite des Nullpunktes
aufhalten.
Ohne Beweis halten wir fest, dass Irrfahrten recht bemerkenswerte Eigenschaften haben.
5.6. Satz. Sei (Xn )n∈N0 eine allgemeine Irrfahrt in Zd mit Start in 0 ∈ Zd und Sprungverteilung
(pi )i∈Zd . Das Ereignis A und die Wiederkehrzeit T in den Startpunkt 0 seien definiert als
A := {Xn = 0 für unendlich viele n ∈ N},
T := inf{n ∈ N : Xn = 0}.
Ist p(0,...,0) 6= 1, so gelten die folgenden Aussagen:
MARKOVKETTEN
19
P
P
(a) Ist d = 1 oder d = 2 und gelten i∈Zd |i|2 p2i < ∞ sowie i∈Zd ipi = 0, so folgt P (A) = 1,
und es gilt E(T ) = ∞.
(b) Ist d ≥ 3, so gelten P (A) = 0 und limn→∞ |Xn | = ∞ fast sicher.
Für symmetrische Irrfahrten in Z und Z2 folgt aus Satz 5.6 (a), dass sie mit Wahrscheinlichkeit
1 unendlich oft in den Nullpunkt und damit auch in jeden anderen Punkt zurückkehren.
5.7. Beispiel. Wie die Simulationen der symmetrischen Irrfahrt (Xn )n∈N0 auf Z2 mittels MAPLE
zeigen, beobachtet man ab und zu, dass die Realisierung in vier aufeinander folgenden Schritten
die Ecken eines Quadrates mit Kantenlänge 1 im positiven oder negativen Drehsinn durchläuft.
Wir fragen uns, wie lange man im Mittel warten muss, bis dieser Effekt zum ersten Mal zu
beobachten ist. Präzise formuliert fragen wir also nach dem Erwartungswert der Zufallsvariablen
TQ := inf{n ∈ N : n ≥ 4, Xn−4 , Xn−3 , Xn−2 , Xn−1 , Xn bilden die Eckpunkte
eines orientierten Quadrates mit Kantenlänge 1 }.
Um E(TQ ) zu berechnen, benutzen wir wie bei der Bestimmung von E(TKK ) zwei verschiedene
Methoden.
5.8. Berechnung von E(TQ ).
(a) Mittels erzeugender Funktionen.
Dazu bemerken wir zunächst, dass die symmetrische Irrfahrt (Xn )n∈N0 auf Z2 bei Start in (0, 0)
verschiedene Teilmuster durchlaufen muss, bevor man das Muster “vollständiges Quadrat in
direktem Durchlauf“ beobachtet. Diese Teilmuster sind dadurch definiert, dass eine, zwei oder
drei Seiten eines orientierten Quadrates bereits durchlaufen wurden. Wir interpretieren diese
Teilmuster als die Zustände 1, 2 oder 3 und das orientierte Quadrat als den Zustand 4, und
definieren dann eine neue Folge (Yn )n∈N0 von Zufallsvariablen durch die folgende Vorschrift
(wobei u ⊥ v bedeutet, dass die Vektoren u und v zueinander senkrecht sind):
Y0 := 1 und für n ≥ 1:
Yn = 1, falls Yn−1 ≤ 3, Xn+1 − Xn = ±(Xn − Xn−1 )
Yn = 2, falls Yn−1 = 1 und (Xn+1 − Xn ) ⊥ (Xn − Xn−1 )
oder Yn−1 = 2 oder 3 und Xn+1 − Xn = Xn−1 − Xn−2
Yn = 3, falls Yn−1 = 2 und Xn+1 − Xn = −(Xn−1 − Xn−2 )
Yn = 4, falls Yn−1 = 3 und Xn+1 = Xn−3
oder Yn−1 = 4
Für eine konkrete Realisierung ergibt diese Vorschrift folgendes: Gilt z. B.
x0 = (0, 0), x1 = (1, 0), x2 = (1, 1), x3 = (0, 1), x4 = (1, 1), x5 = (2, 1), x6 = (2, 0) etc.
so ergibt sich
y0 = 1, y1 = 2, y2 = 3, y3 = 1, y4 = 1, y5 = 2 etc.
Auch wenn die Definition der Folge (Yn )n∈N0 kompliziert aussieht, so kann man doch zeigen,
dass (Yn )n∈N0 eine homogene Markovkette ist, welche den Zustandsraum F = {1, 2, 3, 4}, die
Startverteilung (δ1i )4i=1 und die Übergangsmatrix


1/2 1/2 0
0


 1/2 1/4 1/4 0 


M =

1/2
1/4
0
1/4


0
0
0
1
hat. Man setze
T := inf{n ∈ N : Yn = 4}.
20
K. JANSSEN, H. KLINGER UND R. MEISE
Bildet die Zustandsfolge Xn−3 , Xn−2 , . . . , Xn+1 ein vollständiges Quadrat in direktem Durchlauf,
so ist Yn = 4 (n ≥ 3). Daher gilt TQ = T + 1. Nach Satz 4.6 erhält man die erzeugende Funktion
f von T als
f (x) = (1 − x)(I − xM )−1
14 .
Wie die Rechnung mit MAPLE zeigt, gelten
f (x) =
−x3
−6x2 (x2 + 8x − 16)
0
und
f
(x)
=
x3 + 6x2 + 24x − 32
(x3 + 6x2 + 24x − 32)2
und daher wegen P (T = ∞) = 1 − f (1) = 0:
E(T ) = f 0 (1) = 42.
Wegen TQ = T + 1 erhalten wir schließlich
E(TQ ) = 43.
(b) Mittels Satz 3.12.
Ist man nur an E(TQ ) interessiert, so kann man die Aussage von Satz 3.12 benutzen, wenn man
die in Teil (a) angegebene Modellierung folgendermaßen modifiziert:
Hat man den Zustand 4 (also ein vollständiges Quadrat erreicht), so verharrt man nicht in
diesem Zustand, sondern fängt die Prozedur wieder von vorn an. Bei gleichem Zustandsraum
F = {1, 2, 3, 4} erhält man dann die Übergangsmatrix


1/2 1/2 0
0


 1/2 1/4 1/4 0 

.
M̃ = 

 1/2 1/4 0 1/4 
1
0
0
0
Zu dieser stochastischen Matrix betrachten wir gemäß Satz 3.9 die Markovkette (Ỹn )n∈N0 mit
der Startverteilung π = (0, 0, 0, 1) und setzen
T̃Q := inf{n ∈ N : Ỹn = 4}.
Dann hat T̃Q die gleiche Verteilung wie TQ . Weil alle Komponenten von M̃ 4 positiv sind, gibt
es nach Satz 3.12 den stochastischen Vektor z mit z = z M̃ . Wie die Berechnung mit Hilfe von
16 4 1
MAPLE zeigt, gilt z = ( 22
43 , 43 , 43 , 43 ). Daher folgt aus Satz 3.12 (c):
E(T̃Q ) = 43.
5.9. Bemerkung. Die Überlegungen in 4.2 gelten hier entsprechend, d.h., durch die Simulationen
der symmetrischen Irrfahrt bis zum ersten Auftreten eines Quadrates erhält man nach dem
Gesetz der großen Zahlen Näherungswerte für E(TQ ).
Literatur
[1]
[2]
[3]
[4]
[5]
H. Bauer: Maß- und Integrationstheorie, de Gruyter (1992)
E. Behrends: Introduction to Markov Chains, Vieweg (2000)
A. Engel: Wahrscheinlichkeitsrechnung und Statistik, Band 2, Klett Studienbücher Mathematik (1978)
W. Feller: An introduction to probability theory and its applications. Wiley (1957).
N. Henze: Stochastik für Einsteiger. Eine Einführung in die faszinierende Welt des Zufalls, 3. erweiterte
Auflage. Vieweg (2000).
[6] N. Henze: Muster in Bernoulli-Ketten. Stochastik in der Schule, Heft 2, Band 21 (2001), S. 2–10.
[7] H. Humenberger: Kopf-Adler-Muster in Münzwurfserien, unendliche Reihen und FIBONACCI-Zahlen, in
Beiträge zum Mathematikunterricht; 1999, Hrsg. Neubrand, Franzbecker (1999), S. 245–247.
[8] A. Irle: Finanzmathematik. Die Bewertung von Derivaten. Teubner Studienbücher (1998).
MARKOVKETTEN
21
[9] U. Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 5. neubearb. u. erw. Auflage. Vieweg
(2000).
[10] K. Lange: Mathematical and statistical methods for genetic analysis, Springer (1997).
Mathematisches Institut, Heinrich-Heine-Universität, Universitätsstraße 1, 40225 Düsseldorf,
Germany
E-mail address: [email protected]
E-mail address: [email protected]
E-mail address: [email protected]