7.4. Markovketten.

7.4. Markovketten. Ein stochastischer Prozeß 1 X = (Xt )0≤t<∞ wird Markovprozeß genannt, wenn in jedem Zeitpunkt s ≥ 0 die zukünftige Entwicklung, d.h.,
Xu , u > s, bei gegebenem gegenwärtigen Zustand Xs nicht von der Vergangenheit
Xu , u < s, abhängt. Die elementarsten Beispiele für solche Prozesse sind Markovketten, d.h. Markovprozesse in diskreter Zeit mit Werten in einem diskreten, d.h.,
höchstens abzählbaren Raum.
Definition. Ein stochastischer Prozeß 2 X = (Xn )n∈N0 in diskreter Zeit 3 mit
Werten in einem höchstens abzählbaren Zustandsraum 4 S heißt Markovkette, falls 5
(7)
P Xn+k = s′ | X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn
{z
} | {z }
| {z } |
Gegenwart
Zukunft
Vergangenheit
′
= P Xn+k = s |Xn = sn , n ∈ N0 , k ∈ N, s0 , s1 , . . . , sn , s′ ∈ S.
Zur Charakterisierung der zukünftigen Entwicklung einer Markovkette reicht
also die Kenntnis des gegenwärtigen Zustandes aus. Die Kenntnis der zeitlichen
Entwicklung in der Vergangenheit bringt in diesem Fall keinen Informationsgewinn.
Die Größen
Pn (s1 , s2 ) = P Xn+1 = s2 |Xn = s1 ,
s1 , s2 ∈ S, n ∈ N0 ,
heißen (1-Schritt-)Übergangswahrscheinlichkeiten. Sie werden zu den (1-Schritt-)
Übergangsmatrizen Pn = (Pn (s, s′ ))s,s′ ∈S , n ∈ N0 , zusammengefaßt. Eine Markovkette besitzt stationäre Übergangswahrscheinlichkeiten, falls Pn = P unabhängig
von n ist 6 7.
Im folgenden werden nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden.
Beispiel 1. Zum Parameter p ∈ (0, 1) seien Yn , n ∈ N, unabhängige, Bernoulliverteilte Zufallsvariable in {−1, 1}, d.h., mit P[Yn = 1] = 1 − P[Yn = −1] = p,
n ∈ N. Der Bernoulli-Prozeß 8 Y = (Yn )n∈N (mit Parameter p) ist eine Markovkette
mit Werten in S = {−1, 1}. Es gilt P (a, 1) = p, P (a, −1) = 1 − p, a ∈ S 9.
Pn
Beispiel 2. Die Irrfahrt 10 X = (Xn )n∈N0 , wobei Xn =
k=1 Yk , n ∈ N0 , für
die Zufallsvariablen Yn , n ∈ N, aus Beispiel 1, ist eine Markovkette mit Werten in
1
Vgl. Abschnitt 2.4.
2Die Zufallsvariablen X , n ∈ N , seien auf einem Wahrscheinlichkeitsraum (Ω, F, P) definiert.
n
0
3Als Menge aller Zeitpunkte kommt oft auch N oder Z vor.
4
Als abzählbare Menge wird S natürlich mit der σ-Algebra Pot(S) versehen.
5Stillschweigend sei darüberhinweggesehen, daß die linke Seite von (7) nur wohldefiniert ist,
wenn P[X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn ] > 0. In diesem Fall ist auch die rechte Seite von
(7) wohldefiniert und stimmt mit der linken Seite überein, wenn X eine Markovkette ist.
6In diesem Fall besitzt die Markovkette X eine zeitlich homogene Dynamik.
7
Man beachte, daß eine Markovkette mit stationären Übergangswahrscheinlichkeiten kein stationärer stochastischer Prozeß, vgl. Abschnitt 2.4.2, zu sein braucht. Für die in Abschnitt 2.4.1 und
dem folgenden Beispiel 2 beschriebene Irrfahrt in Z wird dies in Bemerkung (ii) in Abschnitt 2.4.2
demonstriert.
8Vgl. Abschnitt 2.4.1.
9Eine offensichtliche Verallgemeinerung dieses Prozesses für ein beliebiges diskretes S ist ζ =
(ζn )n∈N , wobei ζn , n ∈ N, unabhängige, identisch verteilte S-wertige Zufallsvariablen sind.
10
Vgl. Abschnitt 2.4.1.
1
2
S = Z. Es gilt
11


falls k ∈ S, l = k + 1,
p,
P (k, l) = 1 − p, falls k ∈ S, l = k − 1,


0,
sonst.
Beispiel 3. Sei ζn , n ∈ N, eine Folge von unabhängigen, identisch verteilten Zufallsvariablen mit Werten in Z, wobei P[ζ1 = k] = ak , k ∈ Z.
Weiterhin sei X = (Xn )n∈N0 durch
X0 = 0,
Xk =
k
X
ζl ,
k = 1, 2, . . . ,
l=1
definiert. X ist offensichtlich eine Verallgemeinerung der in Beispiel 2 beschriebenen
Irrfahrt 12. Insbesondere ist X eine Markovkette mit dem Zustandsraum Z und der
Übergangsmatrix 13


..
..
..
.
.
.
............. 


..
 . a0
a1
a2 . . . . . . . 



a1 a2 . . . 
P = . . . a−1 a0
.
. . . . . . . . . a−1 a0 a1 . . . 


. . . . . . . . . . . . . . . a−1 a0 . . . 


.. ..
.
.
....................
Die Verteilung einer Markovkette 14 X = (Xn )n∈N0 ist durch ihre Übergangsmatrix und ihre Anfangsverteilung PX0 eindeutig bestimmt. Es gilt
(8)
P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn
= PX0 [{s0 }]P (s0 , s1 ) · · · P (sn−1 , sn ),
s0 , s1 , . . . , sn ∈ S, n ∈ N0 .
15
Diese Beziehung ergibt sich aus
P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn
= P X0 = s0 , . . . , Xn−1 = sn−1 P Xn = sn |X0 = s0 , . . . , Xn−1 = sn−1
= P X0 = s0 , . . . , Xn−2 = sn−2 P Xn−1 = sn−1 |X0 = s0 , . . . , Xn−2 = sn−2
P Xn = sn |Xn−1 = sn−1
11Die Irrfahrt springt in ihrem Zustandsraum Z in jedem Zeitpunkt jeweils mit Wahrschein-
lichkeit p um 1 nach rechts, bzw. mit Wahrscheinlichkeit 1 − p um 1 nach links. Andere Sprünge
sind nicht möglich.
12Wie bei der Irrfahrt ergibt sich in jedem Zeitpunkt n ∈ N der zukünftige Zustand X
0
n+1
aus dem gegenwärtigen Zustand Xn durch Addieren eines Zuwachses ζn+1 , wobei diese Zuwächse
unabhängige, identisch verteilte Zufallsvariablen sind.
13Da P[X
n+1 = k + l|Xn = k] = P[ζn+1 = l] = P[Xn+1 = k + 1 + l|Xn = k + 1], n ∈ N0 ,
k, l ∈ Z, entsteht die (k + 1)-te Zeile in der Matrix P aus der k-ten Zeile durch eine Verschiebung
”
um 1 nach rechts“.
14Die Verteilung einer Markovkette oder allgemeiner die Verteilung eines stochastischen Prozesses wird hier nicht näher definiert. Es sei nur erwähnt, daß im vorliegenden Fall für ein festes
n ∈ N0 die Größen auf der linken Seite von (8) die gemeinsame Verteilung von X0 , X1 , . . . , Xn beschreiben, vgl. Abschnitt 2.2.2. Diese gemeinsamen Verteilungen werden als endlich-dimensionale
Verteilungen von X bezeichnet. Sie bestimmen eindeutig die Verteilung PX des stochastischen
Prozesses X.
15Hier wird insbesondere mehrmals die die bedingte Wahrscheinlichkeit charakterisierende Relation (3) in Abschnitt 7.2 und die Markoveigenschaft (7) benutzt.
25. Januar 2008
3
= ...
= P[X0 = s0 ]P X1 = s1 |X0 = s0 . . . P (sn−1 , sn )
= PX0 [{s0 }]P (s0 , s1 ) · · · P (sn−1 , sn ),
s0 , s1 , . . . , sn ∈ S, n ∈ N0 .
Als Verallgemeinerung der (1-Schritt-)Übergangswahrscheinlichkeiten werden die
n-Schritt-Übergangswahrscheinlichkeiten durch 16
P n (s1 , s2 ) = P[Xn+m = s2 |Xm = s1 ],
m, n ∈ N0 , s1 , s2 ∈ S,
definiert. Für n = 0 setzt man hierbei 17 P 0 (s1 , s2 ) = δs1 ,s2 , s1 , s2 ∈ S. Die
n-Schritt-Übergangswahrscheinlichkeiten genügen der Chapman-Kolmogorov-Gleichung, d.h., 18
X
P k+l (s1 , s2 ) =
P k (s1 , s)P l (s, s2 ), k, l ∈ N0 , s1 , s2 ∈ S.
(9)
s∈S
Bemerkungen.
(i) Die Übergangsmatrix P = (P (s, s′ ))s,s′ ∈S einer S-wertigen Markovkette
X = (Xn )n∈N0 ist eine stochastische Matrix, d.h., es gilt 19
′
′
(a) P
P(s, s ) ≥ 0, ′s, s ∈ S,
20
.
(b)
s′ ∈S P (s, s ) = 1, s ∈ S
n
(ii) Für n ∈ N ist die Matrix P der n-Schritt-Übergangswahrscheinlichkeiten
das n-fache Matrixprodukt der 1-Schritt-Übergangsmatrix P 21.
(iii) Die algebraischen Eigenschaften ihrer Übergangsmatrix P = (P (s, s′ ))s,s′ ∈S
bestimmen das Verhalten einer S-wertigen Markovkette X = (Xn )n∈N0 . Sei
beispielsweise µ = (µs )s∈S ein linker Eigenvektor von P mit Eigenwert 1,
d.h. mit
X
µs P (s, s′ ) = µs′ , s′ ∈ S,
s∈S
wobei außerdem
22
µs ≥ 0, s ∈ S,
und
X
µs = 1
s∈S
16Da hier nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden,
ist die rechte Seite in dieser Beziehung von m unabhängig.
17δ bezeichnet das Kronecker-Symbol, d.h.,
.,.
(
1, falls s = s′ ,
δs,s′ =
0, sonst.
18Der Übergang von s nach s in k + l Schritten führt durch einen Zwischenzustand s ∈ S
1
2
nach k Schritten. Wegen der Markoveigenschaft (7), bzw. wegen (8) hat für alle m ∈ N0 bedingt
k Schritte
l Schritte
unter Xm = s1 der Weg s1 −−−−−−−→ s −−−−−−→ s2 für ein festes s die Wahrscheinlichkeit
P[Xm+k = s, Xm+k+l = s2 |Xm = s1 ] = P[Xm+k = s|Xm = s1 ] · P[Xm+k+l = s2 |Xm+k = s] =
P k (s1 , s)P l (s, s2 ). Die Übergänge durch verschiedene Zwischenzustände s entsprechen disjunkten
Ereignissen, d.h., ihre jeweiligen Wahrscheinlichkeiten addieren sich zur Gesamtwahrscheinlichkeit
P k+l (s1 , s2 ).
19Die Komponenten von P sind nichtnegativ und ihre Zeilen addieren sich zu 1.
P
20Weil P
′
′
s′ ∈S P (s, s ) =
s′ ∈S P[Xn+1 = s |Xn = s] = P[Xn+1 ∈ S|Xn = s] = 1 für alle
n ∈ N0 .
21Dies folgt durch vollständige Induktion aus (9). Offensichtlich zeigt (9), daß die Matrix P k+l
das Produkt der Matrizen P k und P l ist.
22µ entspricht damit einem Wahrscheinlichkeitsmaß auf S.
25. Januar 2008
4
gelte. Dann beschreibt µ eine invariante Verteilung von X, d.h., PX0 [{s}] =
P[X0 = s] = µs , s ∈ S, impliziert PXn [{s}] = µs , s ∈ S, für alle Zeitpunkte
n ∈ N0 23.
23Diese Eigenschaft folgt zunächst für n = 1 aus
PX1 [{s}] = P[X1 = s] = P[X0 ∈ S, X1 = s] =
X
P[X0 = s′ , X1 = s]
s′ ∈S
=
X
s′ ∈S
PX0 [{s′ }]P (s′ , s) =
X
µs′ P (s′ , s) = µs ,
s ∈ S,
s′ ∈S
wobei u.a. (8) Verwendung findet. Durch Iteration dieser Argumente ergibt sie sich schließlich für
alle weiteren n = 2, 3, . . . .
25. Januar 2008