Stoff der Veranstaltung §9\374

Universität Mannheim
Lehrstuhl für Statistik
Prof. Dr. E. Mammen
Stoff der Vorlesung Wahrscheinlichkeitstheorie
§ 9 Markov-Ketten
Einfaches Warteschlangenmodell: Anzahl neuer Kunden zwischen Zeitpunkten n und
n + 1: Yn
Annahme: Y1, Y2,… unabhängig
Länge der Warteschlange:
falls X n −1 = 0
Yn −1

X n = Yn −1
falls X n −1 = 1

X n −1 − 1 + Yn −1 falls X n −1 ≤ 2
Es wird immer ein Kunde bedient, falls vorhanden.
Im folgenden wird angenommen: Xn nimmt höchstens abzählbar viele Werte an. Wertebereich I.
Markoveigenschaft: Bedingte Verteilung von Xn gegeben X0, …, Xn-1 ist gleich bedingte
Verteilung von Xn gegeben Xn-1.
Formal: P(Xn = in |X0 = i0, …, Xn-1 = in-1) = P (Xn = in| Xn-1 = in-1) für alle i0,…, in aus dem
Wertebereich I.
Eine Folge von Zufallsvariablen mit abzählbarem Wertebereich und mit Markoveigenschaft
heißt Markovkette.
Es gilt:
P(Xn = in | (X0,…, Xn-2) ∈ A, Xn-1 = in-1) = P(Xn = in | Xn-1 = in-1),
P((Xn, Xn+1,…) ∈ B | X0 = i0,…, Xn-1 = in-1) = P((Xn, Xn+1,…) ∈ B | Xn-1 = in-1).
Eine Markovkette heißt homogen (besitzt stationäre Übergangswahrscheinlichkeit), falls die
Übergangswahrscheinlichkeit Π(i,j) = P(Xn = j | Xn-1 = i) nicht von n abhängt. Π = Π (i,j)i,j∈I
heißt Übergangsmatrix.
∑ Π(i, j) = 1
Eigenschaften: Π(i,j) ≥ 0, j∈I
für alle i∈I.
Übergangsgraph.
πi = P(X0 = i) heißt Startverteilung.
Es gilt:
P(X0 = i0, X1 = i1, …, Xn = in) = πi0 Π(i 0 , i1 ) ⋅ K ⋅ Π(i n −1,i n );
∑
P(Xn = in) =
mit Π n (i0 , i n ) =
i0,K,i n −1∈I
∑
i1 ,K,in ∈I
πi0 Π(i 0 ,i1 ) ⋅ K ⋅ Π(i n −1, i n ) =
∑ πi0 Π n (i0 ,i n )
i0∈I
Π(i0 ,i1 ) ⋅ K ⋅ Π(i n −1,i n ).
P(X n = i n , X m = i m ) = ∑ πi0 Π n (i 0 , i n )Π m − n ( i n ,i m ) für m > n.
i0
Irrfahrten, Random Walk auf Ζ.
1/ 2 für j − i = 1
Spezialfall: P(X n = j X n −1 = i) = 
0 sonst
Wahrscheinlichkeit, dass Xn den Wert -a erreicht, bevor es b erreicht =
b
.
a+b
Absorptionswahrscheinlichkeit pi = P(Xn = c schließlich |X0 = i) für Startwert i ∈I und absorbierenden Zustand c (d.h. Π (c, c) = 1). Es gilt:
pi = ∑ Π(i, j)p j
j∈I
pc = 1
Pd = 0 für absorbierende Zustände d ≠ c.
Austrittszeiten: Xn homogene Markovkette mit endlichen Zustandsraum I. Sei I′ Teilmenge
von I mit
P(X1∈I′|X0 = i) > 0 für alle i∉I′ für ein n ≥ 1.
(Mit positiver Wahrscheinlichkeit gelangt man von außerhalb von I′ nach I′.)
P(X1∈I′|X0 = i) = 1 für alle i∈I′
(wenn man einmal in I′ ist, wird es nicht mehr verlassen).
Sei T der erste Zeitpunkt, wo I′ erreicht wird:
X0 ∉ I′, …, XT-1 ∉ I′, XT ∈ I′.
Für (Austrittszeit) T gilt mit Ei [T] = E [T|X0 = i]
Ei [ T] = 1 + ∑ Π(i, j) E j [ T], für i ∉ I′,
j∈I
Ei [ T ] = 0
für i ∉ I′.
Sei Xn homogene Markovkette mit endlichen Zustandsraum I. Eine Verteilung P* auf I
∑
heißt stationär, falls p*(j) =
i∈I
p * (i) Π(i, j)
für p*(i) = P*({i}), d.h. aus X0 ~ P* folgt
X1* ~ P*.
Gilt für die Markovkette: „Mit positiver Wahrscheinlichkeit gelangt man von jedem Zustand
i∈I zu jedem Zustand j∈I (d.h. für alle i, j ∈ I existiert k mit P(Xk = j |X0 = i) = Πk (i, j) > 0)“.
Dann existiert eindeutige stationäre Verteilung P* und es gilt
Πn (i,j) → p*(j)
für alle i∈I und n → ∞ und somit P(Xn = j) =
lungen π.
∑ πiΠ n (i, j) → p * ( j)
i∈I
für alle Startvertei-