Downlaod PDF

Lösungen zu Übungen (I)
Markov-Prozesse
Sommersemester 2005
W. Huisinga, E. Meerbach
Aufgabe 1
Betrachte einen homogenenen Markovprozess {X(t) : t ≥ 0} auf einem
abzählbaren Zustandsraum S mit rechtsstetigen Pfaden und Übergangsfunktion
p(t, x, y) = [X(t) = y|X(0) = x]. Zeige, daß gilt
a) p(t, x, x) > 0 für alle t ≥ 0,
b) p(t, x, y) > 0 für ein t > 0 ⇔ p(t, x, y) > 0 für alle t > 0.
Bemerkung: Mit dem oben gezeigten wird der Begriff der Periode für zeitstetige Markovprozesse offensichtlich hinfällig.
Lösung: a) Aus den Voraussetzung folgt, daß {X(t) : t ≥ 0} ein Markov
Sprung Prozess ist. Damit ist die Aufenthaltszeit im Zustand x ∈ S exponentialverteilt
zu einem Parameter λ(x) ≥ 0 und aus der Rechtsstetigkeit folgt λ(x) < ∞.
Somit gilt
x [X(t)
p(t, x, x) =
x [τ0
=
= x] ≥
x [X(s)
= x, 0 ≤ s ≤ t]
≥ t] = exp(−λ(x)t) > 0.
b) Die Richtung ⇐ ist trivial, also sei p(t, x, y) > 0 für ein t > 0, damit ist
0 < p(t, x, y) ≤
x [τ0
< t] = (1 − exp(−λ(x)t)) ⇒ λ(x) > 0, p(x, y) > 0.
Daraus folgt
p(s, x, y) ≥
x [τ0
< s, X(T1 ) = y, τ1 > s]
= (1 − exp(−λ(x)s))p(x, y) exp(−λ(y)s) > 0 ∀s > 0.
Aufgabe 2
Es seien S und T zwei unabhängige exponential-verteilte Zufallsvariablen
mit den Parametern λ und µ.
a) Was ist die Verteilung von min(S, T )?
b) Was ist die Wahrscheinlichkeit für {S ≤ T }
c) Zeige, dass die Ereignisse {S ≤ T } und {min(S, T ) ≥ t} unabhängig
voneinander sind.
Bemerkung: Zwei Ereignisse A, B sind dann voneinander unabhängig, wenn
[A ∪ B] = [A] · [B].
Lösung: a) Aus der Unabhängigkeit von S und T folgt
[min(S, T ) > t] =
[S > t] [T > t] = exp(−λt) exp(−µt) = exp(−(λ+µ)t).
Also ist min(S, T ) ebenfalls exponentialverteilt zum Parameter λ + µ.
b) Unter Beachtung der Unabhängigkeit von S und T ergibt sich
Z ∞
[S ≤ T ] =
[T ≥ S|S = t]d [S = t]
0
Z ∞
=
[T ≥ S|S = t]λ exp(−λt)dt
Z0 ∞
[T ≥ t]λ exp(−λt)dt
=
0
Z ∞
= λ
exp(−(λ + µ)t)dt
0
=
λ
.
λ+µ
c) Definiere M = min(S, T ), dann ist
Z ∞
[M ≥ t, S ≤ T ] =
[M ≥ t, T ≥ S|S = u]d [S = u]
Z0 ∞
=
[M ≥ t, T ≥ S|S = u]λ exp(−λu)du
0
Z ∞
[T ≥ u]λ exp(−λu)du
=
t
Z ∞
= λ
exp(−(λ + µ)u)du
t
=
Man mache sich klar, dass
λ
exp(−(λ + µ)t) =
λ+µ
[M ≥ t, T ≥ S|S = u] =
[M ≥ t] [S ≤ T ].
[T ≥ u], wenn u ≥ t.
Aufgabe 3
Es seien S0 , S1 , . . . unabhängige exponential-verteilte Zufallsvariablen mit
den Parametern λ0 , λ1 , . . ..
a) Zeige, dass λk Sk exponential-verteilt zum Parameter 1 ist.
b) Benutze das starke Gesetz der großen Zahl um zu zeigen, dass
"∞
#
X
Sk = ∞ = 1.
k=0
Zeige dabei zuerst denn Spezialfall 1 = λ0 = λ1 = . . . und benutze
im allgemeinen Fall die zusätzliche Bedingung supk {λk } < ∞. Ist diese
Zusatzbedingung unabdingbar?
Lösung: a) [λk Sk > t] = [Sk > λtk ] = exp(−(λk ) λtk ) = exp(−t).
b) Das starke Gesetz der großen Zahl besagt, dass für eine unabhänigige und
identisch verteilte Folge von Zufallsvariablen X0 , X1 , X2 , . . . mit [|Xk |] <
∞∀k ∈ gilt:
n
1 X
[ lim
Xk = [X0 ]] = 1,
n→∞ n + 1
k=0
(fast sichere Konvergenz). Nun sei 1 = λ0 = λ1 = . . . angenommen, dann
gilt dass
#
"
n
1 X
Sk = 1 = 1
lim
n→∞ n + 1
k=0
#
"
n
1 X
⇒ lim
Sk = 1 = 1
n→∞
n+1
k=0
" n
#
X
⇒ lim
Sk = ∞ = 1.
n→∞
k=0
Dabei wurde ausgenutzt, dass aus der fast sicheren Konvergenz die Konvergenz
in Wahrscheinlichkeit folgt. Im Allgemeinen Fall setze λ∗ := sup λk < ∞.
Dann ist
∞
∞
X
X
∗
λk S k
Sk ≥
λ
k=0
und
∞
X
k=0
Sk = ∞ ⇔ λ
k=0
∗
∞
X
k=0
Sk = ∞.
Da nach a) λk Sk exponentialverteilt zum Parameter 1 ist folgt die Behauptung.
Aufgabe 4 (Repairmen-Problem)
Für n Maschinen stehen k < n MechanikerInnnen zur Verfügung. Fällt eine
Maschine aus, so wird die Reparatur von einem der noch freien MechanikerInnen
übernommen oder bis zum Freiwerden eines Mechanikers zurückgestellt.
Die Zeit, die eine Maschine störungsfrei arbeitet, sei λ-exponentialverteilt;
die Reparaturzeit einer Maschine sei µ-exponentialverteilt. Die einzelnen
Zeiten seien jeweils unabhängig.
Der Prozess {X(t) : t ≥ 0} auf dem Zustandsraum S = {0, . . . , n} gebe die
Anzahl der ausgefallenen Maschinen zu den Zeiten t ≥ 0 wieder.
a) Bestimme die Aufenthaltsrate (jump rate) für einen Zustand x ∈ S.
b) Bestimme die Übergangswahrscheinlichkeit von x nach y (genauer: die
Übergangsmatrix der eingebetteten Markovkette).
c) Warum ist {X(t) : t ≥ 0} ein Markov Prozess?
Bemerkung: Benutze zur Lösung der Aufgabe die Ergebnisse aus Aufgabe 2.
Lösung: a) Im Zustand x sind x Maschinen ausgefallen. Dieser Zustand wird
verlassen, wenn eine weitere Maschine ausfällt oder wenn eine ausgefallene
Maschine repariert wurde. Also ergibt sich die Aufenthaltszeit im Zustand
x als
T = min{R1 , . . . , Rmin{x,k} , A0 , A1 , . . . , An−x−1 },
wobei die Reparaturzeiten Ri (die Ausfallzeiten Ai ) exponentialverteilt zum
Parameter µ (λ) sind. Nach Aufgabe 2 ist T also exponentialverteilt zum
Parameter
(n − x)λ + min{x, k}µ,
welches der Aufenthaltsrate im Zustand x entspricht.
b) Der Zustand x geht nach x + 1 über, wenn
TR = min{R1 , . . . , Rmin{x,k} } > min{A0 , A1 , . . . , An−x−1 } = TA .
Dabei ist TR , bzw. TA , exponentialverteilt zum Parameter min{x, k}µ, bzw.
(n − x)λ. Somit ist Aufgabe 2
k(x, x + 1) =
(n − x)λ
,
(n − x)λ + min{x, k}µ
und entsprechend
k(x, x − 1) = 1 − k(x, x + 1) =
min{x, k}µ
.
(n − x)λ + min{x, k}µ
c) Nach Aufgabe 2 sind die Übergangswahrscheinlichkeiten der eingebetteten
Markovkette und die (exponentialverteilten) Aufenthaltsraten voneinander
unabhängig und definieren somit direkt einen Markovsprungprozess.
Aufgabe 5
Betrachte den uniformen Markov Sprung Prozess auf S = 0, 1 mit Übergangsmatrix
1−α
α
, α, β ∈]0, 1[,
β
1−β
und Intensiät λ > 0.
a) Wie sieht die Übergangshalbgruppe {P (t) : t ≥ 0} aus?
b) Welche Form hat der Generator?
c) Es sei X(0) = 0. Bestimme die gemeinsame Verteilung von (τ1 , τ2 , . . . , τn ),
d.i. 0 [τ1 < t1 , τ2 < t2 , . . . , τn < tn ] für t1 , t2 , . . . , tn ≥ 0, wobei τk
die Aufenthaltsdauer für den k-ten eingenommenen Zustand ist. Beachte
dabei, dass auf Grund der Gestalt der Übergangsmatrix nicht jede Sprungzeit
einen Zustandswechsel nach sich zieht!
Lösung: a) Ist K die angegebne Übergangsmatrix, vgl. Vorlesung,
P (t) =
∞
X
exp(−λt)
k=0
b) Berechne limt→0
p(t,x,y)−δ(x,y)
t
(λt)k n
K .
k!
um den Generator
A = λ(K − Id)
zu erhalten (diese Form wurde auch schon allgemein in der Vorlesung gezeigt!).
c) Es Wir suchen die Wahrscheinlichkeit
=
0 [τ1
n
Y
< t1 , τ 2 < t2 , . . . , τn < tn ]
0 [τk
< tk ] = (1 − exp(−λt1 ))α(1 − exp(−λt2 ))β(1 − exp(−λt3 ))α · · ·
k=1
(
Q
αn/2 β n/2 nk=1 (1 − exp(−λtk ))
=
Q
α(n−1)/2 β (2n−3)/2 nk=1 (1 − exp(−λtk ))
für n gerade
für n ungerade