Ubungen zu Optimierung / OR II

WS 10/11
Blatt 2
5.11.2010
Universität Ulm
Institut für Optimierung und Operations Research
Prof. Dr. Ulrich Rieder
Stefan Ehrenfried
Übungen zu Optimierung / OR II
Lösungsvorschlag
Aufgabe 4:
Es sei Xn die Anzahl der verfügbaren Schirme beim n-ten Gang. Dann gilt:
Zustandsraum S = {0, . . . r},
Startzustand X1 = r.
Sei Yn die Zufallsvariable, welche die Witterung beim n-ten Gang beschriebt, d.h.
Yn = 1 falls es beim n-ten Gang regnet,
Yn = 0 falls es beim n-ten Gang nicht regnet
⇒
Yn i.i.d.,
P (Yn = 1) = p,
P (Yn = 0) = 1 − p
und
Xn+1 = r − (Xn − Yn )+
n ≥ 1.
Also bildet (Xn n ≥ 1) eine Markov-Kette mit Übergangsmatrix

0
... ... ...
0
1
 0
... ...
0
1−p p

 ..
.
 .
.. 1 − p
p
0

P = .
.. ... ...
. . ...
 ..
.
.


..
.
.
.
 0
.. ..
..
.
1−p p 0
...
... 0











Wegen X1 = r ist die Startverteilung der Markov-Kette durch
P (X1 = i) = δir
gegeben. Die Verteilung von X3 ergibt sich folglich zu
P (X3 = k) =
=
=
r
X
P (X1 = i)P (X3 = k|X1 = i)
i=0
r X
r
X
P (X1 = i)P (X2 = j|X1 = i)P (X3 = k|X2 = j)
i=0 j=0
r
X
prj pjk = pr0 p0k + pr1 p1k
j=0

2

(1 − p) + p
=
p(1 − p)


0
k = r,
k = r − 1,
sonst.
1
Aufgabe 5:
P ist eine obere Dreiecksmatrix und damit ist P n eine obere Dreiecksmatrix für alle n. Dadurch
gilt:
(m)
(n)
∀i, j ∈ {1, . . . , 8} mit i 6= j : pij · pji = 0 ∀m, n ∈ N,
d.h. aber, dass kein Zustand mit einem anderen kommuniziert, d.h. jede Klasse K(i) besteht
nur aus dem eigenen Zustand, d.h. K(i) = {i}. Per Definition sind die Zustände 7 und 8 absorbierend und damit auch wesentlich. Da pi8 > 0 für i ∈ {1, . . . , 6} ist, der Zustand i jedoch
nicht mit dem Zustand 8 kommuniziert, sind die Zustände 1, . . . , 6 unwesentlich.
Weiter gilt
∗
f17
= P (∃n ∈ N : Xn = 7 | X0 = 1)
∞
∞
X
X
(n)
=
f17 =
P (Xn = 7, Xk 6= 7, 1 ≤ k ≤ n − 1 | X0 = 1)
n=0
n=1
= P (X6 = 7, Xk 6= 7, 1 ≤ k ≤ n − 1 | X0 = 1)
= 0, 5 · 0, 6 · 0, 5 · 0, 8 · 0, 4 · 0, 2 = 0, 0096.
D.h. ein Praktikant (also auf Stufe 1) schafft es mit Wahrscheinlichkeit 0,0096 (≈ 1 Prozent)
zum Partner.
Aufgabe 6:
Wir zeigen zunächst, dass die Markov-Kette (Xn ) irreduzibel ist. Hierzu seien i, j ∈ N0 und
o.B.d.A. i < j. Dann gilt
(j−i) (i+1)
pij pji
j−1
Y
=
pk (1 − pj )
i−1
Y
pl = (1 − pj )
l=0
k=i
j−1
Y
pk > 0
k=0
da 0 < pk < 1 ∀ k ∈ N0 . Folglich kommunizieren alle Zustände, d.h. die Markov-Kette ist
∗
= P (Xn = 0 für ein n ∈ N | X0 = 0) zu bestimmen.
irreduzibel. Damit genügt es f00
(1)
f00 = p00 = 1 − p0 =: q0
(n)
f00 = P (Xn = 0, Xk 6= 0, 1 ≤ k < n | X0 = 0)
= P (X1 = 1, X2 = 2, . . . Xn−1 = n − 1, Xn = 0 | X0 = 0)
= p0 · p1 · . . . · pn−2 (1 − pn−1 )
| {z }
=:qn−1
Setze un :=
Qn
k=0
pk , n ≥ 0. Dann erhalten wir die Darstellung
(n)
f00 = un−2 − un−1 ,
n≥2
und folglich
N
+1
X
n=1
(n)
f00
= q0 +
N
X
un−1 − un = q0 + u0 − uN = 1 − uN .
n=1
2
Dies liefert die Bedingung
0 ist rekurrent
⇐⇒
∗
f00
= lim
⇐⇒ uN =
N →∞
N
Y
N
+1
X
(n)
f00 = lim (1 − uN ) = 1
N →∞
n=1
pk → 0 (N → ∞)
(∗)
k=0
Insgesamt gilt also:
Die Markov-Kette ist rekurrent
⇐⇒
Die Markov-Kette ist transient
⇐⇒
lim uN = 0
N →∞
lim uN 6= 0
N →∞
Aufgabe 7:
Seien i, j ∈ S mit i ∼ j. Dann gilt: i kommuniziert mit j oder i = j. Falls i = j gilt offensichtlich
di = dj .
Betrachte nun i, j ∈ S, i 6= j und i kommuniziert mit j. Für k ∈ S definiere
(n)
Ak := {n ∈ N : pkk > 0},
dann folgt dk = ggT (Ak ). Damit erhält man:
(n)
(m)
∃ m, n ∈ N so dass pij > 0 und pji > 0
X (n) (m)
(n) (m)
(n+m)
pik pki ≥ pij pji > 0
=
=⇒ pii
k∈S
=⇒ (n + m) ∈ Ai
=⇒ di | (n + m) d.h. di teilt n + m.
(l )
Bezeichnen wir die Elmente von Aj mit lk , k = 1, 2, . . ., also pjjk > 0
=⇒
=⇒
=⇒
di |(n+m)
=⇒
=⇒
=⇒
(n+l +m)
(n) (l ) (m)
pii k
≥ pij pjjk pji > 0, k = 1, 2, . . .
(n + m + lk ) ∈ Ai , k = 1, . . .
dj | (n + m + lk ), k = 1, . . .
di | lk , k = 1, . . .
di |ggT (Aj )
di |dj .
Analog zeigt man dj |di , also di = dj .
3