UE Markov Prozesse

UE Markov Prozesse - WS 2007
1
Markovketten mit diskreter Zeit
1. Man zeige
P (A ∩ B | C) = P (A | C) · P (B | A ∩ C)
beziehungsweise
P (X2 = i2 ; X1 = i1 |X0 = i0 ) = P (X1 = i1 |X0 = i0 )·P (X2 = i2 |X0 = i0 , X1 = i1 ).
(1p)
2. N schwarze und N weiße Kugeln werden in zwei Urnen aufgeteilt, sodaß
jede Urne N Kugeln enthält. In jedem Schritt wird beiden Urnen je eine
Kugel entnommen und die Kugeln werden ausgetauscht. Der Zustand des
Systems ist die Anzahl der weißen Kugeln in der ersten Urne. Berechne
die Übergangwahrscheinlichkeiten.
(1p)
3. Eine Ratte befindet sich in folgendem Irrgarten:
1
2
3
4
5
6
7
8
9
Sie bewegt sich zufällig durch die Abteile, d.h. sind k Möglichkeiten
zum Verlassen eines Abteils gegeben, so wählt sie eine von diesen mit
Wahrscheinlichkeit k1 . Sie wechselt stets in ein angrenzendes Abteil. Der
Zustand zur Zeit n ist die Nummer des Abteils, in dem die Ratte sich
gerade befindet. Gib die Übergangsmatrix an.
(1p)
4. Die Generation 0 einer Population bestehe aus einem Individuum, das sich
mit Wahrscheinlichkeit pk in k Nachfahren teilt k ∈ N. Jeder dieser Nachfahren der Generation 1 teilt sich wiederum unabhängig von den anderen
Individuen gemäß der Verteilung pk , k ∈ N in eine zufällige Anzahl von
Nachfahren. Die Zufallsvariable Xn beschreibe die Anzahl der Individuen
der n-ten Generation n ∈ N. Zeigen Sie, dass (Xn )n∈N eine Markov-Kette
ist, und bestimmen Sie die zugehörige Übergangsmatrix.
(1,5 p)
5. Mit einem Gegenbeispiel widerlegen Sie folgende Aussage : Ist (Xn )n∈N
eine Markov-Kette mit Werten in S, so gilt
P [Xn+1 = j|X0 ∈ A0 , . . . , Xn ∈ An ] = P [Xn+1 = j|Xn ∈ An ].
für alle j ∈ S und A0 , . . . , An ⊂ S mit P (X0 ∈ A0 , . . . , Xn ∈ An ) > 0. (1
p)
6. Drei Cowboys schießen aufeinander. Cowboy A trifft sein Ziel mit Wahrscheinlichkeit 32 , Cowboy B mit Wahrscheinlichkeit 12 und Cowboy C mit Wahrscheinlichkeit 13 . Die Schüsse werden immer gleichzeitig abgefeuert. Sobald einer
der Cowboys getroffen ist, schießt er nicht mehr. Ist er unverletzt, so
schießt er auf seinen stärksten Gegner (am Anfang schießt also A auf B,
B auf A und C auf A). Der Prozeß Xn , n die Zeit des Schußwechsels,
besitzt folgende Zustände:

0




A




 B
C
Xn =


AC




BC



ABC
alle sind getroffen, keiner schießt mehr
nur A ist unverletzt
nur B ist unverletzt
nur C ist unverletzt
A und C sind unverletzt, B getroffen
B und C sind unverletzt, A getroffen
alle drei sind unverletzt
Berechne die Übergangsmatrix dieser Markoff-Kette.
(1p)
7. Wie groß ist in Beispiel ?? die Wahrscheinlichkeit, daß der Kampf damit
endet, daß A (bzw. B bzw. C) allein übrig bleibt?
(1p)
8. In Beispiel ?? bildet die Zahl Yn der Unverletzten nach der n-ten Runde
einen stochastischen Prozeß Y = (Yn ). Ist Y eine Markoff-Kette? (2p)
Anleitung: Berechne die Wahrscheinlichkeiten
P {Y4 = 0|Y3 = 2, Y2 = 3, Y1 = 3} und
P {Y4 = 0|Y3 = 2, Y2 = 2, Y1 = 3}
9. Es sei Yn das Maximum der ersten n Ausgänge einer Folge unabhängiger
Würfelexperimente. (Yn ∈ {1, 2, 3, 4, 5, 6}.) Ist (Yn ) eine Markoff-Kette?
Berechne die Übergangsmatrix P und deren Potenzen.
(1p)
10. Klassifiziere die Zustände des Markov-Prozesses mit der folgenden Übergangsmatrix:
(1p)


0.8 0 0.2 0
 0
0
1
0 
.

 1
0
0
0 
0.3 0.4 0 0.3
11. Für den Markov-Prozess mit der folgenden Übergangsmatrix:


1 0 0
0
0
0
 0, 5 0 0, 5
0
0
0 


 0, 1 0 0, 5 0, 3
0
0, 1 

.
 0 0 0
0, 7 0, 1 0, 2 


 1/3 0 0 1/3 1/3 0 
0 0 0
0
0
1
(a) Identifizieren Sie die kommunizierenden Klassen und klassifizieren Sie
die Zustände des Prozesses.
(b) Bestimmen Sie die Periode für rekurrente Zustände.
12. Sei
1
1/2
0
1/4
1
1/5
1/4
2
2/5
1
2/5
3
Sei a0 (i) = Pi (T 0 < ∞) die Absorptionswahrscheinlichkeit im Zustand 0,
wenn im Zustand i gestartet wird.
Man berechne a0 (1), a0 (2)
(1p)
Anleitung: Die a0 (i) erfüllen folgende Gleichung:
1
4
+
1
2
a0 (1) +
1
4
a0 (2)
a0 (2) = 0 +
1
5
a0 (1) +
2
5
a0 (2)
a0 (1) =
13. Für den Markov-Prozess mit Zustandsraum S={0, 1, 2} und der folgenden
Übergangsmatrix:


1
0
0
P =  0.1 0.6 0.3 
0
0
1
Man berechne a0 (1). (a0 (i) = Pi (T 0 < ∞) ist die Absorptionswahrscheinlichkeit im Zustand 0, wenn im Zustand i gestartet wird.)
(1p)
14. In the last question, determine the mean time to absorption i.e. the expected time starting in state 1 to enter one of the absorbing states {0, 2}.
(1p)
15. A gambler has $2 and needs to increase it to $10 in ahurry. He can play
a game with the following rules: a fair coin is tossed; if a player bets on
the right side, he wins a sum equal to his stake, and his stake is returned;
otherwise he loses his stake. The gambler decides to use a bold startegy
in which he stakes all his money if he 5$ or less, and otherwise stakes
just enough to increase his capital, if he wins, to $10. Let X0 = 2 and
Xn be his capital after n throws. Prove that the gambler will achieve his
aim with probability 1/5. (i.e. the probability of absorption to state ’10’
starting in state ’2’)
(1,5 p)
16. In the previous question, what is the expected number of tosses until the
gambler either achieves his aim or loses his capital.
(1p)
17. Man berechne die stationäre Verteilung von

(1p)

0
1/2 
1/2
1/2 1/2
0
P =  1/2
0
1/2
18. Gibt es eine Markovkette mit genau zwei verschiedenen stationären Verteilungen?
(1p)
19. Man berechne die stationäre Verteilung von
1
0
p
1
1−p
(1p)
p
p
2
3
1−p
1−p
1−p
20. (a) Man zeige: Wenn
cj =
j
X
ck−1 cj−k
c0 = 1, c1 = 1
k=1
und
α(u) =
∞
X
cj uj
j=0
so ist
α2 (u) =
α(u) − 1
u
d.h.
α(u) =
1−
√
1 − 4u
.
2u
(b) Man betrachte eine Markovette mit Übergangsmatrix P gegeben
durch

 pi j = i + 1
ri
j=i
Pij =

qi j = i − 1
für i ≥ 1 und P01 = p0 , P00 = r0 .
P∞
i−1
. Dann gilt: Es existiert eine stationäre
Sei s = 1 + i=1 p0q···p
1 ···qi
Verteilung genau dann, falls s < ∞ und in diesem Fall gilt
p0 ···pi−1 1
für i > 0
q1 ···qi · s
π(i) =
1
für i = 0
s
(2p)
21. Betrachten Sie die Markovkette in (??)
(1p)
(a) Identifizieren Sie die kommunizierenden Klassen und klassifizieren Sie
die Zustände des Prozesses wenn p = 1/4.
(b) Bestimmen Sie die Periode für rekurrente Zustände.
22. For a Markov process with the transition

0.25 0, 75
 0, 75 0, 25
0
0
matrix

0
0 
1
(1p)
(a) Find a stationary distribution.
(b) Calculate mi = Ei τi (1), the expected return time to state ’i’ assuming
the Markov chain started in state ’i’ where i=1,2,3.
(c) Calculate limn→∞ P n
23. Man betrachte eine Markovette mit Zustandsraum I = {0, 1, 2, . . .} und
Übergangsmatrix
pi
j =i+1
Pij =
1 − pi
j=0
mit 0 < pi < 1 für alle i ≥ 0. Identifizieren Sie die kommunizierenden
Klassen und klassifizieren Sie die Zustände des Prozesses.
(1,5p)
(n)
Hint: If f00 denotes the probabilty of returning to 0 (starting in 0) for the
P∞
(n)
first time after n steps then f0 = P0 (T0 < ∞) = n=0 f00 . Distinguish
the case when f0 is equal to 1, less than 1 and when mi = Ei (Ti ) < ∞.
24. Man berechne die Asymptotik des folgenden Prozesses:
0.5
2
1
0.3
0.5
0.4
3
0.7
0.6
4
0.2
0.8
Dazu berechnet man den Grenzwert von
P 2, P 4, P 6, . . .
(1p)
und P, P 3 , P 5 , . . . .
(1p)
25. Die Übergangsmatrix einer Markov-Kette (Xn ) mit Zustandsraum I =
{1, 2} sei gegeben durch
1−α
α
Pij =
β
1−β
wobei 0 < α, β < 1. Berechnen Sie Pn , limn→∞ Pn , falls der Grenzwert
existiert und die stationäre Verteilung von Xn .
(1p)
26. Berechnen Sie Pn , limn→∞ Pn , falls der Grenzwert existiert und die stationäre Verteilung von Xn in (??) wenn α = β = 1.
(1p)
27. Let Xn denote the fitness of the nth item produced by a production system
with Xn = 0 meaning ’good’ and Xn = 1 meaning ’defective’. Suppose
Xn is a Markov chain with transition probability matrix
.99 .01
P =
.12 88
What is the probability that the fifth item is defective given that the first
item is defective?
(1P)
28. Ein Würfel wird so modifiziert, dass bei zwei aufeinander folgenden Würfen
nicht zwei idente Augenzahlen geworfen werden können, das heißt dass
bei jedem Wurf eine Augenzahl ungleich der letzten Augenzahl geworfen
wird. Die verbleibenden Möglichkeiten haben jeweils Wahrscheinlichkeit
1/5.Angenommen der erste Wurf ergibt 6. Wie hoch ist die Wahrscheinlichkeit p, dass beim vierten Wurf 6 gewürfelt wird.
(1P)
1.1
Extra: Probability Generating Functions
29. Für eine diskrete Zufallsvariable X mit Verteilung P = {pk } (d.h. pk =
P {X = k}, k = 0, 1, 2, . . .), ist die wahrscheinlichkeitserzeugende Funktion
(probability generating function) definiert als
GX (u) :=
∞
X
pk uk (= E(uX )).
k=0
Berechnen Sie die PGF von X,
(a) wenn X Bernoulli(p) verteilt ist.
(b) wenn X Binomial(n,p) verteilt ist.
(1P)
Hinweis: Wenn X ∼ pk , Y ∼ qk und X, Y unabhängig sind, gilt,
dass GX+Y (u) = GX (u).GY (u).
(c) Zeigen Sie für unabhängige Poisson-verteilte Zufallsgrößen mit Parametern λ und µ:
X ∼ P (λ), Y ∼ P (µ) ⇒ X + Y ∼ P (λ + µ) .
(1P)
30. In Exercise ??, let C denote the family size i.e. P (C = k) = pk , and let G
be the corresponding PGF. Show that the PGF of Xn is the n-th iterate
of G i.e. Gn (u) = G(G(G(. . . (u)))) for n = 2, 3, . . ..
(1P)
31. In the previous question, if G(u) = 0.4 + 0.2u + 0.4u2 , find the PGF of
the sizes of generations one and two. Find also the chances of dying out
(a) by the second generation;
(b) in the second generation.
2
(1P)
Markovketten mit stetiger Zeit
32. Man berechne durch Induktion die Verteilungsfunktion der Erlang(λ, k)
Verteilung:
k−1
X (tλ)i
P (T1 + . . . + Tk ≤ t) = 1 − e−λt
i!
i=0
wobei Ti unabhängig identisch nach Exponential (λ) verteilt sind. Die
Dichte der Erlang(λ, ki) Verteilung ist
λk
e−λu uk−1 .
(k − 1)!
(1p)
33. Aus dem vorigen Beispiel Schliesse man: Die Anzahl der Ereignisse eines
Poisson Prozesses im Intervall [s, t] folgt einer Poissonverteilung
P (Π(t) − Π(s) = k) = e−λ(t−s)
(λ(t − s))k
.
k!
(1p)
34. Man berechne die stationäre Verteilung des Prozesses mit der Intensitätsmatrix


−9
6
3
2 
Q =  4 −6
5
1 −6
(1p)
35.
• Zeige: Die Summe zweier unabhängiger Poisson-Prozesse mit Intensitäten λ und µ ist ein Poisson-Prozeß mit Intensität λ + µ.
(0p)
• A spider climbs up an infinitely high wall. During day i, the spider
climbs up Yi centimetres, where the Yi are i.i.d. (independent, identically distributed random variables) with Poisson distribution with
parameter λ > 0. During the night, the spider slips back 1 centimetre. Let Xn be the net height gained after n days and nights. Show
that
e−nλ (nλ)n
P r(Xn = 0) =
n!
(1p)
36. Zeige: Löscht man in einem Poissonprozess (Intensität λ) jedes Ereignis
mit der Wahrscheinlichkeit p, so entsteht ein Poissonprozess mit Intensität
(1 − p)λ.
Was ist der Unterschied im Ergebnis zwischen der zufälligen Löschung
mit Wahrscheinlichkeit 0.5 und der systematischen Löschung jedes zweiten
Ereignisses ?
(1,5 p)
37. Das Auftreten von Erdbeben in der Stadt A werde durch einen PoissonProzeß mit λ = 2 beschrieben. Der Schaden, den ein Erdbeben jeweils
anrichtet, sei exponential verteilt mit Parameter µ = 10−5 (Zeiteinheit 1
Jahr, Geldeinheit 1 Euro). Berechne den mittleren Schaden pro Jahrzehnt.
(1p)
38. Die eingebettete Markovkette: Wenn man in einer Markovkette mit stetiger
Zeit nur die Sprünge, nicht aber die Verweildauern betrachtet, so entsteht
die ”eingebettete Markovkette” mit der Übergangsmatrix
qij
i 6= j
−qii
S = (sij ) =
0
i=j
Sei π die stationäre Verteilung der ursprünglichen Kette und ν jene der
eingebetteten Kette, so gilt:
νi = c(−qii )πi
für eine Konstante c.
(1p)
39. In an office telephone messages arrive according to a Poisson process at
the mean rate of six per hour and fax messages at three per hour.
(a) Find the probability that exactly two messages (phone or fax) are
received between 9.00 and 9.40.
(b) Find the probability that the first message after 10.00 occurs before
10.10.
40. Customers arrive at a bank according to a Poisson process at a mean rate
of λ = 10 per minute. A proportion 0.6 wish to draw out money (type
A), 0.3 wish to pay in money (type B) and 0.1 wish to do something else
(type C).
(a) If twenty customers arrive in two minutes, what is the probability
that just one is of type C?
(b) How amount of time must elapse before at least one customer each
of type A and B will have arrived with a probability of 0.9.?