Vorlesung 1

Diskrete Ereignissysteme
Vorlesung 9
Vorlesung 9
21.12.2006
Skript 4 Seite 09 bis 36
Bedingte Wahrscheinlichkeit
Satz von der totalen W’keit
Zufallsvariablen
Dichtefunktion und Verteilungsfunktion
Erwartungswert
Varianz
Standardabweichung
Unabhängigkeit von Zufallsvariablen
Beispiele Diskreter Verteilung
- Bernoulli-Verteilung
- Binomial-Verteilung
- Poisson-Verteilung
- Geometrische Verteilung
4.2 Stochastische Prozesse in diskreter Zeit
-
dynamisches System ~ zeitliche Folge von Zufallsexperimenten
Zustand und Verhalten des Systems zur Zeit t wird als Zufallsvariable X t modelliert.
Stochastischer Prozess: Folge von Zufallsvariablen  Xt tT
 in diskreter Zeit T 
-
0
 in kontinuierlicher Zeit T  0
ZV X t1 und X t 2 können abhängig sein
Markov-Prozesse: Weiterer Ablauf ist nur vom aktuellen Zustand abhängig, nicht von
der Vergangenheit.
Beispiel: Paketübertragung
1/4
Diskrete Ereignissysteme
Vorlesung 9
Definition: Markov-Kette
- Endliche Markov-Kette in diskreter Zeit über Zustandsmenge S  0,1,..., n  1
-
Folge von Zufallsvariablen  X t  t
mit Wertemenge S
0
Startverteilung q0   q00 ,q01 ,...,q0n 1  mit q 0,i  0 und
n 1
q
i 0
0,i
1
- X t 1 hängt nur von X t ab
(Falls S  0 : unendliche Markov-Kette in diskreter Zeit)
Zeithomogene Markov-Ketten
- Falls Pr  Xt 1  j| Xt  i  für alle i, j  S unabhängig von t ist, so heisst die MarkovKette (zeit)homogen.
- Für zeithomogene Markov-Ketten sind die Werte pij : Pr  Xt 1  j| Xt  i  eindeutig
definiert und ergeben die Übergangsmatrix P   pi, j 
0i, j n
Ablauf einer Markov-Kette
- Beobachtung einer Markov-Kette von Zeit 0 bis Zeit t 0
- Möglicher Ablauf: Zustände x 0 , x1 , x 2 ,..., x t 0
- W’keit für diesen Ablauf (Musterpfad):
q0,x0  Pr  X1  x1 | X0  x 0   ...  Pr Xt0  x t0 | Xt01  x t01 
Beispiel:
2/4
Diskrete Ereignissysteme
Vorlesung 9
Verweildauer
- Betrachte eine Markov-Kette, die zur Zeit t im Zustand i ist
- Modelliere die Anzahl der Zeitschritte, die die Kette ab Zeit t im Zustand i bleibt, als
Zufallsvariable Vi
-
Es gilt: Pr  Vi  k   piik 1 1  pii 
und Pr  Vi  k   piik
-
Vi ist als geometrisch verteilt
Beachte: Die Verweildauer ist abhängig davon, wie lange die Kette schon im Zustand
i war.
Rechnen mit der Übergangsmatrix
- Startverteilung: q 0 (Zeilenvektor mit n Elementen)
- W’keitsverteilung auf den Zuständen zur Zeit t:
q t   q t,0 ,..., q t,n 1  mit q t,i  Pr  Xt  i
-
Berechnung von q t 1 aus q t :
q t 1  q t  P
Dann muss gelten:
qt  q0  Pt
Ebenso:
q t  k  q t  P k für alle k  0
Der Eintrag in Zeile i und Spalte j von P k , bezeichnet mit pij  :  P k  , gibt die
k
ij
W’keit an, in k Schritten von Zustand i nach Zustand j zu gelangen.
Transientenanalyse
Typische Fragen
- Wie gross ist die W’keit nach k Schritten im Zustand j zu sein?
- Wie wahrscheinlich ist es irgendwann von i nach j zu kommen?
- Wie viele Schritte braucht die Kette im Mittel, um von i nach j zu kommen?
Beispiel
Übergangszeit (hitting time)
- Definition:
ZV Tij : min n  1| Xn  j, wenn X0  i (falls Zustand j nie erreicht wird, setze
Tij   )
-
h ij : E Tij  ist die erwartete Übergangszeit von i nach j
-
f ij : Pr Tij    ist die Ankunftsw’keit von i nach j
3/4
Diskrete Ereignissysteme
Vorlesung 9
Berechnung der erwarteten Übergangszeit
Lemma
- Fr die erwartete Übergangszeit gilt für alle i, j  S
h ij  1 
-
p
k:k  j
ik
h kj falls die Erwartungswerte h ij und h kj existieren
Für die Ankunftsw’keit gilt analog
fij  pij 
p
k:k  j
f
ik kj
4/4