Vorlesung 1

Diskrete Ereignissysteme
Vorlesung 10
Vorlesung 10
04.01.2007
Skript 4 Seite 37 bis 68
Ankunftsw’keit f ji  1 falls die erwartete Übergangszeit h ij  
Stationäre Analyse
- Reale dynamische Systeme laufen oft über eine lange Zeit
- Betrachte Verhalten für t  
- W’keitsverteilung auf den Zuständen der Markov-Kette zur Zeit t ist q t  q 0  P t
Konvergenz?
- Intuitiv klar: Falls q t für t   gegen einen Vektor  konvergiert, so sollte  die
Gleichung    P erfüllen
- Definition:
Ein Zustandsvektor  mit  j  0 und

jS
-
j
 1 heisst stationäre Verteilung der
Markov-Kette mit Übergangsmatrix P, falls    P
Die stationäre Verteilung  ist ein Eigenvektor von P zum Eigenwert 1.
(Nicht-)Eindeutigkeit der stat. Verteilung
Irreduzible Markov-Ketten
- Definition
Markov-Kette heisst irreduzibel, falls für alle Zustände i, j  S eine Zahl n 
existiert, so dass pij   0
Satz
Eine irreduzible endliche Markov-Kette besitzt eine eindeutige stationäre Verteilung
 und es gilt  j  1 h jj für alle j  S
n
-
Konvergiert eine irreduzible endliche Markov-Kette immer gegen ihre stationäre Verteilung?
Nein!
Aperiodeische Markov-Ketten
- Markov-Kette heisst aperiodisch, wenn alle Zustände aperiodisch sind.
- Nützliche Testbedingung: Zustand j aperiodisch fall eine der Bedingungen eintrifft:
o p jj  0
o
n, m  : pjjm , pjjn   0 und ggT  m, n   1
1/5
Diskrete Ereignissysteme
Vorlesung 10
Ergodische Markov-Ketten
- Irreduzible, aperiodische Markov-Ketten heissen ergodisch
- Fundamentalsatz für ergodische Markov-Ketten
o Für jede ergodische endliche Markov-Kette gilt unabhängig vom Startzustand
lim q t   wobei  die eindeutige stationäre Verteilung der Kette ist
t 
Beispiel: Paging
Vektor-Ketten
- Prozesse, bei denen X t nicht nur von X t 1 abhängt, sondern auch von X t 2 ,..., X t k
sind keine Markov-Prozesse
- Sie können aber in Vektor-Ketten mit Markov-Eigenschaften umgewandelt werden
- Beispiel:
o Prozess X t  X t 1  X t 2 erfüllt die Markov-Bedingung nicht
o Vektorprozess mit Zustandsvektor Zt   X t , X t 1  erfüllt die MarkovBedingung
 X  1 1  X t 1  1 1
Zt   t   


  Zt 1
 X t 1  1 0   X t 2  1 0 
T
4.3 Stoch. Prozesse in kontinuierlicher Zeit
-
Oft müssen diskrete Ereigis-Systeme in kontinuierlicher Zeit betrachtet werden
Im weiteren
o Kontinuierliche ZV
o Markov-Ketten in kontinuierlicher Zeit
o Warteschlangen
Kontinuierliche ZV
- Kontinuierlicher W’keitsraum  
- X definiert durch integrierbare Dichte
- Verteilungsfunktion
Erwartungswert und Varianz
2/5
Diskrete Ereignissysteme
Vorlesung 10
Exponentialverteilung
-
  ex falls x  0
Dichte f X  x   
sonst
 0
1
1
E  X   , Var  X   2


1  ex falls x  0
Verteilungsfunktion FX  x   
sonst
 0
Gutes Modell für Dauer von Telefongesprächen, Zwischenankunftszeiten von
Anfragen, Ausführungszeiten von Tasks, …
Gedächtnislosigkeit
P  X  x  y | X  y  P  X  x 
Skalierung
Y : a  X exponentialverteilt mit Parameter  a , falls X exponentialverteilt
Warteproblem
X1 ,..., X n unabhängig und exponentialverteilt mit 1 ,...,  n
X : min X1 ,..., Xn  exponentialverteilt mit Parameter 1  ...   n
3/5
Diskrete Ereignissysteme
Vorlesung 10
Markov-Ketten in kontinuierlicher Zeit
- Endliche Markov-Kette in kontinuierlicher Zeit über der Zustandsmenge
S  0,1,..., n  1
 Folge von Zufallsvariablen
 Startverteilung q  0 
 Markov-Bedingung:
P  X  t   s | X  t k   s k , X  t k 1   s k 1 ,..., X  t 0   s 0   P X  t   s | X  t k   s k 
-
-
Bemerkung
Aus der Markov-Bedingung (Gedächtnislosigkeit) für die Markov-Kette kann man
folgern, dass die Aufenthaltsdauern in den Zuständen exponentialverteilt sein müssen.
Falls P  X  t  u   j | X  t   i   P  X  u   j | X  0   i  , dann zeithomogen
-
Wir betrachten ausschliesslich zeithomogene Markov-Ketten
Zustände mit mehreren Nachfolgern
Gleichwertige Sichtweisen:
(1)
Zustand 0 hat Aufenthaltsdauer exponentialverteilt mit Parameter  . Wenn
Zustand 0 verlassen wird, so werden die Nachfolger mit W’keit p1 ,..., p 4
ausgewählt. Es gilt p1  ...  p4  1
(2)
Es werden gleichzeitig vier Werte zufällig bestimmt gemäss Exponentialverteilung
mit Parameter 1 ,...,  4 , wobei i    pi . Der kleinste Wert „gewinnt“.
- Jeder Zustand i  S hat eine exponentialverteilte Aufenthaltsdauer mit Parameter  i
- Wenn Zustand i verlassen wird, so wird mit W’keit p ij der Nachfolgezustand j
angenommen, wobei p i,i  0 und
p
jS
i, j
1
-
Die Übergangsrate von Zustand i nach j ist als i, j :  i  pi, j definiert.
-
Es gilt für i  S :  i, j  i
jS
Aufenthaltsw’keiten
- Startverteilung q  0  : q i  0   P  X  0   i 
-
Verteilung zur Zeit t: q i  t   P  X  t   i 
-
Die Änderung der Aufenthaltsw’keit kann durch Differentialgleichungen für alle i  S
beschrieben werden:
d
qi  t    q j  t   j,i  qi  t  i
dt
j:ji
-
Lösung der DGL meist aufwändig
 Betrachte Verhalten des Systems für t  
Falls Aufenthaltsw’keiten gegen eine stationäre Verteilung konvertieren, muss
d
q i  t   0 gelten
dt
4/5
Diskrete Ereignissysteme
-
Vorlesung 10
Für t   ein lineares Gleichungssystem, das von stationärer Verteilung  erfüllt
werden muss:
0    j  j,i  i i
j:ji
Irreduzible Markov-Ketten
Warteschlangen
- Besonders wichtige Anwendungen von Markov-Ketten mit kontinuierlicher Zeit
- Systeme mit Servern, die Jobs abarbeiten
- Ankunftszeit der Jobs und Bearbeitungsdauern als ZV modeliert
- Jobs, die ankommen wenn alle Server belegt sind, werden in eine Warteschlange
eingefügt
- Freiwerdender Server wählt Job aus Warteschlange aus (hier FCFS: „first come, first
serve“)
- Interessante Grössen wie
o Durchschnittliche Anzahl Jobs im System
o Durchschnittliche Verzögerung
Kendall-Notation X/Y/m/…
- X steht für die Verteilung der Zwischenankunftszeiten (Zeiten zwischen zwei
ankommenden Jobs)
- Y steht für die Verteilung der reinen Bearbeitungszeiten (ohne Wartezeit) der Jobs auf
dem Server
- Unabhängig ZV
- m steht für die Anzahl Server
- Die Verteilungen X und Y werden angegeben als
o D: feste Dauer (deterministic)
o M: exponentialverteilt (momoryless)
o G: beliebige Verteilung (general)
5/5