bis KW51

Markovprozesse und Warteschlangensysteme
M Gruber
WS 2012/13, Version vom 10. Dezember 2012
Inhaltsverzeichnis
1 Zeitdiskrete Markovketten
1.1
1.2
1.3
1.4
5
Denitionen und Grundeigenschaften . . . . . . . . . . . . . . . . . . . . . . . . .
5
1.1.1
. . . . . . . . . . . . . . . . . . . . . . .
5
Ein Beispiel mit zwei Zuständen
1.1.2
(; P )-Markovkette (Denition) .
. . . . . . . . . . . . . . . . . . . . . . .
7
1.1.3
Ein Beispiel mit drei Zuständen
. . . . . . . . . . . . . . . . . . . . . . .
9
Stoppzeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
1.2.1
Stoppzeiten (Denition) . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
1.2.2
Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
1.2.3
Mittlere Eintrezeiten (mean hitting times)
. . . . . . . . . . . . . . . .
16
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
1.3.1
Klasseneigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
1.3.2
Rekurrenz und Transienz
. . . . . . . . . . . . . . . . . . . . . . . . . . .
18
1.3.3
Endliche Kommunikationsklassen . . . . . . . . . . . . . . . . . . . . . . .
20
1.3.4
Unendliche Kommunikationsklassen
. . . . . . . . . . . . . . . . . . . . .
21
1.3.5
Irrfahrten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
Kommunikationsklassen
Stationäre (invariante) Verteilungen
. . . . . . . . . . . . . . . . . . . . . . . . .
1.4.1
Existenz und Eindeutigkeit stationärer Verteilungen
1.4.2
Positive Rekurrenz, Nullrekurrenz
24
. . . . . . . . . . . .
24
. . . . . . . . . . . . . . . . . . . . . .
27
2 Warteschlangen
2.1
Einige Eigenschaften der Exponentialverteilung
2.2
Der Poissonprozess
E ()
29
. . . . . . . . . . . . . . . .
29
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
2.2.1
Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
2.2.2
Eine Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
2.2.3
Faltung von Verteilungen
. . . . . . . . . . . . . . . . . . . . . . . . . . .
34
2.2.4
n-fache Faltung .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
2.3
Der Satz von Little . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
2.4
M/M/1-Warteschlangen
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
2.4.1
Übergänge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
2.4.2
Gleichgewicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
40
2.4.3
Beispiel
42
((t))t0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
Inhaltsverzeichnis
2.5
2.6
2.7
4
M/M/1 mit Warteschlangenbeschränkung
. . . . . . . . . . . . . . . . . . . . . .
42
2.5.1
Gleichgewicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
2.5.2
Ankunftsrate bedienter Kunden . . . . . . . . . . . . . . . . . . . . . . . .
43
Geburts-Todes-Prozesse
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
2.6.1
Abhängigkeiten der Raten . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
2.6.2
Gleichgewichtsgleichungen . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
1-Warteschlangen
M/M/
1 Zeitdiskrete Markovketten
1.1 Denitionen und Grundeigenschaften
lec01
1.1.1 Ein Beispiel mit zwei Zuständen
Beispiel 1.1
([Nor97], Example 1.1.4)
Ein dynamisches System kann im Zustand 1 oder
im Zustand 2 sein. Ist es im Zustand 1, geht es beim nächsten Schritt mit Wahrscheinlich-
2 [0; 1] in den Zustand 2 über; mit Wahrscheinlichkeit 1 bleibt es im Zustand 1.
Ist es im Zustand 2, geht es beim nächsten Schritt mit Wahrscheinlichkeit 2 [0; 1] in den
Zustand 1 über; mit Wahrscheinlichkeit 1
bleibt es im Zustand 2.
keit
Im Weiteren betrachten wir nur den nichttrivialen Fall
+ > 0.
Die Systemdynamik beschreibt man am besten mit Hilfe einer stochastischen Matrix:
"
#
1 P=
:
1 Stochastische Matrizen haben nichtnegative Komponenten, die sich zeilenweise zu
1 sum-
mieren.
Angenommen, das System bendet sich mit Wahrscheinlichkeit
mit Wahrscheinlichkeit
2
1
im Zustand 1 und
h
Dann ist es nach dem nächsten Übergang mit Wahrscheinlichkeit
1 + 2 (1 ) im Zustand 2. Das
Anfangsverteilung mit der Übergangsmatrix P liefert genau diese Werte:
Zustand 1 und mit Wahrscheinlichkeit
h
1 2
i
"
i
= 1 2 .
1 (1 ) + 2 im
im Zustand 2, d.h. es hat die Anfangsverteilung
Produkt der
#
h
i
1 = 1 (1 ) + 2 1 + 2 (1 )
1 (1.1)
Die Wahrscheinlichkeitsverteilung auf der rechten Seite von (1.1) ist wiederum die Anfangsverteilung für den darauolgenden Übergang das Systems.
Die Wahrscheinlichkeiten dafür, dass das System nach insgesamt
n
Schritten im Zu-
5
1 Zeitdiskrete Markovketten
stand 1 bzw. Zustand 2 ist, stehen im Wahrscheinlichkeitvektor
h
1 2
Um die Matrixpotenzen
Pn
i
"
#n
1 :
1 ezient berechnen, diagonalisiert man
P
am besten vorher.
Wie man Matrizen diagonalisiert, lernt man in der Linearen Algebra. (Ich empfehle
sehr [Str09] und die zugehörigen Videolektionen1 .)
Wenn
P
die Diagonalisierung
"
1
P =U
hat, ist
Pn
Die Gröÿen
=U
1
"
1 ; 2
#
1 0
U
0 2
#
n1 0
U:
0 n2
sind die Eigenwerte von
hörige Eigenvektoren2 .
P.
Die Matrix
U
enthält zeilenweise zuge-
Eine Besonderheit stochastischer Matrizen ist, dass immer mindestens ein Eigenwert
gleich
1
ist. Nehmen wir also
1 = 1
an. Die Summe der Diagonalelemente von
P , ist stets gleich der Summe der Eigenwerte.
2 = 1 + 2 = 1 + 2 . Also ist 2 = 1 und
die Spur von
Pn
=U
1
"
+
+
i
"
1
2
"
In unserem Fall heiÿt das
#
#
1 = 1:
h
1 = + 1 Und hier ein linksseitiger Eigenvektor zum Eigenwert
h
d.h.
1
0
U:
0 (1 )n
Hier ist ein linksseitiger(!) Eigenvektor zum Eigenwert
h
P,
+
i
:
2 = 1 :
#
h
i
1 = (1 ) 1 1 :
1 1
1 i
http://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/video-lectures/
Bei Markovketten betrachtet man Eigenvektoren als Zeilenvektoren, die man von links an die Übergangsmatrix
multipliziert. Das ist vielleicht etwas ungewohnt. Wenn Sie lieber mit der üblichen Darstellung Matrix mal
Spaltenvektor arbeiten möchten, brauchen Sie nur alles zu transponieren.
6
1.1 Denitionen und Grundeigenschaften
Tragen wir diese Eigenvektoren zeilenweise in eine Matrix ein, erhalten wir
3
2
U
Die Inverse von
U
ist
= 4 +
1
U 1=4
1
Die stochastische Matrix
Pn
1
3
+ 5 :
+
hat somit die Darstellung
3
2
+ 5 :
1
2
U:
2
3
2
3
#
"
0
+ 5 1
4 +
n
1
+ 0 (1 )
2
3
( +1)n + ( +1)n
n 5:
= 4 ( ++1)n ( ++1)
+
+
+
p(n) p(12n) 5 41
=
P n = 4 11
1
p(21n) p(22n)
p(ijn) geben darüber Auskunft, mit welcher
vom Zustand i aus nach n Schritten erreicht wird.
Die Gröÿen
+ 5
1
Wahrscheinlichkeit der Zustand
h
Zum Abschluss sei noch bemerkt, dass der Eigenvektor
+
+
j
i
einen Gleichge-
wichtszustand des Systems beschreibt:
h
+
+
i
"
#
h
1 = + 1 +
i
:
1.1.2 (; P )-Markovkette (Denition)
Im allgemeinen betrachten wir stochastische Prozesse
(Xn )n0
auf einem Wahrscheinlichkeits-
(
; F ; P) mit Werten in einem endlichen oder abzählbar undendlichen Zustandsraum I .
Die Zufallsvariable Xn beschreibt die Position des Prozesses im Zustandsraum I zur Zeit n.
raum
Denition 1.1
Der Prozess
(Xn )nn ist eine (; P )-Markovkette (kurz: (; P )-markovsch),
wenn
1. der Prozess mit der Wahrscheinlichkeitsverteilung
P(X0 = i) = i
für
i2I
= (i )i2I
startet, d.h. wenn
gilt und
2. und wenn der Prozess gedächtnislos ist, d.h. wenn
P(Xn+1 = ii
für
i0 ; : : : ; in+1 2 I
gilt, wobei
+1
n
j X0 = i0; : : : ; Xn = in) = pi
P = (pij )i;j 2I
i +1
n n
(1.2)
eine stochastische Matrix ist.
7
1 Zeitdiskrete Markovketten
Das Besondere an (1.2) ist, dass die bedingte Wahrscheinlichkeit für den Übergang vom Zustand
in zum Zustand in+1 nicht von der Entwicklung des Prozesses bis zur Erreichung des Zustands
in abhängt. Das ist die für Markovprozesse bezeichnende Gedächtnislosigkeit des Prozesses.
Eine alternative Charakterisierung für Satz 1.1
([Nor97], Theorem 1.1.1.)
(; P )-markovsch
Der Prozess
gibt folgender
(Xn )n0 ist genau dann (; P )-markovsch,
wenn für seine Pfade gilt:
P(X0 = i0 ; : : : ; Xn = in ) = i0 pi0 i1 pi
n
Beweis
1 in :
Siehe [Nor97].
I sind die, bei denen die Wahrscheinlichkeitsmasse 1 auf einen Zustand i 2 I konzentriert ist. Wir bezeichnen sie mit i . Für
i = (ij )j 2I gilt ij = [i = j ] (Iversonklammer3 ).
Spezielle Wahrscheinlichkeitsverteilungen auf dem Zustandsraum
(; P )-markovschen Prozess (Xn )n0 unter der bedingten Wahrscheinlichkeit P(: : : j Xm = i) (mit festem m und festem i 2 I ) betrachten. Man konzentriert
dann die Wahrscheinlichkeit auf Pfade, die sich zur Zeit m im Zustand i benden. Unter der
bedingten Wahrscheinlichkeit P(: : : j Xm = i) sind die restlichen Pfadstücke ab dem Zeitpunkt
m die Pfade einer (i ; P )-Markovkette. Man nennt diese Eigenschaft die Markov-Eigenschaft:
Man kann die Pfade eines
Satz 1.2 (Markov-Eigenschaft)
(; P )-markovschscher Prozess.
Dann ist der Prozess (Xm+n )n0 unter der bedingten Wahrscheinlichkeit P(: : : j Xm = i)
eine (i ; P )-Markovkette, die unabhängig von den Zufallsvariablen X0 ; : : : ; Xm ist.
Formal: Für Ereignisse A aus der -Algebra F (X0 ; : : : ; Xm ) gilt
Sei
(Xn )n0
([Nor97], Theorem 1.1.2.)
ein
P(fXm = im ; : : : ; Xm+n = im+n g \ A j Xm = i) = ii pi
m
i +1 pim+n 1 im+n P(A j Xm
m m
= i):
Bemerkung 1.1 Es trägt zum Verständnis bei, wenn Sie in Satz 1.2 speziell A = setzen
und P(Xm = i) > 0 annehmen. Dann ist nämlich P(A j Xm = i) = 1 und es steht
P(Xm = im ; : : : ; Xm+n = im+n j Xm = i) = ii pi
m
i +1 pim+n 1 im+n
m m
da.
Man beachte auch, dass die rechte Seite in Wirklichkeit nicht von
m abhängt:
P(Xm = im ; : : : ; Xm+n = im+n j Xm = i)
3
8
Die Iversonklammer hat den Wert
1,
wenn das Prädikat in der Klammer wahr ist, sonst
0.
1.1 Denitionen und Grundeigenschaften
und
P(X0 = im ; : : : ; Xn = im+n j X0 = i)
stellen die gleichen Werte dar, falls
i > 0 und P(Xm = i) > 0 sind.
Es ist daher sinnvoll, folgende Bezeichnung einzuführen:
Pi (A) := P(A j X0 = i)
Bemerkung 1.2
für
A 2 F (X0 ; X1 ; : : :):
(Xn )n0 den Prozess (Xm+n )n0 betrachtet, stellt
0 zurück und startet die Markovkette im Zustand i neu.
Indem man anstelle von
man die Prozessuhr von
m
auf
Der Übergangsmechanismus bleibt gleich (sagt der Satz).
n Schritte in der
in der i-ten Zeile und
In Beispiel 1.1 hat man gesehen, dass die Übergangswahrscheinlichkeiten für
Matrix
Pn
stehen. Bezeichnen wir mit
j -ten Spalte.
Satz 1.3
([Nor97], Theorem 1.1.3.)
p(ijn)
=
die Komponente von
Der Prozess
(Xn )n0
sei
Pn
(; P )-markovsch.
Dann gilt
P(Xn = j ) = (P n )j (j -te Komponente von P n );
( n)
2. Pi (Xn = j ) = P(Xn+m = j j Xm = i) = pij
für alle m; n 0.
1.
1.1.3 Ein Beispiel mit drei Zuständen
Beispiel 1.2
([Nor97], Example 1.1.6)
lec 02
Die Übergangsmatrix sei
2
3
0 1 07
6
6
P = 4 0 1=2 1=275 :
1=2 0 1=2
Als stochastische Matrix hat
werte
2
und
3
P
sicher einen Eigenwert
1 = 1.
Um die weiteren Eigen-
zu bestimmen, greifen wir auf die Tatsache (Lineare Algebra) zurück,
dass die Spur bzw. Determinante einer Matrix gleich der Summe bzw. dem Produkt ihrer
Eigenwerte ist:
1 = trace P = 1 + 2 + 3
Aus diesen Gleichungen folgt
2 = i=2
und
und
1=4 = det P = 2 3 :
3 = i=2 = 2
(mit
:
kennzeichnen wir das
Konjugiertkomplexe).
9
1 Zeitdiskrete Markovketten
Wir schreiben die Eigenwerte in die Eigenwertematrix
3
2
1 0
6
6
= 40 i=2
0 0
0 7
0 75 :
i=2
Zgehörigen Eigenvektoren sind
h
i
u1 = 12 1 1 ; u2 =
h
i
h
i
1 i 1 = u2 :
1 + i 1 ; u3 = i
i
Wir schreiben die Eigenvektoren zeilenweise in die Eigenvektorenmatrix
2
6
1
2
U = 64 i
i
3
1
17
1 + i 175 :
1 i 1
(Da man Eigenvektoren verschieden skalieren kann, ist unsere Eigenvektormatrix nur eine
von vielen möglichen. Das macht aber nichts.)
Die Beziehung zwischen Eigenwerten und Eigenvektoren wird in kompakter Form durch
die Gleichung
UP = U
beschrieben. Auösung nach
P
liefert
P 's Diagonalisierung:
P = U 1 U:
Die Berechung von
Pn
ist nun einfach:
P n = P = U 1 n U:
h
Die Entwicklung des Systems mit der Anfangsverteilung
P n
von
i
wird duch
beschrieben. Es ist von Vorteil, die Anfangsverteilung mit Hilfe der Eigenvektoren
P
= xU mit geeignetem Zeilenvektor x = U 1 . Dann
P n = xUU 1 n U = xn U zu dieser schönen und nützlichen
darzusellen, also in der Form
kommt man nämlich wegen
Formel:
P n = x1 n1 u1 + x2 n2 u2 + x3 n3 u3 :
In unserem konkreten Fall ist
2
U
10
= 1 2 3
2
5
6
1 = 62
45
2
5
1
5
1
5
3
10
+ 25i
i
10
i
10
3
1 2i
5 57
1 + i 7:
5 10 5
3 + i
10 10
(1.3)
1.1 Denitionen und Grundeigenschaften
Betrachten wir nun drei elementare Anfangsverteilungen:
h
1.
i
Fall = 1 0 0 .
x die erste Zeile von U 1
In diesem Fall ist
i
h
h
1+2i
5
x = x1 x2 x3 = 25
1 2i
5
i
und wir haben
h
i
h
i ( i )n i
x1 n1 u1 = 15 25 25 ; x2 n2 u2 = 1+2
5 2
i
1 + i 1 ; x3 n3 u3 = (x2 n2 u2 ) :
Da die beiden letzten Ausdrücke zueinander konjugiert komplex sind, vereinfacht sich
(1.3) zu
P n = x1 n1 u1 + 2 Re(x2 n2 u2 ):
Es ist
n
n2 = ( 2i )n = ( 12 )n cos n
2 + i sin 2
und
h
i
h
(1.4)
i
x2 u2 = 52 ; 15 ; 15 + i 15 ; 53 ; 25 ;
folglich
h
Re(x2 n2 u2 ) = ( 12 )n cos n2 25 ;
1; 1
5 5
i
+ ( 12 )n sin n2
h
1 3 2
5; 5; 5
i
:
Insgesamt hat man also
h
i
1 0 0 Pn =
h
1
5
2
5
2
5
i
h
+ ( 21 )n 1 cos n2 25 ;
Man sieht hier schön, wie das System für
strebt:
h
n!1
i
lim
Pn =
n!1 1 0 0
h
2.
1; 1
5 5
h
1
5
i
+ ( 21 )n 1 sin n2
h
1; 3; 2
5 5 5
i
:
gegen den Gleichgewichtszustand
2
5
2
5
i
:
i
Fall = 0 1 0 .
Nun ist
x die zweite Zeile von U 1
h
i
h
x = x1 x2 x3 = 25
2 i
10
2+i
10
i
und wir haben
i
h
h
x1 n1 u1 = 51 25 52 ; x2 n2 u2 = 25 i ( 2i )n i
i
1 + i 1 ; x3 n3 u3 = (x2 n2 u2 ) :
11
1 Zeitdiskrete Markovketten
Es ist
x2 u2 =
h
1 3
1
10 ; 10 ; 5
i
h
+ i 15 ;
1
1
10 ; 10
i
;
folglich
Re(x2 n2 u2 ) = ( 12 )n cos n2
h
1 3
1
10 ; 10 ; 5
i
+ ( 12 )n sin n2
h
1 1 1
5 ; 10 ; 10
i
:
Insgesamt hat man nun
h
i
0 1 0 Pn =
h
3.
h
1
5
2
5
2
5
i
+ ( 12 )n 1 cos n2
h
1 3
1
10 ; 10 ; 5
i
+ ( 21 )n 1 sin n2
h
1; 1 ; 1
5 10 10
i
:
i
Fall = 0 0 1 .
Nun ist
x die dritte Zeile von U 1
i
h
h
i
x = x1 x2 x3 = 25 310i 3+
10
i
und wir haben
h
i
h
i
1 i 1 ; x3 n3 u3 = (x2 n2 u2 ) :
x1 n1 u1 = 15 52 25 ; x2 n2 u2 = 310i ( 2i )n i
Es ist
x2 u2 =
h
1
1 3
10 ; 5 ; 10
i
+i
h
3 2
1
10 ; 5 ; 10
i
;
folglich
Re(x2 n2 u2 ) = ( 12 )n cos n2
h
1
1 3
10 ; 5 ; 10
i
+ ( 12 )n sin n2
h
3
2 1
10 ; 5 ; 10
i
:
Insgesamt hat man
h
i
0 0 1 Pn =
h
1
5
2
5
2
5
i
+ ( 12 )n 1 cos n2
h
1
1 3
10 ; 5 ; 10
i
+ ( 21 )n 1 sin n2
h
3
2 1
10 ; 5 ; 10
i
:
Alle weiteren Fälle sind Konvexkombinationen dieser drei Elementarfälle.
1.2 Stoppzeiten
1.2.1 Stoppzeiten (Denition)
Denition 1.2 (Stoppzeit)
zeit zu (Xn )n0 , wenn gilt
Die Zufallsvariable
T : ! f0; 1; 2; : : :g [ f1g ist eine Stopp-
fT = ng 2 F (X0; : : : ; Xn)
12
für alle
n 0:
1.2 Stoppzeiten
Für eine Stoppzeit
T
bezeichnet
F (X0; : : : XT ) die -Algebra der Ereignisse B mit
B \ fT = mg 2 F (X0 ; : : : Xm )
für alle
m:
F (X0; : : : XT ) die T -Vergangenheit des Prozesses.
Für ! 2 mit T (! ) < 1 interessiert typischerweise die gestoppte Zufallsvariable
Man nennt
! 7! XT (!) (!);
die wir als
XT
notieren.
Satz 1.4 (Starke Markoveigenschaft) ([Nor97], Theorem 1.4.2.) Sei T eine Stoppzeit
zum Markovprozess (Xn )n0 . Dann ist unter der Bedingung T < 1 und XT = i der
Prozess (XT +n )n0 ebenfalls ein Markovprozess.
M.a.W.: Für
B 2 F (X0 ; : : : ; XT ) gilt
P(fXT = j0 ; : : : ; XT +n = jn g \ B j T < 1; XT = i)
:
= Pi (X0 = j0 ; : : : ; Xn = jn ) P(B j T < 1; XT = i)
Beweis
[Nor97], pp.20.
Bemerkung 1.3 Es trägt zum Verständnis bei, wenn Sie in Satz 1.4 speziell B = setzen
und P(T < 1; XT = i) > 0 annehmen. Dann ist nämlich P(B j T < 1; XT = i) = 1 und es
steht
P(XT = j0 ; : : : ; XT +n = jn j T < 1; XT = i) = Pi (X0 = j0 ; : : : ; Xn = jn )
da.
Bemerkung 1.4
Indem man anstelle von
man die Prozessuhr von
T
auf
0
zurück
(Xn )n0 den Prozess (XT +n )n0 betrachtet, stellt
und startet die Markovkette im Zustand i neu.
Der Übergangsmechanismus bleibt gleich (sagt der Satz).
Denition 1.3 (Eintrezeit)
fallsvariable
mit der Konvention
1 an).
Sei
A I.
Die Eintrezeit (hitting time) bei
A
ist die Zu-
H A = inf fn 0 j Xn 2 Ag
inf ; = 1 (d.h. für Pfade !, die A nie treen, nimmt H A (!) den Wert
13
1 Zeitdiskrete Markovketten
Bemerkung 1.5 H A
ist eine Stoppzeit, denn
fT = ng = fX0 2= A; : : : ; Xn 1 2= A; Xn 2 Ag 2 F (X0; : : : ; Xn):
Bemerkung 1.6 LA = supfn 0 j Xn 2 Ag (last exit time)
Sei
hAi := Pi (H A < 1) = P(H A < 1 j X0 = i):
die Wahrscheinlichkeit, dass der in
i startende Prozess die Zustandsmenge A in endlicher Zeit
trit und sei
hA := (hAi )i2I
der Vektor dieser Wahrscheinlichkeiten.
Bemerkung 1.7
Satz 1.5
hA ist i.a. keine Wahrscheinlichkeitsverteilung!
Eine Konsequenz der Markov-Eigenschaft ist
hAi = 1 für i 2 A
([Nor97], Theorem 1.3.2.)
Lösung des Systems
Beweis
ist keine Stoppzeit.
und
hA
hAi =
X
j 2I
hAj pij
für
i 2= A:
ist komponentenweise die kleinste nichtnegative
hAi = 1
P
hAi = j 2I hAj pij
i 2 A;
für i 2
= A:
für
[Nor97], pp.13.
1.2.2 Beispiele
Beispiel 1.3
Sei
P=
"
1 0 0 0 #
1=2 0 1=2 0 .
0 1=2 0 1=2
0 0 0 1
Beispiel 1.4 (Gambler's ruin)
Es ist
hf24g = 1=3 und hf14g = 0
([Nor97] Example 1.3.3)
0 < p = 1 q < 1, p00 = 1, pi;i+1 = p und pi;i 1 = q
Für die Ruinwahrscheinlichkeit hi = Pi (H f0g < 1) gilt
Seien
für
h0 = 1
hi = phi+1 + qhi 1 i = 1; 2; : : :
Es liegt eine lineare Rekursion vor (homogner Fall).
14
i = 1; 2; : : :.
1.2 Stoppzeiten
Die charakteristische Gleichung
Im Fall
p 6= q
q
1
px + p
x2
= 0 hat die Lösungen x 2 f pq ; 1g.
(verschiedene Wurzeln) setzt man
hi = A + B ( pq )i
an und bestimmt
Im Fall
p<q
A und B .
ist das Casino im Vorteil. Da
sein. Daraus folgt
hi 1
für alle
i
A = 1 und hi = 1 für alle i, der sichere Ruin.
gelten muss, muss
B=0
p > q ist der Spieler im Vorteil. Da h0 = 1 sein muss, ist A + B = 1. Also
ist hi = A + (1
A)( pq )i = ( pq )i + A(1 ( pq )i ). Man sieht, dass A 0 sein muss, denn
andernfalls gibt es negative Werte für gewisse hi . Wegen der Minimalitätseigenschaft der
hi folgt A = 0, also ist hi = ( pq )i .
Im Fall
Im Fall
p=q
(Doppelwurzel
1) setzt man
hi = A + Bi
hi = (A + Bi)1i ) und bestimmt hieraus A und B .
hier A = 1; B = 0, also hi = 1, also auch hier der sichere Ruin.
an (eigentlich:
Beispiel 1.5 (Birth-and-death-chain) ([Nor97] Example
und pi;i+1 = pi 0 mit pi + qi = 1 für i = 1; 2; : : :.
Für
Wegen
1.3.4)
0 hi 1
Seien
folgt
pi;i 1 = qi 0
hi = Pi (H f0g < 1) gilt (Markov-Eigenschaft!)
h0 = 1; hi = pi hi+1 + qi hi 1 ; i = 1; 2; : : : :
ui = hi 1 hi .
Für pi ui+1 = pi hi
pi hi+1
Betrachte
und
qi ui = qi hi 1 qi hi
gilt
pi ui+1 qi ui = 0, d.h.
pi ui+1 = qi ui :
(Dies lässt sich als Balancegleichung für den Zustand
i
interpretieren: Was von ihm nach links
ausströmt und was von ihm nach rechts ausströmt, aber wieder zurückkommt, muss gleich sein.)
Daraus lässt sich eine Formel für die
ui+1 =
mit
ui
gewinnen:
qi
q q1
ui = : : : = i
u =: i u1
pi
pi p1 1
q
qq
q q1
0 = 1; 1 = 1 ; 2 = 2 1 ; : : : ; i = i
:
p1
p2 p1
pi p1
15
1 Zeitdiskrete Markovketten
Wegen
X
1ki
uk = h0 hi (\teleskopischeSumme00 )
gilt
hi = 1 u1
mit
X
0k<i
k
u1 0.
Es geht nun darum, den richtigen Wert für
u1
zu nden.
Zwei Fälle müssen unterschieden werden:
1.
2.
P
P
k k
= 1: Dann muss u1 = 0 und damit hi = 1 sein.
P
< 1: Dann muss hi = 1 u1 0k<i k 0 und minimal sein.
P
P
j i k
P
Dies ist für u1 = 1= k k der Fall. Also ist hi = 1
.
k k
k k
1.2.3 Mittlere Eintrezeiten (mean hitting times)
Denition 1.4 (Mittlere Eintrezeit) Sei A I und i 2 I . Die mittlere
der Zustandsmenge A bei Start in i ist der bedingte Erwartungswert
kiA := Ei H A :=
mit der Konvention
X
n
Eintrezeit bei
n Pi (H A = n) + 1 Pi (H A = 1)
1 0 = 0.
Sei
kA = (kiA )i2I
der Vektor der mittleren Eintrezeiten.
Satz 1.6
([Nor97], Theorem 1.3.5)
kA
die minimale nichtnegative Lösung des Systems
kiA = 0 für i 2 A
X
kiA = 1 + kjA pij
j 2= A
Beweis
16
[Nor97], pp.17.
für
i 2= A
1.3 Kommunikationsklassen
1.3 Kommunikationsklassen
1.3.1 Klasseneigenschaften
Der Zustandsraum der Markovkette
Für Zustände
i; j 2 I; i 6= j
(Xn )n0 sei I N.
denieren wir
i ! j : , es existiert n 2 N mit p(ijn) > 0:
i $ j : , i ! j und j ! i:
Für
i ! j sagt man von i erreicht man j und für
i $ j i und j kommunizieren.
Man hat die Eigenschaften
i$j) j$i
i $ j und j $ k ) i $ k
i$i
(Symmetrie)
(Transitivität)
(Reexivität)
Die drei Eigenschaften Symmetrie, Transitivität und Reexivität denieren eine Beziehung, die
man Äquivalenzrelation nennt.
Mit Äquivalenzrelationen deniert man sogenannte Äquivalenzklassen . In unserem Falle sind
diese Äquivalenzklassen (oder kurz: Klassen) so deniert:
[i] : = fj 2 I j i $ j g
(1.5)
Man nennt sie kommunizierende Klassen . Die kommunizierenden Klassen sind entweder identisch oder disjunkt: Es gilt
[i] = [j ] genau dann, wenn i $ j und
[i] \ [j ] = ; genau dann, wenn i 6$ j . Der Zustandsraum zerfällt somit in kommunizierende
Klassen.
Sei
C
eine beliebige Teilmenge des Zustandsraums
i, den es
Zustand j enthält, der von i aus erreichbar ist (i 2 C ^ i ! j ) j 2 C ).
Wir sagen,
C
Wenn
C
ist abgeschlossen , wenn
C
mit jedem Zustend
ist genau dann abgeschlossen, wenn für alle
Wir sagen,
in
C
I.
C
ist oen , wenn
C
i2C
und alle
j 2= C
gilt:
enthält, auch jeden
pij = 0.
nicht abgeschlossen ist.
C oen ist, gibt es mindestens einen Zustand auÿerhalb C der von von einem Zustand
aus erreichbar ist.
17
1 Zeitdiskrete Markovketten
Wir sagen, eine Markovkette ist irreduzibel , wenn ihr Zustandsraum aus einer einzigen kommunizierenden Klasse besteht.
Wenn eine Markovkette irreduzibel ist, gibt es keine echte Teilmenge des Zustandsraums, die
abgeschlossen ist.
1.3.2 Rekurrenz und Transienz
T
S
Xn (!) = i für unendlich viele n ist, ist 0n<1 nk<1 fXk = ig. Man
ndet dafür auch oft die Schreibweise fXn = i
i.o.g (i.o. steht für innitely often ).
Die Pfadmenge, auf der
(Xn )n0 eine Markovkette.
Ein Zustand i 2 I ist rekurrent, wenn Pi (Xn = i
Ein Zustand i 2 I ist transient, wenn Pi (Xn = i
Denition 1.5
Sei
) = 1 ist.
i.o.) = 0 ist.
i.o.
Denition 1.6 (rte Durchgangszeit, rth passage time )
Sei
(Xn )n0
eine Markovkette und
i2I
ein Zustand.
Die induktiv denierten Zufallsvariablen
Ti(0) (!) = 0; Ti(r) (!) = inf fn > Ti(r 1) (!) j Xn (!) = ig
heiÿen
rte Durchgangszeiten beim Zustand i.
Für die erste Durchgangszeit schreibt man oft einfach
Satz 1.7
([Nor97], Theorem 1.5.3.)
Sei
Ti .
(Xn )n0 eine Markovkette und i 2 I ein Zustand.
Es gilt folgende Alternative:
1.
2.
Pi (Ti < 1) = 1; es ist dann i rekurrent und 0n<1 p(iin) = 1;
P
Pi (Ti < 1) < 1; es ist dann i transient und 0n<1 p(iin) < 1.
P
Beweis
Sei
Vi
=
X
die Zufallsvariable, die zählt, wie oft der Prozess
Es ist
Sei
V~i
Pi (Vi > 0) = Pi (Ti < 1).
die zu
Vi
[Xk = i]
0<k<1
(Xn )n0 zum Zustand i nach dem Start aufsucht.
analoge Zählfunktion für den Prozess
Wegen der starken Markoveigenschaft ist für
(XT +n )n0 .
i
k>0
Pi (Vi > k) = Pi (V~i > k 1; Ti < 1) = Pi (V~i > k 1) Pi (Ti < 1) = Pi (Vi > k 1) Pi (Ti < 1)
18
1.3 Kommunikationsklassen
und damit
Pi (Vi > k) = Pi (Ti < 1)k+1 :
Pi (Ti < 1) = 1 ist, dann ist Pi (Vi = 1) = limk!1 Pi (Vi > k) = 1, d.h. (Xn )n0
ist rekurrent. Ist dagegen Pi (Ti < 1) < 1, dann ist Pi (Vi = 1) = 0 und (Xn )n0 transient.
Man sieht hier: Wenn
Die Zufallsvariable
Ei Vi = Ei
Vi
hat den Erwartungswert
X
[Xk = i] =
0<k<1
X
0<k<1
Ei [Xk = i] =
X
0<k<1
Pi (Xk = i) =
X
0<k<1
( n)
pii :
Für diesen Erwartungswert gilt aber auch
Ei Vi =
=
=
=
=
Wegen
X
0<k<1
X
k Pi (Vi
X
0<k<1 0r<k
X
Pi (Vi = k)
X
[r < k] Pi (Vi = k)
0<k<1 0r<1
X
X
0r<1 r<k<1
X
0r<1
= k)
Pi (Vi = k)
Pi (Vi > r):
Pi (Vi > k) = Pi (Ti < 1)k+1 ist damit
Ei Vi = Pi (Ti < 1) :
1 Pi (Ti < 1)
Hiervon liest man ab: Im Rekurrenzfall ist
P
(n)
0n<1 pii
= 1, im Transienzfall
P
( n)
0n<1 pii < 1. Satz 1.8 (Class Property Theorem) ([Nor97], Theorem 1.5.4.) Die Zustände einer kommunizierenden Klasse C sind entweder alle rekurrent oder alle transient.
Beweis
Wir zeigen, wie sich die Eigenschaft transient von einem Zustand auf den anderen überträgt,
wenn die beiden Zustände kommunizieren.
Angenommen, der Zustand
j
ist transient und kommuniziert mit dem Zustand
k.
2 N mit p(jkJ ) > 0.
(K )
Und da j von k aus erreichbar ist, gibt es auch eine Zahl K 2 N mit pkj > 0.
Da
k
von
j
aus erreichbar ist, gibt es auch eine Zahl
Es gilt nun die Ungleichung
(J +n+K )
pjj
J
p(jkJ ) p(kkn) p(kjK ) :
(1.6)
Auf beiden Seiten der Ungleichung stehen nämlich Wahrscheinlichkeiten dafür, vom Zustand
J
+n+K
Schritten wieder zum Zustand
j
j
nach
zurückzukehren. Während aber links keine Bedingung an
die Pfade gestellt wird, besteht rechts die Einschränkung auf Pfade, die in
J
Schritten zu
k
und in
K
19
1 Zeitdiskrete Markovketten
Schritten wieder von dort zurückführen. Also ist die Wahrscheinlichkeit auf der rechten Seite nicht gröÿer
als die auf der linken Seite.
Summiert man nun in (1.6) über alle
n,
erhält man links einen endlichen Wert, da
Der Wert auf der rechten Seite ist dann auch endlich, d.h. der Zustand
Satz 1.9
Beweis
(indirekt)
Angenommen,
C
muss auch transient sein.
i2C
sei eine oene rekurrente Klasse.
und ein Zustand
Pi (Xm = j ) > 0
i
transient ist.
([Nor97], Theorem 1.5.5.) Rekurrente Klassen sind abgeschlossen.
Es existiert dann ein Zustand
Da
k
j
von
j
j2
= C,
für ein
i
aus erreichbar ist:
m 1:
aus nicht erreichbar ist, gilt
Pi (fXm = j g \ fXn = i
Das ist unmöglich, wenn
Also muss
der von
Pi (Xn = i
Folgerung 1.1
Pi (Xn = i
g) = 0:
i.o
) = 1 ist.
i.o
) < 1 sein, d.h. Pi (Xn = i
i.o
) = 0 und i ist transient; Widerspruch!
i.o
Oene Klassen sind transient.
Bemerkung 1.8
Abgeschlossene Klassen können transient oder rekurrent sein.
1.3.3 Endliche Kommunikationsklassen
Wir betrachten nun endliche Kommunikationsklasse, also solche, die nur endlich viele Elemente
enthalten.
Satz 1.10
Beweis
[Nor97], Theorem 1.5.6.) Endliche abgeschlossene Klassen sind rekurrent.
Die Klasse
C
sei abgeschlossen und endlich.
Wegen der Endlichkeit von
Dann muss aber
20
Pi (Xn = i
C
gibt es ein
i2C
mit
Pi (Xn = i
) = 1 sein und C rekurrent.
i.o.
) > 0.
i.o.
1.3 Kommunikationsklassen
Folgerung 1.2
Eine Markovkette mit endlichem Zustandsraum kann nur dann einen tran-
sienten Zustand
i
haben, wenn ein
j
existiert mit
i!j
aber
j 6! i
(d.h. wenn es eine
oene Kommunikationsklasse gibt).
Beispiel 1.6
3
2
0 0 0 07
6
0 0 1 0 0 077
0 0 0 0 777
P=
0 0 0 0777
0 0 0 0 75
0 1 0 0 0 0
steht für eine Zahl zwischen 0 und 1, die Zeilensummen von P
6
6
6
6
6
6
6
6
6
4
sind
1.
A = f0; 1; 2; 3; 4; 5g.
[0] = f0; 4g ist oen, also transient.
[1] = f1; 2; 5g ist abgeschlossen und endlich, also rekurrent.
[3] = f3g ist oen, also transient.
1.3.4 Unendliche Kommunikationsklassen
Unendliche Kommunikationsklassen können sowohl rekurrent als auch transient sein (siehe
Übungen).
Satz 1.11
Eine rekurrente irreduzible Markovkette erreicht mit Sicherheit jeden Zustand,
egal von wo aus gestartet wird; genauer: Ist eine Markovkette
j2I
irreduzibel, so gilt für jeden beliebigen Zustand
(Xn )n0
rekurrent und
P(Tj < 1) = 1:
Beweis
Sei
Es ist
= (i )i2I
P(Tj < 1) =
P
eine beliebige Startverteilung für den Prozess.
i2I i Pi (Tj <
1).
Um (1.7) zu zeigen, genügt es daher nachzuweisen, dass
Wähle
i; j
(1.7)
Pi (Tj < 1) für beliebige i; j 2 I
ist.
2 I . Da i von j aus erreichbar ist, ist p(jim) > 0 für ein m 2 N. Wir halten m fest.
Pj (Xn = j
Da
j
Da
Pj (Xn = j für ein n m + 1) Pj (Xn = j
ein rekurrenter Zustand ist, ist
Pfade mit der Eigenschaft Xn
) = 1.
i.o.
) ist, ist auch Pj (Xn = j für ein n m + 1) = 1.
i.o.
= j für ein n m +1 durchlaufen zur Zeit m verschiedene Zustände k.
21
1 Zeitdiskrete Markovketten
Wir können dies foldendermaÿen ausdrücken:
Pj (Xn = j für ein n m + 1) =
X
k 2I
Pj (Xn = j für ein n m + 1 j Xm = k) Pj (Xm = k):
Wegen der Markoveigenschaft sind in (1.8) alle
Ferner sind in (1.8) alle
Pj (Xm = k) = p(kjm) .
Zusammen hat man also
Da
P
Für
(m )
k2I pjk
k=i
P
k2I Pk (Tj <
(1.8)
Pj (Xn = j für ein n m +1 j Xm = k) = Pk (Tj < 1).
1)p(jkm) = 1.
= 1 ist, muss Pk (Tj < 1) = 1 zumindest für solche k; j 2 I gelten, für die p(jkm) > 0 ist.
ist das der Fall. Also ist
Pi (Tj < 1) = 1.
1.3.5 Irrfahrten
Beispiel 1.7 (1-dimensionale Irrfahrt) ([Nor97], Ex. 1.6.1) Der
Für alle i 2 Z sei pi;i+1 = p > 0 und pi;i 1 = q > 0 mit p + q = 1.
Es ist klar, dass
I
Zustandsraum sei
Z.
eine einzige (abgeschlossene) kommunizierende Klasse darstellt. Die
Markovkette ist also irreduzibel. Ist sie rekurrent oder transient?
0. Da er nur nach einer geraden Anzahl Schritte zur 0
= 0 für alle n.
Der Prozess starte im Zustand
zurückkehren kann, ist
n+1)
p(2
00
Bei gerader Schrittzahl
Das ist auf
keit
(pg)n :
2n
n
2n
gibt es
n
Schritte nach rechts und
n
Schritte nach links.
verschiedene Weisen möglich. Jeder Pfad hat dabei die Wahrscheinlich-
n)
p(2
00
!
= 2n (pq)n
n
(1.9)
Zur Entscheidung über Rekurrenz oder Transienz ziehen wir die Summierbarkeit der
(2n)
p00
heran. Dabei hilft die asymptotische Beziehung (siehe [Nor97], p.30)
p
n! C 2n(n=e)n :
Mit deren Hilfe erhalten wir
n)
p(2
00 =
Im Fall
p = q = 1=2 ist 4pq = 1 und
Im Fall
p 6= q
22
ist
4pq < 1 und
P
(2n)! (pq)2n (4ppq)n :
(n!)2
C n=2
P
(2n)
n p00
(2n)
n p00
= 1, d.h. wir haben Rekurrenz.
< 1, d.h. wir haben Transienz.
(1.10)
1.3 Kommunikationsklassen
Beispiel 1.8 (2-dimensionale symmetrische Irrfahrt)
Der Zustandsraum sei
Z Z.
([Nor97], Example 1.6.2)
Der Prozess starte im Nullpunkt. Bei jedem Schritt gehe
der Prozess mit Wahrscheinlichkeit
1=4 zu einem der vier benachbarten Gitterpunkte über.
Wir betrachten die Projektionen der Irrfahrt auf die beiden Diagonalen der Ebene
R R.
Die Projektionsmatrizen sind
P+ =
1
2
"
1 1
1 1
#
P =
und
1
2
"
1
1
1 1
#
mit den Wirkungen
[ 10 ]
1 [1]
2 1
Xn+1 Xn
P+ (Xn+1 Xn )
P (Xn+1 Xn )
1 1 2 1
Wir identizieren die Projektionen von
fahrten
(Xn+ )n0
und
(Xn )n0
auf
1
0
h
i
1 1
2 1
1 1
2 1
(Xn )n0
[ 01 ]
1 [1]
2 1
1 1
2 1
0 1 i
h
1 1
2 1
1 1
2 1
:
folgendermaÿen mit symmetrischen Irr-
Z:
Xn+1 Xn [ 10 ]
Xn++1 Xn+ = 1
Xn+1 Xn = 1
1
0
1
1
[ 01 ]
1
1
0 1
1 :
1
(Xn+ )n0 und (Xn )n0 sind unabhängig (nachprüfen!).
+ )n0
Der Prozess (Xn )n0 kehrt genau dann zum Nullpunkt zurück, wenn die Prozesse (Xn
und (Xn )n0 gleichzeitig zum Nullpunkt zurückkehren. Daher ist die Wahrscheinlichkeit
für die Rückkehr nach 2n Schritten
Die Prozesse
n)
p(2
00
Somit ist
P
(2n)
n>0 p00
=
2n
n
! !2
2n
1
2
C22n :
= 1 (harmonische Reihe!) und der Prozess (Xn )n0
Beispiel 1.9 (3-dimensionale symmetrische Irrfahrt)
Die
([Nor97], Example 1.6.3)
3-dimensionale symmetrische Irrfahrt ist transient.
Beweis
siehe [Nor97], Example 1.6.3.
Beispiel 1.10 (4-dimensionale symmetrische Irrfahrt)
Die
rekurrent
([Nor97], Exercise 1.6.2)
4-dimensionale symmetrische Irrfahrt ist transient.
23
1 Zeitdiskrete Markovketten
Beweis
Übungsaufgabe.
1.4 Stationäre (invariante) Verteilungen
1.4.1 Existenz und Eindeutigkeit stationärer Verteilungen
Denition 1.7 (stationär (invariant)) Sei = (i )i2I ein nichtnegatives
P
Zustandsraum I , d.h. alle i seien nichtnegativ und es gelte
i 2 I i 1 .
Wir sagen, ist stationär (invariant), wenn
j =
ist (wenn also
= P
X
i 2I
i pij
für alle
Maÿ auf dem
j2I
gilt).
Satz 1.12 ([Nor97] Theorem 1.7.2) Der Zustandsraum I sei endlich. Es gebe ein i 2 I
( n)
mit pij ! j für alle j 2 I . Dann ist = (j )j 2I eine invariante Wahrscheinlichkeitsverteilung (d.h. die j summieren sich zu 1 und es ist = P ).
Beweis
Die
j
(P )j =
( n)
limn!1 pij = j .
Ferner ist
P
k2I k pkj
P
P
P
1, denn es ist j 2I j = j 2I limn!1 p(ijn) = limn!1 j 2I p(ijn) = 1.
P
P
= k2I (limn!1 p(ikn) )pkj = limn!1 k2I p(ikn) pkj = limn!1 (P n P )ij =
summieren sich zu
Bemerkung 1.9 Bei der eindimensionalen Irrfahrt (unendlicher Zustandsraum!) ist im
( n)
(n)
Transienzfall limn!1 pij = 0. In diesem Fall esistieren also zwar die Grenzwerte limn!1 pij ,
aber sie sind nicht die Komponenten einer Wahrscheinlichkeitsverteilung.
Wir werden gleich sehen: Liegt eine irreduzible rekurrente Markovklette vor, so gibt es zu
deren Übergangsmatrix
P
ein positives stationäres Maÿ auf dem Zustandsraum. Dieses Maÿ
lässt sich konstruieren, nämlich als
k = (ik )k2I
ik = Ek
Die Gröÿe
Zustand
ik
gibt die Zeit an, die der in
X
0nTk 1
k
[Xn = i]:
(1.11)
startende Prozess im Mittel (Erwartungswert) im
i verbringt, bevor er zu k zurückkkehrt. Man kann sie auch in folgender Form schreiben:
ik =
24
mit
X
0n<1
Pk (Xn = i; Tk > n):
(1.12)
1.4 Stationäre (invariante) Verteilungen
Satz 1.13
([Nor97], Theorem 1.7.5)
1.
kk = 1,
2.
k = (ik )i2I
3. für alle
ist
P
irreduzibel und rekurrent. Dann gilt
k = kP
ist invariant, d.h.
i2I
Sei
und
0 < ik < 1.
Beweis
1. Der Prozess hält sich vor der ersten Rückkehr zum Zustand
0.
nämlich zur Startzeit
2. Wir wählen ein
k genau einmal in diesem Zustand auf,
2 I und zeigen jk = Pi2I ik pij .
j
a) Es ist
jk
= Ek
X
[Xn = j ] = Ek
0nTk 1
denn anstelle des Startpunkts
zur Berechnung von
jk
k
X
0<nTk
[Xn = j ] = Ek
X
[Xn = j; n Tk ];
0<n<1
0) kann man auch den Endpunkt k (zur Zeit Tk )
(zur Zeit
heranziehen.
b) Vertauschung von Erwartungswert- und Summationsoperator:
jk
=
X
0<n<1
Pk (Xn = j; n Tk ):
c) Formaler Einbau der Prozesspositionen zur Zeit
jk
X X
=
0<n<1 i2I
1:
n
Pk (Xn 1 = i; Xn = j; n Tk ) =
X X
0<n<1 i2I
Pk (Xn 1 = i; n Tk )pij :
d) Vertauschung der Summationen:
jk
=
X
i2I
pij
X
0<n<1
Pk (Xn 1 = i; n Tk ):
e) Transformation der Summationsvariablen:
jk
f) Es ist
3. Sei
i2I
=
X
i2I
pij
X
0m<1
P
0m<1 Pk (Xm
Pk (Xm = i; m Tk 1) =
a) Positivität:
ik
X
0m<1
Pk (Xm = i; Tk > m):
P
gibt es
P
k
i2I i pij
gezeigt .
(m )
(n )
n; m 2 N mit pki > 0 und pik > 0.
positiv und endlich ist.
0 < kk p(kim) b) Endlichkeit:
i2I
pij
= i; Tk > m) = ik , also haben wir hiermit jk =
beliebig. Aufgrund der Irreduzibilität von
Wir zeigen, dass
X
(n )
ik pik
P
k (m )
j 2I j pji
= ik .
Pj2I jk p(jkn) = kk = 1.
25
1 Zeitdiskrete Markovketten
Satz 1.14 ([Nor97],
= P ) mit k = 1.
Dann ist
Ist
P
Theorem 1.7.6)
Sei
irreduzibel und
ein invariantes Maÿ (d.h.
k.
= k.
zusätzlich rekurrent, dann ist
Beweis
P
Sei
j
2 I beliebig.
1. Wegen der Invarianz von
ist
j
Den Summanden
k pkj
X
=
i1 2I
i1 pi1 j
=
X
i1 2I
i1 6=k
i1 pi1 j
+ k pkj :
haben wir für spätere Zwecke abgespalten.
2. Wir wiederholen des Invarianzargument und spalten Summanden, die
=
j
X X
i1 2I i2 2I
i1 6=k i2 6=k
i2 pi2 i1 pi1 j
3. Wir wiederholen des Invarianzargument
ab:
j
=
X
i1 2I
i1 6=k
:::
X
in 2I
in 6=k
in pin in
1
n
+ k pkj +
X
i1 2I
i1 6=k
k
enthalten, wieder ab:
k pki1 pi1 j :
mal und spalten jeweils Summanden, die
pi1 j + k pkj + : : : +
X
i1 2I
i1 6=k
:::
X
in 1 2I
in 1 6=k
k pkin
1
k pkj + : : : +
5. Die verbliebenen Gröÿen stellen im Fall
X
i1 2I
i1 6=k
6. Für
j
(Für
7. Ist
P
6= k ist damit
j
X
in 1 2I
in 1 6=k
j
0<n<1
X
in 1 2I
in 1 6=k
rekurrent, so ist
k
1
=
1
pi1 j :
pi1 j = Pk (Xn = j; Tk > n):
Pk (Xn = j; Tk > n) = jk :
nach Satz 1.13 invariant.
invariant ist, ist dann
k pkin
6= k folgende Werte dar (beachte k = 1):
k pkin
X
i1 2I
i1 6=k
:::
= k ist k = 1 = kk .)
Da auch
26
:::
j
X
k
invariant.
enthalten,
pi1 j :
4. Wir lassen die erste Mehrfachsumme weg und erhalten die Ungleichung
j
k
1.4 Stationäre (invariante) Verteilungen
Wegen
k
Wir zeigen:
Sei
i2I
0.
ist
Und wegen
k
= kk = 1 ist k = 0.
= 0.
( n)
pik > 0 für ein n N (P ist irreduzibel,
P
( n)
(n)
i pik . Also ist i = 0.
j 2I j pjk
ein beliebiger Zustand und
erreichbar). Es ist
0 = k =
2
also ist
k
von
i
aus
1.4.2 Positive Rekurrenz, Nullrekurrenz
k ist Pk (Tk < 1) = 1, d.h. der Zustand k wird mit Sicherheit
wieder aufgesucht. Es ist aber oen, ob der Erwartungswert der ersten Druchgangszeit Tk endlich
Für einen rekurrenten Zustand
oder unendlich ist.
Bemerkung 1.10
X
i 2I
ik =
X
X
i2I 0n<1
Es ist
Ek T k =
P
k
i 2I i ,
Pk (Xn = i; n < Tk ) =
denn
X
X
0n<1 i2I
Pk (Xn = i; n < Tk ) =
X
0n<1
Pk (n < Tk ) = Ek Tk :
Denition 1.8 Der Zustand k heiÿt positiv rekurrent, wenn Ek Tk < 1 ist und nullrekurrent, wenn Ek Tk = 1 ist.
Wie kann man diese beiden Situationen unterscheiden?
Satz 1.15
([Nor97], Theorem 1.7.7)
Ist
P
irreduzibel, so sind folgende Aussagen äqui-
valent:
1. Alle Zustände sind positiv rekurrent.
2. Es gibt einen positiv rekurrenten Zustand.
3. Es gibt eine invariante Wahrscheinlichkeitsverteilung auf dem Zustandsraum.
Existiert eine invariante Wahrscheinlichkeitsverteilung
1=k .
gemäÿ Aussage 3, so gilt Ek Tk =
Beweis
) Aussage 2:
Aussage 2 ) Aussage 3:
1. Aussage 1
trivial.
2.
Wenn
(Satz 1.13). Da
k
k
rekurrent ist, ist
positiv rekurrent ist, ist
mk
=
P
k
ein invariantes Maÿ auf dem Zustandsraum
k
j 2I j <
1. Die Gröÿen j = jk =mk denieren
daher eine invariante Wahrscheinlichkeitsverteilung auf dem Zustandsraum.
27
1 Zeitdiskrete Markovketten
3. Aussage 3
) Aussage 1:
= (i )i2I
Sei
eine invariante Wahrscheinlichkeitsverteilung auf dem
Zustandsraum. Wähle einen beliebigen Zustand
= (i )i2I
Satz 1.13 ist
i = i =k . k . Wegen
mit
ist ein invariantes Maÿ auf
Ek Tk =
ist
k
X
i2I
ik
X
i =k
i2I
P
(n )
i2I i pik > 0 für ein n. Betrachte
dem Zustandsraum mit k = 1. Nach
=
= 1=k < 1
(1.13)
positiv rekurrent.
Wegen der Irreduzibilität von
dass
k. Es ist k
= k
P
sind damit alle Zustände rekurrent. Satz 1.13 sagt in diesem Fall,
ist. In (1.13) gilt also das Gleichheitszeichen, d.h. wir haben
Ek Tk =
X
i2I
ik
=
X
i2I
i =k
= 1=k < 1:
Beispiel 1.11 (Symmetrische Irrfahrt auf Z)
sche Irrfahrt auf
Z
([Nor97] Example 1.7.8)
Die symmetri-
ist irreduzibel und rekurrent.
Ist sie positiv rekurrent oder nullrekurrent?
Das Maÿ
= (i )i2Z
mit
i = 1 für alle i ist invariant:
2
h
i
h
::: 1 1 1 ::: = ::: 1 1 1
..
6 .
6.
6 ..
i6
6
: : : 66
6
6
6
4
..
3
.
0 1=2
1=2 0 1=2
1=2 0
..
.
7
7
7
7
7
7:
7
7
.. 7
.7
5
..
.
= 0 das einzige invariante Maÿ bezüglich P auf Z. Es gibt also keine
invariante Wahrscheinlichkeitsverteilung auf Z bezüglich P . Die symmetrische Irrfahrt auf
Nach Satz 1.14 ist
Z
28
ist nach Satz 1.15 nullrekurrent.
2 Warteschlangen
E
2.1 Einige Eigenschaften der Exponentialverteilung ()
Dichte
f (x) = [0 x]e
Verteilungsfunktion
x :
F (x) = [0 x](1 e
x ):
Momenterzeugende Funktion
F~ (s) = E e
Momente
sX
=
Z
0
1
e
sx e x dx =
Z
0
1
e x(s+) dx =
x(s+) x=1
e
= :
s+
s+
x=0
= 1:
(s + )2 s=0
2 = 2( 1 )2 :
F~ 00 (s) = E X 2 e sX ; F~ 00 (0) = E X 2 =
(s + )3 s=0
F~ 0 (s) = E Xe
Erwartungswert
Varianz
sX ;
F~ 0 (0) = E X =
E X = F~ 0 (0) = 1 :
Var X = E X 2 (E X )2 = F~ 00 (0) F~ 0 (0)2 = ( 1 )2 :
Gedächtnislosigkeit
P(X > t + s j X > t) = P(fX > t + sg ^ fX > tg) = P(X > t + s) ;
P(X > t)
P(X > t)
P(X > t + s) = F c (t + s) = e (t+s) = e
P(X > t)
F c (t)
e t
s
= F c (s) = P(X > s):
29
2 Warteschlangen
2.2 Der Poissonprozess ((t))t0
2.2.1 Eigenschaften
1.
((t))t0 ist ein Zählprozess. Die Zufallsvariablen (t) 2 N geben
an, wieviele punktuelle Ereignisse im Zeitintervall [0; t] stattgefunden haben.
Seine Pfade t 7! (t; ! ) sind monoton wachsende Treppenfunktionen.
Die Zunahmen (t + h)
(t) auf ]t; t + h] heiÿen Inkremente.
a) Der Poissonprozess
b)
c)
2. (P1) Inkremente disjunkter Zeitabschnitte sind unabhängig:
(t + h) (t) und (t0 + h0 ) (t0 ) sind unabhängig, falls ]t; t + h]\]t0 ; t0 + h0 ] = ;:
3. (P2) Die Wahrscheinlichkeitsverteilung der
(t) ist
P((t) = j ) = e
j
t (t) :
j!
Die mittlere Zahl (Erwartungswert) von Ankünften im Intervall
[0; t] ist
E (t) = t = Ankunftsrate mal Intervalllänge:
P((0) = 0) = 1.
Damit folgt aus (P1): (t + h) (t) und (t) sind unabhängig, denn (t) = (0+ t) (0).
Wie sind die Inkremente (t + h)
(t) verteilt?
4. Aus (P2) folgt:
5.
Zur Klärung vergleichen wir momenterzeugende Funktionen (momenterzeugende Funktionen identizieren Verteilungen):
E z (t) =
X
j 2N
zj e
t (t)j
j!
=e
t X (tz )j
j!
j 2N
E z (t+h) = e(t+h)(z
=e
t etz
= et(z
1) ;
(2.1)
1) :
Wegen der Unabhängigkeit der Inkremente ist
E z (t+h) = E z (t) z ((t+h)
Folglich ist
E z (t+h)
(t)
(t))
= e(t+h)(z
= E z (t) E z ((t+h)
1) t(z 1)
= eh(z
(t)) :
1) :
(2.2)
(2.3)
Vergleicht man (2.1) mit (2.3), erkennt man: in (2.1) hat man eine momenterzeugende
Funktion einer poissonverteilten Zufallsvariable mit Erwartungswert
30
t.
Somit liegt in
2.2 Der Poissonprozess ((t))t0
(2.3) eine momenterzeugende Funktion einer poissonverteilten Zufallsvariable mit Erwartungswert
h vor, kurz:
(t + h) (t) P (h)
Die Verteilung der Inkremente
(2.4)
(t + h) (t) hängt nicht von t ab.
Man sagt:
(P3) Die Inkremente
(t + h) (t) sind stationär.
6. Gibt es gleichzeitige Ankünfte? Nein!
(P4) Ankünfte geschehen nacheinander (orderliness) :
lim 1 P((t + h)
h!0 h
(t) 2) = 0:
Beweis
1 P((t + h)
lim
h!0 h
(t) 2)
1 (1 P((t + h) (t) = 0) P((t + h) (t) = 1))
= hlim
!0 h
1 (1
= hlim
!0 h
= hlim
(e
!0
e h
he h )
h + 2 he h
e h )
=0
7. (P5)
P((t + h) (t) = 1) h ;
genauer:
lim 1 P((t + h)
h!0 h
1 he
(t) = 1) = hlim
!0 h
h
= :
,: Poisson (1.Def.).
Für Minimalisten/Puristen:
(P1)+(P3)+(P4) ,: Poisson (2.Def.).
Es gilt nämlich: (P1)+(P2)+(P3)+(P4)+(P5) ) (P2) und (P3)+(P4) ) (P5).
8. Für Pragmatiker:
9.
(P1)+(P2)+(P3)+(P4)+(P5)
((t))t0 ist ein Ankunftsprozess. Die Ankunftsepochen 0 < t1 < t2 < : : : markieren seine
Sprungstellen. Wir studieren die Zwischenankunftszeiten (inter-arrival-times) . Wie sind
sie verteilt?
Zwischenzeiten:
1 = t1 ; 2 = t2 t1 ; : : : :
31
2 Warteschlangen
1 > t , (t) = 0, daher ist P(1 > t) = P((t) = 0) = e
t ,
d.h.
1 E ():
Wie ist
2 verteilt?
P(2 > t j 1 2 [x; x + h]) = P(2 > t ^ 1 2 [x; x + h])
P(1 2 [x; x + h])
P((
t + x + h) (x + h) = 0 ^ (x + h) (x) = 1)
=
P((x + h) (x) = 1)
= P((t + x + h) (x + h) = 0) P((x + h) (x) = 1)
P((x + h) (x) = 1)
= P((t + x + h) (x + h) = 0)
= e t :
Folglich ist
lim
P(2 > t j 1 2 [x; x + h]) = P(2 > t j 1 = x) = e
h#0
Davon liest man ab:
t :
2 ist unabhängig von 1 und verteilt wie 1 .
Vollständige Induktion liefert:
(j )j 2N
ist eine Familie unabhängiger, mit Parameter
exponentialverteilter Zuvallsvariabler.
10. 3.Denition eines Poissonprozesses: Ein Poissonprozess ist ein Ankunftsprozess mit exponentialverteilten Zwischenankunftszeiten.
(t) = n. Wie groÿ ist unter dieser Voraussetzung die Wahrscheinlichkeit für (u) = x,
wenn x 2 f0; 1; : : : ; ng und u 2 [0; t] ist?
11. Sei
Man hat
P((u) = x ^ (t) = n) = P((u) = x ^ (t) (u) = n x)
= P((u) = x) P((t) (u) = n x)
= e u (ux!) e (t u) (((tn ux)))!
x
und
P((t) = n) = e
32
t (t)n ;
n!
n x
2.2 Der Poissonprozess ((t))t0
also ist
x^(t)=n)
P((u) = x j (t) = n) = P((u)=
(t)=n
= nx u (t t u)
= nx ( ut )x (1 ux )n
x
n x
n
Das Resultat hängt nicht von
lichkeit, bei
Einzelerfolg
12.
n
u
t
Versuchen
x
ab. Man kann das Resultat interpretieren als Wahrschein-
x-mal
Erfolg zu haben, wenn die Wahrscheinlichkeit für einen
ist. Die Wahrscheinlichkeit
u
t
ist das Verhältnis der Intervall-Längen.
t1 ist die erste Ankunftsepoche. Wie ist sie verteilt, wenn (t) = 1 ist?
P(t1 u j (t) = 1) = P((u) = 1 j (t) = 1)
= 11 ( ut )1 (1 ut )0
= ut :
Interpretation: Unter der Bedingung, dass genau eine Ankunft in
Ankunftszeit gleichverteilt auf
[0; t].
[0; t] stattndet, ist die
2.2.2 Eine Anwendung
Beispiel 2.1
([Wol89], Example 2-7) Wir betrachten folgende Situation: Fahrgäste kom-
men an einem Bahnhof an. Ihre Ankünfte stellen einen Poissonprozess mit Ankunftsrate
dar. Am Bahnhof kommen Züge an. Ihre Ankünfte bilden einen Ankunftsprozess mit Zwi-
P(Xj t) = F (t)
Verteilungsfunktion. Es gelte E Xj = 1=.
schenankunftszeiten
Xj ,
wobei
ist.
F
ist eine nicht näher spezizierte
Gesucht ist der Anteil der Fahrgäste, deren Wartezeit einen Wert
y nicht überschreitet.
Mit anderen Worten: Wir wollen wissen, wie sich die verschiedenen Wartezeiten auf die
Fahrgäste verteilen.
Sei
Kj
die Anzahl der Fahrgäste, die in der Zeit
der Fahrgäste, deren Wartezeit
y
Xj
ankommen. Sei
Kj (y)
die Anzahl
nicht übersteigt.
Der bedingte Erwartungswert für
Kj
unter der Bedingung
Xj
ist
E(Kj j Xj ) = Xj :
Erwartungswerte bedingter Erwartungswerte stimmen mit den entsprechenden unbedingten Ertwartungswerten überein:
E Kj = E(E(Kj j Xj )) = E Xj = E Xj = :
33
2 Warteschlangen
Ist
Xj y, so ist Kj (y) = Kj
und
E(Kj (y) j Xj ) = Xj .
Ist
Xj > y , so ist Kj (y) Kj
und
E(Kj (y) j Xj ) = y.
Also ist
E(Kj (y) j Xj )) = min(Xj ; y) und damit
E(Kj (y)) = E min(Xj ; y) = Z
y
0
F c (x) dx;
denn
E min(Xj ; y) =
1
Z
0
P(min(Xj ; y) > x) dx =
Z
0
y
P(Xj > x) dx =
Nun können wir den Anteil der Fahrgäste mit Wartezeit
P
1j n Kj (y )
P
lim
n!1
1j n Kj
Z
y
0
F c (x) dx:
y berechnen:
1P
1j n Kj (y )
n
= nlim
P
1
!1 n 1j n Kj
P
limn!1 n1 1j n Kj (y)
=
P
limn!1 n1 1j n Kj
= E Kj (y)
E Kj
Z y
= F c (x) dx =: Fe (y):
0
Fe (y) steht für die Gleichgewichtsverteilung (equilibrium distribution)
von
F.
2.2.3 Faltung von Verteilungen
Wenn man die Verteilungen von Zufallsvariablen kennt, kennt man dann auch die Verteilungen
ihrer Summe? Antwort: Faltung der Verteilungen.
1. Uns interessiert z.B. die Verteilung von
X1 und X2 diskrete Werte annehmen: P(X1 = i) = ai 0
P
i2N ai = 1 und P(X2 = i) = fi 0 mit i2N fi = 1.
Nehmen wir zunächst an, dass
mit
34
P
Z2 = X1 + X2 .
2.2 Der Poissonprozess ((t))t0
P(Z2 t) =
X
=
X
=
X
=
X
=
X
k t
k t
k t
k t
k t
P(X2 = k; X1 + X2 t)
(2.5)
P(X2 = k; X1 t k)
(2.6)
P(X2 = k) P(X1 t k)
(2.7)
P(X2 = k)A(t k)
(2.8)
A(t k)fk
(2.9)
=: (A F )(t):
In (2.7) wurde die stochastische Unabhängigkeit von
(2.10) deniert die Faltung von
(2.10)
X1 und X2 benutzt.
A und F .
2. Überlegen Sie, warum folgende Gleichheit gilt:
(A F )(t) = (F A)(t):
3. Nehmen wir nun an, dass
Die Verteilungsfunktion
te(funktion) zu
Die Faltung
A
X1
und
X2
Werte in einem Kontinuum annehmen. Genauer:
sei dierenzierbar und es gelte
A. Analog sei f
die Dichte zu
F.
A0 (t) = a(t); a
ist die Dich-
A F = F A hat dann folgende Formen:
P(Z2 t) =
=
In diesem Fall hat
Z
t
0
Z
t
0
A(t u)f (u) du
(2.11)
F (t u)a(u) du:
(2.12)
A F = F A auch eine Dichte. Sie hat die Formen
d
dt P(Z2
t) =
=
Man bezeichnet sie mit
af
oder
Z
Z
t
0
0
t
a(t u)f (u) du
f (t u)a(u) du:
f a.
Bei der Dierentiation z.B. von (2.11) nach
t muss man nur den Integranden A(t u)f (u)
t dierenzieren; die Grenzen des Integrationsbereichs spielen nicht mit, weil auÿerhalb des Integrationsbereichs der Integrand sowieso 0 ist.
nach
35
2 Warteschlangen
2.2.4 n-fache Faltung
1.
F 2 (t) := (F F )(t)
F n (t) := (F (n 1) F )(t)
f n (t) := dtd F n (t):
2. Die Verteilung von
Zn = X1 + (X2 + : : : + Xn ) ist
P(Zn t) := A F (n 1) :
2.3 Der Satz von Little
1. Bezeichnungen
Cj ; j = 1; 2; : : :
tj ; j = 0; 1; : : :
Tj = tj +1 tj
Dj ; j = 1; 2; : : :
Sj ; j = 1; 2; : : :
Wj = Dj + Sj
tj + W j
Kunden (in der Reihenfolge ihres Eintreens)
Ankunftszeit des Kunden
Cj (0 = t0 t1 : : : < 1)
Zwischenzeiten
Zeit, die Kunde
Cj
auf Bedienung wartet (in queue )
Bedienzeit für Kunde
Cj
(in service )
Verweilzeit: Zeit, die Kunde
Austrittszeit des Kunden
Cj
Cj
im System verweilt
aus dem System
Alle Gröÿen sind zufällig.
2. Durchschnittszeiten
durchschnittliche Wartezeit (delay ) pro Kunde
lim 1
n!1 n
X
1j n
Dj =: d
durchschnittliche Bedienzeit pro Kunde
lim 1
n!1 n
X
1j n
Sj =: 1
( = Servicerate)
durchschnittliche Systemverweilzeit pro Kunde
lim 1
n!1 n
3. Kunden-Zählprozesse
36
X
1j n
Wj =: w = d + 1
2.3 Der Satz von Little
# Kunden in queue :
Nq (t) =
X
1j 1
[tj t < tj + Dj ]
# Kunden in service :
X
Ns (t) =
[tj + Dj t < tj + Wj ]
1j 1
# Kunden im System:
N (t) = Nq (t) + Ns (t) =
X
1j 1
[tj t < tj + Wj ]
4. Durchschnittswerte der Kunden-Zählprozesse
durchschnittliche # Kunden in queue :
lim 1
t!1 t
Z
t
0
Nq (u) du =: Q
durchschnittliche # Kunden in service :
Z
lim 1
t!1 t 0
t
Ns (u) du =: Ls
durchschnittliche # Kunden im System:
lim 1
t!1 t
Z
t
0
N (u) du =: L = Q + Ls
5. Ankunfts- und Austritts-Zählprozesse, Ankunftsrate
# Ankünfte bis zur Zeit
t:
# Austritte bis zur Zeit:
Ankunftsrate:
(t) = maxfj j tj tg
(t) = (t) N (t)
lim 1 (t) =: t!1 t
6. Der Satz von Little
Satz 2.1 (Satz von Little)
so gilt
Existieren die Grenzwerte
und w und sind sie endlich,
L = w :
37
2 Warteschlangen
Abbildung 2.1: Zum Beweis des Satzes von Little (aus [Wol89], p.235); in der dargestellten
Situation ist
N (t) = 2; N (T ) = 0; (T ) = 4.
Existiert der Grenzwert
d und ist er endlich, so gilt
Q = d :
Existiert der Grenzwert
1
und ist er endlich, so gilt
Ls = :
Beweis
Für
j
Kein echter Beweis, nur eine Ideenskizze anhand der in Abb. 2.1 gezeigten Situation.
= 1; 2; 3; 4 ist
Wj
X
1j (T )
R
R
= 01 [tj u < tj + Wj ] du = 0T [tj u < tj + Wj ] du, folglich
Wj
=
=
Z T
X
1j (T ) 0
Z T
X
0 1j (T )
[tj u < tj + Wj ] du
[tj u < tj + Wj ] du =
(2.13)
Z T
0
N (u) du :
(2.14)
Im allgemeinen Fall hat man
Z t
0
N (u) du =
wobei der Nachweis des
Aus (2.15) folgt
38
X
1j (t)
o(t)-Terms
Wj
+ o(t)
(2.15)
die Sache anspruchsvoll macht.
Wj
1 R t N (u) du = 1 (t) P
1
1j (t) (t) + t o(t) und mit t ! 1 die Little-Formel. t 0
t
2.4 M/M/1-Warteschlangen
2.4 M/M/1-Warteschlangen
2.4.1 Übergänge
1. Erklärung der Schreibweise M/M/1:
a) Erste Stelle: Wie sind die Ankunftszwischenzeiten
b) Zweite Stelle: Wie sind die Bedienzeiten
Sj
Tj
verteilt?
verteilt?
c) Dritte Stelle: Wieviele Bedienstellen (Server, Kanäle) gibt es?
d) M steht für exponentialverteilt.
2. Folgender Zusammenhang zwischen Poissonverteilung
P ()
und Exponentialverteilung
E () ist bereits bekannt: Ist ein Ankunftsprozess poissonverteilt mit Parameter , so sind
die Zwischenankunftszeiten exponentialvereilt mit dem selben Parameter
.
3. Ist ein Kunde im Service, dann ist seine Bedienzeit exonentialvereilt mit, sagen wir, Parameter
.
4. Wir betrachten den Prozess
(N (t))t0 , der die Anzahl der Kunden im System zur Zeit t
t sind folgende Übergänge möglich: Ein Sprung an der Stelle
t um um den Wert 1 nach oben (wenn zur Zeit t ein Kunde eintrit), oder ein Sprung an
der Stelle t um den Wert 1 nach unten (wenn ein Kunde das System zur Zeit t verlässt).
Es kann natürlich auch sein, dass zur Zeit t kein Sprung stattndet.
beschreibt. Zum Zeitpunkt
P(2; t) die Wahrscheinlichkeit, dass zwei oder mehr Übergänge im Zeitintervall [0; t]
stattnden. Es gelte limt!0 P(2; t)=t = 0. Mit dem Landausymbol klein o lässt sich diese
Eigenschaft auch schreiben als P(2; t)=t = o(t). (Wir haben schon eine ähnliche Eigenschaft
5. Sei
beim Poissonprozess kennengelernt (orderliness ).
6. Wie groÿ ist die Übergangsrate des M/M/1-Systems für den Übergang von
0 auf 1?
Es ist
P(N (t) = 0 j N (0) = 0) = e
t
und
P(N (t) = 0 j N (0) = 0) = 1 P(N (t) > 0 j N (0) = 0)
= 1 P(N (t) = 1 j N (0) = 0) P(N (t) 2 j N (0) = 0)
= 1 P(N (t) = 1 j N (0) = 0) + o(t);
39
2 Warteschlangen
folglich
lim P(N (t) > 0 j N (0) = 0)=t = tlim
(1 e
!0
t!0
t )=t = :
7. Wie groÿ ist die Übergangsrate des M/M/1-Systems für den Übergang von
fn 1; n + 1g?
n>0
auf
E ()-verteilt, die Zeit bis zum nächsten
Abwärtssprung E ()-verteilt. Somit ist die Zeit bis zum nächsten Übergang E ( + )-
Die Zeit bis zum nächsten Aufwärtssprung ist
verteilt:
P(kein Übergang in [0; t] j N (0) = n) = e
t e t
=e
(+)t ;
folglich
P(ein Übergang in [0; t] j N (0) = n) = 1 e
(+)t :
8. Wie groÿ die Wahrscheinlichkeit dafür, dass der nächste Übergang eine Ankunft ist (Voraussetzung ist wieder, dass
n > 0 Kunden im System sind)?
P(nächster Übergang ist eine Ankunft) = =( + ):
Beweis
limt!0 P(ein Übergang in [0; t] j N (0) = n)=t = + .
limt!0 P(eine Ankunft (und ein Übergang) in [0; t] j N (0) = n)=t = .
2.4.2 Gleichgewicht
Sei
pn = tlim
P(N (t) = n)
!1
der zeitliche Anteil des Zustands n Kunden sind im System.
Das System ist im Gleichgewicht, wenn diese
pn existieren und
P
n pn
= 1 ist.
1. Wenn das System im Gleichgewicht ist, bleibt es bei Übergängen mit den Raten
auch weiterhin im Gleichgewicht:
p0 = p1
( + )pn = pn 1 + pn+1
40
für
n > 0:
und 2.4 M/M/1-Warteschlangen
Diese Gleichungen sind äquivalent zu den scheinbar simpleren Gleichungen
p0 = p1
pn 1 = pn
Mit
= = hat man
Da sich die
für
n > 0:
pn = n p0 :
P
pn zu 1 summieren, ist p0 0n<1 n = 1. Folglich ist < 1 und p0 = 1 .
Bei Gleichgewicht ist also
pn = (1 )n :
2. Wenn das System im Gleichgewicht ist, ist
a) die durchschnittliche Anzahl der Kunden im System
L=
X
0n<1
npn =
=
=
X
0n<1
X
0n<1
X
0n<1
n(1 )n
nn
nn
= =(1 );
X
0n<1
X
nn+1
(n + 1)n+1 +
0n<1
X
0n<1
n+1
b) die durchschnittliche Anzahl der Kunden in der Warteschlange
Q=
X
(n 1)pn = =(1 )
1n<1
= =(1
= =(1
= =(1
= 2 =(1
X
1n<1
pn
) (1 p0 )
) (1 (1 ))
) ) = L;
c) die durchschnittliche Anzahl der Kunden im Service
Ls = L Q = =(1 ) 2 =(1 ) = ;
d) die durchschnittliche Verweilzeit
w = L= = (=(1 ))= = 1=( );
41
2 Warteschlangen
e) die durchschnittliche Wartezeit in der Warteschlange
d = Q= = L= = w = (=)=( ) = 1=( ) 1=:
3. Das System ist nicht im Gleichgewicht, wenn
ist. Es ist dann
a)
1,
b)
limt!1 P(N (t) = n) = 0 für alle n,
c)
limt!1 P(N (t) > n) = 1 für alle n,
d)
L = Q = 1 (die Warteschlange wächst unbeschränkt).
2.4.3 Beispiel
[Wol89] Ex. 5-4.
Ankunftsrate
= 80.
Serviceraten: Modell 1:
1 = 100, Modell 2: 2 = 200.
Mietkosten: Modell 1: 5 e pro Zeiteinheit, Modell 2: 9 e pro Zeiteinheit.
Kosten für Kunden-Verweilzeit: 1 e pro Zeiteinheit.
Welches Modell ist kostengünstiger?
Modell 1:
= 0:8, L = 0:8=(1 0:8) = 4,
Mietkosten plus Kosten für Verweilzeit pro Zeiteinheit: 5 e+4 e=9 e.
Modell 2:
= 0:4, L = 0:4=(1 0:4) = 2=3,
Mietkosten plus Kosten für Verweilzeit pro Zeiteinheit: 9 e+0.66 e=9.66 e.
Modell 1 ist kostengünstiger.
2.5 M/M/1 mit Warteschlangenbeschränkung
Bei diesem Modell kann eine Maximalzahl
l von Kunden nicht überschritten werden. Sind bereits
l Kunden im System und kommt ein weiterer Kunde an, so geht er verloren.
Setzen wir wieder
42
pn = tlim
P (N (t) = n)
!1
für
0 n l:
2.5 M/M/1 mit Warteschlangenbeschränkung
Diese Wahrscheinlichkeite müssen sich zu
1 addieren:
p0 + p1 + : : : + pn = 1:
(2.16)
2.5.1 Gleichgewicht
Der Gleichgewichtszustand wird durch
l Gleichungen beschrieben:
p0 = p1 ; p1 = p2 ; : : : ; pl 1 = pl :
Mit
= = gilt
Wegen (2.16) gilt
Im Falle
p0 = 0 p0 ; p1 = 1 p0 ; : : : ; pl = l p0 :
P
0nl pn
= p0
P
0nl n
= p0 (1 l+1 )=(1 ) = 1.
= ist = 1 und wir haben Gleichverteilung der Zustände:
p0 = p1 = : : : = pl = 1=(l + 1):
Im Falle
(2.17)
6= ist 6= 1 und wir haben
p0 = (1 )=(1 l+1 ):
Die mittlere Anzahl Kunden im System ist
L = p0
Dieser Wert kann explizit berechnet werden:
X
0nl
nn :
L = (1 (l + 1)l + ll+1 )=((1 )(1 k+1 )). Die
beste Referenz für Methoden zur expliziten Berechnung von endlichen Summen ist das Kapitel
2 (Sums) in [GKP89].
2.5.2 Ankunftsrate bedienter Kunden
Bei Warteschlangenbegrenzung gibt es neben der Ankunftsrate
nämlich die Ankunftsrate bedienter Kunden
s :
eine weitere Ankunftsrate,
s = (1 pl ):
Die durschnittliche Wartezeit von Kunden im System ist die durschnittliche Wartezeit bedienter
Kunden und errechnet sich aus
s :
w = L=s :
43
2 Warteschlangen
Wenn die Kosten für einen verlorenen Kunden C e betragen, betragen die Durchschnittskosten
pro Zeiteinheit
pl C:
2.6 Geburts-Todes-Prozesse
2.6.1 Abhängigkeiten der Raten
Geburts-Todes-Prozesse beschreiben populationsdynamische Phänomene. Wenn man sich Geburten als Ankünfte in einem System und Tode als verlassen eines Systems vorstellt, hat man
die Verbindung zu Warteschlangen. Eine Besonderheit von Geburts-Todes-Prozessen ist allerdings, dass Ankunfts- und Serviceraten nicht konstant sind. Sie können von der Anzahl der
vorhandenen Individuen abhängen.
2.6.2 Gleichgewichtsgleichungen
Die allgemeinen Gleichgewichtsgleichungen eines Geburts-Todes-Prozesses lauten
0 p0 = 1 p1 ; 1 p1 = 2 p2 ; : : : ; n 1 pn 1 = n pn ; : : :
Deniert man
bn =
so gilt
(2.18)
i 1
;
1in i
Y
pn = bn p0
und man hat die Alternativen
entweder ist
P
P
Im Falle
0n<1 pn
Im Falle
0n<1 bn
= 1.
P
0n<1 bn
< 1
X
0n<1
ist
bn < 1
oder
es gilt
P
p0 = 1= 0n<1 bn
und
X
0n<1
bn = 1:
pn = limt!1 P(N (t) = n)
mit
= 1 gibt es keine Lösung von (2.18) und pn = limt!1 P(N (t) = n) = 0.
1
2.7 M/M/ -Warteschlangen
Bei diesem Warteschlangenmodell sind immer genügend Bedienstellen vorhanden. Es kann sich
keine Warteschlange aufbauen, jeder kommt sofort dran.
44
2.7 M/M/1-Warteschlangen
Die Gleichgewichtsgleichungen sehen so aus:
pn 1 = npn
Man hat also
pn =
Da die Summe der
( )n
p
n! 0
für
für
n = 1; 2; : : : :
n = 0; 1; : : : :
pn den Wert 1 ergeben muss, muss
p0 = e
sein. Es gilt also
pn = e
d.h. die Anzahl der Kunden im System ist
=
n
= ( ) ;
n!
P (=)-verteilt.
45
Literaturverzeichnis
[GKP89] Ronald L. Graham, Donald E. Knuth, and Oren Patashnik. Concrete mathematics: a foun-
dation for computer science. Addison-Wesley Longman Publishing Co., Inc., Boston, MA,
USA, 1989.
[Nor97]
James R. Norris. Markov Chains. Cambridge University Press, rst edition, 1997.
[Str09]
Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press, fourth edition,
2009.
[Wol89]
Ronald W. Wol. Stochastic Modeling and the Theory of Queues. Prentice Hall, 1989.
47