Modellierung für Lehramtsstudierende

Modellierung für Lehramtsstudierende
Wintersemester 2016/17
Ausgewählte Abschnitte
20. Oktober 2016
Karl Oelschläger
Institut für Angewandte Mathematik
Universität Heidelberg
1
Inhaltsverzeichnis
Kapitel 1. Einleitung und Überblick
5
Kapitel 2. Modellierung mit stochastischen Prozessen
9
2.1. Stationäre stochastische Prozesse
12
2.1.1. Lineare Vorhersage schwach stationärer stochastischer Prozesse
17
2.2. Markovprozesse
20
2.2.1. Markovketten
20
2.2.2. Modellbildung mit Markovketten
24
2.2.3. Klassifikation der Zustände einer Markovkette
29
2.2.4. Rekurrenz und Transienz
31
2.2.5. Asymptotik der Übergangsmatrizen
37
2.2.6. Stationäre Verteilungen von Markovketten
39
2.2.7. Rekurrenz und Transienz (2. Teil)
43
2.2.8. Markovprozesse in kontinuierlicher Zeit mit diskretem Zustandsraum 45
2.2.9. Vorwärts- und Rückwärtsgleichungen
50
2.2.10. Simulation eines Markovprozesses mit einem diskreten Zustandsraum 55
2.3. Erneuerungsprozesse
56
Kapitel
3.1.
3.2.
3.3.
3. Simulation von Zufallsvariablen
Erzeugung von Pseudozufallszahlen in [0, 1]
Simulation von Folgen reellwertiger, i.i.d. Zufallsvariablen
Quasizufallszahlen
61
61
62
64
Kapitel
4.1.
4.2.
4.3.
4. Brownsche Bewegung
Definition der Brownschen Bewegung
Donskersches Invarianzprinzip
Die Pfade der Brownschen Bewegung
67
67
70
71
Anhang
75
A.1. Ergänzungen zu Kapitel 2
75
A.1.1. Simulation der eindimensionalen symmetrischen Irrfahrt
75
A.1.2. Simulation der Irrfahrt mit Trägheit
77
A.1.3. Erzeugende Funktionen
83
A.1.4. Simulationen des Betrags höherdimensionaler symmetrischer Irrfahrten 83
Literaturverzeichnis
87
3
4
Anmerkungen zu den Fußnoten
Die folgenden Seiten enthalten zahlreiche Fußnoten.
Diese Fußnoten enthalten:
• Querverweise, Referenzen,
• Ergänzungen,
• Präzisierungen, Erläuterungen,
• Hinweise auf weiterführende Resultate oder Begriffe,
• Beweise und
• Definitionen.
Sie sind gedacht
• nicht als Haupttext,
• aber als Hilfestellung zum Verständnis des Haupttextes,
• zur Verdeutlichung von Verbindungen innerhalb der Vorlesung und
• für Ausblicke auf Resultate im späteren Verlauf der Vorlesung, bzw. in
weiterführenden Veranstaltungen.
20. Oktober 2016
KAPITEL 1
Einleitung und Überblick
Ausgangspunkt bei der Bildung eines mathematischen Modells ist ein 1.1 Phäno”
men“ beispielsweise aus Physik, Biologie, Technik, Wirtschaft, . . . , das
• immer wieder beobachtet wird 1.2, das
• immer nach dem gleichen Schema“ abläuft 1.3 und das
”
• verstanden“ werden sollte. Hinter dem Wunsch des Verstehens kann z.B.
”
der Wunsch nach Befriedigung der Neugier oder nach der Optimierung
eines Ertrags stehen 1.4.
Die Vorgehensweise bei der Bildung eines mathematischen Modells besteht zunächst aus der
• Bestimmung der wesentlichen, das Ausgangsphänomen charakterisierenden Größen“ 1.5 und anschließend der
”
• Darstellung der Zusammenhänge und Wechselwirkungen jener Größen als
eine mathematische Gesetzmäßigkeit“ 1.6. Diese Gesetzmäßigkeit wird als
”
mathematisches Modell bezeichnet.
• Der nächste Schritt in einer realen Anwendung ist die Untersuchung des
mathematischen Modells, d.h. die Herleitung mathematischer Sätze, die
Durchführung numerischer Berechnungen oder von Computersimulationen.
• Abschließend sind die Resultate der mathematischen Überlegungen, der
numerischen Berechnungen oder der Simulationen in den Kontext des Ausgangsphänomens zu übersetzen 1.7. Insbesondere ist die Glaubwürdigkeit
des mathematischen Modells durch Vergleich der bei seiner Untersuchung
1.1Am Anfang einer Modellierung steht immer ein Geschehen aus der realen Welt“. Zu seiner
”
Beschreibung wird i. allg. die Umgangssprache verwendet. Auf die Sprache der Mathematik kann
in diesem Stadium noch nicht zurückgegriffen werden.
1.2Ein Phänomen, das immer wieder“ beobachtet wird, ist z.B. das tägliche Wettergeschehen
”
an einem festen Ort.
Phänomene, die nur einmal geschehen, brauchen i. allg. nicht modelliert zu werden. Ausnahmsweise kann aber auch die Modellierung einmaliger oder auch evtl. sogar niemals eintretender
Ereignisse dann sinnvoll sein, wenn wie beispielsweise beim Sturz des Mondes auf die Erde, die
Auswirkungen extrem sind.
1.3Wenn sich das Erscheinungsbild eines Phänomens immer wieder ändert und sich auch in
einem stochastischen Sinn keine Regelmäßigkeit finden läßt, wie möglicherweise beim Ablauf von
Bundestagsdebatten, kann keine sinnvolle Modellierung vorgenommen werden.
1.4Ohne ein solches Ziel wird man den zur Modellierung erforderlichen Arbeitsaufwand
scheuen.
1.5Wenn beispielsweise der an einer bestimmten Wetterstation gemessene Temperaturverlauf
zu modellieren ist, kann sicherlich das Gewicht der Betreuer jener Wetterstation unberücksichtigt
bleiben.
1.6Diese mathematische Gesetzmäßigkeit könnte z.B. eine gewöhnliche Differentialgleichung
oder ein spezieller stochastischer Prozeß sein.
1.7Somit ist eine Rückkehr aus der abstrakten mathematischen Welt in die Realität durchzuführen.
5
6
sich ergebenden Konsequenzen mit Beobachtungen der Realität zu prüfen 1.8.
Charakteristisch für das Gebiet der mathematischen Modellierung ist,
• daß ein vorgegebenes Phänomen i. allg. auf vielfältige Weisen modelliert
werden kann und daß die Details des Modells abhängig von Vorkenntnissen
oder vom gewünschten, bzw. geplanten Erkenntnisgewinn gewählt werden
können 1.9.
• Als Konsequenz des geforderten Bezugs zur realen Welt“ ist eine perma”
nente Prüfung des mathematischen Modells notwendig 1.10. Die Bereitschaft zu Modifizierung eines Modells sollte vorhanden sein 1.11.
Beispiel 1.1 (Modellierung der Ausbreitung von Licht). Eine Folge verschiedener Modelle wird genannt. Vorangehende, bewährte Modelle werden nach neuen
Beobachtungen und Erkenntnissen erweitert, bzw. ersetzt.
Beobachtung: Schattenwurf.
1. Modell: Strahlenmodell des Lichts, geometrische Optik.
Weitere Beobachtung: Beugungsphänomene.
2. Modell: Wellenmodell des Lichts, Wellenoptik.
Weitere Beobachtung: Photoeffekt.
3. Modell: Teilchenmodell des Lichts, Photonen.
Konflikte zwischen 1., 2. und 3. Modell.
4. Modell: Quantenmechanik, Quantenelektrodynamik.
Hypothesen (Einstein u.a.): Die Geschwindigkeit des Lichts ist endlich. Lichtstrah”
len“ in einem kräftefreien Raum bewegen sich geradeaus. Bestätigung der
Hypothesen durch Experimente.
Gedankenexperiment (Einstein): Lichtausbreitung in einem ungebremst im Gravitationsfeld der Erde fallenden Fahrstuhl“.
”
1.8Beispielsweise ist ein Klimamodell, das in Europa auf der Ostseite von Gebirgen eine im
Vergleich zur Westseite erhöhte Regenmenge vorhersagt, nicht glaubwürdig.
1.9Es können unterschiedliche Aspekte des realen Phänomens in den Vordergrund gestellt
werden. Es können genaue oder auch weniger genaue Modelle vorgeschlagen werden. Hierbei
ist zu erwarten, daß ein genaueres“ Modell mathematisch weniger gut behandelt werden kann.
”
Wenn zufällige Einflüsse berücksichtigt werden sollen, ist ein stochastisches Modell zu suchen.
Wenn andererseits viele zufällige Einflüsse sich aufgrund eines Gesetzes der großen Zahlen zu
einem deterministischen Beitrag zusammenfügen, mag ein deterministisches Modell ausreichen.
Bei der Untersuchung eines mathematischen Modells kann der Beweis mathematischer Sätze, die
Durchführung numerischer Berechnungen oder von Simulationen das Ziel sein. Dementsprechend
sind unterschiedliche Vorgehensweisen beim Entwurf eines mathematischen Modells sinnvoll.
Wenn die Ergebnisse, die ein mathematisches Modell liefert, eine Grundlage von wirtschaftlichen oder politischen Entscheidungen sein sollen, können offensichtlich auch kommerzielle oder
politische Interessen den Entwurf jenes Modells stark beeinflussen. Beispielsweise können in einem
Modell, bzw. einer Studie zur Wirtschaftlichkeit der Kernenergie die Kosten für die Entsorgung
des Atommülls, des Rückbaus veralteter Kernkraftwerke, der Aufgabe großer Landstriche im Fall
eines schwerwiegenden Unfalls, . . . berücksichtigt, bzw. ignoriert werden.
1.10Es ist zu klären, ob das Modell eine realistische Beschreibung des zugrundeliegenden
Phänomes liefert, d.h., ob Beobachtungen in der Realität auch im Modell gesehen werden können,
bzw. ob Aussagen des Modells z.B. durch Messungen in der Realität verifiziert werden können.
Wenn spezielle Aspekte der Realität eine verstärkte Aufmerksamkeit erfordern, sollten insbesondere die Aussagen des Modells zu diesen Schwerpunkten die realen Beobachtungen gut widerspiegeln.
Marginale Aspekte der Realität brauchen durch das mathematische Modell weniger gut erfaßt zu
werden.
Letztendlich sollte sich auch der Aufwand zur Erstellung und Untersuchung eines mathematischen Modells in akzeptablen“ Grenzen halten.
1.11Wenn ein ”bisher bewährtes mathematisches Modell sich aufgrund von neuen Erkenntnissen als ungeeignet zur Beschreibung der Realität erweist, ist die weitere Beschäftigung mit
ihm evtl. nur noch reine Mathematik“. Aus didaktischen Gründen“ mögen jene Überlegungen
”
”
dennoch sinnvoll sein.
20. Oktober 2016
7
Beobachtungen 1.12:
- Beobachter im Fahrstuhl: Lichtstrahl“ ist geradlinig.
”
- Beobachter auf dem Erdboden, der ins Innere des Fahrstuhls blickt:
Lichtstrahl“ ist gekrümmt 1.13.
”
5. Modell: Allgemeine Relativitätstheorie.
Konflikt zwischen 4. und 5. Modell.
Allgemeineres Modell existiert gegenwärtig nicht.
Großes noch ungelöstes Problem der Physik: Quantisierung der Gravitation.
1.12Unter http://www.einstein-online.info/vertiefung/AequivalenzLicht sind Animationen der beiden Beobachtungen zu finden.
1.13Die Krümmung des Lichts in Gravitationsfeldern kann durch konkrete Beobachtungen
verifiziert werden (Sonnenfinsternisse, Gravitationslinsen).
20. Oktober 2016
KAPITEL 2
Modellierung mit stochastischen Prozessen
Mit stochastischen oder zufälligen Prozessen können zeitliche Entwicklungen
modelliert werden, die vom Zufall beeinflußt sind“.
”
Sei (Ω, F, P) ein Wahrscheinlichkeitsraum, (Ω′ , F′ ) ein meßbarer Raum und 2.1
T ⊆ R eine Menge von Zeitpunkten. Für alle t ∈ T sei Xt : (Ω, F, P) → (Ω′ , F′ )
eine Zufallsvariable. Ein stochastischer Prozeß X = (Xt )t∈T ergibt sich, wenn die
Familie {Xt : t ∈ T} dieser Zufallsvariablen zu einem Objekt zusammengefaßt wird.
Der gemeinsame Wertebereich (Ω′ , F′ ) der Zufallsvariablen Xt , t ∈ T, wird auch als
Zustandsraum von X bezeichnet.
Unter der Verteilung des stochastischen Prozesses X = (Xt )t∈T versteht man
die gemeinsame Verteilung der Zufallsvariablen {Xt : t ∈ T}.
Beispiel 2.1 (Bernoulli-Prozeß). Zu p ∈ [0, 1] seien Yn , n ∈ N, unabhängige,
{−1, 1}-wertige Zufallsvariablen mit
(2.1)
P[Yn = 1] = p, P[Yn = −1] = 1 − p,
n ∈ N.
Der stochastische Prozeß Y = (Yn )n∈N wird als Bernoulli-Prozeß (mit Parameter
p) bezeichnet. Mit einem derartigen Prozeß kann z.B. der zeitliche Verlauf eines
beliebig oft unabhängig wiederholten Münzwurfs mit Erfolgswahrscheinlichkeit p
modelliert werden 2.2 2.3.
Beispiel 2.2 (Irrfahrt). Sei Y = (Yn )n∈N der Bernoulli-Prozeß zum Parameter
p ∈ [0, 1] aus Beispiel 2.1. Weiterhin sei
(
0,
k = 0,
(2.2)
Xk =
Pk
Xk−1 + Yk = l=1 Yl , k = 1, 2, . . . .
Der stochastische Prozeß X = (Xk )k∈N0 wird als Irrfahrt (auf Z) bezeichnet. Für
p = 1/2 ergibt sich die symmetrische Irrfahrt.
Auf eine anschauliche Weise läßt sich die Irrfahrt X folgendermaßen beschreiben:
• X startet zum Zeitpunkt 0 im Ursprung 0.
• Zu jedem späteren Zeitpunkt k = 1, 2, . . . springt X mit Wahrscheinlichkeit p nach rechts, bzw. mit Wahrscheinlichkeit 1 − p nach links 2.4.
• Zwischen zwei aufeinanderfolgenden Zeitpunkten in N0 bewegt sich X
nicht.
2.1In den konkreten Beispielen dieser Vorlesung ist üblicherweise T = N = {1, 2, . . . }, T =
N0 = {0, 1, 2, . . . }, T = Z oder auch T = [0, ∞).
2.2Im hier beschriebenen Modellierungsansatz kann −1 mit Mißerfolg“ und 1 mit Erfolg“
”
”
identifiziert werden.
2.3
Ebenso könnten mit dem Bernoulli-Prozeß Y auch die Ergebnisse einer beliebig großen Serie von Prüfungen der Funktionsfähigkeit der Produktionsstücke eines Industriebetriebs modelliert
werden. In diesem Zusammenhang bedeutet Yn = +1 (Yn = −1), daß das n-te Produktionsstück
funktionsfähig (defekt) ist.
2.4Im Zeitpunkt n ∈ N beschreibt die Bernoulli-verteilte Zufallsvariable Y
0
n+1 , wie die unmittelbar folgende Bewegung von X verläuft.
9
10
Für p ∈ (0, 1) kann die Irrfahrt als ein einfaches Modell für ein eindimensiona”
les diffundierendes Teilchen“ betrachtet werden. In den Fällen p 6= 1/2 hat dieses
Teilchen eine Drift“ 2.5.
”
Auf Möglichkeiten, realistischere“ Modelle eines eindimensionalen diffundie”
”
renden Teilchens“ zu entwerfen, wird in den folgenden Beispielen 2.3 und 2.4 eingegangen.
Beispiel 2.3 (Diffundierendes Teilchen mit Trägheit). Die in Beispiel 2.2 beschriebene Irrfahrt ändert in jedem Zeitpunkt völlig zufällig“ ihre Richtung 2.6.
”
In einem realistischeren Modell kann die Trägheit“ des Teilchens berücksichtigt
”
werden 2.7. Definiert man z.B. X = (Xn )n∈N0 durch 2.8


k = 0,
0,
(2.3)
Xk = 1,
k = 1,


Xk−1 + Yk−1 (Xk−1 − Xk−2 ), k = 2, 3, . . . ,
wobei Y = (Yn )n∈N der in Beispiel 2.1 definierte Bernoulli-Prozeß zum Parameter
p ∈ [0, 1] ist, so zeigt sich, daß
• X in jedem Zeitpunkt n = 1, 2, 3, . . . mit Wahrscheinlichkeit p seine Rich”
tung“ beibehält, d.h., wenn Yn = 1, so ist Xn+1 = Xn + (Xn − Xn−1 ),
bzw. Xn+1 − Xn = Xn − Xn−1 , und daß
• X in jedem Zeitpunkt n = 1, 2, 3, . . . mit Wahrscheinlichkeit 1 − p seine
Richtung“ umdreht, d.h., wenn Yn = −1, so ist Xn+1 = Xn − (Xn −
”
Xn−1 ), bzw. Xn+1 − Xn = −(Xn − Xn−1 ).
Das durch X = (Xn )n∈N0 beschriebene Teilchen kann insbesondere dann als träge“
”
bezeichnet werden, wenn p > 1/2 2.9.
Durch
Vn =
Xn − Xn−1
= Xn − Xn−1 ,
n − (n − 1)
n = 1, 2, . . . ,
kann für die Prozesse X in den Beispielen 2.2 und 2.3 eine Geschwindigkeit“ defi”
niert werden.
• In Beispiel 2.2 sind Vn , n = 1, 2, . . . , i.i.d. Zufallsvariablen mit Werten in
{−1, 1} 2.10.
2.5In Anhang A.1.1 wird eine Simulation der symmetrischen Irrfahrt vorgestellt.
2.6 Völlig zufällig“ ist eine umgangssprachliche Beschreibung der Annahme, daß die Rich-
”
tungsänderungen der Irrfahrt unabhängig sind.
2.7Ein Teilchen kann als träge“ bezeichnet werden, wenn es dazu tendiert, seine bisherige
”
Richtung auch zukünftig beizubehalten.
2.8Durch die Annahmen X = 0 und X = 1 wird nur eine Anfangsrichtung vorgegeben.
0
1
2.9Wenn p > 1/2, behält X bei einer Ortsveränderung mit größerer Wahrscheinlichkeit seine
Richtung bei, d.h., in den meisten“ Zeitpunkten n = 1, 2, . . . gilt Xn+1 −Xn = Xn −Xn−1 . Wenn
”
p < 1/2, wechselt X außergewöhnlich häufig“ die Richtung, d.h., die Pfade von X tendieren zu
”
Oszillationen. Für p = 1/2 ist für alle n = 1, 2, . . . genau wie bei einer symmetrischen Irrfahrt
Xn+1 − Xn = ±(Xn − Xn−1 ) jeweils mit Wahrscheinlichkeit 1/2. Daher sind die Zuwächse
Xn+1 − Xn , n = 1, 2, . . . , unabhängig. Insbesondere besitzt in diesem Fall der Prozeß X′ =
′′ )
(Xn )n∈N die gleiche Verteilung wie eine symmetrische Irrfahrt X′′ = (Xn
n∈N , die zum Zeitpunkt
n = 1 mit X1′′ = 1 startet. Diese Überlegungen werden durch die Simulationen in Anhang A.1.2
verdeutlicht.
2.10Aus (2.2) folgt V = X − X
n
n
n−1 = Yn , n ∈ N. Somit nimmt die Geschwindigkeit“ eines
”
durch die symmetrische Irrfahrt X beschriebenen Teilchens in den verschiedenen Zeitpunkten
völlig zufällig“ die Werte −1 und +1 an.
”
20. Oktober 2016
11
• In Beispiel 2.3 sind zumindest für p 6= 1/2 die Zufallsvariablen Vn , n =
1, 2, . . . , abhängig 2.11, d.h., Vn+1 = Vn mit Wahrscheinlichkeit p, bzw.
Vn+1 = −Vn mit Wahrscheinlichkeit 1 − p.
In einem weiteren Schritt zu einer realistischeren Modellierung“ eines diffun”
dierenden physikalischen Teilchens kann nun Reibung“ berücksichtigt werden 2.12.
”
Beispiel 2.4 (Diffundierendes Teilchen mit Reibung). Sei α ∈ (0, 1). Es sei
angenommen, daß in jedem Zeitpunkt n die Geschwindigkeit“ Vn
”
• um einen konstanten Anteil −αVn abnimmt (Reibung) und daß weiterhin
zu Vn
• ein zufälliger, additiver Beitrag Yn hinzutritt (Diffusion) 2.13.
Somit kann die zeitliche Entwicklung des Geschwindigkeitsprozesses V = (Vn )n∈N0
durch
(
0,
k = 0,
(2.4)
Vk =
Vk−1 − αVk−1 + Yk , k = 1, 2, . . . ,
modelliert werden. Hierbei seien Y1 , Y2 , . . . i.i.d. Zufallsvariablen mit E[Y1 ] = 0 2.14.
Mit einer zusätzlichen additiven Konstante β 6= 0 auf der rechten Seite von
(2.4), d.h., durch
(
0,
k = 0,
(2.5)
Vk =
Vk−1 − αVk−1 + β + Yk , k = 1, 2, . . . ,
kann die Bewegung in einem räumlich homogenen äußeren Feld modelliert werden 2.15.
Zu einem gegebenen Geschwindigkeitsprozeß V ergibt sich mit
(
0,
k = 0,
(2.6)
Xk =
Xk−1 + Vk−1 , k = 1, 2, . . . ,
ein Ortsprozess X = (Xn )n∈N0 . (2.4), (2.6), bzw. (2.5), (2.6) bilden Modelle für die
räumliche Bewegung eines diffundierenden Teilchens mit Reibung.
Die Prozesse X und V sind offensichtlich abhängig. Sie können zu einem stochastischen Prozess Z = (Zn )n∈N0 mit Zn = (Xn , Vn ), n ∈ N0 , zusammengefaßt
werden. Der Zustandsraum dieses Prozesses Z ist R2 2.16.
2.11Die Abhängigkeit der Zufallsvariablen V , n = 1, 2, . . . , ist eine notwendige Eigenschaft,
n
wenn ein träges Teilchen modelliert werden soll. Die Unabhängigkeit der Vn = Xn − Xn−1 ,
n = 2, 3, . . . , im speziellen Fall p = 1/2 wird in Fußnote 2.9 angesprochen.
2.12Für ein physikalisches Teilchen führt Reibung“ zu einer Verringerung seiner Geschwin”
digkeit. Dieser Effekt wird im folgenden Beispiel 2.4 modelliert.
2.13Zufällige additive Beiträge zu den Änderungen der Geschwindigkeit ergeben sich beispielsweise bei der Modellierung der Bewegung eines Teilchens in einem Wärmebad, d.h. bei der
Beschreibung der Auswirkungen zufälliger Stöße durch die eine ungeordnete thermische Bewegung
ausführenden Moleküle des Mediums, welches das Teilchen umgibt.
2.14Durch die Annahme E[Y ] = 0 wird zum Ausdruck gebracht, daß die diffusiven Beiträge
1
zu den Geschwindigkeitsänderungen nicht zu einer systematischen Bewegung in eine bevorzugte
Richtung führen.
2.15Mit einem derartigen äußeren Feld kann beispielsweise die Schwerkraft modelliert werden.
Zum Verständnis des Modellierungsansatzes (2.5) beachte man, daß in der klassischen Mechanik
die schwerkraftbedingte Änderung der Geschwindigkeit V eines Teilchens nahe der Erdoberfläche
durch V̇ = konst. gegeben ist.
Zur Modellierung eines äußeren Feldes könnte offensichtlich anstelle von (2.5) auch (2.4) mit
i.i.d. Zufallsvariablen Y1 , Y2 , . . . mit E[Y1 ] = β 6= 0 benutzt werden.
2.16Im Gegensatz zu den Prozessen X in den Beispielen 2.2 und 2.3 ist in Beispiel 2.4 der
Geschwindigkeitsprozeß V und damit auch der Ortsprozeß X nicht auf Z konzentriert.
20. Oktober 2016
12
In den Beispielen 2.1 - 2.4 werden einzelne stochastische Prozesse, die in speziellen mathematischen Modellen angewandt werden, betrachtet. In den folgenden
Abschnitten werden allgemeinere Klassen stochastischer Prozesse 2.17 vorgestellt,
die vielfältige Anwendungen bei zahlreichen, ganz unterschiedlichen Modellierungsproblemen finden können.
Die Zeit ist in den durch die Beispiele 2.2 - 2.4 eingeführten Modellen für
die räumliche Bewegung eines Teilchens diskret. Der Einfachheit halber wird bis
Abschnitt 2.2.7 diese Einschränkung beibehalten.
2.1. Stationäre stochastische Prozesse
Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und (Ω′ , F′ ) ein meßbarer Raum.
Weiterhin sei Xn : (Ω, F, P) → (Ω′ , F′ ), n ∈ N0 , eine Familie von Zufallsvariablen.
Der stochastische Prozeß X = (Xn )n∈N0 heißt stationär, wenn für alle m ∈ N und
alle k1 , . . . , km ∈ N0 mit 0 ≤ k1 < · · · < km < ∞ die gemeinsame Verteilung von
Xk+k1 , . . . , Xk+km unabhängig von k ∈ N0 ist 2.18, d.h., wenn
(2.7) P Xk+k1 ∈ A′k1 , . . . , Xk+km ∈ A′km = P Xk1 ∈ A′k1 , . . . , Xkm ∈ A′km ,
0 ≤ k1 < · · · < km < ∞, A′k1 , . . . , A′km ∈ F′ , m ∈ N, k ∈ N0 .
Ein stochastischer Prozeß ist somit stationär, wenn sein Verhalten in einem end”
lichen Zeitintervall“ 2.19 nicht von der genauen Lage dieses Zeitintervalls auf der
Zeitachse abhängt.
Beispiel 2.5. Der in Beispiel 2.1 vorgestellte Bernoulli-Prozess Y = (Yn )n∈N
mit Parameter p ∈ [0, 1] ist stationär. In der Tat sind die Größen
P Yk+k1 = ηk1 , . . . , Yk+km = ηkm
=
2.20
=
2.21
P[Yk+k1 = ηk1 ] · · · P[Yk+km = ηkm ]
p
Pm
r=1 (1+ηkr )/2
Pm
(1 − p)
r=1 (1−ηkr )/2
,
1 ≤ k1 < · · · < km < ∞, ηk1 , . . . , ηkm ∈ {−1, 1}, m ∈ N, k ∈ N0 ,
welcher die endlich-dimensionalen Verteilungen von Y charakterisieren, von k unabhängig.
Beispiel 2.6. Die in Beispiel 2.2 beschriebene Irrfahrt X = (Xn )n∈N0 ist nicht
stationär, da z.B.
P[X0 = 0] = 1 6= 0 = P[X1 = 0]
gilt.
2.17
Beispielsweise werden stationäre stochastische Prozesse und Markovketten eingeführt.
2.18Auf analoge Weise lassen sich natürlich auch stationäre stochastische Prozesse wie
(Xn )n∈N , (Xn )n∈Z oder (Xn )n∈Zd mit den Indexmengen N, Z, bzw. Zd , wobei d = 2, 3, . . . ,
charakterisieren.
2.19Dies ist (2.7) entsprechend in einem speziellen wahrscheinlichkeitstheoretischen Sinn gemeint. Insbesondere wird die zeitliche Invarianz des Verhaltens eines stochastischen Prozesses“
”
mit Hilfe des Begriffs der Verteilung von Zufallsvariablen formuliert.
2.20Da die Zufallsvariablen Y , Y , . . . unabhängig sind.
1
2
2.21
Man beachte, daß z.B.
(
1, falls η = 1,
1+η
=
2
0, falls η = −1.
Pm
Somit ist
r=1 (1 + ηkr )/2 die Anzahl der n ∈ {k1 , . . . , km } mit ηn = 1. Entsprechend ist
Pm
r=1 (1 − ηkr )/2 die Anzahl der n ∈ {k1 , . . . , km } mit ηn = −1.
20. Oktober 2016
13
Beispiel 2.7. An einem festen äquatornahen Ort werde an jedem Tag k =
1, 2, . . . zur Mittagszeit die Temperatur und die Luftfeuchtigkeit gemessen. In einem vernünftigen Modell der Meßreihe scheint die Verwendung eines stationären
Prozesses Y = (Yn )n∈N sinnvoll zu sein 2.22.
In vielen Anwendungen reellwertiger, quadratintegrabler 2.23, stationärer stochastischer Prozesse X = (Xn )n∈N0 werden L2 -Methoden angewandt. Insbesondere
werden die Zufallsvariablen Xn , n ∈ N0 , als Elemente
L2 (Ω, F, P)
p des Hilbertraums
2
2
2
betrachtet. L (Ω, F, P) ist mit der Norm kXk2 := E[X ], X ∈ L (Ω, F, P), ausgestattet. Weiterhin ist das Skalarprodukt in L2 (Ω, F, P) durch hX, Y i := E[XY ],
X, Y ∈ L2 (Ω, F, P), definiert. Für X, Y ∈ L2 (Ω, F, P) ist somit E[X] = hX, 1i,
bzw. Cov(X, Y ) = E[XY ] − E[X]E[Y ] = hX, Y i − hX, 1ihY, 1i, wobei 1 eine Zufallsvariable, die f.s. den Wert 1 annimmt, bezeichnet.
Zur Untersuchung von X mit L2 -Methoden sind nur lineare Berechnungen innerhalb von L2 (Ω, F, P) zugelassen. Im Vergleich zu allgemeineren Methoden ergibt
sich damit eine wesentliche Vereinfachung. Jedoch können durch die Einschränkung
der mathematischen Methoden natürlich i. allg. keine optimalen Resultate erzielt
werden.
Im Rahmen der L2 -Methoden wird speziell mit den ersten und zweiten Momenten von X, d.h., mit E[Xn ], n ∈ N0 , und Cov(Xn , Xk ), n, k ∈ N0 , gearbeitet.
Aufgrund der Stationarität von X gilt
(2.8a)
E[Xn ] = E[Xk ],
und
(2.8b)
n, k ∈ N0 ,
Cov(Xn , Xk ) = Cov(Xn+r , Xk+r ),
Folglich hängt die Autokovarianzfunktion
n, k, r ∈ N0 .
(n, k) → Cov(Xn , Xk ) =: c(n, k)
nur vom Betrag der Differenz der Argumente ab, d.h.,
(
Cov(X0 , Xk−n ), falls k ≥ n,
(2.9a)
Cov(Xn , Xk ) = Cov(Xk , Xn ) =
Cov(X0 , Xn−k ), falls n > k,
und somit
(2.9b)
c(n, k) =
2
2.24
Cov(X0 , X|n−k| ) = c(|n − k|),
n, k ∈ N0 .
Die o.g. L -Methoden sind nicht nur für alle quadratintegrablen, reellwertigen, stationären stochastischen Prozesse anwendbar. Hinreichend für die Anwendbarkeit ist
vielmehr die Gültigkeit von (2.8). Prozesse, die (2.8) erfüllen, werden daher als eine
eigene Klasse stochastischer Prozesse, die schwach stationären Prozesse, betrachtet.
Schwach stationäre stochastische Prozesse brauchen nicht stationär zu sein, d.h.,
die Gültigkeit von (2.7) ist nicht notwendig 2.25.
Beispiel 2.8. Seien U und V unkorrelierte Zufallsvariablen
(2.10a)
2.26
mit
E[U ] = E[V ] = 0
2.22An einem äquatorfernen Ort ist mit jahreszeitlichen Schwankungen von Temperatur und
Luftfeuchtigkeit zu rechnen, so daß dann eine Modellierung der Meßwerte durch einen stationären
Prozeß nicht als angemessen erscheint.
2.23Ein stochastischer Prozeß X = (X )
2
n n∈N0 heißt quadratintegrabel, falls E[Xn ] < ∞,
n ∈ N0 .
2.24Wenn die beiden rechten Seiten von (2.9a) zusammengefaßt werden, können Sie offensichtlich in der Form Cov(X0 , X|n−k| ) geschrieben werden.
2.25Andererseits ist ein stationärer stochastischer Prozeß X = (X )
n n∈N0 nur dann auch
schwach stationär, wenn er auch quadratintegrabel ist.
2.26Die Zufallsvariablen U und V brauchen insbesondere nicht unabhängig zu sein.
20. Oktober 2016
14
und
E[U 2 ] = E[V 2 ] = 1
(2.10b)
und sei λ ∈ [0, π). Für den Prozeß X = (Xn )n∈N0 mit
(2.11)
gilt
Xn = U cos(λn) + V sin(λn),
2.27
(2.12a)
E[Xn ] = 0,
n ∈ N0 ,
n ∈ N0 ,
und
(2.12b) Cov(Xn , Xn+k ) =
2.28
E[Xn Xn+k ]
= E[(U cos(λn) + V sin(λn))(U cos(λ(n + k)) + V sin(λ(n + k)))]
=
2.29
E[U 2 cos(λn) cos(λ(n + k)) + V 2 sin(λn) sin(λ(n + k))]
=
2.30
cos(λn) cos(λ(n + k)) + sin(λn) sin(λ(n + k))
=
2.31
cos(λk) = c(k),
k, n ∈ N0 .
Der Prozeß X ist daher schwach stationär.
I. allg. braucht jedoch X nicht stationär zu sein. Für λ = π/2 ergibt sich
beispielsweise
X0 = U,
X1 = V,
X2 = −U,
X3 = −V,
X4 = U,
....
In diesem Fall ist für die Stationarität insbesondere notwendig, daß (U, V ), (V, −U ),
(−U, −V ) und (−V, U ) identisch verteilt sind. I. allg. muß dies aber nicht zutreffen.
Durch Addition von Prozessen, wie sie in (2.11) definiert werden, erhält man
eine etwas allgemeinere Klasse schwach stationärer Prozesse.
Beispiel 2.9. Sei N ∈ N und seien U1 , . . . , UN , V1 , . . . , VN paarweise unkorrelierte Zufallsvariablen mit
E[U1 ] = · · · = E[UN ] = E[V1 ] = · · · = E[VN ] = 0
und
2
E[U12 ] = · · · = E[UN
] = E[V12 ] = · · · = E[VN2 ] = 1.
Außerdem seien λ1 , . . . , λN ∈ [0, π) und β1 , . . . , βN ∈ R. Der Prozeß X = (Xn )n∈N0
mit
N
X
(2.13)
Xn =
βr (Ur cos(λr n) + Vr sin(λr n)), n ∈ N0 ,
r=1
ist schwach stationär, da E[Xn ] = 0, n ∈ N0 , und
Cov(Xn , Xn+k ) =
N
X
2.32
βr2 cos(λr k) = c(k),
r=1
k, n ∈ N0 .
2.27Wegen (2.10a).
2.28Wegen (2.12a).
2.29Da U und V unkorreliert sind, d.h., da E[U V ] = 0.
2.30
2.31
Wegen (2.10b).
Vgl. z.B. [1], Kapitel 4. Aus den Beziehungen 4.3.31 und 4.3.32 folgt insbesondere
cos(λn) cos(λ(n + k)) + sin(λn) sin(λ(n + k))
=
1
1
(cos(λk) + cos(λ(2n + k))) + (cos(λk) − cos(λ(2n + k))) = cos(λk).
2
2
2.32Zum Beweis können die Berechnungen in (2.12b) leicht verallgemeinert werden.
20. Oktober 2016
15
Der Spektralsatz, ein Hauptresultat der Theorie stationärer Prozesse, besagt,
daß auch allgemeinere reellwertige stationäre stochastische Prozesse sich durch eine
geeignete Verallgemeinerung von (2.13), d.h., als Summe periodischer Funktionen
mit zufälligen Koeffizienten, darstellen lassen 2.33.
Zur Modellierung von zeitlich angeordneten Folgen von Beobachtungsdaten,
d.h. von Zeitreihen 2.34, durch schwach stationäre Prozesse werden häufig spezielle
Typen solcher Prozesse, wie autoregressive, bzw. Moving-Average Prozesse verwendet.
Ein schwach stationärer Prozeß 2.35 Z = (Zn )n∈Z wird autoregressiv genannt,
wenn
(2.14)
Zn =
2.36
r
X
αi Zn−i + Yn ,
i=1
n ∈ Z,
wobei Yk , k ∈ Z, unkorrelierte Zufallsvariablen mit E[Yk ] = 0, E[Yk2 ] = σ 2 < ∞,
k ∈ Z, sind und α1 , . . . , αr ∈ R, r ∈ N.
Beispiel 2.10. Sei Z = (Zn )n∈Z schwach stationär mit
(2.15)
Zn = αZn−1 + Yn ,
n ∈ Z,
wobei Yn , n ∈ N, unkorrelierte Zufallsvariablen mit E[Yn ] = 0, E[Yn2 ] = 1, n ∈ Z,
sind. Außerdem sei |α| < 1 2.37.
2.33Die Frequenzen dieser Funktionen sind deterministisch, die Amplituden zufällig. In allge-
meinen Fällen ist die Summe durch ein Integral zu ersetzen, d.h., ein allgemeinerer reellwertiger
stationärer stochastischer Prozeß X = (Xn )n∈Z ist durch ein stochastisches Integral
(∗)
Xn =
Z
exp(inλ)Z(dλ),
[0,2π)
n ∈ Z,
bzgl. eines stochastischen Prozesses Z = (Zλ )λ∈[0,2π) mit orthogonalen Zuwächsen darstellbar.
Der Spektralsatz und insbesondere die Darstellung (∗) von reellwertigen stationären stochastischen
Prozessen wird in [4], Section 9.4, erläutert.
2.34
Die in Beispiel 2.7 erwähnten Meßwerte für die Temperatur und die Luftfeuchtigkeit bilden
beispielsweise eine Zeitreihe.
2.35
Durch die Verwendung von Z als Indexmenge, d.h. als Menge der Zeitpunkte, wird die
Notation etwas einfacher. Für autoregressive Prozesse mit N0 als Indexmenge wäre beispielsweise
(2.14) für n = 0, 1, . . . , r − 1 zu modifizieren.
2.36Z ist ein gewichtetes Mittel von vergangenen“ Werten Z
n
n−r , . . . , Zn−1 des Prozesses
”
Z, das durch ein additives Rauschen Yn überlagert wird.
2.37Ein derartiger Prozeß wird in (2.4) betrachtet. Allerdings wird dort N und nicht Z als
0
Indexmenge benutzt. Außerdem ersetzt 1 − α in (2.4) das hier in (2.15) verwendete α.
20. Oktober 2016
16
Aus (2.15) ergibt sich durch Iteration
(2.16)
Zn =
∞
X
2.38
αk Yn−k ,
n ∈ Z.
k=0
Nun folgt E[Zn ] = 0, n ∈ Z, und
(2.17)
c(n) =
2.39
=
2.41
E[Z0 Zn ] =
∞
X
α2k+n =
k=0
2.38
∞
X
αk+l E[Y−k Yn−l ]
{z
}
|
k,l=0
= δ(−k, n − l)
2.40
αn
,
1 − α2
n ∈ N0 .
(2.15) führt zu
Zn = αZn−1 + Yn = α2 Zn−2 + αYn−1 + Yn = · · · =
∞
X
αk Yn−k ,
k=0
n ∈ Z.
P∞
k
2
In (2.16) ist zu beachten, daß die Reihe
k=0 α Yn−k in L (Ω, F, P) konvergiert und daher
wohldefiniert ist. In der Tat ergibt zunächst die Cauchy-Ungleichung
«2
„ X
„ X
«2
q
q
|α|k |Yn−k |
αk Yn−k
≤
k=p+1
k=p+1
≤
„ X
q
k=p+1
|α|k |Yn−k |2
«„ X
q
k=p+1
«
|α|k ,
p, q ∈ N0 , p < q.
Für p, q ∈ N0 mit p < q folgt somit
˛2 #
"„ q
"˛ q
«2 #
p
˛
˛X
X
X
˛
˛
k
k
αk Yn−k
α Yn−k −
α Yn−k ˛ = E
E ˛
˛
˛
k=p+1
k=0
k=0
"∞
#
q
X
X
2
|α|k Yn−k
≤E
|α|k
k=0
|
∞
X
(∗)
=
k=0
k=p+1
{z
} |
2
|α|k E[Yn−k
]
| {z }
=1
{z
p,q→∞
→
p,q→∞
→
0.
}
0
P
Da |Yl |2 ≥ 0, l ∈ Z, können E[. . . ] und ∞
k=0 . . . in (∗) aufgrund des Satzes von Fubini vertauscht
werden.
2.39Vgl. (2.9b). Man beachte, daß c(.) auf N definiert ist.
0
2.40
Man könnte diese Beziehung begründen mit einer formalen durch den Satz von Fubini
P∞
gerechtfertigten Vertauschung von k,l=0 . . . und E[. . . ].
Bei einer Anwendung von L2 -Methoden kann zunächst
(∗)
Z0 =
Zn =
∞
X
k=0
∞
X
αk Y−k =
0
X
α−l Yl ,
l=−∞
n
X
αk Yn−k =
k=0
bzw.
αn−l Yl
l=−∞
aus (2.16) geschlossen werden. Beachtet man nun, daß die Zufallsvariablen {Yk : k ∈ Z} ein
vollständiges Orthonormalsystem in dem von ihnen aufgespannten Teilraum H ⊆ L2 (Ω, F, P)
bilden, so kann aus (∗) und der Parsevalschen Identität
E[Z0 Zn ] = hZ0 , Zn i =
0
X
α−l αn−l =
l=−∞
∞
X
k=0
αk αn+k
| {z }
= α2k+n
gefolgert werden.
2.41
Aus −k = n − l folgt zunächst l = k + n und dann k + l = 2k + n.
20. Oktober 2016
17
Ein schwach stationärer Moving-Average Prozeß Z = (Zn )n∈Z ergibt sich beispielsweise, wenn ein sich im Hintergrund befindender schwach stationärer Prozeß 2.42 X = (Xn )n∈Z durch Beobachtungsinstrumente modifiziert, z.B. geglättet
wird, d.h., wenn 2.43
r
X
αi Xn−i , n ∈ Z,
(2.18)
Zn =
i=1
wobei α1 , . . . , αr ∈ R, r ∈ N.
Wenn ein Statistiker gegebene Beobachtungsdaten z1 , . . . , zN durch einen autoregressiven oder einen Moving-Average Prozeß Z modellieren will, hat er insbesonc2 für die Koeffizienten r, α1 , . . . , αr
dere Schätzer 2.44 rb ∈ N, α
c1 , . . . , α
crb ∈ R und σ
und σ 2 in (2.14), bzw. in (2.18) zu bestimmen. Anschließend kann er z.B. im RahPrb
men des Moving-Average Modells Z = (Zn )n∈Z mit Zn = i=1 αbi Xn−i , n ∈ Z, die
Werte . . . , X−1 , X0 , X1 , X2 , . . . des Prozesses 2.45 X schätzen (Filterung). Ebenso könnte er im Rahmen des autoregressiven Modells Z = (Zn )n∈Z mit Zn =
Prb
c2 , k ∈ Z, zukünftige“
bi Zn−i + Yn , n ∈ Z, wobei 2.46 E[Yk ] = 0, E[Yk2 ] = σ
i=1 α
”
Werte ZN +1 , ZN +2 , . . . von Z schätzen (Vorhersage).
Bemerkung 2.11. In der Zeitreihenanalyse werden häufig mit den ARMAModellen auch Kombinationen von autoregressiven und Moving-Average-Modellen
eingesetzt. Insbesondere nennt man einen schwach stationären Prozeß Z = (Zn )n∈Z
ein ARMA-Modell mit den Ordnungen r und p, falls
(2.19)
Zn =
r
X
i=1
αi Zn−i +
p
X
βi Xn−i + Yn ,
i=1
n ∈ Z,
mit einem schwach stationären Prozeß X = (Xn )n∈Z , unkorrelierten Zufallsvariablen Yk , k ∈ Z, wobei E[Yk ] = 0, E[Yk2 ] = σ 2 < ∞, k ∈ Z, und mit α1 , . . . , αr , β1 ,
. . . , βp ∈ R.
2.1.1. Lineare Vorhersage schwach stationärer stochastischer Prozesse. Gewisse zeitlich geordnete Beobachtungsdaten . . . , z0 , z1 , z2 , . . . seien durch
einen schwach stationären Prozeß 2.47 Z = (Zn )n∈Z modelliert.
Unter der Annahme, daß für n ∈ Z und k ∈ N0 die Werte von Zn−k , . . . , Zn
beobachtet worden sind, soll nun Zn+r für ein r ∈ N geschätzt werden. Insbesondere
2.48
[
soll ein Schätzer Z
gesucht
n+r für Zn+r mit minimalem quadratischen Fehler
2.49 [
[
werden, d.h.
, Zn+r = Zn+r (Zn−k , . . . , Zn ) ist so zu bestimmen, daß
2
[
minimal
(2.20a)
E (Z
n+r − Zn+r )
2.42X kann als ein Prozeß betrachtet werden, der von großem Interesse ist, jedoch nicht direkt
beobachtet werden kann.
2.43Andere Summationen wie z.B. Pr . . . oder Pr
i=0
i=−s . . . sind in manchen Anwendungen
auch möglich. Ebenso ist wie in (2.14) die Addition von Rauschtermen Yn , n ∈ Z, auf der rechten
Seite von (2.18) denkbar.
2.44Bei allen der hier angesprochenen Schätzungen können natürlich nur die vorliegenden
Beobachtungen z1 , . . . , zN zugrunde gelegt werden.
2.45Vgl. Fußnote 2.42.
2.46Wie in (2.14) seien Y , n ∈ Z, unkorrelierte Zufallsvariablen.
n
2.47In diesem Abschnitt 2.1.1 wird mit L2 -Methoden gearbeitet. Insbesondere ist in diesem
Fall der zur Modellbildung benutzte Prozeß Z durch E[Z0 ] und die Autokovarianzfunktion Z2 ∋
(n, k) → c(n, k) = Cov(Zn , Zk ) = Cov(Z0 , Z|n−k| ) charakterisiert. Daher ist die Voraussetzung
der schwachen Stationärität sinnvoll.
2.48In praktischen Anwendungen hat sich dieses Qualitätskriterium bewährt. Natürlich gibt
es auch andere Methoden, die Güte eines Schätzers zu bewerten.
2.49Z
\
n+r ist eine Funktion der bekannten Werte von Zn−k , . . . , Zn .
20. Oktober 2016
18
wird. Um eine explizite Lösung von (2.20a) zu erleichtern, wird zusätzlich verlangt,
daß
(2.20b)
ist
2.50
[
Z
n+r
eine lineare Funktion von Zn−k , . . . , Zn
.
Satz 2.12. 2.51 Sei Z = (Zn )n∈Z ein schwach stationärer Prozeß mit E[Z0 ] = 0
und Autokovarianzfunktion Z2 ∋ (n, l) → c(n, l) = Cov(Zn , Zl ) = 2.52 c(|n − l|).
2.53
[
In diesem Fall ist die Lösung Z
n+r von (2.20) gegeben durch
[
Z
n+r =
(2.21a)
k
X
ai Zn−i ,
i=0
wobei (a0 , a1 , . . . , ak ) das lineare Gleichungssystem
(2.21b)
k
X
i=0
löst.
ai c(|i − j|) = c(r + j),
j = 0, 1, . . . , k,
Um Satz 2.12 zu beweisen, wird folgendes Resultat benötigt.
Satz 2.13 (Projektionstheorem 2.54). Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und L2 (Ω, F, P) der Hilbertraum der reellwertigen, quadratintegrablen Zufallsvariablen auf (Ω, F, P). Sei weiterhin H in L2 (Ω, F, P) ein abgeschlossener,
linearer Teilraum.
Für Y ∈ L2 (Ω, F, P) und YH ∈ H sind dann die folgenden Aussagen äquivalent:
(2.22a)
E[(Y − YH )Z] = 0,
(2.22b)
kY − YH k2 ≤ kY − Zk2 ,
Z ∈ H,
Z ∈ H.
Begründung (von Satz 2.13). In einem Hilbertraum wie L2 (Ω, F, P) steht
die kürzeste Strecke von einem abgeschlossenen linearen Teilraum H zu einem
Y ∈
/ H senkrecht 2.55 auf H. Genau dann, wenn YH in H den Abstand zu Y
minimiert, d.h., wenn (2.22b) gilt, steht somit Y − YH senkrecht auf allen Z ∈ H,
d.h., es gilt (2.22a).
Beweis (von Satz 2.12). Sei H der von den Zufallsvariablen Zn−k , . . . , Zn aufgespannte, abgeschlossene lineare Unterraum von L2 (Ω, F, P). Nach Satz 2.13 ist
2.50Die eindeutig bestimmte Lösung von (2.20a) ohne die Einschränkung (2.20b) ist durch
\
den bedingten Erwartungswert Z
n+r = E[Zn+r |Zn−k , . . . , Zn ] gegeben, vgl. [5], Theorem 8.1.4.
In der Praxis kann jedoch E[Zn+r |Zn−k , . . . , Zn ] i. allg. nicht explizit berechnet werden. Hingegen
kann, wie in diesem Abschnitt 2.1.1 gezeigt wird, die Lösung von (2.20a), (2.20b) durch Lösen
eines linearen Gleichungssystems gewonnen werden.
2.51
Vgl. [4], Section 9.2, Theorem (1).
2.52Vgl. (2.9b).
2.53Wie im Beweis von Satz 2.12 verdeutlicht wird, ist Z
\
n+r die lineare Projektion von
Zn+r auf den durch die Zufallsvariablen Zn−k , . . . , Zn aufgespannten, abgeschlossenen linearen
\
Unterraum von L2 (Ω, F, P). Daher ist Z
n+r eindeutig bestimmt. Eindeutigkeit der Koeffizienten a0 , a1 , . . . , ak liegt allerdings genau dann vor, wenn die Zufallsvariablen Zn−k , . . . , Zn linear
unabhängig sind.
2.54Vgl. [4], Section 7.9, Theorem (14).
2.55Senkrecht bezieht sich auf das Skalarprodukt h., .i in dem Hilbertraum L2 (Ω, F, P). Hierbei
ist hX, Y i = E[XY ], X, Y ∈ L2 (Ω, F, P).
20. Oktober 2016
19
2
[
das eindeutig bestimmte Z
n+r ∈ H, welches H ∋ Z → E[(Zn+r − Z) ] mini2.56
miert
, durch
[
E[(Zn+r − Z
n+r )Z] = 0,
(2.23)
charakterisiert.
[
Da Z
n+r eine Darstellung (2.21a) hat
(2.23) zu 2.58
[
E[Zn+r Zn−j ] = E[Z
n+r Zn−j ] =
{z
}
|
= c(|n + r − (n − j)|)
Damit ist (2.21b) nachgewiesen
2.59
k
X
i=0
.
2.57
Z ∈ H,
und weil Zn−k , . . . , Zn ∈ H, führt
ai E[Zn−i Zn−j ] , j = 0, 1, . . . , k.
|
{z
}
= c(|n − i − (n − j)|)
Wenn die Autokovarianzfunktion c(.) bekannt ist, kann durch Lösen des linearen
Gleichungssystems (2.21b) ein linearer Schätzer (2.21a) mit minimalem quadratischen Fehler für zukünftige Werte des Prozesses Z bestimmt werden.
Beispiel 2.14 (Lineare Vorhersage eines autoregressiven Prozesses). Im folgenden sei Z = (Zn )n∈Z der in Beispiel 2.10 betrachtete schwach stationäre Prozeß.
Pk
[
Bei der Bestimmung des besten linearen Schätzers Z
n+r =
i=0 ai Zn−i von
Zn+r bei gegebenen Beobachtungen von Zn−k , . . . , Zn ist zu berücksichtigen, daß
die Autokovarianzfunktion c(.) von Z durch (2.17) gegeben ist. Somit führt (2.21b)
zu
k
X
(2.24)
ai α|i−j| = αr+j ,
j = 0, 1, . . . , k.
i=0
Durch Einsetzen kann sofort verifiziert werden, daß (2.24) durch
(
αr , i = 0,
ai =
0,
i = 1, 2, . . . , k,
gelöst wird, d.h.,
2.60
r
[
Z
n+r = α Zn .
(2.25)
[
Der quadratische Fehler dieses Schätzers Z
n+r ist
2 2 r
[
E Zn+r − Z
= E Zn+r − α Zn
n+r
2
= E[Zn+r
] − 2αr E[Zn+r Zn ] + α2r E[Zn2 ]
=
2.61
Var(Zn+r ) − 2αr Cov(Zn+r , Zn ) + α2r Var(Zn )
= c(0) − 2αr c(r) + α2r c(0)
=
2.62
1
1 − α2r
2r
2r
(1
−
2α
+
α
)
=
.
1 − α2
1 − α2
2.56Das hier beschriebene Z
\
n+r ∈ H löst offensichtlich (2.20).
2.57Da Z
\
∈
H
und
weil
H
von Zn−k , . . . , Zn aufgespannt wird.
n+r
2.58Da E[Z ] = 0, ist E[Z Z ] = Cov(Z , Z ) = c(|k − l|), k, l ∈ Z.
0
k
l
k
l
2.59Man beachte, daß c(|n + r − (n − j)|) = c(r + j) und c(|n − i − (n − j)|) = c(|i − j|) für
j = 0, 1, . . . , k.
2.60Falls die Zufallsvariablen Y , n ∈ N, die in Beispiel 2.10 in die Definition von Z = (Z )
n
n n∈Z
eingehen, nicht nur unkorreliert sondern sogar unabhängig sind, ist Z ein Markovprozeß, vgl.
Abschnitt 2.2. Jene Markoveigenschaft wird nun auch durch (2.25) verdeutlicht: Bei gegebenem
gegenwärtigen Zustand Zn werden zur optimalen“ Verhersage eines zukünftigen Zustandes Zn+r
”
keine Kenntnisse zur Vergangenheit Zn−1 , Zn−2 , . . . benötigt.
20. Oktober 2016
20
2.2. Markovprozesse
Ein Markovprozeß X = (Xt )t≥0 zeichnet sich dadurch aus, daß in jedem Zeitpunkt s ≥ 0 die zukünftige Entwicklung, d.h., Xu , u > s, bei gegebenem gegenwärtigen Zustand Xs nicht von der Vergangenheit Xu , u < s, abhängt.
Die elementarsten Beispiele für Markovprozesse sind Markovketten, d.h. Markovprozesse in diskreter Zeit mit Werten in einem diskreten, d.h. höchstens abzählbaren Zustandsraum. Nach der Untersuchung solcher Prozesse wird ab Abschnitt
2.2.8 auch auf Markovprozesse mit einem diskreten Zustandsraum, aber in kontinuierlicher Zeit eingegangen.
2.2.1. Markovketten. Ein stochastischer Prozeß X = (Xn )n∈N0 in diskreter
Zeit mit Werten in einem höchstens abzählbaren Zustandsraum S heißt Markovkette, falls 2.63
(2.26) P Xn+k = s′ | X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn
{z
} | {z }
| {z } |
Zukunft
Gegenwart
Vergangenheit
= P Xn+k = s′ |Xn = sn ,
n ∈ N0 , k ∈ N, s0 , s1 , . . . , sn , s′ ∈ S.
Zur Charakterisierung der zukünftigen Entwicklung einer Markovkette reicht also die Kenntnis des gegenwärtigen Zustandes aus. Die zusätzliche Kenntnis der
zeitlichen Entwicklung in der Vergangenheit bringt in diesem Fall keinen Informationsgewinn.
Beispiele 2.15. Offensichtlich sind der in Beispiel 2.1 eingeführte BernoulliProzeß und die in Beispiel 2.2 vorgestellte Irrfahrt Markovketten. Der in Beispiel 2.4
betrachtete Prozeß V ist ein Markovprozeß in diskreter Zeit mit kontinuierlichem
Zustandsraum R. Faßt man diesen Prozeß mit dem ebenfalls in Beispiel 2.4 angegebenen Prozeß X zu Z = (Zn )n∈N0 mit Zn = (Xn , Vn ), n ∈ N0 , zusammen, so ergibt
sich ein weiterer Markovprozeß 2.64.
Der in Beispiel 2.3 diskutierte Prozeß X = (Xn )n∈N0 ist für p 6= 1/2 nicht
markovsch 2.65. Allerdings ist Z = (Zn )n∈N mit Zn = (Xn , Xn−1 ), n ∈ N, eine
Markovkette, die zu X äquivalent ist 2.66. Insbesondere enthält Zn−1 bei gegebenem
Zn keine weiteren Informationen zur Charakterisierung von Zn+1 .
Die bedingten Wahrscheinlichkeiten
(2.27)
Pn (s1 , s2 ) = P Xn+1 = s2 |Xn = s1 ,
s1 , s2 ∈ S, n ∈ N0 ,
werden (1-Schritt-) Übergangswahrscheinlichkeiten genannt 2.67. Sie können zu den
(1-Schritt-) Übergangsmatrizen Pn = (Pn (s, s′ ))s,s′ ∈S , n ∈ N0 , zusammengefaßt
2.61Da E[Y ] = 0, n ∈ Z, und daher die Darstellung (2.16) von Z , n ∈ Z, zu E[Z ] = 0,
n
n
n
n ∈ Z, führt.
2.62
Vgl. (2.17).
2.63Stillschweigend sei angenommen, daß P[X = s , . . . , X = s ] > 0. Nur in diesem Fall
n
n
0
0
sind beide Seiten von (2.26) wohldefiniert.
2.64Z ist ein Markovprozeß in diskreter Zeit mit dem Zustandsraum R2 .
2.65(2.3) zeigt, daß zumindest für p 6= 1/2 bei gegebenem X die Kenntnis von X
n
n−1
zusätzliche Informationen zur Charakterisierung von Xn+1 liefert. Offensichtlich ermöglicht für
p 6= 1/2 die Kenntnis von Xn−1 eine präzisere Vorhersage der zukünftigen Richtung Xn+1 − Xn
des Prozesses X.
2.66Falls Z = (x, x′ ) ∈ Z2 , ist Z
′
n
n+1 = (X, x), wobei X = x+(x−x ) mit Wahrscheinlichkeit
p und X = x − (x − x′ ) mit Wahrscheinlichkeit 1 − p.
2.67Umgangssprachlich kann P (s , s ) für n ∈ N und s , s ∈ S auch als die Wahrscheinn 1 2
0
1 2
”
lichkeit für einen Sprung von s1 nach s2 zum Zeitpunkt n“ bezeichnet werden.
20. Oktober 2016
21
werden. Eine Markovkette besitzt stationäre Übergangswahrscheinlichkeiten, falls
Pn = P unabhängig von n ist 2.68.
Beispiel 2.16. Die Irrfahrt (zu einem Parameter p ∈ [0, 1])
kovkette mit stationären Übergangswahrscheinlichkeiten. Durch


..
..
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.


. . .
0
p
0
. . . . . . .


. . . 1 − p
0
p
0 . . .

.
(2.28)
P =
0
p . . .
. . . . . . . . . . 1 − p

. . . . . . . . . . . . . . . . . 1 − p 0 . . .


.. ..
.
.
........................
2.69
ist eine Mar-
ist ihre Übergangsmatrix gegeben.
Unter der Verteilung einer Markovkette X = (Xn )n∈N0 versteht man die gemeinsame Verteilung der Zufallsvariablen Xn , n ∈ N0 .
Satz 2.17. Die Verteilung einer Markovkette X = (Xn )n∈N0 mit einem diskreten Zustandsraum S ist durch ihre Übergangsmatrizen und ihre Anfangsverteilung,
d.h., die Verteilung PX0 von X0 , eindeutig bestimmt. Es gilt 2.70
(2.29) P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn
= PX0 [s0 ]P0 (s0 , s1 ) · · · Pn−1 (sn−1 , sn ),
s0 , s1 , . . . , sn ∈ S, n ∈ N0 .
Im folgenden werden nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet.
Bemerkung 2.18. Alle möglichen mathematischen Eigenschaften einer Markovkette mit stationären Übergangswahrscheinlichkeiten sind durch die 1-SchrittÜbergangswahrscheinlichkeiten (bzw. die 1-Schritt-Übergangsmatrix P ) und die
Anfangsverteilung PX0 bestimmt 2.71.
Beispiel 2.19 (Verallgemeinerte Irrfahrt in Zd , d = 1, 2, . . . ). Sei ζn , n ∈ N,
eine Folge von unabhängigen, identisch verteilten Zufallsvariablen mit Werten in
Zd . Außerdem sei X = (Xn )n∈N0 durch
X0 = 0,
2.68In diesem Fall besitzt die Markovkette X eine zeitlich homogene Dynamik. Allerdings
ist eine Markovkette mit stationären Übergangswahrscheinlichkeiten i. allg. kein stationärer Prozeß, vgl. Abschnitt 2.1. Dies wird am Beispiel der im Ursprung startenden Irrfahrt deutlich, vgl.
Beispiel 2.6.
2.69Vgl. Beispiel 2.2.
2.70(2.29) ergibt sich aus
ˆ
˜
P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn
ˆ
˜ ˆ
˜
= P X0 = s0 , . . . , Xn−1 = sn−1 P Xn = sn |X0 = s0 , . . . , Xn−1 = sn−1
ˆ
˜ ˆ
˜
= P X0 = s0 , . . . , Xn−2 = sn−2 P Xn−1 = sn−1 |X0 = s0 , . . . , Xn−2 = sn−2
ˆ
˜
P Xn = sn |Xn−1 = sn−1
= ...
ˆ
˜
= P[X0 = s0 ]P X1 = s1 |X0 = s0 · · · Pn−1 (sn−1 , sn )
= PX0 [{s0 }]P0 (s0 , s1 ) · · · Pn−1 (sn−1 , sn ),
s0 , s1 , . . . , sn ∈ S, n ∈ N0 .
Hier wird insbesondere die Markoveigenschaft (2.26) und die Beziehung P[A ∩ B] = P[B]P[A|B]
benutzt.
2.71Vgl. dazu z.B. Satz 2.17. Auch im folgenden, wie beispielsweise in Satz 2.32, wird dieses
Prinzip immer wieder bestätigt werden.
20. Oktober 2016
22
Xk =
k
X
ζl ,
k = 1, 2, . . . ,
l=1
definiert. Der Prozeß X ist eine Verallgemeinerung der Irrfahrt aus Beispiel 2.2. Er
ist eine Markovkette mit dem Zustandsraum Zd . Für d = 1 besitzt X die Übergangsmatrix 2.72
(2.30)
P = (P[Xn+1 = q|Xn = p])p,q∈Z = (P[ζn+1 = q − p])p,q∈Z


..
..
..
.
. . . . . . . . . . . . . .
 .
 . . . a0
a
a2 . . . . . . . 
1


. . . a−1 a0
a1 a2 . . .

= (P[ζ1 = q − p])p,q∈Z = 
 . . . . . . . . a−1 a0 a1 . . . ,


. . . . . . . . . . . . . . a−1 a0 . . .


.. ..
.
.
....................
wobei ak = P[ζ1 = k], k ∈ Z. Ein Spezialfall von (2.30) ist die schon in (2.28)
vorgestellte Übergangsmatrix der Irrfahrt in Z, für die a−1 = 1 − p, a1 = p und
ak = 0, k ∈ Z \ {−1, 1}, ist.
Beispiel 2.20 (Symmetrische Irrfahrt in Zd , d = 1, 2, 3, . . . ). Sei d = 1, 2, 3, . . . .
Weiterhin seien
ek = (0, . . . , 0, |{z}
1 , 0, . . . , 0),
k = 1, . . . , d,
k-te Stelle
die Einheitsvektoren in die Koordinatenrichtungen des Rd . Wenn nun in Beispiel
2.19 vorausgesetzt wird, daß die Zufallsvariablen ζn , n ∈ N, die Werte ±ek , k =
1, . . . , d, jeweils mit Wahrscheinlichkeit 1/2d annehmen, ergibt sich die symmetrische Irrfahrt in Zd 2.73.
Die bisher als Irrfahrt bezeichneten Markovketten 2.74 X = (Xn )n∈N0 besitzen
eine räumlich homogene Dynamik, d.h., für k, l ∈ Z, n ∈ N0 , hängen die bedingten
Wahrscheinlichkeiten P[Xn+1 = k + l|Xn = k], für einen Sprung von k nach k + l
zum Zeitpunkt n nicht von k ab. Diese Unabhängigkeit von k geht in folgendem
Beispiel verloren.
Beispiel 2.21 (Eindimensionale räumlich inhomogene Irrfahrt 2.75). Sei S =
{a, a + 1, . . . , b − 1, b} für a, b ∈ Z, a < b 2.76. Für k ∈ S seien qk , rk , pk mit
0 ≤ qk , rk , pk ≤ 1, qk + rk + pk = 1 gegeben. Es gelte qa = pb = 0.
Eine Markovkette X = (Xn )n∈N0 mit Zustandsraum S und
P[Xn+1 = k − 1|Xn = k] = qk , k = a + 1, . . . , b,
P[Xn+1 = k|Xn = k]
= rk , k = a, . . . , b,
P[Xn+1 = k + 1|Xn = k] = pk , k = a, . . . , b − 1,
2.72In den Übergangsmatrizen der verallgemeinerten Irrfahrten in Z geht jeweils die (n+1)-te
Zeile aus der n-ten Zeile durch Verschieben um eine Spalte nach rechts“ hervor. Für verallge”
meinerte Irrfahrten in Zd , d = 2, 3, . . . , besitzt die Übergangsmatrix keine derart übersichtliche
Struktur.
2.73Die symmetrische Irrfahrt X = (X )
d
n n∈N0 in Z startet im Ursprung und springt dann
in jedem Zeitpunkt n = 1, 2, . . . von der aktuellen Position mit Wahrscheinlichkeit 1/2d zu einem
der 2d Nachbarpunkte in Zd .
2.74
Vgl. Beispiel 2.16 und Beispiel 2.19.
2.75In dem hier vorgestellten Beispiel sind nur Sprünge der Größe ≤ 1 erlaubt.
2.76Die Fälle a = −∞ und / oder b = +∞ werden analog behandelt.
20. Oktober 2016
23
wird als räumlich inhomogene Irrfahrt bezeichnet. Spezialfälle derartiger Prozesse
tauchen in verschiedenen Modellen auf 2.77.
Als Verallgemeinerung der (1-Schritt-)Übergangswahrscheinlichkeiten 2.78 werden die n-Schritt-Übergangswahrscheinlichkeiten durch
(2.31a) P n (s1 , s2 ) = P[Xm+n = s2 |Xm = s1 ]
2.79
definiert. Als Ergänzung von (2.31a) setzt man
P 0 (s1 , s2 ) = δ(s1 , s2 ),
(2.31b)
,
2.80
m ∈ N0 , n ∈ N, s1 , s2 ∈ S,
s1 , s2 ∈ S.
Für alle n ∈ N0 werden die n-Schritt-Übergangswahrscheinlichkeiten P n (s, s′ ),
s, s′ ∈ S, zur n-Schritt-Übergangsmatrix P n = (P n (s, s′ ))s,s′ ∈S zusammengefaßt.
Die Familie der n-Schritt-Übergangswahrscheinlichkeiten genügt der ChapmanKolmogorov-Gleichung, d.h., 2.81
X
(2.32) P n (s1 , s2 ) =
P k (s1 , s)P l (s, s2 ), k, l, n ∈ N0 , k + l = n, s1 , s2 ∈ S.
s∈S
(2.32) besagt, daß die Matrix P n = P k+l durch Multiplikation der Matrizen P k
und P l entsteht, d.h., P k+l = P k · P l = 2.82 P l · P k , k, l ∈ N0 . Durch Iteration
folgt
P n = |P · P{z· · · P},
n mal
(2.33)
n ∈ N0 ,
wobei P die 1-Schritt-Übergangsmatrix ist.
2.77Eine räumlich inhomogene Irrfahrt ist beispielsweise das Ehrenfestsche Modell der Diffusion durch eine Membran, vgl. Beispiel 2.23.
2.78Vgl. (2.27). Es ist zu beachten, daß nun nur noch stationäre Übergangswahrscheinlichkeiten betrachtet werden.
2.79Da hier nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden, sind P[Xm+n = s2 |Xm = s1 ], m ∈ N0 , n ∈ N, s1 , s2 ∈ S, von m unabhängig.
2.80
δ(., .) mit
(
1, falls k = l,
δ(k, l) =
0, sonst.
bezeichnet das Kronecker-Symbol.
2.81Wenn insbesondere die Markoveigenschaft (2.26) berücksichtigt wird, ergibt sich
P n (s1 , s2 ) = P[Xn = s2 |X0 = s1 ] =
P[Xn = s2 , X0 = s1 ]
P[X0 = s1 ]
1
P[Xn = s2 , Xk ∈ S, X0 = s1 ]
P[X0 = s1 ]
#
"•
[
1
{Xk+l = s2 , Xk = s, X0 = s1 }
P
=
s∈S
P[X0 = s1 ]
X P[Xk+l = s2 , Xk = s, X0 = s1 ]
=
P[X0 = s1 ]
s∈S
=
X P[Xk = s, X0 = s1 ] P[Xk+l = s2 , Xk = s, X0 = s1 ]
P[X0 = s1 ]
P[Xk = s, X0 = s1 ]
s∈S |
{z
} |
{z
}
= P[Xk = s|X0 = s1 ] = P[Xk+l = s2 |Xk = s, X0 = s1 ]
{z
}
|
= P[Xk+l = s2 |Xk = s]
X
=
P k (s1 , s)P l (s, s2 ).
=
s∈S
2.82Die Matrizen P k und P l kommutieren. Dies ist eine Konsequenz der Chapman-Kolmogo-
rov-Gleichung (2.32).
20. Oktober 2016
24
Um für die Untersuchung einer Markovkette X die algebraischen Eigenschaften
ihrer Übergangsmatrix P ausnutzen zu können, ist es sinnvoll, Wahrscheinlichkeitsmaße auf dem Zustandsraum S von X als Zeilenvektoren darzustellen. Das folgende
Resultat demonstriert dann beispielsweise, daß sich die Verteilung von X zu einem
Zeitpunkt n aus der Verteilung von X zum Zeitpunkt 0 durch rechtsseitige Multiplikation mit der n-Schritt-Übergangsmatrix P n ergibt.
Satz 2.22. Sei X = (Xn )n∈N0 eine Markovkette mit einem Zustandsraum S.
Außerdem sei 2.83 ρ = (ρs )s∈S mit ρs = P[X0 = s], s ∈ S, die Anfangsverteilung
von X. Dann folgt 2.84:
X
P[Xn = s] =
ρs′ P n (s′ , s) = 2.85 (ρ · P n )s .
s′ ∈S
2.2.2. Modellbildung mit Markovketten. Anhand von klassischen Beispielen wird gezeigt, wie sich Markovketten bei der Bildung einfacher Modelle für
zufällige, sich zeitlich entwickelnde Phänomene anwenden lassen.
Beispiel 2.23 (Ehrenfestsches Modell der Diffusion durch eine Membran 2.86).
Es seien zwei Behälter, die zusammen
B2
B1
2N Teilchen (Moleküle) enthalten, gegeben. Diese Behälter seien durch eine durchlässige Membran getrennt, so
daß die Teilchen zwischen den Boxen hin
und her wechseln können.
Zur Modellierung der Dynamik der Teilchenzahlen in B1 und B2 kann als Zustandsraum 2.87 S = {−N, −N + 1, . . . , 0, 1, . . . , N − 1, N } gewählt werden. k ∈ S
beschreibt die Situation, in der N + k Teilchen in B1 enthalten sind 2.88.
Eine einfache Dynamik kann folgendermaßen definiert werden: In jedem Zeitpunkt n ∈ N0 wird aus der Menge aller Teilchen gemäß der Gleichverteilung ein
2.83ρ ist als Zeilenvektor aufzufassen.
2.84Zum Beweis kann (2.29) mit P = P , k = 0, 1, 2, . . . , herangezogen werden. Insbesondere
k
gilt:
P[Xn = s] = P[X0 ∈ S, . . . , Xn−1 ∈ S, Xn = s]
#
"•
[
{X0 = s0 , . . . , Xn−1 = sn−1 , Xn = s}
=P
s0 ∈S,...,sn−1 ∈S
=
X
P[X0 = s0 , . . . , Xn−1 = sn−1 , Xn = s]
s0 ∈S,...,sn−1 ∈S
=
X
P[X0 = s0 ]P (s0 , s1 ) · · · P (sn−2 , sn−1 )P (sn−1 , s) =
s0 ∈S,...,sn−1 ∈S
2.85 ·“ bezeichnet hier eine Vektor-Matrix-Multiplikation.
2.86 ”
X
ρs0 P n (s0 , s).
s0 ∈S
Das Ehrenfestsche Modell wurde durch den österreichischen Physiker P. Ehrenfest (1880
- 1933) vorgeschlagen. Insbesondere kann mit diesem Modell erklärt werden, daß sich zeitliche
Reversibilität und Rekurrenz unter einer mikroskopischen“ Sichtweise und zeitlich irreversibles
”
Verhalten unter einem makroskopischen“ Blickwinkel vereinbaren lassen. Damit läßt sich verdeut”
lichen, daß die beiden physikalischen Gebiete klassische Mechanik, die u.a. durch eine reversible
Dynamik ausgezeichnet ist, und Thermodynamik, die durch eine irreversible Dynamik charakterisiert ist, sich nicht widersprechen. Umfassendere Überlegungen zu dieser Problematik finden sich
beispielsweise in [9], Abschnitt 2.3.
2.87Da die Gesamtzahl 2N aller Teilchen fest ist, genügt es, die zeitliche Entwicklung der
(Anzahl der Teilchen in B1 ) - N zu beschreiben.
2.88In diesem Fall ist die Anzahl der Teilchen in B gleich 2N − (N + k) = N − k.
2
20. Oktober 2016
25
Teilchen zufällig ausgewählt. Dieses Teilchen wird in den jeweils anderen Behälter
gebracht 2.89. Durch diese Beschreibung wird eine Markovkette X = (Xn )n∈N0 für
die Anzahl der Teilchen in B1 charakterisiert. Deren Übergangswahrscheinlichkeiten
sind 2.90:

N +i


, falls i = −N + 1, . . . , N, j = i − 1 2.91,


2N





P[Xn+1 = j|Xn = i] = N − i , falls i = −N, . . . , N − 1, j = i + 1 2.92,


2N






0,
sonst.
Fragen 2.93. Stellt sich für große Zeiten ein Gleichgewicht ein? Was ist überhaupt ein Gleichgewicht“? 2.94 Konvergiert die Verteilung PXn von Xn bei n → ∞
”
gegen eine Grenzverteilung? Ist diese Grenzverteilung invariant unter der Dynamik?
Gibt es weitere invariante Verteilungen? Gibt es einen Zeitpunkt, in dem sich alle
Teilchen in dem Behälter B1 befinden 2.95 ?
Beispiel 2.24 (Warteschlangenmodell). Es sei angenommen, daß an einem
Servicepunkt (Postschalter, Internetserver, Telefon-Hotline, . . . )
- pro Zeiteinheit ein Kunde bedient werden kann und daß weiterhin
- ständig neue Kunden ankommen, wobei ζn die Anzahl der neuen Kunden
im Zeitintervall (n, n + 1] sei. ζn , n ∈ N0 , seien i.i.d. Zufallsvariablen 2.96.
Sei nun Xn die Größe der Warteschlange zum Zeitpunkt n, n ∈ N0 . Offensichtlich gilt 2.97 2.98:
(2.34)
Xn+1 = (Xn − 1)+ + ζn ,
n ∈ N0 .
2.89Die räumliche Bewegung innerhalb der Behälter wird nicht modelliert.
2.90Das Ehrenfestsche Modell kann als eine räumlich inhomogene Irrfahrt betrachtet werden.
Gemäß der Notation in Beispiel 2.21 ist dazu
a = − N, b = N,
pk =
N −k
N +k
, rk = 0, qk =
,
2N
2N
k = −N, . . . , N,
zu setzen.
2.91Ein Teilchen wird von B nach B gebracht.
1
2
2.92
Ein Teilchen wird von B2 nach B1 gebracht.
2.93
Für die Beispiele dieses Abschnitts 2.2.2 werden jeweils Fragen formuliert, die mit Hilfe
allgemeiner Resultate zur Theorie der Markovketten beantwortet werden können.
2.94
Offensichtlich kann dies kein fester, deterministischer Zustand sein. Vielmehr muß Gleich”
gewicht“ in einem stochastischen Sinn definiert werden, d.h., zufällige Fluktuationen sollten
möglich sein.
2.95Offensichtlich ist in einem solchen Zeitpunkt das System weit entfernt von einem stabi”
len“ oder invarianten“ Zustand.
”
2.96Insbesondere
im Bereich der Informationstechnologie gibt es etliche Anwendungen für
Warteschlangenmodelle. Das hier vorgestellte Modell beschreibt z.B. eine Warteschlange an einem
Drucker, für den die Druckaufträge alle etwa gleich groß sind. Andere Modelle sind beispielsweise
für solche FTP- oder HTTP-Server notwendig, die nur eine beschränkte Anzahl gleichzeitiger
Zugriffe zulassen und darüberhinausgehende Anfragen abweisen.
Ein Einblick in die Vielfalt von Warteschlangenmodellen, die auch nicht-markovsch sein
können, wird in [4], Chapter 11, gegeben.
2.97Beachte: Wenn kein Kunde wartet, d.h., wenn X = 0, wird auch keiner bedient. Aus
n
diesem Grund taucht der Beitrag (. . . )+ in (2.34) auf.
2.98
(2.34) kann in der Form
Xn+1 − Xn = −I{1,2,... } (Xn ) + ζn ,
n ∈ N0 ,
geschrieben werden, d.h., (2.34) ist als eine stochastische Differenzengleichung eine zeitlich diskretisierte Version einer stochastischen Differentialgleichung.
20. Oktober 2016
26
Diese Beziehung verdeutlicht, daß X = (Xn )n∈N0 eine Markovkette mit dem Zustandsraum S = N0 ist.
Falls P[ζ1 = l] = al , l ∈ N0 , ergibt sich aus (2.34) für die Übergangswahrscheinlichkeiten
(
al+1 2.99, falls k = 1, 2, . . . , l ∈ N0 ∪ {−1},
P[Xn+1 = k + l|Xn = k] =
al ,
falls k = 0, l ∈ N0 ,
bzw. für die Übergangsmatrix


a0 a1 a2 . . . . . . .
 a0 a1 a2 . . . . . . . 



P =
 0 a0 a1 a2 . . . .
 0 0 a0 a1 . . .
....................
Fragen. Unter welchen Bedingungen wird die Warteschlange im Verlauf der
Zeit immer länger? Mit anderen Worten, wann gilt limn→∞ Xn = ∞? Gilt diese
Konvergenz f.s. oder nur mit positiver Wahrscheinlichkeit? In welchen Situationen
stellt sich ein Gleichgewicht“ ein? Gibt es Zeitpunkte, in denen die Warteschlange
”
leer ist?
Beispiel 2.25 (Verzweigungsprozeß). Zur Modellierung der zeitlichen Entwicklung einer Population sei angenommen, daß
•
•
•
•
die Menge der Zeitpunkte diskret ist, daß es
keine Unterschiede zwischen den einzelnen Individuen gibt
die Individuen voneinander unabhängig sind und daß
die Lebensdauer gleich 1 ist 2.101.
2.100
, daß
Diese Annahmen werden mathematisch dadurch präzisiert, daß angenommen wird,
daß zu jedem Zeitpunkt n ∈ N0 jedes dann lebende Individuum unabhängig von den
anderen eine zufällige Anzahl von Nachkommen hat und dann stirbt. Die Anzahl
der Nachkommen eines Individuums habe die Verteilung b = (bk )k∈N0 .
Sei nun Xn die Größe der Population zum Zeitpunkt n ∈ N0 , und sei 2.102 ζnl ,
n ∈ N0 , l ∈ N, eine Familie von i.i.d. Zufallsvariablen mit der Verteilung b, d.h.,
P[ζnl = m] = bm , n, m ∈ N0 , l ∈ N. Der stochastische Prozeß X = (Xn )n∈N0 , bzw.
seine Dynamik kann nun durch die Beziehung 2.103
(2.35)
Xn+1 =
Xn
X
l=1
ζnl ,
n ∈ N,
2.99Wenn die Länge der Warteschlange k = 1, 2, . . . beträgt, wird in der nächsten Zeiteinheit
ein Kunde bedient. Dieser scheidet anschließend aus der Warteschlange aus. Damit in dem betrachteten Zeitraum die Länge der Warteschlange um l anwächst, müssen daher l + 1 Neukunden
hinzukommen.
2.100Insbesondere gibt es nur ein Geschlecht.
2.101Der auf diesen Modellannahmen basierende, hier vorgestellte einfache Verzweigungsprozeß läßt sich zurückführen auf Bemühungen im 18. und 19. Jahrhundert, das Anwachsen und
Aussterben von Adelsfamilien zu beschreiben. In einem solchen Zusammenhang entspricht eine
Zeiteinheit einer Generation.
2.102Für n ∈ N und l ∈ N soll ζ l die Größe der Nachkommenschaft des l-ten der zur Zeit
0
n
n lebenden Individuen modellieren. Da die Größe Xn der Population zum Zeitpunkt n a priori
l für alle l ∈ N eingeführt.
jeden Wert in N0 annehmen kann, werden die Zufallsvariablen ζn
2.103(2.35) verdeutlicht, daß die Größe X
n+1 der Bevölkerung zum Zeitpunkt n + 1 die
l , l = 1, . . . , X , der zum Zeitpunkt n lebenden
Summe der Größen der Nachkommenschaften ζn
n
Individuen ist. Insbesondere treten die zum Zeitpunkt n lebenden Individuen zum Zeitpunkt n + 1
selbst nicht mehr in Erscheinung.
20. Oktober 2016
27
3000
2500
2000
1500
1000
500
0
0
20
40
60
80
100
Abbildung 2.1. 20 Simulationen eines Verzweigungsprozesses
mit b0 = 0.25, b1 = 0.5, b2 = 0.2, b3 = 0.05 und X0 = 1. In 4
Fällen überlebt die Population bis zum Zeitpunkt 100 und scheint
exponentiell zu wachsen.
repräsentiert werden. Offensichtlich ist X eine Markovkette mit Zustandsraum S =
N0 und den Übergangswahrscheinlichkeiten
(2.36) P[Xn+1 = k|Xn = j] = P[ζn1 + · · · + ζnj = k]

X
2.104

bl1 · · · blj , j ∈ N, n, k ∈ N0 ,


l1 ,...,lj =0,1,...,k
=
l1 +···+lj =k


2.105 δ ,
j = 0, n, k ∈ N0 .
k,0
Das durch (2.35) oder (2.36) zusammengefaßte Modell wird auch Galton-Watson-Prozeß genannt.
Fragen. Unter welchen Bedingungen stirbt die Population f.s. aus, bzw., wann
stirbt sie mit positiver Wahrscheinlichkeit nicht aus? 2.106 Wie sieht unter der Bedingung, daß die Population nicht ausstirbt, das asymptotische Verhalten von Xn
bei n → ∞ aus 2.107 ?
2.104Die Wahrscheinlichkeit, daß das 1. Individuum l Nachkommen, das 2. Individuum l
1
2
Nachkommen, . . . und das j-te Individuum lj Nachkommen hat, ist aufgrund der Unabhängigkeit
der Individuen gleich bl1 bl2 · · · blj . Die hier betrachteten Ereignisse sind für unterschiedliche Sequenzen l1 , l2 , . . . , lj disjunkt, so daß sich ihre jeweiligen Einzelwahrscheinlichkeiten addieren.
2.105
Wenn Xn = 0, so ist die Population zum Zeitpunkt n ausgestorben, d.h., es gilt insbesondere auch 0 = Xn+1 = Xn+2 = . . . .
2.106
Falls b0 > 0, hat eine vorgegebene Anzahl N von Individuen mit Wahrscheinlichkeit bN
0 >
0 keine Nachkommen. In diesem Fall stirbt die Population somit mit positiver Wahrscheinlichkeit
aus.
2.107Abbildung 2.1 läßt im Fall des Nichtaussterbens der Population exponentielles“ Wachs”
tum vermuten.
20. Oktober 2016
28
Beispiel 2.26 (Wright-Fisher-Modelle). In einfachen Modellen der zeitlichen
Entwicklung der genetischen Zusammensetzung einer großen Population P wird ein
einzelnes Gen, das in zwei Varianten A und a existiert, betrachtet.
Speziell zur Modellierung der Dynamik des Anteils der A-Variante kann für alle
Generationen n ∈ N0 eine zufällig aus P ausgewählte Teilpopulation PT mit einer
festen Anzahl 2N von Individuen untersucht werden 2.108. In der n-ten Generation
sei Xn die Anzahl der Individuen in PT mit der A-Variante des Gens. X = (Xn )n∈N0
ist somit ein stochastischer Prozeß mit dem Zustandsraum {0, 1, . . . , 2N }.
In den Wright-Fisher-Modellen wird die Dynamik von X folgendermaßen definiert: Unter der Bedingung Xn = j ergibt sich Xn+1 durch 2N -maliges, unabhängiges Ziehen mit Zurücklegen aus {a, A}. Hierbei wird A mit Wahrscheinlichkeit pj ∈ [0, 1] gezogen 2.109.
Somit ist
2N k
(2.37)
P[Xn+1 = k|Xn = j] =
pj (1 − pj )2N −k , j, k = 0, 1, . . . , 2N.
k
Die Unabhängigkeit bei den Ziehungen modelliert eine zufällige Bildung von Paaren
von Individuen bei der zeitlichen Entwicklung der Gesamtpopulation P. Durch eine
spezielle Wahl von pj , j = 0, 1, . . . , 2N , kann das Vorliegen von Mutations-, bzw.
Selektionseffekten modelliert werden:
• Wenn die beiden Varianten des Gens nicht mutieren können und keine
selektiven Vorteile haben, ist die Wahl 2.110
(2.38a)
pj =
j
,
2N
j = 0, 1, . . . , 2N,
naheliegend.
• Zur Modellierung einer Population mit mutierenden A- und a-Genen sei
angenommen, daß vor der Bestimmung der Population der nächsten Generation jedes A-Gen (a-Gen) mit Wahrscheinlichkeit α1 (α2 ) in ein a-Gen
(A-Gen) mutieren kann. Diese Annahme führt zu 2.111
j(1 − α1 ) (2N − j)α2
+
, j = 0, 1, . . . , 2N.
2N
2N
• Falls Individuen mit der A-Variante des Gens bei ihrer Vermehrung einen
selektiven Vorteil gegenüber den Individuen mit der a-Variante besitzen,
kann
(2.38b)
(2.38c)
pj =
pj =
(1 + s)j
,
2N + sj
j = 0, 1, . . . , 2N,
definiert werden. In (2.38c) wird ein s > 0 als ein Maß für den selektiven
Vorteil des A-Gens benutzt 2.112.
2.108Zur Modellierung des Anteils der A-Variante des Gens in einer großen Gesamtpopulation
ist es sinnvoll, ein N ∈ N zu wählen und für alle Zeitpunkte eine fest vorgegebene Anzahl 2N von
unabhängigen Stichproben zu betrachten.
2.109Die Anzahl j der A-Gene in der n-ten Generation hat über die Erfolgswahrscheinlich”
keit“ pj einen entscheidenden Einfluß auf die Anzahl der A-Gene in der (n + 1)-ten Generation.
2.110Beim Ziehen“ eines Gens für die (n + 1)-te Generation ist die Wahrscheinlichkeit für
”
die A-Variante gleich dem Anteil der A-Gene in der n-ten Generation.
2.111Beträgt in der n-ten Generation die Anzahl der A-Gene j und somit die Anzahl der aGene 2N − j, so sind nach der Berücksichtigung von Mutationen im Mittel j(1 − α1 ) + (2N − j)α2
Gene der Variante A vorhanden.
2.112(2.38c) wird plausibel, wenn in der Population P die A-Gene mit dem Gewicht“ 1 + s
T
”
und die a-Gene mit dem Gewicht 1 versehen werden und wenn die Wahrscheinlichkeit für das
Ziehen“ einer Gen-Variante für die zukünftige Population proportional zu ihrem Gewicht ist.
”
20. Oktober 2016
29
Fragen. Unter welchen Bedingungen stirbt bei n → ∞ eine Gen-Variante
aus? Stellt sich bei n → ∞ ein Gleichgewicht“ ein? Sind unterschiedliche Gleich”
”
gewichte“ möglich? Wie groß ist im zeitlichen Mittel das Verhältnis der Größen der
Populationen der beiden Gen-Varianten? Wie lange dauert es, bis eine durch eine
Mutation neu eingeführte“ selektiv überlegene Gen-Variante A die Gen-Variante
”
a verdrängt hat?
2.2.3. Klassifikation der Zustände einer Markovkette. In diesem Abschnitt 2.2.3 wird erläutert, daß der Zustandsraum S einer allgemeinen Markovkette X = (Xn )n∈N0 in elementare“ Mengen S 1 , S 2 , . . . , die unter der Dynamik der
”
Markovkette nicht zerlegbar“ sind, zerfällt . Die Markovkette X kann auf jene Men”
gen eingeschränkt werden, so daß sich elementare Bestandteile“ X1 = (Xn1 )n∈N0 ,
”
X2 = (Xn2 )n∈N0 , . . . von X = (Xn )n∈N0 ergeben 2.113.
′
′
Seien s, s ∈ S. Der Zustand s heißt von s aus zugänglich, falls ein n ∈ N0
mit 2.114 P n (s′ , s) > 0 existiert 2.115 (Schreibweise: s′ → s). s und s′ kommunizieren,
falls s′ → s und s → s′ 2.116 (Schreibweise: s′ ↔ s).
(i)
(ii)
(iii)
Bemerkung 2.27. ↔ definiert eine Äquivalenzrelation in S, d.h., es gilt:
s ↔ s (Reflexivität).
s ↔ s′ =⇒ s′ ↔ s (Symmetry).
s ↔ s′ und s′ ↔ s′′ =⇒ s ↔ s′′ (Transitivität) 2.117.
Folglich definiert ↔ eine Einteilung des Zustandsraums S in Äquivalenzklassen. Ein Übergang des Prozesses X von einer Äquivalenzklasse S i in eine zweite
Äquivalenzklasse S j , j 6= i, kann möglich sein. Jedoch ist dann der Weg zurück,
d.h., von S j nach S i , ausgeschlossen, denn andernfalls wäre S i ∪ S j eine Teilmenge
einer Äquivalenzklasse.
Wenn der Zustandsraum S einer Markovkette X aus einer einzigen Äquivalenzklasse besteht, nennt man X irreduzibel 2.118.
Beispiele 2.28. (i) Die Irrfahrt zu einem Parameter p ∈ (0, 1) 2.119 ist irreduzibel.
(ii) Das in Beispiel 2.23 vorgestellte Ehrenfestsche Modell ist irreduzibel.
(iii) Das in Beispiel 2.24 beschriebene Warteschlangenmodell ist irreduzibel,
falls 2.120 a0 > 0 und a0 + a1 < 1. Falls a0 = 0 zerfällt S in die Äquivalenzklassen
2.113Für i = 1, 2, . . . ist Xi eine Markovkette mit Zustandsraum S i . Es ist allerdings möglich,
daß Xi die Menge S i nach einer zufälligen, endlichen Zeit Tei verläßt und nie mehr zurückkehrt.
Man betrachtet daher Xi nur bis zum Zeitpunkt Tei .
2.114Für n ∈ N bezeichnet P n die n-Schritt-Übergangsmatrix, vgl. (2.31).
0
2.115D.h., mit positiver Wahrscheinlichkeit kann s von s′ aus in endlich vielen Schritten
erreicht werden.
2.116D.h., mit positiver Wahrscheinlichkeit kommt X in endlich vielen Schritten von s′ nach
s und auch wieder zurück.
2.117Zum Beweis von (iii) kann folgendermaßen argumentiert werden:
s ↔ s′ , s′ ↔ s′′
=⇒ ∃ n, m ∈ N0 mitP
P n (s, s′ ) > 0, P m (s′ , s′′ ) > 0.
=⇒ P n+m (s, s′′ ) = σ∈S P n (s, σ) P m (σ, s′′ ) ≥ P n (s, s′ )P m (s′ , s′′ ) > 0 (vgl. (2.32)).
| {z } | {z }
≥0
≥0
=⇒ s → s′′ .
s′′ → s“ kann auf analoge Weise gezeigt werden.
”
2.118Viele Resultate über Markovketten werden nur für irreduzible Markovketten formuliert.
˛
Sie lassen sich aber wortwörtlich auch auf die Einschränkungen X˛A von Markovketten X auf
solche Äquivalenzklassen A, die von X niemals verlassen werden, übertragen.
2.119Vgl. Beispiel 2.16.
2.120Wenn a > 0 und a +a < 1 kann die Markovkette aus Beispiel 2.24 von jedem Zustand
0
0
1
k ∈ N im nächsten Schritt mit positiver Wahrscheinlichkeit nach k − 1 bzw. in {k + 1, k + 2, . . . }
20. Oktober 2016
30
{0}, {1}, {2}, . . . . Wenn a0 = 0 und a1 < 1 wird jede Äquivalenzklasse irgendwann
mal für immer verlassen.
(iv) Für den Verzweigungsprozeß X aus Beispiel 2.25 ist im allgemeinen Fall {0}
eine Äquivalenzklasse. Wenn b0 , b1 , b2 > 0, ist weiterhin {1, 2, . . . } eine Äquivalenzklasse 2.121. Wenn b0 = 0, sind {1}, {2}, . . . Äquivalenzklassen. Falls zusätzlich
b1 < 1, werden diese Äquivalenzklassen jeweils nach endlicher Zeit für immer verlassen 2.122.
Es gibt gewisse Eigenschaften bzgl. einer Markovkette X, die zunächst nur
einzelnen Zuständen des Zustandsraums zugeschrieben werden können, z.B. die anschließend diskutierte Periodizität oder auch die Rekurrenz, bzw. die Transienz,
auf welche in dem folgenden Abschnitt 2.2.4 eingegangen werden wird. Viele dieser Eigenschaften werden, wie sich später herausstellt, von allen Zuständen einer
Äquivalenzklasse geteilt, vgl. z.B. Satz 2.30 oder Korollar 2.33 2.123.
Eine zum Zeitpunkt 0 in 0 startende Irrfahrt (zu einem Parameter p ∈ (0, 1))
kann nur in geraden Zeitpunkten nach 0 zurückkehren, d.h., P n (0, 0) > 0 nur wenn
n gerade ist. Ausgehend von dieser Beobachtung definiert man für eine allgemeine
Markovkette X = (Xn )n∈N0 in einem Zustandsraum S und ein festes s ∈ S die
Periode
(
ggT{n ∈ N : P n (s, s) > 0}, bzw.
(2.39)
d(s) =
0,
falls P n (s, s) = 0, n = 1, 2, . . . .
Beispiel 2.29. Für eine Irrfahrt zu einem Parameter p ∈ (0, 1) 2.124 hat k ∈ Z
die Periode 2. Andererseits hat für eine Irrfahrt zu einem Parameter p ∈ {0, 1}
jedes k ∈ Z die Periode 0 2.125.
Satz 2.30.
2.126
Falls s ↔ s′ , so gilt:
d(s) = d(s′ ).
Wegen Satz 2.30 kann man von der Periode einer Äquivalenzklasse oder auch
von der Periode einer irreduziblen Markovkette sprechen.
Eine Markovkette besitzt auf eine gewisse Weise eine maximale Vergeßlich”
keit“, wenn d(s) = 1 für alle s ∈ S 2.127. Solche Markovketten heißen aperiodisch.
Beispiel 2.31. Eine verallgemeinerte Irrfahrt in Z
aperiodisch 2.129.
2.128
mit a−1 · a0 · a1 > 0 ist
gelangen. Ausgehend von 0 kann die Markovkette mit positiver Wahrscheinlichkeit {1, 2, . . . }
erreichen.
2.121In diesem Fall können von jedem Zustand k ∈ {1, 2, . . . } im nächsten Zeitpunkt mit
positiver Wahrscheinlichkeit die in {1, 2, . . . } benachbarten Zustände erreicht werden.
2.122
P∞ Wenn b0 = 0, kann die Population niemals abnehmen. Wenn darüberhinaus b1 < 1,
ist l=2 bl > 0 und daher springt von jedem Zustand k ∈ {1, 2, . . . } der Prozeß X im nächsten
Zeitpunkt mit positiver Wahrscheinlichkeit in einen Zustand k ′ ∈ {k + 1, k + 2, . . . }.
2.123In einer Erweiterung der ursprünglichen Begriffsbildung können damit die betreffenden
Eigenschaften den Einschränkungen Xi von X auf die einzelnen Äquivalenzklassen S i zugeschrieben werden.
2.124Vgl. Beispiel 2.16.
2.125Man beachte, daß eine Irrfahrt zu einem Parameter p ∈ {0, 1} zu keinem Punkt k ∈ Z
jemals wieder zurückkehrt.
2.126
Vgl. [4], Section 6.3, Theorem (2).
2.127In diesem Fall kann der Zeitpunkt einer möglichen Rückkehr nicht auf eine Teilmenge
aller Zeitpunkte eingegrenzt werden.
2.128Vgl. Beispiel 2.19.
2.129Wenn a
−1 · a0 · a1 > 0, ist a−1 > 0, a0 > 0 und a1 > 0. Daher kann der Prozeß zu
jedem Zeitpunkt mit positiver Wahrscheinlichkeit nach rechts oder nach links springen, bzw. die
aktuelle Position beibehalten.
20. Oktober 2016
31
2.2.4. Rekurrenz und Transienz. Sei X = (Xn )n∈N0 eine Markovkette mit
Zustandsraum S. Die Überlegungen zu Äquivalenzklassen in Abschnitt 2.2.3 drehen
sich letztendlich um die Beantwortung der Frage, ob 2.130
(2.40a)
P[Xn = s′ für ein n ∈ N|X0 = s] > 0,
In diesem Abschnitt 2.2.4 wird nun diskutiert, ob
(
(2.40b)
P[Xn = s′ für ein n ∈ N|X0 = s]
s, s′ ∈ S.
= 1, oder
< 1,
s, s′ ∈ S.
Bei Start in einem Zustand s ∈ S kann die Markovkette X evtl. zu einem
späteren Zeitpunkt wieder nach s zurückkehren. Ob diese Rückkehr dann nur mit
positiver Wahrscheinlichkeit oder f.s. geschieht, wird als Spezialfall von (2.40b)
untersucht. Auch auf die Frage, wie oft eine Rückkehr nach s stattfindet, wird in
diesem Abschnitt eingegangen.
Sei 2.131
(2.41) q n (s, s′ ) = P Xn = s′ ; Xr 6= s′ , 1 ≤ r < n|X0 = s , n = 1, 2, . . . , s, s′ ∈ S,
q 0 (s, s′ ) = 0,
s, s′ ∈ S.
Für n ≥ 1 ist q n (s, s′ ) die unter X0 = s bedingte Wahrscheinlichkeit, daß der
Zeitpunkt der ersten Rückkehr nach s′ = s (bzw. des ersten Eintritts in s′ 6= s)
gleich n ist.
Ein Zustand s ∈ S heißt rekurrent, falls
∞
X
(2.42)
q n (s, s) = 1,
n=1
d.h., wenn unter der Bedingung X0 = s eine spätere Rückkehr nach s f.s. stattfindet.
Ein nichtrekurrenter Zustand wird transient genannt 2.132.
In den folgenden Überlegungen wird geklärt werden, wie Rekurrenzeigenschaften mit Hilfe der Übergangsmatrix P bestimmt werden können 2.133.
Zunächst beschreibt 2.134
n
X
(2.43)
P n (s, s′ ) = δn,0 δs,s′ +
q k (s, s′ )P n−k (s′ , s′ ), n ∈ N0 , s, s′ ∈ S,
k=0
2.130Für s, s′ ∈ S mit s 6= s′ trifft (2.40a) genau dann zu, wenn s → s′ .
2.131Offensichtlich gilt q 1 (s, s′ ) = P (s, s′ ).
2.132Bei Start in einem rekurrenten Zustand s findet X mit Wahrscheinlichkeit 1 zurück. Bei
Start in einem transienten Zustand ist die Rückkehr nicht sicher.
2.133Diese Frage zielt auf eine Überprüfung von Bemerkung 2.18 im speziellen Fall der Rekurrenz. Eine Antwort findet sich in Satz 2.32.
2.134Für n = 0 ist (2.43) offensichtlich. Hierzu beachte man (2.31b) und die Tatsache, daß
für n = 0 die Summe auf der rechten Seite gleich 0 ist. Für n ≥ 1 betrachte man die disjunkte
Zerlegung
(∗1 )
{X0 = s; Xn = s′ } =
Nun gilt
(∗2 )
•
[
k=1,...,n
˘
¯
X0 = s; Xr 6= s′ , r = 1, . . . , k − 1; Xk = s′ ; Xn = s′ .
ˆ
˜
P X0 = s; Xr 6= s′ , r = 1, . . . , k − 1; Xk = s′ ; Xn = s′
ˆ
˜
= P X0 = s; Xr 6= s′ , r = 1, . . . , k − 1; Xk = s′
˛
ˆ
˜
P Xn = s′ ˛X0 = s; Xr 6= s′ , r = 1, . . . , k − 1; Xk = s′
{z
}
|
= P n−k (s′ , s′ ) (vgl. (2.26))
˛
ˆ
˜
= P Xk = s′ ; Xr 6= s′ , r = 1, . . . , k − 1˛X0 = s P[X0 = s]P n−k (s′ , s′ )
= q k (s, s′ )P[X0 = s]P n−k (s′ , s′ ),
20. Oktober 2016
k = 1, 2, . . . , n.
32
eine Beziehung zwischen P und den Matrizen q n , n ∈ N0 . Um ein auf der Übergangsmatrix P basierendes Kriterium für die Gültigkeit von (2.42) zu finden, ist das
Gleichungssystem (2.43) nach P aufzulösen 2.135.
Satz 2.32 (Rekurrenzkriterium). Ein Zustand s ∈ S ist genau dann rekurrent,
wenn 2.136
∞
X
(2.44)
P n (s, s) = ∞.
n=1
Beweis. Aus (2.43) folgt
(2.45)
P n (s, s) = δn,0 +
n
X
q k (s, s)P n−k (s, s),
k=0
Mit Lemma A.1.1 folgt somit
(2.46)
n ∈ N0 .
2.137
\
P\
(s, s)(µ) = 1 + q(s,
s)(µ)P\
(s, s)(µ),
0 ≤ µ < 1,
d.h.,
(2.47)
P\
(s, s)(µ) =
1
,
\
1 − q(s, s)(µ)
0 ≤ µ < 1.
Satz 2.32 folgt nun durch Auswertung von (2.47) unter Zuhilfenahme von Lemma A.1.2.
(a) Sei s rekurrent, d.h.,
∞
X
q k (s, s) = 1.
k=1
\
Dann führt Lemma A.1.2(a) zu limµր1 q(s,
s)(µ) = 1. Da limµր1 P\
(s, s)(µ) = ∞
sich jetzt als Konsequenz von (2.47) ergibt, folgt
∞
X
k=0
P k (s, s) = ∞
aus Lemma A.1.2(b).
P∞
(b) Sei s transient, d.h., k=1 q k (s, s) < 1. Dann folgt
∞
X
k=0
P k (s, s) < ∞
mit einer zu (a) völlig analogen Argumentation.
Wenn Satz 2.17, die Additivität des Wahrscheinlichkeitsmaßes P und q 0 (. . . ) = 0 berücksichtigt
werden, führen (∗1 ) und (∗2 ) zu
(∗3 )
P[X0 = s]P n (s, s′ ) = P[X0 = s]
n
X
q k (s, s′ )P n−k (s′ , s′ ),
k=0
n = 1, 2, . . . , s, s′ ∈ S.
Da (∗3 ) für alle Anfangsverteilungen PX0 gilt, folgt (2.43). Man beachte, daß in den Beweis von
(2.43) die Markoveigenschaft (2.26) von X als wesentlicher Beitrag eingegangen ist.
2.135Dazu werden im Beweis von Satz 2.32 die in Anhang A.1.3 beschriebenen erzeugenden
Funktionen benutzt, vgl. (2.47).
2.136Das Rekurrenzkriterium dieses Satzes 2.32 ist notwendig und hinreichend. Ein weiteres
hinreichendes Rekurrenzkriterium wird in Satz 2.52 gegeben.
2.137Es werden die erzeugenden Funktionen der beiden Seiten von (2.45) gebildet. Hierbei
wird s ∈ S festgehalten,
während n ∈ N0 variabel ist. Bei der Anwendung von Lemma A.1.1 ist
P
k
zu beachten, daß ∞
k=1 q (s, s) ≤ 1.
20. Oktober 2016
33
Das nächste Resultat besagt, daß innerhalb einer Äquivalenzklasse alle Elemente die gleichen Rekurrenz- bzw. Transienzeigenschaften besitzen 2.138.
Korollar 2.33. s sei rekurrent und es gelte s ↔ s′
rekurrent.
2.139
. Dann ist auch s′
Beweis. Aus s ↔ s′ folgt die Existenz von m, n ∈ N0 mit P m (s, s′ ) > 0 und
P (s′ , s) > 0. Da
n
P n+m+r (s′ , s′ ) ≥ P n (s′ , s)P r (s, s)P m (s, s′ ),
r ∈ N0 ,
aus der Chapman-Kolmogorov-Gleichung (2.32) folgt, ergibt sich als Konsequenz
∞
∞
X
X
P k (s′ , s′ ) ≥
P n+m+r (s′ , s′ )
r=0
k=0
∞
X
P r (s, s) =
≥ konst.
| {z }
> 0 r=0
Nun impliziert Satz 2.32 die Rekurrenz von s′ .
2.140
∞.
Bemerkung 2.34. Aufgrund von Korollar 2.33 kann auch von rekurrenten bzw.
transienten irreduziblen Markovketten gesprochen werden.
Korollar 2.35. Ein Zustand s ∈ S ist genau dann rekurrent, wenn die unter
X0 = s bedingte erwartete Anzahl der Rückkehrzeitpunkte ∞ ist.
Beweis. Da
Anzahl der Zeitpunkte einer Rückkehr von (Xn )n∈N0 nach s
=
=
∞
X
n=1
∞
X
n=1
und
folgt
2.141
I{n ist Rückkehrzeitpunkt von (X )
n n∈N0 nach s}
I{X = s}
n
i
h
E I{X = s} X0 = s = P[Xn = s|X0 = s] = P n (s, s),
n
n ∈ N,
E Anzahl der Zeitpunkte einer Rückkehr von (Xn )n∈N0 nach sX0 = s
"∞
#
X
=E
I{X = s} X0 = s
n
n=1
=
2.142
∞
∞
i X
h
X
P n (s, s).
E I{X = s} X0 = s =
n
n=1
n=1
Somit ist Korollar 2.35 eine Konsequenz von Satz 2.32.
2.138Auf das Phänomen, daß manche Eigenschaften einzelner Zustände s sogar für alle
Zustände in der Äquivalenzklasse von s gelten, wurde in Abschnitt 2.2.3 nach Beispiel 2.28
hingewiesen.
2.139s ↔ s′ besagt, daß die Zustände s und s′ kommunizieren. Diese Äquivalenzrelation wird
in Abschnitt 2.2.3 eingeführt.
2.140Da s rekurrent ist.
2.141Hier wird auf einem intuitiven Niveau ein bedingter Erwartungswert betrachtet. Eine
mathematisch rigorose Einführung dieses Begriffs wird beispielsweise in [5], Abschnitt 8.1, gegeben.
2.142Aufgrund der σ-Additivität des bedingten Erwartungswerts und weil I
{Xn = s} ≥ 0, f.s.,
P∞
n ∈ N, ist die Vertauschung von E[. . . |X0 = s] und n=1 . . . zulässig.
20. Oktober 2016
34
Bemerkung 2.36. Als Präzisierung von Korollar 2.35 gilt sogar: Ein Zustand
s ist rekurrent genau dann, wenn 2.143
(2.48)
P[Xn = s unendlich oft|X0 = s] = 1,
d.h., wenn die Anzahl der Rückkehrzeitpunkte f.s. gleich ∞ ist
2.144
.
In den folgenden Beispielen werden die Rekurrenzeigenschaften der symmetrischen Irrfahrt X = (Xn )n∈N0 in Zd , d = 1, 2, . . . , untersucht 2.145. Da diese Prozesse
irreduzibel sind 2.146, genügt es, die Rekurrenz des Ursprungs zu prüfen 2.147.
Fall
Beispiel 2.37 (Irrfahrt in Z1 ). Im allgemeinen, eventuell nicht-symmetrischen
2.148
, d.h. falls
P[Xn+1 = k + 1|Xn = k] = p,
P[Xn+1 = k − 1|Xn = k] = 1 − p,
k ∈ Z,
gilt:
(2.49)
P 2n+1 (0, 0) =
2.149
P 2n (0, 0) =
2.150
0, n = 0, 1, 2, . . . ,
(2n)! n
2n n
p (1 − p)n ,
p (1 − p)n =
n! n!
n
Mit der Stirlingschen Formel
(2.50)
n = 1, 2, . . . .
2.151
ergibt sich die Approximation
√
4πn (2n)2n exp(−2n) n
p (1 − p)n
P 2n (0, 0) ≃ √
( 2πn nn exp(−n))2
pn (1 − p)n 2n
αn
√
=
2 = √ , n groß,
πn
πn
wobei α = 4p(1 − p). Da
p(1 − p)
(
< 1/4, p 6= 1/2,
= 1/4, p = 1/2,
2.143(2.48) ist insofern präziser als Korollar 2.35, da mit jenem Resultat nicht ausgeschlossen
werden kann, daß
P[Xn = s unendlich oft|X0 = s] < 1,
bzw.
P[Xn = s nur endlich oft|X0 = s] > 0.
2.144Vgl. [7], Chapter 2, Theorem 7.1.
2.145Die symmetrische Irrfahrt in Zd , d = 1, 2, 3, . . . , wird in Beispiel 2.20 vorgestellt. Es wird
sich herausstellen, daß das Rekurrenzverhalten der symmetrischen Irrfahrt von d abhängt. Dieses
Resultat läßt sich folgendermaßen begründen: Für großes d, d.h. für d ≥ d0 , hat die symmetrische
Irrfahrt eine positive Wahrscheinlichkeit, sich zu verlaufen“ und nicht mehr zum Startpunkt
”
zurückzufinden. Als mathematisches Problem bleibt die Bestimmung von d0 .
2.146
Vgl. z.B. Beispiel 2.28(i).
2.147
Vgl. Korollar 2.33 und Bemerkung 2.34.
2.148Vgl. Beispiel 2.16.
2.149Eine Rückkehr nach 0 ist nur mit einer geraden Anzahl von Sprüngen möglich.
2.150Zur Rückkehr nach 0 muß genauso oft nach rechts wie nach links gesprungen werden.
2.151Die Stirlingsche Formel besagt, daß
“ 1 ”
n!
(∗)
1≤ √
, n ∈ N,
≤ exp
12n
2πn nn exp(−n)
vgl. [3], Kapitel IV, Abschnitt 3, (177). In einer formalen Schreibweise folgt somit
√
n! ∼ 2πn nn exp(−n), n groß.
20. Oktober 2016
35
folgt aus Satz 2.32:
(a) Falls p 6= 1/2 und daher α < 1, gilt 2.152
∞
∞
X
X
(2.51a)
P k (0, 0) =
P 2n (0, 0) .
2.153
1+C
n=0
k=0
∞
X
1
√ αn < ∞,
n
n=1
d.h., die Irrfahrt in Z ist für p 6= 1/2 transient.
(b) Für p = 1/2 ist α = 1. Somit folgt 2.154
∞
∞
∞
X
X
X
1
√ = ∞,
(2.51b)
P k (0, 0) =
P 2n (0, 0) & C
n
n=0
n=1
k=0
d.h., die symmetrische Irrfahrt in Z ist rekurrent.
Bemerkungen 2.38. (i) Für p > 1/2 erwartet man für Xn bei n → ∞ Kon”
vergenz“ gegen +∞. Entsprechend erwartet man für p < 1/2 Konvergenz“ gegen
” 2.155
−∞. In der Tat gilt nach dem starken Gesetz der großen Zahlen
,
(
Xn
> 0, falls p > 1/2,
lim
= 2p − 1
f.s.
n→∞ n
< 0, falls p < 1/2,
Ebenso folgt nach dem starken Gesetz der großen Zahlen für die eindimensionale
verallgemeinerte Irrfahrt aus Beispiel 2.19 die Beziehung limn→∞ Xn /n = E[ζ1 ],
f.s.. Nach Bemerkung 2.36 sind daher derartige Prozesse transient, falls E[ζ1 ] 6= 0
ist 2.156 2.157.
(ii) Auch für alle d ≥ 2 ist eine nicht-symmetrische Irrfahrt X 2.158 in Zd transient. In diesen Fällen ist mindestens eine der d Projektionen auf die Koordinatenrichtungen eine verallgemeinerte Irrfahrt in Z1 nach Beispiel 2.19 mit ak = 0,
k ∈ Z\{−1, 0, 1} und a1 6= a−1 . Wie in (i) kann daher die Transienz jener Projektion
und damit auch die von X gefolgert werden.
Beispiel 2.39 (Symmetrische Irrfahrt in Z2 ). Analog zu (2.49) gilt:
(2.52)
P 2n+1 (0, 0) = 0,
n = 0, 1, 2, . . . ,
X
(2n)! 1 2n
P 2n (0, 0) = 2.159
i!i!j!j! 4
{i,j∈N0 :i+j=n}
=
n
X
i=0
Nun ist
1 2n
(2n)!
,
(i!(n − i)!)2 4
n = 1, 2, . . . .
(2n)!
(2n)!
n!
n!
=
·
·
2
(i!(n − i)!)
n!n! i!(n − i)! i!(n − i)!
2.152In (2.51a), bzw. (2.51b) ist C jeweils eine strikt positive, endliche Konstante.
2.153Man beachte P 0 (0, 0) = 1, vgl. (2.31b), und (2.50).
2.154Vgl. (2.49) und (2.50).
2.155Beachte die Darstellung X = Pn Y , n ∈ N , wobei die Y unabhängige, {−1, 1}n
0
i
i=1 i
wertige Zufallsvariablen mit P[Yi = 1] = 1 − P[Yi = −1] = p und damit E[Yi ] = 2p − 1 für i ∈ N
sind.
2.156Die aus lim
n→∞ Xn /n 6= 0, f.s., folgende Konvergenz von Xn gegen +∞ oder −∞ bei
n → ∞ zeigt, daß P[Xn = 0 unendlich oft|X0 = 0] = 0.
2.157
Keine Aussagen zum Rekurrenzverhalten einer eindimensionalen verallgemeinerten Irrfahrt werden hier gemacht in dem Fall E[ζ1 ] = 0 oder wenn E[ζ1 ] überhaupt nicht existiert.
2.158Eine nicht-symmetrische Irrfahrt bezeichnet hier eine Markovkette wie in Beispiel 2.20,
wobei allerdings die i.i.d. Zufallsvariablen ζn , n ∈ N, die Werte ±ek , k = 1, . . . , d, mit unterschiedlichen Wahrscheinlichkeiten annehmen.
2.159Um nach 2n Schritten zurück nach 0 zu gelangen sind gleichviele (i) Sprünge nach rechts
und nach links, bzw. gleichviele (j) Sprünge nach oben und nach unten notwendig. Offensichtlich
muß 2(i + j) = 2n gelten.
20. Oktober 2016
36
und außerdem
2n n
n
=
,
n
i
n−i
2.160
n X
n
n
2n
=
,
i
n
−
i
n
i=0
(2.53)
Somit folgt
2n
i = 0, 1, . . . , n,
n = 1, 2, . . . .
1 2n 2n2
, n = 1, 2, . . . ,
n
d.h., aus der Stirlingschen Formel 2.161 ergibt sich
1 2n √4πn (2n)2n 2
1
2n
P (0, 0) ≃
=
, n groß.
4
2πn n2n
πn
P
(0, 0) =
Damit ist
4
∞
X
k=0
P k (0, 0) = ∞,
d.h., nach Satz 2.32 ist die symmetrische Irrfahrt in Z2 rekurrent.
Beispiel 2.40 (Symmetrische Irrfahrt in Z3 ). Wie in (2.49) oder (2.52) gilt:
P 2n+1 (0, 0) = 0,
n = 0, 1, 2, . . . ,
X
1 2n
(2n)!
(i!j!(n − i − j)!)2 6
{i,j∈N0 :0≤i+j≤n}
2
X
1 2n
n!
1
= 2n
2
i!j!(n − i − j)! 32n
n
{i,j:0≤i+j≤n}
X
1
n!
1 2n 1
n!
, n = 1, 2, . . . .
≤ 2n
max
2
i!j!(n−i−j)! 3n i+j≤n i!j!(n−i−j)!
n 3n
i+j≤n
{z
}
|
{z
} |
n!
2.163
2.164 2.165
=1
.
3
(n/3)!
P 2n (0, 0) =
2.162
Mit der Stirlingschen Formel
P
2n
(0, 0) .
2.166
n!
folgt
1
3 2n
(n/3)! 2
2n
3n n
2.160Die rechte Seite in (2.53) gibt die Anzahl der Möglichkeiten, n Elemente aus insgesamt
2n Elementen auszuwählen, an. Um eine derartige Auswahl von n Elementen zu treffen, kann
zunächst die Gesamtmenge mit 2n Elementen in zwei feste Teilmengen mit jeweils n Elementen
geteilt werden. Anschließend werden für ein i ∈ {0, 1, . . . , n} eine Menge von i Elementen aus der
ersten und eine Menge von n − i Elementen aus der zweiten Teilmenge entnommen. Die Anzahl
der möglichen Ergebnisse bei diesem Verfahren steht auf der linken Seite von (2.53).
2.161Vgl. Fußnote 2.151.
2.162Um nach 2n Schritten zurück nach 0 zu gelangen, sind gleichviele (i) Sprünge nach rechts
und nach links, gleichviele (j) Sprünge nach oben und nach unten, bzw. gleichviele (n − i − j)
Sprünge nach vorn und nach hinten notwendig.
2.163
Hier wird die Gesamtwahrscheinlichkeit einer Multinomialverteilung bestimmt.
2.164
n!/(i!j!(n − i − j)!) ist die Anzahl der Möglichkeiten, aus einer Urne mit den Kugeln A, B
und C beim n-maligen Ziehen mit Zurücklegen i mal A, j mal B und n − i − j mal C auszuwählen.
Aus Symmetriegründen liegt das Maximum bei i ∼ j ∼ n/3.
2.165
Für nicht durch 3 teilbares n ist natürlich (n/3)! = Γ(1 + n/3) zu setzen, wobei Γ die
Γ-Funktion, vgl. [1], Kapitel 6, bezeichnet. Die in Fußnote 2.151 beschriebene Stirlingsche Formel
gilt auch für die Γ-Funktion.
2.166
Vgl. Fußnote 2.151.
20. Oktober 2016
37
√
2πn nn
1
≃ p
( 2πn/3 (n/3)n/3 )3 22n
√
3 3
=
n groß,
2π 3/2 n3/2
√
4πn (2n)2n
n
3
2πn n2n
und damit
∞
X
k=0
P k (0, 0) < ∞.
Aufgrund von Satz 2.32 ergibt sich die Transienz der symmetrischen Irrfahrt in Z3 .
Bemerkungen 2.41. (i) Aus der Transienz der symmetrischen Irrfahrt in Z3
folgt, daß für alle d ≥ 3 die symmetrische Irrfahrt in Zd ebenfalls transient ist.
(ii) Die Dimensionsabhängigkeit des Rekurrenzverhaltens der symmetrischen Irrfahrt wird in Anhang A.1.4 durch die Ergebnisse einiger Simulationen illustriert.
2.2.5. Asymptotik der Übergangsmatrizen. Ein sehr wichtiger Untersuchungsgegenstand in der Theorie der Markovketten ist deren Asymptotik für große
Zeiten. Insbesondere ist zu klären, ob sich bei n → ∞ gewisse Eigenschaften sta”
bilisieren“, d.h. von n unabhängig werden.
Bemerkung 2.42. Es stellt sich heraus, daß die Beschreibung der Asymptotik
einer Markovkette X = (Xn )n∈N0 dann am übersichtlichsten ist, wenn Xn bei
n → ∞ alle Informationen über den Startpunkt X0 vergißt“. Aus diesem Grund
”
werden im folgenden primär irreduzible und aperiodische Markovketten diskutiert
werden 2.167. Derartigen Prozessen bleiben für große Zeiten keinerlei Informationen
über die Lage des Startpunktes X0 und die seit dem Start in X0 schon vergangene
Zeit.
In einem ersten Resultat zur Asymptotik von Markovketten X = (Xn )n∈N0 in
einem Zustandsraum S wird für die Übergangsmatrizen P n = (P n (s, s′ ))s,s′ ∈S das
Verhalten bei n → ∞ charakterisiert.
Satz 2.43. 2.168 Sei X = (Xn )n∈N0 eine rekurrente, irreduzible und aperiodische
Markovkette. Dann gilt 2.169
−1
X
∞
kq k (s, s)
, s ∈ S,
(2.54a)
lim P n (s, s) =
n→∞
bzw.
k=0
2.170
(2.54b)
lim P n (s′ , s) = lim P n (s, s),
n→∞
n→∞
s, s′ ∈ S.
Beweis. Zunächst führt (2.43) zu
(2.55)
P n (s, s) −
n
X
q k (s, s)P n−k (s, s) = δn,0 ,
k=0
n ∈ N0 , s ∈ S.
2.167Die Begriffe der Irreduzibilität, bzw. Aperiodizität einer Markovkette werden in Abschnitt 2.2.3 eingeführt.
2.168Vgl. [7], Chapter 3, Theorem 1.2.
2.169Die in (2.54) eingehenden Matrizen (q n (s, s′ )) ′
s,s ∈S , n ∈ N0 , werden in (2.41) definiert.
P
k
(2.54a) zeigt insbesondere, daß limn→∞ P n (s, s) = 0, falls ∞
k=0 kq (s, s) = ∞.
2.170In (2.54b) zeigt sich explizit, daß der Startpunkt s′ von X asymptotisch keine Rolle
mehr spielt.
20. Oktober 2016
38
Für ein festes s ∈ S ist (2.55) eine Erneuerungsgleichung 2.171. Daher folgt (2.54a)
durch Anwendung des Erneuerungssatzes 2.172. Details hierzu finden sich in Beispiel 2.67 2.173. Zur Verifizierung von (2.54b) sei auf den Beweis von Theorem 1.2
in [7], Chapter 3, verwiesen.
und C
Bemerkungen 2.44. (i) Sei X = (Xn )n∈N0 eine beliebige Markovkette,
eine Äquivalenzklasse bezüglich 2.174 ↔, so daß die Einschränkung XC von X auf
C rekurrent und aperiodisch
ist. In diesem Fall kann C von X niemals verlassen
werden 2.175. Da XC irreduzibel ist, bleibt daher Satz 2.43 sinngemäß auch für
diese Markovkette gültig.
(ii) Mit (2.41) wird deutlich, daß
∞
X
(2.56)
kq k (s, s) = E[τs ],
s ∈ S,
k=0
wobei τs die Rückkehrzeit des Prozesses X zum Startpunkt s ist. Unter den Voraussetzungen von Satz 2.43 gilt somit
(2.57)
lim P n (s′ , s) =
n→∞
1
,
E[τs ]
s, s′ ∈ S.
(iii) Im allgemeinen lassen sich Resultate für aperiodische Markovketten in
leicht modifizierter Form auf periodische Markovketten übertragen. Besitzt beispielsweise eine rekurrente und irreduzible Markovkette die Periode d, so folgt 2.176
lim P nd (s, s) =
(2.58)
n→∞
d
,
E[τs ]
s ∈ S.
(iv) Eine Modifikation von (2.57), bzw. (2.58) für eine beliebige rekurrente und
irreduzible Markovkette lautet 2.177
n
(2.59)
1X k ′
1
,
P (s , s) =
n→∞ n
E[τs ]
lim
k=1
s, s′ ∈ S.
Korollar 2.45. 2.178 Sei s0 ∈ C, wobei C eine aperiodische, rekurrente Äquivalenzklasse des Zustandsraums S einer Markovkette X ist, und sei
lim P n (s0 , s0 ) = πs0 > 0
n→∞
für ein s0 ∈ C.
Dann gilt
(2.60)
πs = lim P n (s, s) > 0,
n→∞
s ∈ C.
2.171Vgl. (2.113), bzw. (2.116).
2.172Vgl. Satz 2.66
2.173In Beispiel 2.67 wird auch erläutert, wieso die Irreduzibilität und die Aperiodizität von
X benötigt werden.
2.174Vgl. Abschnitt 2.2.3.
2.175Weil C eine Äquivalenzklasse ist, könnte X nach dem Verlassen von C mit Wahrschein˛
lichkeit 1 nicht mehr zurückkehren. Weiterhin kann aufgrund der Rekurrenz von X˛C und Bemerkung 2.36 eine endliche Aufenthaltsdauer in C ausgeschlossen werden.
2.176Vgl. [7], Chapter 3, Remark 1.4.
2.177Vgl. [7], Chapter 3, Remark 1.4. Die für beliebige rekurrente und irreduzible Markovketten zutreffende Eigenschaft (2.59) ist eine Konsequenz der für speziellere aperiodische, bzw.
periodische Markovketten geltenden aussagekräftigeren Eigenschaften (2.57), bzw. (2.58).
2.178Vgl. [7], Chapter 3, Remark 1.4. Zum Beweis von (2.60) kann ähnlich argumentiert
werden wie beim Beweis von Korollar 2.33.
20. Oktober 2016
39
Korollar 2.45 beschreibt eine Eigenschaft, nämlich die strikte Positivität von
limn→∞ P n (s, s), die simultan für alle Elemente s einer aperiodischen Äquivalenzklasse des Zustandsraums gültig wird 2.179. Insbesondere besteht nun Gelegenheit zu
einer Präzisierung des Rekurrenzbegriffs. Eine aperiodische, rekurrente Äquivalenzklasse C des Zustandsraums S einer Markovkette X heißt positiv rekurrent, falls 2.180
(2.61)
πs = lim P n (s, s) > 0,
n→∞
s ∈ C.
Falls πs = 0, s ∈ C, wird C als 0-rekurrent bezeichnet.
Aufgrund von Korollar 2.45 sind positive Rekurrenz und 0-Rekurrenz komplementäre Erscheinungsformen der Rekurrenz von aperiodischen Äquivalenzklassen.
Bemerkung 2.46. Als Konsequenz aus Bemerkung 2.44(ii) ist die positive
Rekurrenz einer aperiodischen Äquivalenzklasse C gleichbedeutend mit 2.181 E[τs ] <
∞, s ∈ C, während die 0-Rekurrenz auch durch E[τs ] = ∞, s ∈ C, charakterisiert
ist. Daher kann mit Hilfe von E[τs ], s ∈ C, der Begriff der positiven Rekurrenz,
bzw. der 0-Rekurrenz auch für periodische Äquivalenzklassen C eingeführt werden.
Beispiel 2.47. In den Beispielen 2.37, bzw. 2.39 wird für die symmetrische
Irrfahrt in Z, bzw. in Z2 nachgewiesen, daß für alle s des jeweiligen Zustandsraums
P 2n+1 (s, s) = 0, n = 0, 1, 2, . . . , und limn→∞ P 2n (s, s) = 0, n = 1, 2, . . . . Daher
kann die 0-Rekurrenz der symmetrische Irrfahrt in Z, bzw. in Z2 gefolgert werden.
2.2.6. Stationäre Verteilungen von Markovketten. In diesem Abschnitt
werden die Grenzwerte 2.182 πs , s ∈ C, aus Korollar 2.45 auf alternative Weisen charakterisiert 2.183. Zunächst wird πs , s ∈ C, als Lösung eines der Übergangsmatrix
P zugeordneten Eigenwertproblems 2.184, d.h. durch eine algebraische Eigenschaft
beschrieben. Darauf aufbauend kann weiterhin πs , s ∈ C, als ein unter der Dynamik der zugehörigen Markovkette invarianter Zustand, d.h. als eine stationäre
Verteilung, identifiziert werden 2.185.
Satz 2.48. Sei C eine aperiodische, positiv rekurrente Äquivalenzklasse des Zustandsraums S einer Markovkette X = (Xn )n∈N0 mit den Übergangswahrscheinlichkeiten P (s, s′ ), s, s′ ∈ S. Sei 2.186
(2.62)
πs = lim P n (s, s),
n→∞
s ∈ C.
Die Limiten (πs )s∈C lösen
(2.63a)
(2.63b)
πs ≥ 2.187 0, s ∈ C,
X
πs =
πs′ P (s′ , s), s ∈ C,
s′ ∈C
(2.63c)
X
πs = 1,
s∈C
2.179Eine analoge Bedeutung haben Satz 2.30 und Korollar 2.33. Mit jenen Resultaten wird
nachgewiesen, daß Rekurrenz, Transienz oder eine feste Periodizität simultan für alle Elemente
einer Äquivalenzklasse des Zustandsraums vorliegen.
2.180In Satz 2.48 und Korollar 2.49 werden zu (2.57) alternative Charakterisierungen der
durch (2.61) definierten Größen πs , s ∈ C, gegeben. Insbesondere wird nachgewiesen, daß π =
(πs )s∈C ein invariantes Wahrscheinlichkeitsmaß der Markovkette X ist.
2.181Die Zufallsvariable τ ist die Zeit bis zur Rückkehr der in s startenden Markovkette X
s
nach s.
2.182C sei eine aperiodische, positiv rekurrente Äquivalenzklasse des Zustandsraums S einer
Markovkette X.
2.183Die bisher vorliegende Charakterisierung ist durch (2.57) gegeben.
2.184Vgl. (2.63).
2.185Vgl. Korollar 2.49.
2.186Die Existenz dieser Grenzwerte wird durch Satz 2.43 sichergestellt.
20. Oktober 2016
40
und sind darüberhinaus durch die Beziehungen (2.63) eindeutig bestimmt.
Durch die Zuordnung πs = 0, s ∈ S \ C, kann die Lösung (πs )s∈C von (2.63)
auf den gesamten Zustandsraum S fortgesetzt werden. Die Beziehungen (2.63) bleiben auch für diese Fortsetzung π = (πs )s∈S gültig 2.188. Nach (2.63a) und (2.63c)
definiert π ein Wahrscheinlichkeitsmaß auf S. Aufgrund von (2.63b) ist π als Zeilenvektor interpretiert außerdem ein linker Eigenvektor der Übergangsmatrix P zum
Eigenwert 1 .
Korollar 2.49. Das Wahrscheinlichkeitsmaß π ist eine stationäre Verteilung
von X, d.h., falls 2.189 P[X0 = s] = πs , s ∈ S, folgt P[Xn = s] = πs , s ∈ S,
n ∈ N0 2.190.
Beweis von Satz 2.48. Wegen ihrer Rekurrenz kann die Äquivalenzklasse C
des Zustandsraums S von X niemals verlassen werden 2.191. Daher kann o.E.d.A.
C = S, und da S abzählbar ist, weiterhin S = N angenommen werden.
(a) (πi )i∈N löst (2.63). Die Positivität (2.63a) folgt aus (2.62) und der Positivität von P (., .). Weiterhin gilt:
1=
∞
X
j=1
P n (i, j) ≥
M
X
P n (i, j),
j=1
i, n, M ∈ N.
Bei n → ∞ folgt daher die Beziehung
1≥
d.h., (2.63a) führt zu
M
X
πj ,
j=1
∞
X
(2.64)
j=1
M ∈ N,
πj ≤ 1.
Mit der Chapman-Kolmogorov-Gleichung 2.192 ergibt sich
P n+1 (i, j) ≥
M
X
P n (i, k)P (k, j),
k=1
i, j, n, M ∈ N.
Aus der Positivität von π. und P (., .) folgt wie in (2.64) bei n → ∞ daher
πj ≥
bzw.
(2.65)
M
X
πk P (k, j),
k=1
πj ≥
∞
X
j, M ∈ N,
πk P (k, j),
k=1
Eine Iteration dieser Beziehung führt zu
∞ X
∞
X
πj ≥
πl P (l, k) P (k, j) =
k=1
l=1
j ∈ N.
2.193
∞
X
πl P 2 (l, j).
l=1
2.187Da C positiv rekurrent ist, gilt sogar π 0, s ∈ C, vgl. Korollar 2.45 und (2.61).
s
2.188In (2.63) muß nur C durch S ersetzt werden.
2.189Wie im vorangehenden Abschnitt bemerkt, muß π von C auf S fortgesetzt werden.
2.190Zum Beweis sei darauf hingewiesen, daß sich π = P
n ′
s
s′ ∈S πs′ P (s , s), s ∈ S, n ∈ N0 ,
durch Iteration aus (2.63b) ergibt. Somit folgt Korollar 2.49 aus Satz 2.22.
2.191Vgl. Bemerkung 2.44(i).
2.192Vgl. (2.32).
20. Oktober 2016
41
Weitere Iterationen ergeben schließlich
∞
X
πj ≥
πl P n (l, j),
l=1
j, n ∈ N.
Falls hier “ für ein j0 und ein n0 gilt, folgt mit
”
∞
∞ X
∞
X
X
πl P n0 (l, j)
πj >
j=1
j=1
=
l=1
2.194
∞
X
∞
X
πl
j=1
l=1
|
ein Widerspruch. Daher ist
(2.66)
πj =
∞
X
P n0 (l, j) =
{z
=1
πl P n (l, j),
l=1
}
∞
X
πl
l=1
j, n ∈ N,
womit insbesondere (2.63b) gezeigt wäre. Es folgt weiterhin:
∞
∞
∞
X
X
X
πj = 2.195 lim
πl P n (l, j) = 2.196
πl lim P n (l, j) =
πl πj ,
n→∞
n→∞
|
{z
}
l=1
l=1
l=1
= 2.197 πj
j ∈ N.
Wegen der positiven Rekurrenz von X ist π. > 0, d.h., (2.63c) ist nun auch gezeigt.
(b) Eindeutigkeit der Lösung von (2.63). Sei (xk )k∈N eine Lösung von (2.63).
Dann ergibt sich durch Iteration von (2.63b) unter Berücksichtigung der Positivität
von x. und P (., .), die eine Vertauschung von Summationen erlaubt,
∞
∞ X
∞
X
X
(2.67)
xl P (l, j) P (j, k)
xj P (j, k) =
xk =
j=1
j=1
=
∞
X
xl
∞
X
|
=
{z
}
P 2 (l, k)
2.198
xj P n (j, k),
j=1
so daß schließlich
xk =
=
2.199
lim
n→∞
2.200
∞
X
j=1
∞
X
l=1
P (l, j)P (j, k) = . . .
j=1
l=1
=
∞
X
k, n ∈ N,
xj P n (j, k)
j=1
xj
lim P n (j, k) =
2.201
n→∞
∞
X
j=1
xj πk =
2.202
πk ,
k ∈ N,
2.193Die Vertauschung der Summationen wird durch die Positivität von π und P (., .) auf.
grund des Satzes von Fubini ermöglicht.
2.194Aufgrund der Positivität von π und P n0 (., .) rechtfertigt auch hier der Satz von Fubini
.
die Vertauschung der Summationen.
2.195Vgl. (2.66).
2.196Das Vertauschen von P∞ . . . und lim
n→∞ . . . kann durch den Satz von der bel=1
P
schränkten Konvergenz begründet werden. Man beachte hierzu 0 ≤ P n (., .) ≤ 1 und ∞
k=1 πk ≤ 1,
vgl. (2.64).
2.197
Vgl. (2.54) und (2.62).
2.198Aufgrund der Chapman-Kolmogorov-Gleichung, vgl. (2.32).
20. Oktober 2016
42
folgt.
Beispiel 2.50 (Stationäre Wahrscheinlichkeitsverteilung einer räumlich inhomogenen Irrfahrt 2.203). X = (Xn )n∈N0 sei eine eindimensionale räumlich inhomogene Irrfahrt gemäß Beispiel 2.21 mit dem Zustandsraum N0 , d.h. mit a = 0 und
b = ∞. Die 1-Schritt-Übergangsmatrix sei durch 2.204


α β 0 0 ...
q1 0 p1 0 . . .

P =
 0 q2 0 p2 . . . ,
....................
wobei α, β > 0, α + β = 1 und qj , pj > 0, qj + pj = 1, j ∈ N, gegeben.
Zur Klärung der Frage, ob diese Irrfahrt eine stationäre Wahrscheinlichkeitsverteilung besitzt, ist eine Lösung von (2.63) zu bestimmen. Zu suchen ist daher
zunächst eine positive Lösung 2.205 (xk )k∈N0 von
(2.68)
x0 = x0 α + x1 q1 ,
x1 = x0 β + x2 q2 ,
xj = xj−1 pj−1 + xj+1 qj+1 ,
j = 2, 3, . . . .
Nach der Bestimmung von (xk )k∈N0 ist noch die Normierbarkeit zu prüfen. Insbesondere ist zu klären, ob eine Konstante γP> 0 exisiert, so daß (x′k )k∈N0 mit
x′k = γxk , k ∈ N0 , die Beziehung (2.63c), d.h. k∈N0 x′k = 1, erfüllt.
Aus (2.68) folgt
1−α
x0 ,
q1
1 − α
x1 − x0 β
β
x2 =
=
−
x0
q2
q1 q2
q2
1
1
p1
1 − q1
−
x0 = (1 − α)
x0 ,
= (1 − α)
x0 = (1 − α)
q1 q2
q2
q1 q2
q1 q2
p1 p2
x0 , . . .
x3 = (1 − α)
q1 q2 q3
x1 =
und zusammenfassend durch vollständige Induktion
Qj−1
pr
(2.69)
xj = (1 − α) Qr=1
x0 , j = 1, 2, . . . .
j
r=1 qr
(2.69) zeigt, daß x0 als gemeinsamer Faktor aller xj , j ∈ N0 , in Erscheinung tritt,
d.h., x0 hat die Bedeutung einer Normierungskonstante. (xk )k∈N0 löst insbesondere
2.199Vgl. (2.67).
2.200Mit einer Argumentation wie in Fußnote 2.196 kann mit dem Satz von der beschränkten
P
Konvergenz das Vertauschen von ∞
j=1 . . . und limn→∞ . . . begründet werden.
2.201
Vgl. Satz 2.43 und (2.62).
P
2.202
Da (xk )k∈N eine Lösung von (2.63) ist, d.h., insbesondere weil ∞
j=1 xj = 1.
2.203
Da eine räumlich homogene Irrfahrt nicht positiv rekurrent ist, vgl. Beispiel 2.40, bzw.
Beispiel 2.47 im Fall symmetrischer Irrfahrten, kann ein solcher Prozeß auch keine stationäre
Verteilung besitzen.
Eine etwas speziellere räumlich inhomogene Irrfahrt mit α = 0 und β = 1 wird in einem
Beispiel nach Theorem 1.3 in [7], Chapter 3, diskutiert. Durch die Annahme α, β > 0 ist in
Beispiel 2.50 sichergestellt, daß X aperiodisch ist.
2.204Am Punkt 0 wird diese Irrfahrt mit Wahrscheinlichkeit β nach +1 reflektiert, bzw. bleibt
mit Wahrscheinlichkeit α für zunächst 1 Zeiteinheit sitzen.
2.205In einem ersten Schritt wird eine Lösung (x )
k k∈N0 von (2.63a), (2.63b) gesucht. Anschließend ist zu klären, ob nach einer Normierung von (xk )k∈N0 auch (2.63c) erfüllt ist.
20. Oktober 2016
43
auch (2.63c), d.h. repräsentiert ein stationäres Wahrscheinlichkeitsmaß für die hier
betrachtete Irrfahrt, falls ein x0 ∈ (0, ∞) mit
∞ Qj−1
X
pr
(2.70)
1 = x0 + x0 (1 − α)
Qr=1
j
r=1 qr
j=1
gewählt werden kann. Da α ∈ (0, 1), ist dies möglich, falls
∞ Qj−1
X
r=1 pr
< ∞.
Qj
r=1 qr
j=1
2.206
Im speziellen Fall 2.207 pk = p, qk = q, k ∈ N, besitzt die Irrfahrt dieses
Beispiels 2.50 genau dann ein stationäres Wahrscheinlichkeitsmaß, wenn
∞ j
X
p
< ∞,
q
j=1
d.h., wenn p < q. Als Konsequenz von (2.69) und (2.70) ist dieses stationäre Wahrscheinlichkeitsmaß (xk )k∈N0 durch
∞
X
pj−1 −1
q−p
2.208
1 + (1 − α)
x0 =
=
,
j
q
q
−
p
+1−α
j=1
x0 p j
, j = 1, 2, . . . ,
xj = (1 − α)
p q
gegeben.
2.2.7. Rekurrenz und Transienz (2. Teil). 2.209 Mit Eigenwertproblemen
wie in (2.63) kann auch gearbeitet werden, wenn Rekurrenz-, bzw. Transienzeigenschaften von Markovketten geprüft werden sollen. Anders als in (2.63) werden nun
jedoch rechte Eigenvektoren betrachtet. Genaugenommen werden auch keine ex”
akten“ Eigenwertprobleme untersucht, sondern nur Beziehungen, die fast einem
”
Eigenwertproblem gleichen“ 2.210.
Satz 2.51 (Transienzkriterium). 2.211 Sei X = (Xn )n∈N0 eine irreduzible Markovkette mit dem Zustandsraum 2.212 S = N0 und der Übergangsmatrix P . Notwendig und hinreichend für die Transienz von X ist die Existenz einer beschränkten,
nicht-konstanten Lösung von 2.213
(2.71)
∞
X
P (i, j)yj = yi ,
i = 1, 2, . . . .
j=0
Beim nächsten Resultat wird eine (2.71) entsprechende Ungleichung zur Untersuchung auf Rekurrenz vorgeschlagen.
“
”−1
´−1
2.206Aufgrund von (2.70) ist in diesem Fall x = 1+(1−α) P∞ `Qj−1 p ´`Qj
.
0
j=1
r=1 r
r=1 qr
2.207Es liegt nun eine Irrfahrt in N vor, deren Dynamik nur am Rand 0 des Zustandsraums
0
eine Inhomogenität aufweist.
2.208Vgl. Fußnote 2.206.
2.209In diesem Abschnitt wird gezeigt, daß der Nachweis der Rekurrenz, bzw. der Transienz
einer irreduziblem Markovkette X = (Xn )n∈N0 mit Methoden der linearen Algebra vorgenommen
werden kann. Hierbei ist insbesondere die Übergangsmatrix P von X zu untersuchen.
2.210
Vgl. (2.71) und (2.72).
2.211
Vgl. [7], Chapter 3, Theorem 4.1.
2.212Da der Zustandsraum S einer Markovkette immer höchstens abzählbar ist, kann S = N
0
o.E.d.A. angenommen werden.
2.213Man beachte, daß (2.71) für i = 0 nicht gelten muß.
20. Oktober 2016
44
Satz 2.52 (Rekurrenzkriterium). 2.214 Sei X = (Xn )n∈N0 eine irreduzible Markovkette mit dem Zustandsraum S = N0 und der Übergangsmatrix P . Es existiere
eine Folge yi , i ∈ N0 , mit limi→∞ yi = ∞ und 2.215
∞
X
(2.72)
j=0
Dann ist X rekurrent.
2.216
Beispiel 2.53.
spiel 2.24 gelte 2.217
P (i, j)yj ≤ yi ,
i = 1, 2, . . . .
Für das Warteschlangenmodell X = (Xn )n∈N0 in Bei-
(2.73)
0 < a0 < 1,
a0 + a1 < 1.
(a) Sei zunächst
∞
X
(2.74)
kak > 1.
k=0
Da in diesem Fall die mittlere Anzahl neu hinzukommender Kunden pro Zeitintervall größer als 1, d.h. die Anzahl der pro Zeitintervall bedienten Kunden, ist,
erwartet man, daß die Warteschlange immer größer wird, d.h., daß X transient ist.
Zur Bestätigung dieser Vermutung 2.218 sei yj = ζ j , j = 0, 1, 2, . . . , für ein 2.219
ζ ∈ [0, ∞). Der Ansatz (yj )i∈N0 erfüllt (2.71), falls 2.220
(2.75)
∞
X
P (i, j)ζ j =
aj−i+1 ζ j = ζ i ,
∞
X
aj−i+1 ζ j−i+1 =
j=i−1
falls
2.221
(2.76)
i = 1, 2, . . . ,
j=i−1
j=0
d.h., da
∞
X
∞
X
k=0
ak ζ k =: b
a(ζ),
b
a(ζ) = ζ.
a(1) =
P∞Weil (ak )k∈N0 ein Wahrscheinlichkeitsmaß auf N0 repräsentiert,
P∞ist b
′
a
=
1.
Weiterhin
folgt
b
a
(0)
=
a
>
0
aus
(2.73)
und
b
a
(1)
=
ka
k
0
k > 1
k=0
k=0
aus (2.74). Somit hat b
a als stetige, strikt konvexe 2.222 Funktion einen Graph wie in
Abbildung 2.2 und es existiert ein ζ0 ∈ (0, 1) mit b
a(ζ0 ) = ζ0 . Die Folge (ζ0j )j∈N0 ist
insbesondere eine beschränkte, nicht-konstante Lösung von (2.75), d.h., aufgrund
von Satz 2.51 liegt Transienz vor.
(b) Alternativ zu (2.74) sei nun
∞
X
k=0
kak ≤ 1.
2.214Vgl. [7], Chapter 3, Theorem 4.2.
2.215Wie (2.71) muß auch (2.72) nicht für i = 0 gelten.
2.216Vgl. [7], Chapter 3, Section 5.
2.217Nach Beipiel 2.28(iii) sichert (2.73) insbesondere die Irreduzibilität von X.
2.218Zur Prüfung der Vermutung soll Satz 2.51 angewandt werden.
2.219Zunächst ist ζ ∈ [0, ∞) beliebig. Die folgenden Überlegungen zeigen, wie ein für die
Anwendung von Satz 2.51 geeignetes, spezielles ζ ∈ (0, 1) zu wählen ist.
2.220Die Übergangsmatrix P von X ist in Beispiel 2.24 angegeben.
2.221(2.76) folgt nach einer Division beider Seiten von (2.75) durch ζ i−1 . b
a ist die erzeugende
Funktion der Verteilung (ak )k∈N0 der in einer Zeiteinheit neu an der Warteschlange ankommenden
Kunden, vgl. Anhang A.1.3.
P
2.222Die strikte Konvexität von b
k−2 > 0, 0 < s < 1.
a folgt aus b
a′′ (s) = ∞
k=2 k(k − 1)ak s
20. Oktober 2016
45
1.0
0.8
0.6
0.4
0.2
0.0
0.0
0.2 ζ 0
0.4
0.6
0.8
1.0
Abbildung 2.2. Erzeugende Funktion der Verteilung der pro
Zeiteinheit neu hinzukommenden Kunden in einem transienten
Warteschlangenmodell. Die Verteilung der pro Zeiteinheit neu ankommenden Kunden ist durch a0 = 0.2, a1 = 0.1, a2 = 0.2,
a3 = 0.3 und a4 = 0.2 charakterisiert.
Da
∞
X
∞
X
P (i, j)j =
aj−i+1 j
j=i−1
j=0
=
2.223
∞
X
j=i−1
=
∞
X
k=0
aj−i+1 (j − i + 1) + i − 1
kak + i − 1 ≤ i,
i = 1, 2, . . . ,
erfüllt die Folge yi , i ∈ N0 , mit yi = i, i = 0, 1, 2, . . . , die Voraussetzungen von
Satz 2.52, d.h., X ist rekurrent 2.224.
2.2.8. Markovprozesse in kontinuierlicher Zeit mit diskretem Zustandsraum. Ein stochastischer Prozeß X = (Xt )t≥0 2.225 mit Werten in einem
diskreten, d.h., höchstens abzählbaren Zustandsraum S heißt Markovprozeß, falls
(2.77) P[Xt+h = s′ |Xu1 = s1 , . . . , Xun = sn , Xt = s] = P[Xt+h = s′ |Xt = s],
0 ≤ u1 < · · · < un < t < ∞, h > 0, s1 , . . . , sn , s, s′ ∈ S, n ∈ N.
Die bedingten Wahrscheinlichkeiten
Pt,t′ (s, s′ ) = P[Xt′ = s′ |Xt = s],
0 ≤ t ≤ t′ < ∞, s, s′ ∈ S,
die die rechte Seite von (2.77) bestimmen, heißen Übergangswahrscheinlichkeiten.
Diese können zu den Übergangsmatrizen Pt,t′ = (Pt,t′ (s, s′ ))s,s′ ∈S , 0 ≤ t ≤ t′ < ∞,
zusammengefaßt werden.
2.223Da P∞
j=i−1
aj−i+1 =
P∞
k=0
ak = 1.
2.224In [7], Chapter 3, Section 5, wird insbesondere der rekurrente Fall detaillierter un-
tersucht. Es wird nachgewiesen, daß X positiv rekurrent (0-rekurrent) ist, falls
P
( ∞
k=0 kak = 1).
2.225Das Zeitintervall kann auch beschränkt sein, z.B. [a, b], 0 ≤ a < b < ∞.
20. Oktober 2016
P∞
k=0
kak < 1
46
Ein Markovprozeß 2.226 ist durch seine Übergangswahrscheinlichkeiten und seine Anfangsverteilung vollständig charakterisiert.
Satz 2.54. 2.227 Die Verteilung eines Markovprozesses X = (Xt )t≥0 mit diskretem Zustandsraum S ist eindeutig durch die Wahrscheinlichkeiten
(2.78)
P Xt1 = s1 , Xt2 = s2 , . . . , Xtn = sn ,
0 ≤ t1 < t2 < · · · < tn < ∞, s1 , s2 , . . . , sn ∈ S, n ∈ N,
bestimmt. Diese sind durch die Übergangswahrscheinlichkeiten und die Anfangsverteilung PX0 2.228 charakterisiert. Es gilt
(2.79)
P X0 = s0 , Xt1 = s1 , Xt2 = s2 , . . . , Xtn = sn
= PX0 [s0 ]P0,t1 (s0 , s1 )Pt1 ,t2 (s1 , s2 ) . . . Ptn−1 ,tn (sn−1 , sn ),
0 < t1 < t2 < · · · < tn < ∞, s0 , s1 , . . . , sn ∈ S, n ∈ N.
Wie im zeitlich diskreten Fall bestehen gewisse Beziehungen zwischen den
Übergangswahrscheinlichkeiten. So gilt auch hier die Chapman-Kolmogorov-Gleichung 2.229
X
(2.80)
Pt1 ,t2 (s1 , s2 )Pt2 ,t3 (s2 , s3 ) = Pt1 ,t3 (s1 , s3 ),
s2 ∈S
0 ≤ t1 ≤ t2 ≤ t3 < ∞, s1 , s3 ∈ S.
Ein direktes Analogon zu den in (2.27) eingeführten 1-Schritt-Übergangswahrscheinlichkeiten existiert im zeitlich kontinuierlichen Fall nicht 2.230. Stattdessen
haben die infinitesimalen Übergangswahrscheinlichkeiten (Übergangsraten oder auch
Übergangsintensitäten) 2.231 2.232 2.233
1
P[Xt+h = s′ |Xt = s], t ≥ 0, s, s′ ∈ S, s 6= s′ ,
h
eine wesentliche Bedeutung bei der Beschreibung und Untersuchung der Markovprozesse in kontinuierlicher Zeit mit diskretem Zustandsraum. Insbesondere besitzen
derartige Markovprozesse f.s. nur Sprünge, deren Übergangsintensität strikt positiv
ist 2.234.
(2.81)
λt (s, s′ ) = lim
h→0
Bemerkung 2.55. Bei der Modellierung von zufälligen zeitlichen Entwicklungen in der Physik oder der Biologie durch Markovprozesse
• sind oft die Übergangsraten leicht zugänglich
2.235
.
2.226Im Rest dieses Abschnitts 2.2 ist mit Markovprozeß immer ein Markovprozeß in kontinuierlicher Zeit mit einem diskreten Zustandsraum gemeint.
2.227Satz 2.54 entspricht dem sich auf den zeitlich diskreten Fall beziehenden Satz 2.17.
ˆ
2.228P
X0 ist die Verteilung der Zufallsvariablen X0 , d.h, PX0 [s] = P X0 = s], s ∈ S.
2.229Vgl. die zeitlich diskrete Variante (2.32) und zu deren Beweis auch Fußnote 2.81.
2.230Insbesondere gibt es keine elementare Zeiteinheit“ 1, so daß die Differenz zwischen zwei
”
verschiedenen Zeitpunkten ein ganzzahliges Vielfaches von 1 ist.
2.231Zur Existenz der Limiten in (2.81) vgl. Satz 2.59.
2.232Die infinitesimalen Übergangsraten λ (s, s′ ), s, s′ ∈ S, s 6= s′ , t ≥ 0, sind nichtnegativ.
t
2.233
Eine äquivalente Formulierung von (2.81) ist: P[Xt+h = s′ |Xt = s] = λt (s, s′ )h + o(h)
bei h → 0, t ≥ 0, s, s′ ∈ S, s 6= s′ .
2.234Ist beispielsweise der Markovprozeß X = (X )
t t≥0 konservativ, vgl. (2.94), so ist
P
′
{s′ ∈S:s′ 6=s} λt (s, s ) < ∞, s ∈ S, t ≥ 0. In diesem Fall ist die Wahrscheinlichkeit, daß ein
Sprung im Zeitpunkt t, mit dem s verlassen wird, zum Zustand s′′ 6= s führt, gleich λt (s, s′′ )
´
`P
′ −1 , vgl. Abschnitt 2.2.10.
{s′ ∈S:s′ 6=s} λt (s, s )
2.235Beispielsweise sind Zerfalls-, Geburts- oder Todesraten häufig vorgegeben oder einfach
zu bestimmen.
20. Oktober 2016
47
• Danach ergeben sich die Übergangswahrscheinlichkeiten durch Lösen eines
Systems gewöhnlicher Differentialgleichungen, dessen Koeffizienten jene
Übergangsraten sind 2.236.
Die von nun an betrachteten Markovprozesse haben stationäre Übergangswahrscheinlichkeiten, d.h., 2.237
Pt,t′ (s, s′ ) = Pt′ −t (s, s′ ),
0 ≤ t ≤ t′ < ∞, s, s′ ∈ S.
In diesem Fall sind die infinitesimalen Übergangswahrscheinlichkeiten von der Zeit
unabhängig 2.238.
Beispiel 2.56 (Poissonprozeß). Der Poissonprozeß X = (Xt )t≥0 ist ein N0 wertiger Markovprozeß, der
• in jedem beschränkten Zeitintervall endlich viele Sprünge der Größe +1
besitzt, wobei
• die Anzahl der Sprünge in einem Zeitintervall mit einer festen Länge unabhängig von der Lage dieses Intervall auf der Zeitachse, bzw. der Anzahl
der früheren Sprünge ist, und der
• zwischen den Sprungzeitpunkten konstant bleibt 2.239.
Dieser einfache, aber wichtige Prozess spielt in vielen Anwendungen eine Rolle.
Beispielsweise kann für t ≥ 0 die Zufallsvariable Xt
• die Anzahl der an einem Servicepunkt im Zeitintervall [0, t] ankommenden
Kunden 2.240,
• die Anzahl der Zerfälle eines radioaktiven Präparats in [0, t] oder
• die Anzahl der Verkehrsunfälle in [0, t] an einer bestimmten Kreuzung
modellieren.
In diesen Beispielen ist die Qualität des Poisson’schen Modells“ gut, wenn
”
die jeweiligen äußeren Bedingungen zeitlich konstant sind, d.h., wenn keine bevorzugten Einkaufszeiten der Kunden bestehen, bzw. die Halbwertszeit des radioaktiven Präparats groß ist, bzw. keine zeitlichen Verkehrsschwankungen zu beobachten
sind 2.241.
Ein Markovprozeß X = (Xt )t≥0 mit Werten in N0 heißt Poissonprozeß mit
Intensität (oder Übergangsintensität oder Rate) λ > 0, falls 2.242
(2.82)
1
P[Xt+h = n + 1|Xt = n] = λ,
h
1
/ {n, n + 1}|Xt = n] = 0,
lim P[Xt+h ∈
hց0 h
lim
hց0
n ∈ N0 , t ≥ 0.
2.236Die Herleitung und Lösung eines solchen Systems gewöhnlicher Differentialgleichungen wird für den in Beispiel 2.56 eingeführten Poissonprozeß, einen speziellen Markovprozeß mit Werten in N0 , in Beispiel 2.57 erläutert. Für allgemeine Markovprozesse mit einem
höchstens abzählbaren Zustandsraum wird dieses Vorgehen zur Bestimmung der Übergangswahrscheinlichkeiten in Abschnitt 2.2.9 diskutiert.
2.237
Die nun diskutierten Prozesse besitzen somit eine zeitlich stationäre Dynamik.
2.238Vgl. (2.81). Es gilt also λ (s, s′ ) = λ(s, s′ ), t ≥ 0, s, s′ ∈ S, s 6= s′ .
t
2.239Diese anschauliche Beschreibung des Poissonprozesses wird durch (2.82) präzisiert.
2.240Für 0 ≤ s < t < ∞ modelliert in diesem Fall X − X die Anzahl der Kunden, die
t
s
in dem Zeitintervall (s, t] ankommen. Aus der zweiten der oben beschriebenen Eigenschaften des
Poissonprozesses folgt u.a. die Unabhängigkeit der Verteilung von Xt+h − Xs+h von h ≥ 0.
2.241Die Rate, mit der die zu zählenden Geschehnisse jeweils eintreten, muß zeitlich (nahezu) konstant sein. Falls die äußeren Bedingungen“ zeitlich langsam veränderlich sind, ist das
”
Poisson’sche Modell evtl. (zeitlich) lokal brauchbar.
2.242Da P[X
/ {n, n + 1}|Xt = n] = 1,
t+h = n|Xt = n] + P[Xt+h = n + 1|Xt = n] + P[Xt+h ∈
folgt aus (2.82) insbesondere auch limhց0 (1/h)(1 − P[Xt+h = n|Xt = n]) = λ, n ∈ N0 , t ≥ 0.
20. Oktober 2016
48
Durch die Beziehungen (2.82) wird im folgenden Beispiel 2.57 die Bestimmung
der Übergangswahrscheinlichkeiten des Poissonprozesses ermöglicht.
Beispiel 2.57 (Übergangswahrscheinlichkeiten des Poissonprozesses). Zur Bestimmung der Übergangswahrscheinlichkeiten Pt (k, l), k, l ∈ N0 , t ≥ 0, des in Beispiel 2.56 vorgestellten Poissonprozesses X = (Xt )t≥0 wird ein System gewöhnlicher
Differentialgleichungen aufgestellt und gelöst werden. Diese Differentialgleichungen
sind durch die Übergangsintensität λ 2.243 bestimmt.
(a) Berechnung von Pt (0, 0), t ≥ 0. Zunächst gilt 2.244
(2.83)
Pt+h (0, 0) = P[Xt+h = 0|X0 = 0]
=
2.245
P[Xt+h = 0, Xt = 0|X0 = 0]
=
2.246
=
2.248
P[Xt+h = 0|Xt = 0, X0 = 0] P[Xt = 0|X0 = 0]
|
{z
}
2.247
=
P[Xt+h = 0|Xt = 0]
Ph (0, 0)Pt (0, 0)
= (1 − P[Xh 6= 0|X0 = 0])Pt (0, 0),
|
{z
}
= 2.249 λh + o(h)
und damit
Pt+h (0, 0) − Pt (0, 0) = −λPt (0, 0)h + o(h),
bei h → 0.
Dividiert man beide Seiten durch h und betrachtet den Limes h ց 0 ergibt sich
(2.84a)
d
Pt (0, 0) = −λPt (0, 0).
dt
Mit der Anfangsbedingung
(2.84b)
P0 (0, 0) = 1
erhält man daher
(2.85)
Pt (0, 0) = exp(−λt),
t ≥ 0.
2.243Die Übergangsintensität λ wird durch (2.82) eingeführt. Das durch λ bestimmte System gewöhnlicher Differentialgleichungen zur Bestimmung der Übergangswahrscheinlichkeiten
ist durch (2.84a), (2.87a) und die Anfangbedingungen (2.84b), (2.87b) gegeben.
2.244In den folgenden Argumenten wird angenommen, daß die Markoveigenschaft (2.77)
des Poissonprozesses vorausgesetzt werden kann, daß nur Sprünge mit zugehöriger positiver
Übergangsrate, d.h., Sprünge der Größe +1 möglich sind und daß zwischen den Sprüngen die
Pfade des Poissonprozesses konstant sind.
2.245Da nur Sprünge der Größe +1 möglich sind, vgl. Fußnote 2.244, und somit unter der
Bedingung X0 = 0 aus Xt+h = 0 auch Xt = 0 folgt.
2.246
Man beachte:
P[Xt+h = 0, Xt = 0, X0 = 0] P[Xt = 0, X0 = 0]
·
P[Xt = 0, X0 = 0]
P[X0 = 0]
= P[Xt+h = 0|Xt = 0, X0 = 0]P[Xt = 0|X0 = 0].
P[Xt+h = 0, Xt = 0|X0 = 0] =
2.247
Wegen der Markoveigenschaft (2.77).
Da nur Sprünge mit positiver Sprungrate, d.h., mit der Größe +1 auftreten können, folgt
Pt+h (0, 0) = Ph (0, 0)Pt (0, 0) auch unmittelbar aus der Chapman-Kolmogorov-Gleichung (2.80).
2.249
Weil
2.248
P[Xh 6= 0|X0 = 0] = P[Xh = 1|X0 = 0] + P[Xh 6∈ {0, 1}|X0 = 0] = λh + o(h),
vgl. (2.82).
20. Oktober 2016
bei h → 0,
49
Der Zeitpunkt des ersten Sprungs aus dem Punkt 0 besitzt folglich eine Exponentialverteilung mit Parameter λ 2.250.
(b) Gewöhnliche Differentialgleichungen für Pt (0, k), t ≥ 0, k = 1, 2, . . . . Wie
in (2.83) wird zur Bestimmung von Pt+h (0, k) der Zustand des Poissonprozesses X
zur Zeit t als Hilfsgröße benutzt. Es gilt
(2.86)
Pt+h (0, k) =
2.251
+
Pt (0, k) Ph (k, k) +Pt (0, k − 1) Ph (k − 1, k)
|
{z
}
| {z }
= 2.252 1 − λh + o(h) = 2.252 λh + o(h)
k
X
l=2
und damit
Pt (0, k − l) Ph (k − l, k) ,
{z
}
|
= 2.252 o(h)
k = 1, 2, . . . ,
Pt+h (0, k) − Pt (0, k) = (−Pt (0, k) + Pt (0, k − 1))λh + o(h),
k = 1, 2, . . . .
Bei h ց 0 führen diese Beziehungen zu dem System von Differentialgleichungen
d
Pt (0, k) = −λPt (0, k) + λPt (0, k − 1),
dt
(2.87a)
k = 1, 2, . . . ,
die durch die Anfangsbedingungen
(2.87b)
P0 (0, k) = 0,
k = 1, 2, . . . ,
ergänzt werden.
(c) Lösung des Systems (2.87). Mit dem Ansatz
(2.88)
Qt (k) = Pt (0, k) exp(λt),
t ≥ 0, k ∈ N0 ,
führt (2.87a) zu
d
Qt (k) = λQt (k − 1),
dt
(2.89)
k = 1, 2, . . . .
Unter Berücksichtigung von 2.253 Qt (0) = 1, t ≥ 0, und 2.254 Q0 (k) = 0, k = 1, 2, . . . ,
folgt sukzessive
d
Qt (1) = λ,
dt
d
Qt (2) = λQt (1) = λ2 t,
dt
...
...
d.h.,
Qt (1) = λt,
d.h.,
Qt (2) =
λ2 t2
,
2
d.h.,
Qt (k) =
λk tk
,
k!
k = 3, 4, . . . , t ≥ 0.
2.250Sei T = inf{t ≥ 0 : X 6= 0}. Da nur Sprünge der Größe +1 möglich sind, gilt offensichtt
lich P[T > t|X0 = 0] = Pt (0, 0), t ≥ 0. Somit besitzt die unter X0 = 0 bedingte Verteilung von
T die Dichte t → (d/dt)P[T ≤ t|X0 = 0] = (d/dt)(1 − P[T > t|X0 = 0]) = λ exp(−λt) bzgl. des
Lebesguemaßes auf [0, ∞).
2.251Aufgrund der Chapman-Kolmogorov-Gleichung, vgl. (2.80), und weil nur Sprünge der
Größe +1 möglich sind.
2.252
Wegen (2.82), vgl. auch Fußnote 2.242.
2.253Wegen (2.85) und (2.88).
2.254Vgl. (2.87b) und (2.88).
20. Oktober 2016
50
Mit (2.85) und (2.88) erhält man nun
(2.90)
Pt (0, k) =
2.255
λk tk
exp(−λt),
k!
k ∈ N0 , t ≥ 0.
(d) Darstellung aller Übergangswahrscheinlichkeiten Pt (m, k), t ≥ 0, m, k ∈ N0 .
Aufgrund von (2.90) und wegen (2.82) 2.256 gilt

k−m
 (λt)
exp(−λt), k ≥ m,
(2.91)
Pt (m, k) = Pt (0, k − m) = (k − m)!

0,
k < m.
Daher besitzt die Anzahl der Sprünge eines Poissonprozesses mit Parameter λ in
einem Zeitintervall der Länge T eine Poisson-Verteilung mit Parameter λT .
Beispiel 2.58 (Geburts- und Todesprozesse). Zur Modellierung der Zeitentwicklung der Größe einer Population durch einen einfachen Markovprozeß X =
(Xt )t≥0 mit Zustandsraum S = N0 seien Geburtsraten βi > 0, i ∈ N0 , und Todesraten δi > 0, i ∈ N, gegeben. Nun können infinitesimale Übergangswahrscheinlichkeiten durch

2.257

βi , j = i + 1, i = 0, 1, 2, . . . ,
λ(i, j) = δi , j = i − 1, i = 1, 2, . . . ,


0, sonst,
definiert werden.
Unabhängigkeit“ zwischen den einzelnen Individuen 2.258 der Population kann
”
durch die Annahme, daß die Geburts- und Todesraten zur Populationsgröße proportional sind, zum Ausdruck gebracht werden. In diesem Fall ist βi = βi, i ∈ N,
bzw. δi = δi, i ∈ N, für β, δ > 0 2.259.
2.2.9. Vorwärts- und Rückwärtsgleichungen. In diesem Abschnitt 2.2.9
wird erläutert, wie für einen allgemeinen Markovprozeß in kontinuierlicher Zeit
mit diskretem Zustandsraum ausgehend von den zugehörigen infinitesimalen Übergangswahrscheinlichkeiten 2.260 mit Hilfe eines Systems gewöhnlicher Differentialgleichungen die Übergangswahrscheinlichkeiten bestimmt werden können. Insbesondere werden die Ausführungen in Beispiel 2.57 zur Berechnung der Übergangswahrscheinlichkeiten des Poissonprozesses verallgemeinert.
2.255Für k = 2, 3, . . . sei T = inf{t ≥ 0 : X = k} der Zeitpunkt des k-ten Sprungs des
t
k
Poissonprozesses (Xt )t≥0 mit X0 = 0. Da P[Tk > t] =
(2.87a) und (2.90) zu
Pk−1
l=0
Pt (0, l), t ≥ 0, und somit (2.84a),
d
P[Tk > t] = − λPt (0, k − 1) + λPt (0, k − 2) − λPt (0, k − 2) ± · · · − λPt (0, 0)
dt
λk tk−1
exp(−λt), t ≥ 0,
= − λPt (0, k − 1) = −
(k − 1)!
führen, hat die Verteilung von Tk die Dichte t → (d/dt)P[Tk ≤ t] = (d/dt)(1 − P[Tk > t]) =
λk tk−1 exp(−λt)/(k − 1)! bzgl. des Lebesguemaßes auf [0, ∞). Somit besitzt Tk eine GammaVerteilung mit den Parametern α = λ und r = k.
2.256(2.82) besagt insbesondere, daß die Verteilung der Anzahl der Sprünge in einem Zeitintervall von der Anzahl der vorangegangenen Sprünge unabhängig ist, und daß Sprünge mit
negativer Größe f.s. nicht vorkommen.
2.257β = λ(0, 1) ist die Rate, mit der die Einwanderung eines einzelnen Individuums in eine
0
schon ausgestorbene Population stattfindet.
2.258
D.h., das Fehlen einer Wechselwirkung.
2.259Im Unterschied zu den in diesem Beispiel vorgestellten Geburts- und Todesprozessen
sind beim Galton-Watson-Prozess, vgl. Beispiel 2.25, die verschiedenen Generationen strikt voneinander getrennt.
2.260Vgl. (2.81).
20. Oktober 2016
51
Die infinitesimalen Übergangswahrscheinlichkeiten werden in (2.81) als Grenzwerte eingeführt. Wie jetzt im zeitlich stationären Fall erläutert wird, ist die Existenz dieser Grenzwerte unter vernünftigen Bedingungen gesichert 2.261.
Die Größen Pt (s, s′ ), t > 0, s, s′ ∈ S, bilden eine standard Familie von Übergangswahrscheinlichkeiten, falls 2.262
(2.92a)
(2.92b)
X
(2.92c)
Pt (s, s′ ) ≥ 0, t > 0, s, s′ ∈ S,
X
Pt (s, s′ ) = 1, t > 0, s ∈ S,
s′ ∈S
Pt (s, s′ )Pu (s′ , s′′ ) = Pt+u (s, s′′ ),
s′ ∈S
t, u > 0, s, s′′ ∈ S,
und falls
die Funktionen (0, ∞) ∋ t → Pt (s, s′ ), s, s′ ∈ S,
(2.92d)
stetig sind mit lim Pt (s, s′ ) = δs,s′ , s, s′ ∈ S.
tց0
Es stellt sich heraus, daß die Gültigkeit der Bedingungen (2.92) für die Übergangswahrscheinlichkeiten eines Markovprozesses X = (Xt )t≥0 die Existenz der Übergangsintensitäten sicherstellt 2.263.
Satz 2.59. 2.264 Sei X = (Xt )t≥0 ein Markovprozeß mit Werten in einer
höchstens abzählbaren Menge S und einer standard Familie Pt , t > 0, von Übergangswahrscheinlichkeiten. Dann existiert 2.265
1
d
1 − Ph (s, s) = λ(s), s ∈ S,
(2.93a)
− Pt (s, s) = lim
hց0 h
dt
t=0
in [0, ∞]
(2.93b)
in [0, ∞)
2.266
. Außerdem existieren die Grenzwerte
Ph (s, s′ )
d
Pt (s, s′ ) = lim
= λ(s, s′ ),
hց0
dt
h
t=0
2.267
s, s′ ∈ S, s 6= s′ ,
.
Wenn die Übergangsraten bekannt sind 2.268, können üblicherweise die Übergangswahrscheinlichkeiten durch Lösen eines Systems gewöhnlicher Differentialgleichungen bestimmt werden 2.269.
2.261In [8], Chapter 14, Section 1, wird die nun behandelte Thematik ausführlicher dargestellt.
2.262Für ein festes t > 0 ist P nach (2.92a) und (2.92b) eine stochastische Matrix. Nach
t
(2.92c) erfüllen die Matrizen Pt , t > 0, die Chapman-Kolmogorov-Gleichung (2.80). Die letzte
Bedingung (2.92d) ist eine Regularitätsbedingung, die von den Übergangswahrscheinlichkeiten
vernünftiger Markovprozesse erwartet werden kann.
2.263Es ist bemerkenswert, daß in (2.92d) nur eine Stetigkeitseigenschaft gefordert wird. Andererseits sind in (2.81) oder Satz 2.59 die Übergangsintensitäten durch Ableitungen definiert.
2.264Vgl. [8], Chapter 14, Theorem 1.1 und Theorem 1.2.
2.265Die jeweils erste Gleichheit in den beiden Beziehungen (2.93) wird plausibel, wenn
(2.92d), d.h. P0 (s, s′ ) = limtց0 Pt (s, s′ ) = δs,s′ , s, s′ ∈ S, berücksichtigt wird.
2.266Der Grenzwert λ(s) = ∞ kommt genau bei solchen Zuständen s ∈ S vor, die sofort,
nachdem sie durch den Prozeß X erreicht wurden, auch schon wieder verlassen werden.
2.267Insbesondere ist λ(s, s′ ) ∞, falls s 6= s′ .
2.268
In vielen Anwendungen ergeben sich die infinitesimalen Übergangswahrscheinlichkeiten
als Annahmen bei der Modellbildung oder aus intuitiven Überlegungen, vgl. z.B. Beispiel 2.58.
2.269
Durch die folgenden Sätze 2.60 und 2.61 wird demonstriert, daß zur Bestimmung der
Übergangswahrscheinlichkeiten i. allg. zwei unterschiedliche Systeme gewöhnlicher Differentialgleichungen zur Verfügung stehen.
20. Oktober 2016
52
Ein Markovprozeß X wie in Satz 2.59 heißt konservativ, wenn die Raten λ(s),
s ∈ S, und λ(s, s′ ), s, s′ ∈ S, s 6= s′ , die Beziehung
X
λ(s, s′ ) = λ(s) < ∞, s ∈ S,
(2.94)
s′ ∈S
s′ 6=s
erfüllen
2.270
.
Satz 2.60 (Kolmogorovsche Rückwärtsgleichungen). 2.271 Sei X = (Xt )t≥0
ein Markovprozeß wie in Satz 2.59, wobei X zusätzlich konservativ sei 2.272. Dann
erfüllen die Übergangwahrscheinlichkeiten die Rückwärtsgleichungen 2.273
X
d
(2.95)
λ(s, s′′ )Pt (s′′ , s′ ) − λ(s)Pt (s, s′ )
Pt (s, s′ ) =
dt
′′
s ∈S
s′′ 6=s
=
2.274
X
s′′ ∈S
′′
s 6=s
λ(s, s′′ ) Pt (s′′ , s′ ) − Pt (s, s′ ) ,
s, s′ ∈ S, t ≥ 0.
(2.95) heißen Rückwärtsgleichungen, weil auf der rechten Seite die Übergangsintensitäten λ(s, s′′ ), bzw. λ(s), an die ersten (zeitlich rückwärtigen“) Argumente
”
s′′ , bzw. s, der Übergangswahrscheinlichkeiten gekoppelt“ sind.
”
In dem nun folgenden Resultat wird ein zu (2.95) alternatives System gewöhnlicher Differentialgleichungen vorgestellt. Bei diesem System sind an den entsprechenden Stellen die Übergangsraten an die zweiten (zeitlich später liegenden) Argumente der Übergangswahrscheinlichkeiten gekoppelt“.
”
Satz 2.61 (Kolmogorovsche Vorwärtsgleichungen). 2.275 Sei X = (Xt )t≥0 ein
Markovprozeß wie in Satz 2.59, wobei X zusätzlich konservativ sei 2.276. Außerdem
sei die Familie Pt (s, s′ ), t > 0, s, s′ ∈ S, der Übergangswahrscheinlichkeiten von X
gleichmäßig stetig, d.h., es gelte 2.277
(2.96)
lim Pt (s, s) = 1
tց0
gleichmäßig in s ∈ S.
2.270Aufgrund der formalen, aus Satz 2.59 folgenden Beziehung
(∗)
λ(s) −
X
λ(s, s′ ) = lim
s′ ∈S
s′ 6=s
hց0
≃ lim
hց0
X
´
Ph (s, s′ )
1`
1 − Ph (s, s) −
lim
hց0
h
h
′
s ∈S
s′ 6=s
!
X
1
1 − Ph (s, s) −
Ph (s, s′ ) = 0
h
′
P
s ∈S
s′ 6=s
ist (2.94) plausibel. In (∗) werden limhց0 . . . und s′ ∈S, s′ 6=s . . . vertauscht. Außerdem wird die
Eigenschaft (2.92b) einer standard Familie von Übergangswahrscheinlichkeiten benutzt.
2.271
Vgl. [8], Chapter 14, Section 2.
2.272Vgl. (2.94).
2.273Für eine formale Herleitung von (2.95) kann in der Beziehung
X
Pt+h (s, s′ ) − Pt (s, s′ ) =
Ph (s, s′′ )Pt (s′′ , s′ ) − Pt (s, s′ )
s′′ ∈S
=
X
s′′ ∈S
′′
Ph (s, s′′ )Pt (s′′ , s′ ) + (Ph (s, s) − 1)Pt (s, s′ ),
s, s′ ∈ S, t ≥ 0, h > 0,
s 6=s
die sich mit der Chapman-Kolmogorov-Gleichung (2.80) ergibt, nach einer Division beider Seiten
durch h der Grenzfall h ց 0 betrachtet werden. Hierbei muß Satz 2.59 berücksichtigt werden.
2.274Wegen (2.94).
2.275Vgl. [4], Section 6.10, Theorem (6).
2.276Vgl. (2.94).
2.277Offensichtlich ist durch (2.96) eine Verschärfung von (2.92d) gegeben.
20. Oktober 2016
53
Dann ist Pt (s, s′ ), t > 0, s, s′ ∈ S, die eindeutige Lösung der Vorwärtsgleichungen 2.278
X
d
(2.97)
Pt (s, s′′ )λ(s′′ , s′ ) − Pt (s, s′ )λ(s′ )
Pt (s, s′ ) =
dt
′′
s ∈S
s′′ 6=s′
=
2.279
X
s′′ ∈S
s′′ 6=s′
Pt (s, s′′ )λ(s′′ , s′ )−Pt (s, s′ )λ(s′ , s′′ ) , s, s′ ∈ S, t ≥ 0.
Wenn in einer konkreten Anwendung die Übergangsintensitäten 2.280 λ(s, s′ ),
s, s ∈ S, s 6= s′ , so gegeben sind, daß mit Hilfe der Rückwärtsgleichung (2.95) oder
der Vorwärtsgleichung (2.97) die Übergangswahrscheinlichkeiten eindeutig berechnet werden können 2.281, ist dank Satz 2.54 für jede Anfangsverteilung der zugehörige Markovprozeß X = (Xt )t≥0 , d.h., dessen Verteilung, eindeutig bestimmt.
′
Beispiel 2.62. Für den in Beispiel 2.56 eingeführten Poissonprozeß ist
(
λ, s′ = s + 1,
′
λ(s, s ) =
s ∈ N0 .
0, sonst,
Daher lauten die Rückwärtsgleichungen
2.283
(2.98a)
d
Pt (k, l) = λPt (k + 1, l) − λPt (k, l),
dt
und die Vorwärtsgleichungen 2.284
k, l ∈ N0 , k ≤ l, t ≥ 0,
d
Pt (k, l) = Pt (k, l − 1)λ − Pt (k, l)λ,
dt
wobei zusätzlich 2.285
k, l ∈ N0 , k ≤ l, t ≥ 0,
(2.98b)
(2.98c)
Pt (k, l) = 0,
2.282
k, l ∈ N0 , k > l, t ≥ 0,
zu berücksichtigen ist.
Die zeitliche Entwicklung des Poissonprozesses ist insbesondere auch 2.286 räumlich homogen, d.h.,
Pt (k, l) = Pt (0, l − k),
k, l ∈ N0 , k ≤ l, t ≥ 0.
2.278In einer an die Überlegungen in Fußnote 2.273 erinnernden, formalen Herleitung von
(2.97) kann in der Beziehung
X
Pt+h (s, s′ )−Pt (s, s′ ) =
Pt (s, s′′ )Ph (s′′ , s′ ) − Pt (s, s′ )
s′′ ∈S
=
X
Pt (s, s′′ )Ph (s′′ , s′ ) + Pt (s, s′ )(Ph (s′ , s′ )−1),
s′′ ∈S
′′
′
s, s′ ∈ S, t ≥ 0, h > 0,
s 6=s
die sich mit der Chapman-Kolmogorov-Gleichung (2.80) ergibt, nach einer Division beider Seiten
durch h der Grenzfall h ց 0 betrachtet werden. Insbesondere ist auch Satz 2.59 zu berücksichtigen.
2.279Wegen (2.94).
2.280Für konservative Prozesse X können die Raten λ(s), s ∈ S, mit Hilfe von (2.94) berechnet
werden.
2.281D.h., die Rückwärtsgleichung, bzw. die Vorwärtsgleichung muß für die Anfangsbedingung
P0 (s, s′ ) = δs,s′ , s, s′ ∈ S, eine eindeutige Lösung Pt (s, s′ ), s, s′ ∈ S, t ≥ 0, besitzen.
2.282Vgl. (2.82).
2.283Vgl. Satz 2.60.
2.284Vgl. Satz 2.61.
2.285Es ist zu beachten, daß der Poissonprozeß nur Sprünge der Größe +1 besitzt.
2.286Vgl. (2.91).
20. Oktober 2016
54
Daher reduzieren sich sowohl die Rückwärtsgleichungen 2.287 als auch die Vorwärtsgleichungen 2.288 auf das in Beispiel 2.57 hergeleitete System (2.84a), (2.87a), d.h.
auf 2.289
(
−λPt (0, m),
m = 0,
d
Pt (0, m) =
t ≥ 0.
(2.99)
dt
λPt (0, m − 1) − λPt (0, m), m = 1, 2, . . . ,
Die Vorgehensweise bei der Ableitung von (2.84a), (2.87a) entspricht allerdings der
Argumentation bei der Begründung der Vorwärtsgleichungen 2.290.
Beispiel 2.63 (Geburtsprozeß). Für den in Beispiel 2.58 eingeführten Prozeß
X = (Xt )t≥0 sei δi = 0, i = 1, 2, . . . , angenommen 2.291. Für die in Satz 2.59
beschriebenen Raten gilt somit
(
βi , j = i + 1, i ∈ N0 ,
λ(i, j) =
0, sonst,
λ(i) = βi ,
und daher folgt insbesondere
(2.100)
i ∈ N0 ,
2.292
Pt (i, j) = 0,
i, j ∈ N0 , i > j, t ≥ 0.
Außerdem lauten die Rückwärtsgleichungen 2.293
(2.101)
d
Pt (i, j) = βi Pt (i + 1, j) − βi Pt (i, j),
dt
i, j ∈ N0 , i ≤ j, t ≥ 0,
und die Vorwärtsgleichungen 2.294
d
Pt (i, j) = Pt (i, j − 1)βj−1 − Pt (i, j)βj , i, j ∈ N0 , i ≤ j, t ≥ 0.
dt
Zur Lösung der Vorwärtsgleichungen (2.102) kann ein iteratives Verfahren angewandt werden. Hierbei ergibt sich für i = j ∈ N0 im ersten Schritt
(2.102)
d
Pt (i, i) = −Pt (i, i)βi ,
dt
d.h., mit P0 (i, i) = 1, i ∈ N0 , folgt
(2.103)
(2.104)
Pt (i, i) = exp(−βi t),
i ∈ N0 , t ≥ 0,
i ∈ N0 , t ≥ 0.
Im nächsten Schritt für j = i + 1, i ∈ N0 , führt das Einsetzen der Lösung (2.104)
von (2.103) in (2.102) zu
(2.105)
d
Pt (i, i + 1) = Pt (i, i)βi − Pt (i, i + 1)βi+1
dt
= exp(−βi t)βi − Pt (i, i + 1)βi+1 ,
i ∈ N0 , t ≥ 0,
2.287Vgl. (2.98a), (2.98c).
2.288Vgl. (2.98b), (2.98c).
2.289(2.99) ergibt sich aus (2.98a), bzw. aus (2.98b), wenn P (i, j) = P (0, j − i), i, j ∈ N ,
t
t
0
t ≥ 0, vgl. (2.91), und außerdem (2.98c) berücksichtigt wird. Weiterhin wird l − k = m gesetzt.
2.290Wie bei der Begründung der Vorwärtsgleichungen, vgl. Fußnote 2.278, wird sowohl bei
der Herleitung von (2.84a), vgl. (2.83), als auch bei der Herleitung von (2.87a), vgl. (2.86), der
Zustand Xt des Poissonprozesses zum Zeitpunkt t als Hilfsgröße bei der Bestimmung des Zustandes
Xt+h zum Zeitpunkt t + h herangezogen.
2.291Somit liegt ein reiner Geburtsprozeß vor.
2.292Da die Todesraten δ , i = 1, 2, . . . , verschwinden, kann X mit wachsendem t nur
t
i
anwachsen.
2.293Vgl. Satz 2.60. Für i = j ist P (i + 1, i) = 0 zu beachten, vgl. (2.100).
t
2.294Vgl. Satz 2.61. Für i = j ist P (i, i − 1) = 0 zu beachten, vgl. (2.100).
t
20. Oktober 2016
55
wobei P0 (i, i + 1) = 0, i ∈ N0 . Die Lösung von (2.105) kann mit 2.295
Z t
(2.106) Pt (i, i + 1) = exp(−βi+1 t)
dv βi exp(−βi v) exp(βi+1 v)
0

t

1

exp((β
−
β
)v)
β
exp(−β
t)
i+1
i
i
i+1


βi+1 − βi
v=0
βi
=
=
exp(−β
t)
−
exp(−β
t)
,
falls βi 6= βi+1 ,
i
i+1

βi+1 − βi


β exp(−β t)t,
falls βi = βi+1 ,
i
i
i ∈ N0 , t ≥ 0,
explizit angegeben werden.
Nach der Bestimmung der Lösung (Pt (i, i+1))t≥0 , i ∈ N0 , von (2.105) kann diese in (2.102) mit j = i + 2 eingesetzt werden. Eine explizite Lösung der resultierenden gewöhnlichen Differentialgleichung 2.296 ist möglich und liefert (Pt (i, i + 2))t≥0 ,
i ∈ N0 .
Durch Iteration des hier beschriebenen Verfahrens, d.h.,
• Lösen von (2.102) mit j = i + k,
• Einsetzen der Lösung in (2.102) mit j = i + k + 1,
für k = 2, 3, . . . , i ∈ N0 , ergibt sich schließlich die vollständige Lösung (Pt (i, j))t≥0 ,
i, j ∈ N0 , der Vorwärtsgleichungen (2.102) 2.297.
2.2.10. Simulation eines Markovprozesses mit einem diskreten Zustandsraum. Sei X = (Xt )t≥0 ein konservativer Markovprozeß mit einem diskreten Zustandsraum S 2.298. Das zeitliche Verhalten von X zeichnet sich u.a. durch
folgende Eigenschaften aus:
• Sei Xt = s für ein t ≥ 0 und ein s ∈ S. Die verbleibende Aufenthaltszeit
T = inf{w ≥ t : Xw 6= s} − t in s besitzt eine Exponentialverteilung mit
Parameter λ(s) 2.299.
2.295 (2.105) ist eine inhomogene lineare Differentialgleichung, die etwas allgemeiner die
Gestalt
d
xt = αt xt + γt ,
dt
x0 = ξ,
(∗1 )
hat. Die Lösung
(∗2a )
„
Z
xt = exp(Gt ) ξ +
t
0
wobei
(∗2b )
Gv =
Z
t ≥ 0,
«
dv γv exp(−Gv ) ,
t ≥ 0,
v
du αu ,
0
v ≥ 0,
von (∗1 ) kann mit der Methode der Variation der Konstanten bestimmt werden, vgl. [13], Kapitel I, §2, II. Im hier betrachteten Fall (2.105) für ein festes i ∈ N0 ist
xv = Pv (i, i + 1), αv = −βi+1 , γv = βi exp(−βi v),
ξ = 0,
v ≥ 0,
in (∗1 ), bzw. in (∗2 ) zu setzen.
2.296Diese Differentialgleichung ist wie schon (2.105) eine inhomogene lineare Differentialgleichung, vgl. Fußnote 2.295.
2.297Zusätzlich ist noch (2.100) zu beachten.
2.298Damit wird insbesondere P
′
s′ ∈S,s′ 6=s λ(s, s ) = λ(s) < ∞, s ∈ S, gefordert, vgl. (2.94).
2.299Zur Begründung können die Argumente in Beispiel 2.57(a) leicht modifiziert übernommen werden. In einer alternativen Vorgehensweise kann zunächst
P[Xt+2−n u = s, Xt+2·2−n u = s, . . . , Xt+(2n −1)·2−n u = s, Xt+u = s|Xt = s]
=
P[Xt = s, Xt+2−n u = s, Xt+2·2−n u = s, . . . , Xt+u = s]
P[Xt = s]
20. Oktober 2016
56
• Nach dem Verlassen von s springt X zu einem Zustand s′ ∈ S \ {s} mit
Wahrscheinlichkeit λ(s, s′ )/λ(s) 2.300 2.301.
Eine Computersimulation von X kann somit auf den infinitesimalen Übergangswahrscheinlichkeiten λ(s), λ(s, s′ ), s, s′ ∈ S, s 6= s′ , aufgebaut werden. Bei einem
gegebenen Startpunkt X0 = s0 bietet sich folgendes Verfahren an:
• Sei T0 eine nach der Exponentialverteilung mit Parameter λ(s0 ) verteilte
Zufallsvariable 2.302. Setze dann Xt = s0 , 0 ≤ t < T0 .
• Wähle nun s1 ∈ S \ {s0 } unabhängig von T0 gemäß der diskreten Wahrscheinlichkeitsverteilung λ(s0 , s1 )/λ(s0 ), s1 ∈ S \ {s0 }.
• Sei T1 eine nach der Exponentialverteilung mit Parameter λ(s1 ) verteilte
und von T0 und der vorhergehenden Wahl von s1 unabhängige Zufallsvariable. Setze Xt = s1 , T0 ≤ t < T0 + T1 .
• Wähle s2 ∈ S \ {s1 } gemäß der diskreten Verteilung λ(s1 , s2 )/λ(s1 ), s2 ∈
S \ {s1 } 2.303.
• ...
2.3. Erneuerungsprozesse
Ein Erneuerungsprozeß gibt in jedem Zeitpunkt an, wie oft ein immer wiederkehrendes Phänomen bisher schon beobachtet worden ist. Zu diesem Phänomen
n
= P2−n u (s, s)2
−n
= (1 − λ(s)2
(aufgrund von (2.79))
n
u + o(2−n u))2
(wegen (2.93a)),
t ≥ 0, u > 0, s ∈ S, n ∈ N,
festgehalten werden. Nun folgt
P[T > u|Xt = s] = P[Xt+v = s, 0 ≤ v ≤ u|Xt = s]
(∗)
= lim P[Xt+2−n u = s, Xt+2·2−n u = s, . . . , Xt+(2n −1)·2−n u = s, Xt+u = s|Xt = s]
n→∞
n
= lim (1 − λ(s)2−n u + o(2−n u))2 = exp(−λ(s)u),
n→∞
t ≥ 0, u > 0, s ∈ S,
d.h., die verbleibende Aufenthaltszeit T in s besitzt die Verteilung mit der Dichte
d
d
P[T ≤ u|Xt = s] =
(1 − P[T > u|Xt = s]) = λ(s) exp(−λ(s)u), u > 0.
du
du
Somit ist T exponentiell mit Parameter λ(s) verteilt.
In der obigen Argumentation folgt (∗) aus der Tatsache, daß für die hier betrachteten Markovprozesse o.E.d.A. angenommen werden kann, daß ihre Pfade rechtsstetig mit linksseitigen Grenzwerten sind, vgl. . . . , und aus der σ-Stetigkeit von oben von Wahrscheinlichkeitsmaßen, vgl.
... .
2.300Da X als konservativ vorausgesetzt wird, definiert λ(s, s′ )/λ(s), s′ ∈ S \ {s}, für alle
s ∈ S ein Wahrscheinlichkeitsmaß auf S \ {s}.
2.301
Zur Begründung beachte man, daß für s, s′ ∈ S, s 6= s′ und u ≥ 0 gilt:
u→
P[Xu+h = s′ |Xu+h 6= s, Xu = s]
P[Xu+h = s′ , Xu = s]
(da {Xu+h = s′ , Xu+h 6= s, Xu = s} = {Xu+h = s′ , Xu = s})
P[Xu+h 6= s, Xu = s]
P[Xu = s]P[Xu+h = s′ |Xu = s]
=
P[Xu = s]P[Xu+h 6= s|Xu = s]
|
{z
}
= 1 − P[Xu+h = s|Xu = s]
=
λ(s, s′ )h + o(h)
λ(s)h + o(h)
′
h→0 λ(s, s )
→
.
λ(s)
=
(nach Satz 2.59)
2.302Verfahren zur Simulation von Zufallsvariablen werden in [5], Abschnitt 10.2 beschrieben.
2.303Natürlich soll die Wahl von s unabhängig von T , T und der Wahl von s erfolgen.
2
0
1
1
20. Oktober 2016
57
wird hierbei angenommen, daß bei jedem Eintreffen das bisherige Geschehen auf
die Zukunft keinen Einfluß hat.
Für eine präzise Beschreibung eines Erneuerungsprozesses sei zunächst Tk , k ∈
N, eine Folge von i.i.d. Zufallsvariablen mit Werten in N0 2.304. Weiterhin sei Sn ,
n ∈ N0 , mit
n
X
T k , n ∈ N0 ,
(2.107)
Sn =
k=1
die zugeordnete Folge der Partialsummen. Nun kann durch
(2.108)
Nm = sup{n ∈ N0 : Sn ≤ m},
m ∈ N0 ,
ein Erneuerungsprozeß N = (Nm )m∈N0 definiert werden
2.305
.
Beispiel 2.64. Sei X = (Xn )n∈N0 eine Markovkette mit Zustandsraum S und
s ∈ S. Unter der Annahme X0 = s sei
(
0,
n = 0,
Sn =
inf{k ∈ N0 : k > Sn−1 , Xk = s}, n = 1, 2, . . . ,
d.h., der Prozeß S = (Sn )n∈N0 beschreibt die Zeitpunkte, an denen der Prozeß X
nach s zurückkehrt. Zur Modellierung der jeweiligen Dauer der Abwesenheit vom
Zustand s steht nun der Prozeß T = (Tk )k∈N mit Tk = Sk − Sk−1 , k ∈ N, zur
2.306
Verfügung. Aufgrund der Markoveigenschaft
sind die Zufallsvariablen
Pn von X
Tk , k ∈ N, i.i.d. Offensichtlich ist Sn = k=1 Tk , n ∈ N0 . Somit kann durch (2.108)
ein X zugeordneter Erneuerungsprozeß N = (Nm )m∈N0 eingeführt werden. Für
m ∈ N0 beschreibt die Zufallsvariable Nm wie oft X bis zum Zeitpunkt m nach s
zurückgekehrt ist.
Ein Anliegen der Erneuerungstheorie ist beispielsweise die Untersuchung der
Erneuerungsfunktion φ = (φm )m∈N0 mit
(2.109)
φm = E[Nm ],
Hierbei soll die Verteilung (ar )r∈N0 von
2.307
m ∈ N0 .
T1 als bekannt vorausgesetzt werden.
Beispiel 2.65. Die Lebensdauer T einer Glühbirne habe die Verteilung ar =
P[T = r], r ∈ N0 . Nach ihrem Ausfall werde eine Glühbirne durch eine neue
vom gleichen Typ ersetzt. Bei der Modellierung der jeweiligen Lebensdauer der
verschiedenen eingesetzten Glühbirnen ergibt sich somit eine Folge Tk , k ∈ N, von
i.i.d. Zufallsvariablen mit der Verteilung (ar )r∈N0 . Definiert man nun gemäß (2.107)
und (2.108) zunächst einen Prozeß S = (Sn )n∈N0 der Partialsummen von Tk , k ∈
N, und anschließend einen Erneuerungsprozeß N = (Nm )m∈N0 , so ist beschreibt
für m ∈ N0 die Zufallsvariable Nm die Anzahl der bis zur Zeit m ausgefallenen
Glühbirnen.
Da
m
[
{Nm = k} = 2.308
{T1 = l, Nm = k}, k = 1, 2, . . . , m = 0, 1, 2, . . . ,
l=0
2.304Die Zufallsvariablen T , k ∈ N, modellieren beispielsweise die Lebensdauer eines technik
schen Geräts, das nach einem Ausfall sofort durch ein gleichartiges Produkt ersetzt wird.
2.305Im Zusammenhang des in Fußnote 2.304 angesprochenen Beispiels beschreibt für ein
n ∈ N0 die Zufallsvariable Sn den Zeitpunkt, an dem zum n-ten mal das technische Gerät ersetzt
wird, und Nm die Anzahl der technischen Geräte, die bis zum Zeitpunkt m schon ausgefallen sind
und dann ersetzt wurden.
2.306Vgl. (2.26). Man beachte hier auch, daß angenommen wird, daß X stationäre Übergangswahrscheinlichkeiten hat.
2.307D.h., a = P[T = r], r ∈ N .
r
1
0
20. Oktober 2016
58
eine disjunkte Zerlegung ist, folgt
(2.110)
P[Nm = k] =
m
X
P[T1 = l, Nm = k]
l=0
=
m
X
l=0
Nun ist
P[T1 = l] P[Nm = k|T1 = l], k = 1, 2, . . . , m = 0, 1, 2, . . . .
{z
}
| {z } |
= al
= 2.309 P[Nm−l = k − 1]
∞
X
(2.111a)
kP[Nm = k] = E[Nm ],
m = 0, 1, 2, . . . ,
k=1
und
(2.111b)
∞
m
X
X
k
al P[Nm−l = k − 1]
k=1
=
l=0
2.310
m
X
∞
X
al
l=0
k=1
(k − 1)P[Nm−l
|
= k − 1] +1 ,
{z
= E[Nm−l ]
m = 0, 1, 2, . . . .
}
Aufgrund von (2.110) und (2.111) erfüllt φ = (φm )m∈N0 mit φm = E[Nm ], m =
0, 1, 2, . . . , die Beziehung
(2.112a)
φm =
m
X
al φm−l + bm ,
m = 0, 1, 2, . . . ,
l=0
wobei
(2.112b)
bm =
m
X
al ,
m = 0, 1, 2, . . . .
l=0
Zur Bestimmung von φm = E[Nm ], m = 0, 1, 2, . . . , ist (2.112) zu lösen
2.311
.
(2.112) ist ein Spezialfall der im folgenden Satz 2.66 auf ihre Asymptotik untersuchten Erneuerungsgleichung.
2.312
Satz 2.66 (Erneuerungssatz).
Seien
P ak , k ∈ Z, undPbk , k ∈ Z, gegeP
a
=
1,
ben,
wobei
a
≥
0,
k
∈
Z,
k
k∈Z kak > 0 und
k∈Z |k|ak < ∞,
k∈Z k
P
|b
|
<
∞.
Außerdem
sei
ggT({k
∈
Z
:
a
>
0})
=
1.
k
k∈Z k
Falls die Erneuerungsgleichung 2.313
(2.113)
un −
∞
X
ak un−k = bn ,
k=−∞
n ∈ Z,
2.308Wenn N = k, d.h., wenn k Glühbirnen bis zum Zeitpunkt m ausfallen, versagt die erste
m
Glühbirne in genau einem der Zeitpunkte l = 0, 1, . . . , m, d.h., T1 = l für genau ein l = 0, 1, . . . , m.
2.309Das Ereignis {T = l} tritt ein, wenn zum Zeitpunkt l die erste Glühbirne ausfällt und
1
durch eine neue ersetzt wird. Falls dieses Ereignis eingetroffen ist, müssen, damit das Ereignis
{Nm = k} geschieht, in dem Zeitintervall zwischen den Zeitpunkten l und m noch k − 1 weitere
Glühbirnen ausfallen.
P∞
P∞
2.310Da P∞ P[N
m−l = k − 1] =
r=0 P[Nm−l = r] = 1 und
k=1 (k − 1)P[Nm−l =
P∞ k=1
k − 1] = r=0 rP[Nm−l = r] = E[Nm−l ].
2.311Insbesondere ist die Folge φ , m ∈ N , durch a , r ∈ N , und b , r ∈ N , darzustellen.
m
r
r
0
0
0
2.312
Vgl. [7], Chapter 3, Theorem 1.1.
2.313Eine andere Scheibweise für (2.113) ist u − a ∗ u = b. Hierbei bezeichnet ∗“ die Faltung.
”
Außerdem entspricht u (a, b) der Folge uk , k ∈ Z (ak , k ∈ Z, bzw. bk , k ∈ Z).
20. Oktober 2016
59
eine beschränkte, reellwertige Lösung un , n ∈ Z, besitzt, so existieren
lim un
n→−∞
und
lim un .
n→+∞
Falls limn→−∞ un = 0, so gilt
P∞
bk
P
.
(2.114)
lim un = ∞k=−∞
n→+∞
ka
k
k=−∞
P
(2.114) bleibt auch im Fall k∈Z kak = ∞ gültig, falls die rechte Seite als 0 interpretiert wird.
In dem wichtigen Spezialfall mit
(2.115)
ak = bk = uk = 0, k = −1, −2, . . . ,
2.314 2.315
lautet die Erneuerungsgleichung
n
X
(2.116)
un −
ak un−k = bn ,
und bk ≥ 0, k = 0, 1, 2 . . . ,
n = 0, 1, 2, . . . .
k=0
Beispiel 2.67 (Beweis von (2.54a)). Infolge der Irreduzibilität von X gelten
die folgenden Argumente gleichzeitig für alle s ∈ S 2.316.
Für ein festes s ∈ S ist aufgrund von (2.55) durch un = P n (s, s), n = 0, 1, 2, . . . ,
eine beschränkte Lösung von (2.116) und damit auch von (2.113) gegeben 2.317.
Hierbei ist an = q n (s, s), n = 0, 1, 2, . . . , und bn = δn,0 , n = 0, 1, 2, . . . .
Die Voraussetzungen von Satz 2.66 sind in derPhier betrachteten Situation
∞
erfüllt. Aus der Rekurrenz von X folgt insbesondere n=0 q n (s, s) = 1. Weiterhin
impliziert die Aperiodizität von X zunächst ggT{n ∈ N : P n (s, P
s) > 0} = 1 und an∞
schließend 2.318 ggT{n ∈ N : q n (s, s) > 0} = 1. Die Möglichkeit k=0 kq k (s, s) = ∞
kann allerdings nicht ausgeschlossen werden.
Somit 2.319 führt (2.114) zu (2.54a), d.h. zu 2.320
X
−1
∞
n
k
lim P (s, s) =
kq (s, s)
.
n→∞
k=0
2.314Vgl. (2.112). Übrigens liefert Satz 2.66 für die Lösung φ = (φ )
m m∈N0 von (2.112) mit
φm = E[Nm ], m = 0, 1, 2, . . . , keine Aussage, da offensichtlich φ nicht beschränkt ist.
2.315
Für den Spezialfall (2.115), (2.116) wird Satz 2.66 in [7], Chapter 3, Section 2, bewiesen.
2.316Vgl. Satz 2.30 und Korollar 2.33.
2.317Man beachte, daß im vorliegenden Fall (2.115) zutrifft.
2.318Wäre ggT{n ∈ N : q n (s, s) > 0} = d∗ > 1, dann könnte offensichtlich P n (s, s) nur dann
strikt positiv sein, wenn n ein Vielfaches von d∗ ist, d.h., wenn X periodisch ist.
2.319Man beachte, daß in der hier betrachteten Situation offensichtlich lim
n→−∞ un = 0 gilt.
P
P∞
2.320
Hier wird u.a. ∞
k=0 bk =
k=0 δk,0 = 1 berücksichtigt.
20. Oktober 2016
KAPITEL 3
Simulation von Zufallsvariablen
Typischerweise sind realitätsnahe wahrscheinlichkeitstheoretische Modelle zufallsbeeinflußter Phänomene des menschlichen Umfeldes so kompliziert, daß exakte
Berechnungen unmöglich sind. Zur Überprüfung der Gültigkeit der Modelle und
auch zur Gewinnung von Vorhersagen wird dann oft auf deren Computersimulation zurückgegriffen 3.1.
Zur Erstellung guter Computerimplementationen wahrscheinlichkeitstheoretischer Modelle ist es offensichtlich wesentlich, daß auf eine zuverlässige Weise Zufallsvariablen mit einer vorgegebenen Verteilung simuliert werden können. Ein grundlegendes Problem ist hierbei die Simulation einer Folge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen 3.2.
3.1. Erzeugung von Pseudozufallszahlen in [0, 1]
Ein erster, naheliegender Ansatz besteht darin, ein als zufällig“ erachtetes
”
physikalisches Phänomen 3.3 geeignet zu verarbeiten 3.4. Auf diese Weise können
wahre“ Zufallszahlen gewonnen werden 3.5.
”
Eine bequemere Methode ist die Verwendung von sog. Pseudozufallszahlen.
Darunter versteht man Zahlenfolgen, die durch spezielle, i. allg. rekursive Algorithmen berechnet werden und somit völlig deterministisch sind, die jedoch aufgrund
ihrer Komplexität als zufällig erscheinen 3.6.
Beispiel 3.1 (Lineare Kongruenzmethode). Ein bekanntes Verfahren ist die
lineare Kongruenzmethode 3.7. Zu vorgegebenen Parametern m ∈ N, a = 1, . . . , m −
1, c = 0, 1, . . . , m − 1 und einen Startwert x0 = 0, 1, . . . , m − 1 betrachtet man
3.1Zunächst kann ein mathematisches Modell dann als brauchbar betrachtet werden, wenn
Beobachtungen der realen Phänomene im Rahmen von Computersimulationen reproduziert werden können. In einem solchen Fall können nun weitere Computersimulationen benutzt werden, um
evtl. teure Experimente zu ersetzen oder auch um Vorhersagen über zukünftige Geschehnisse zu
treffen.
3.2Wie in Abschnitt 3.2 noch demonstriert werden wird, können aus derartigen Zufallsvariablen solche mit anderen Verteilungen mit Hilfe geeigneter Transformationen gewonnen werden.
3.3Man denke z.B. an thermisches Rauschen, radioaktiven Zerfall oder quantenoptische
Prozesse.
3.4In solchen Fällen spricht man von Hardware-basierten Zufallsgeneratoren. Wenn auf diese
Weise Zufallszahlen durch ein separates Gerät außerhalb eines Computers erzeugt werden, müssen
sie diesem über eine geeignete Schnittstelle zugeführt werden.
3.5Voraussetzung ist natürlich, daß das zugrundeliegende physikalische Phänomen in der Tat
zufällig“ ist, d.h. sich auf eine nichtvorhersehbare Weise verhält. Evtl. müssen die ermittelten
”
Zufallszahlen“ auch noch durch geeignete Verfahren aufbereitet werden, damit sie auch wirklich
”
unabhängige, auf [0, 1] gleichverteilte Zufallsvariablen nachbilden.
3.6
Ein zufälliges Erscheinungsbild“ einer Zahlenfolge kann mit geeigneten statistischen Tests
”
geprüft werden. Eine aktuelle Familie von Tests wurde insbesondere unter dem Namen DieHarder von R. G. Brown (http://www.phy.duke.edu/~rgb/General/rand rate.php) entwickelt.
Beispiel eines Tests
3.7
Vgl. z.B. [5], Abschnitt 10.2.
61
62
zunächst die Folge xn , n ∈ N0 , mit
(3.1)
xn+1 = (axn + c) mod m,
n = 0, 1, 2, . . . ,
und bildet diese anschließend mit un = xn /m, n = 0, 1, 2, . . . , in das Intervall
[0, 1] ab. Wenn m, a, c und x0 geschickt“ gewählt werden, hat die Folge un ,
”
n = 0, 1, 2, . . . , ein Erscheinungsbild wie eine typische“ Realisierung einer Fol”
ge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen 3.8 3.9. Etliche klassische,
ältere Zufallsgeneratoren basieren auf der linearen Kongruenzmethode 3.10.
Beispiel 3.2 (Mersenne Twister). Der Mersenne Twister ist ein moderner Zufallsgenerator 3.11. Sei F2 der kommutative Körper der Charakteristik 2 3.12. Sei
weiterhin w ∈ N hinreichend groß, n ∈ N, m = 1, . . . , n − 1 und r = 1, 2, . . . , w −
w
1. Für y ∈ Fw
sei außerdem y l = (y1 , . . . , yr , 0, . . . , 0) ∈ Fw
2 = {0, 1}
2 und
3.13
u
l u
y = (0, . . . , 0, yr+1 , . . . , yw ) ∈ Fw
. Wenn y, z ∈ Fw
2
2 , bezeichnet (y |z ) =
l
u
(y1 , . . . , yr , zr+1 , . . . , zw ) ∈ Fw
2 die Verkettung von y und z . Letztendlich sei
w⊗w
A ∈ F2
eine vorgegebene w × w-Matrix mit Einträgen aus F2 .
Zunächst wird nach der Vorgabe von Startwerten x0 , x1 , . . . , xn−1 ∈ Fw
2 eine
3.14
Folge x0 , x1 , · · · ∈ Fw
2 rekursiv gemäß
(3.2)
xk+n := xk+m ⊕w (xlk |xuk+1 ) ⊙w A,
k = 0, 1, 2, . . . ,
Pw
konstruiert. Der Folge x0 , x1 , . . . in
kann nun durch 3.15 uk = q=1 xk;q 2−q ,
k = 0, 1, 2, . . . , eine Folge uk , k = 0, 1, 2, . . . , in [0, 1] zugeordnet werden, die bei einer vernünftigen“ Wahl von w, n, m, r, A und x0 , x1 , . . . , xn−1 wie eine typische“
”
”
Realisierung einer Folge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen aussieht.
Fw
2
3.2. Simulation von Folgen reellwertiger, i.i.d. Zufallsvariablen
Aus Zufallsvariablen, die gemäß der Gleichverteilung auf [0, 1] verteilt sind,
können mit geeigneten Transformationen reellwertige Zufallsvariablen mit beliebigen anderen Verteilungen gewonnen werden.
Beispiel 3.3 (Simulation diskreter Zufallsvariablen). Auf 3.16 N sei ein Wahrscheinlichkeitsmaß 3.17 µ = (µn )n∈N gegeben. Zur Konstruktion einer N-wertigen
3.8Eine Realisierung einer Familie X , X , . . . von Zufallsvariablen, die auf einem Wahr1
2
scheinlichkeitsraum (Ω, F, P) definiert sind, ergibt sich, wenn eine Folge X1 (ω), X2 (ω), . . . für ein
festes, aber beliebiges ω ∈ Ω betrachtet wird. Für ein kleines“ A ∈ F mit P[A] = 1 kann man
”
{(X1 (ω), X2 (ω), . . . ) : ω ∈ A} als eine Menge typischer Realisierungen“ betrachten.
”
3.9
Bei einer unglücklichen Wahl der Parameter erhält man u.U. eine sehr regelmäßige Folge
x0 , x1 , x2 , . . . . Beispielsweise ergibt sich 5, 0, 5, 0, . . . für a = c = x0 = 5, m = 10. Allgemein
besitzt eine durch (3.1) bestimmte Zahlenfolge immer eine endliche Periode, die höchstens m ist.
3.10
Oft hat sich allerdings im Lauf der Zeit herausgestellt, daß jene oft benutzten Zufallsgeneratoren, deren Perioden zwischen 230 und 248 liegen, eine nur geringe Qualität besitzen.
3.11
Eine detaillierte Beschreibung findet sich in [10]. Die Periode einer gut bewährten Variante ist mit 219937 − 1 eine extrem große Mersennesche Primzahl. Durch die Multiplikation
mit der Matrix A in der Rekursionsformel (3.2) werden die Bits“ der erzeugten Zahlenfolgen
”
durcheinandergewirbelt“, was den Namensbestandteil twister“(≃ Wirbelwind“) erklärt.
”
3.12D.h., F = {0, 1} mit der Addition 0 ⊕ 0 = 0,” 0 ⊕ 1 = 1 ”
⊕ 0 = 1, 1 ⊕ 1 = 0 und der
2
Multiplikation 0 ⊙ 0 = 0, 0 ⊙ 1 = 1 ⊙ 0 = 0, 1 ⊙ 1 = 1.
3.13y l (y u ) faßt die unteren (oberen) Bits“ von y zusammen.
”
3.14⊕w , bzw. ⊙w , bezeichnet die Vektoraddition
in Fw
2 , bzw. die Multiplikation mit einer
w⊗w
Matrix in F2
.
3.15x = (x
k
k;1 , . . . , xk;w ), k = 0, 1, 2, . . . . Die Koordinaten der Vektoren xk , k ∈ N, werden
als Koeffizienten für die Darstellung der Zahlen uk , k ∈ N, im Dualsystem benutzt.
3.16Die folgenden Überlegungen lassen sich leicht modifizieren, wenn N durch eine beliebige,
höchstens abzählbare Menge Ω′ ersetzt wird.
3.17Insbesondere ist µ ≥ 0, n ∈ N, und P
n
n∈N µn = 1.
20. Oktober 2016
63
Zufallsvariablen mit der Verteilung µ sei zunächst U in [0, 1) gleichverteilt und
weiterhin eine Zufallsvariable X = X(U ) durch
Pn−1
Pn
(3.3)
X = X(U ) = n, U ∈
k=1 µk ,
k=1 µk , n ∈ N,
definiert. Da
(3.4)
PX [{n}] = P[X = n]
Pn−1
Pn
=P U∈
k=1 µk
k=1 µk ,
Pn−1
Pn
= 3.18 | k=1 µk − k=1 µk | = µn ,
n ∈ N,
besitzt X die Verteilung µ.
Sei nun x1 , x2 , . . . eine Folge unabhängiger, in [0, 1] gleichverteilter“ Pseudozu”
fallszahlen. Die Überlegungen zu (3.4) demonstrieren, daß durch die transformierten
3.19
Zufallszahlen
X(x1 ), X(x2 ), . . . unabhängige, N-wertige Zufallsvariablen mit
der Verteilung µ simuliert werden können.
Beispiel 3.4 (Inversionsmethode). Zur Beschreibung der Inversionsmethode
sei mit F : R → (0, 1) eine stetige, streng monoton steigende Verteilungsfunktion
vorgegeben 3.20. Insbesondere besitzt eine solche Verteilungsfunktion F eine ebenfalls stetige und streng monoton steigende Umkehrfunktion F −1 : (0, 1) → R. Wenn
nun U eine in (0, 1) gleichverteilte Zufallsvariable ist, so gilt
P[F −1 (U ) ≤ y] =
3.21
P[U ≤ F (y)] =
3.22
F (y),
y ∈ R.
Damit ist der reellwertigen Zufallsvariablen 3.23 X = F −1 (U ) die vorgegebene Verteilungsfunktion FX = F zugeordnet.
Sei z.B. F die Verteilungsfunktion der Exponentialverteilung mit Parameter 1,
d.h., F (x) = (1−exp(−x))I[0,∞) (x), x ∈ R. F ist stetig und nach der Einschränkung
auf [0, ∞) auch streng monoton wachsend. Diese Einschränkung von F besitzt die
Umkehrfunktion F −1 : [0, 1) → [0, ∞) mit F −1 (x) = − log(1 − x), x ∈ [0, 1). Somit
ist die Zufallsvariable − log(1 − U ) exponentiell verteilt mit Parameter 1, wenn U
auf (0, 1) gleichverteilt ist 3.24.
Wenn allgemeiner U1 , U2 , . . . unabhängig, in (0, 1) gleichverteilt sind, so sind
die Zufallsvariablen F −1 (U1 ), F −1 (U2 ), . . . i.i.d. mit Verteilungsfunktion F . Insbesondere ist durch F −1 (x1 ), F −1 (x2 ), . . . eine Simulation einer Folge von i.i.d.
Zufallsvariablen mit der Verteilungsfunktion F gegeben, falls x1 , x2 , . . . eine Folge
von unabhängigen, in [0, 1] gleichverteilten“ Zufallszahlen ist 3.25.
”
Auf den üblichen Computern sind Zufallsgeneratoren evtl. als Teil des Betriebssystems oder im Rahmen von Softwarepaketen wie Maple, Mathematica oder R
3.18Da U in [0, 1) gleichverteilt ist.
3.19Die Funktion X wird in (3.3) definiert.
3.20In [5], Abschnitt 10.2, werden die Überlegungen dieses Beispiels auf allgemeine, nicht
unbedingt stetige oder streng monotone Verteilungsfunktionen verallgemeinert.
3.21Da F streng monoton steigend ist.
3.22
Da U in (0, 1) gleichverteilt ist.
3.23
Die Funktion X = F −1 ◦ U ist als Verknüpfung einer stetigen Funktion F −1 mit einer
meßbaren Funktion U ebenfalls meßbar und somit eine Zufallsvariable, falls auf dem Bildraum R
von F −1 die Borelsche σ-Algebra B(R) benutzt wird.
3.24Mit einer Zufallsvariablen U ist offensichtlich auch die Zufallsvariable 1 − U in (0, 1)
gleichverteilt. Somit ist − log(U ) exponentiell verteilt mit Parameter 1.
3.25Beispielsweise können x , x , . . . Pseudozufallszahlen sein, wie sie in den Beispielen 3.1
1 2
und 3.2 beschrieben werden.
20. Oktober 2016
64
meistens verfügbar. Mit solchen Zufallsgeneratoren werden Folgen von Pseudozufallszahlen in [0, 1] erzeugt, die anschließend für eine Verteilungsfunktion F in eine Folge unabhängiger“, gemäß F verteilter Zufallszahlen transformiert werden
”
können 3.26 3.27.
Für Berechnungen, bei denen hohe Ansprüche an die Qualität 3.28 der Zufallsgeneratoren gestellt werden, können diese auch aus wissenschaftlichen SoftwareBibliotheken, wie z.B. der GNU Scientific Library (GSL) entnommen werden 3.29.
3.3. Quasizufallszahlen
Die bisher angesprochenen Pseudozufallszahlen, die der Nachbildung“ von Zu”
fallsvariablen dienen, sollten nicht mit den sog. Quasizufallszahlen verwechselt wer3.30
den
. Hinter der Konstruktion einer Folge von Quasizufallszahlen x1 , x2 , . . . , z.B.
in [0, 1], steht die Absicht, die Diskrepanz
|{xi : i = 1, . . . , N, xi ∈ [0, u)}|
∗
− u, N ∈ N,
DN (x1 , . . . , xN ) := sup N
u∈[0,1]
3.31
zu minimieren
, d.h., für derartige Folgen sollte der Unterschied zwischen der
relativen Anzahl von Folgengliedern, die in ein Intervall [a, b) ∈ [0, 1] fallen, und
der Länge von [a, b) gleichmäßig in a, b ∈ [0, 1] möglichst klein werden.
Beispiel
Wenn Quasizufallszahlen im Rahmen von Quasi-Monte-Carlo-Methoden auf die
gleiche Weise verwendet werden wie Pseudozufallszahlen in Monte-Carlo-Methoden,
können in manchen Fällen wesentlich bessere Resultate erzielt werden 3.32.
3.26Neben den in den Beispielen 3.3, bzw. 3.4 beschriebenen Methoden stehen zu diesem
Zweck in den gängigen Softwarepaketen üblicherweise noch andere Verfahren zur Verfügung.
3.27In R können beispielsweise unabhängige, geometrisch verteilte Zufallsvariaben mit dem
Befehl rgeom simuliert werden. Wenn R interaktiv genutzt wird, ergibt sich z.B.:
> rgeom(60,0.3)
[1] 0 0 1 0 3 2 3 0 3 3 1 1 3 2 1 10 1 7 3 18 2 0 0 0 1
[26] 1 2 0 2 1 2 2 3 5 0 0 5 13 0 0 8 1 0 0 20 2 1 3 2 8
[51] 0 4 5 3 7 1 0 2 1 7
Mit dem R-Befehl rgeom(n, p) werden hier n unabhängige, geometrisch mit Parameter p verteilte
Zufallsvariaben simuliert.
3.28
Wenn sehr viele Zufallszahlen benötigt werden, sollten diese die statistischen Eigenschaften wahrer“ Zufallsvariablen gut reproduzieren. Außerdem sollten die Zufallszahlen schnell zur
”
Verfügung gestellt werden.
3.29
Vgl. http://www.gnu.org/software/gsl/. Die GSL ist für Linux und in inoffiziellen Versionen auch für etliche andere Betriebssysteme verfügbar. Neben verschiedenen auf der linearen
Kongruenzmethode, vgl. Beispiel 3.1, basierenden Zufallsgeneratoren ist u.a. auch der Mersenne Twister, vgl. Beispiel 3.2, implementiert. Weiterhin gibt es Befehle zur Simulation von unabhängigen Zufallsvariablen mit einer vorgegebenen Verteilung wie der Normalverteilung, der
Exponentialverteilung, der Multinomialverteilung, der χ2 -Verteilung, . . . .
3.30
Vgl. [11].
3.31Folgen von Quasizufallszahlen werden daher auch Folgen mit niedriger Diskrepanz
genannt.
3.32Für die besten Folgen von Quasizufallszahlen wie z.B. Halton- oder Sobol-Folgen ist
∗ (x , . . . , x ) ≤ C log(N )/N , N ∈ N, für eine von der jew. Folge abhängige Konstante
DN
1
N
√
∗ (X , . . . , X ) ≃ 1/ N ,
C > 0. Aufgrund des Zentralen Grenzwertsatzes ist im Vergleich dazu DN
1
N
N → ∞, wenn Xn , n ∈ N, eine Folge von unabhängigen, in [0, 1] gleichverteilten Zufallsvariablen ist. Bei der Monte-Carlo-Integration einer meßbaren, beschränkten Funktion h : [0, 1] → R,
R
P
d.h., der Approximation von 01 dx h(x) durch (1/N ) N
k=1 h(Xk ), ergibt sich folglich ein Fehler
√
der Größenordnung 1/ N . Wenn hingegen eine der optimalen“ Folgen x1 , x2 , . . . von Quasizu”
P
fallszahlen verwendet wird, d.h., wenn bei der Quasi-Monte-Carlo-Integration (1/N ) N
k=1 h(xk )
R1
als Approximation von 0 dx h(x) benutzt wird, ist bei N → ∞ der Fehler nur noch von der
Größenordnung log(N )/N .
20. Oktober 2016
65
Pseudozufallszahlen und Quasizufallszahlen unterscheiden sich gravierend. Einerseits ist die Diskrepanz von wahren“ Zufallszahlen oder von Pseudozufallszahlen
”
wesentlich größer als die von Quasizufallszahlen 3.33. Andererseits besitzen Quasizufallszahlen nicht die gleichen statistischen Eigenschaften wie wahre“ Zufallszahlen
”
oder Pseudozufallszahlen 3.34.
3.33
Vgl. Fußnote 3.32. Dort ist die Diskrepanz von hochwertigen Folgen von Quasizufallszahlen, bzw. von unabhängigen, in [0, 1] gleichverteilten Zufallsvariablen angegeben.
3.34
Beispielsweise versagen Quasizufallszahlen bei Tests wie der in Fußnote 3.6 erwähnten
DieHarder-Testfamilie.
20. Oktober 2016
KAPITEL 4
Brownsche Bewegung
Die Brownsche Bewegung ist der wohl bekannteste Diffusionsprozeß, d.h. Markovprozeß mit stetigen Pfaden. In vielen Artikeln und Büchern werden detaillierte
Resultate über die Brownsche Bewegung vorgestellt. Dieser Prozeß ist einerseits
innerhalb der Wahrscheinlichkeitstheorie von großer Bedeutung 4.1. U.a. können
relativ beliebige Diffusionsprozesse durch geeignete Transformationen der Brownschen Bewegung dargestellt werden.
Auch außerhalb der Wahrscheinlichkeitstheorie tritt die Brownsche Bewegung
in Erscheinung. Beispielsweise können die Lösungen gewisser elliptischer oder parabolischer Differentialgleichungen als Funktionale der Brownschen Bewegung repräsentiert werden. Bei der Modellierung von zufallsbeeinflußten Zeitentwicklungen
durch stochastische Differentialgleichungen kann die Brownsche Bewegung zur Darstellung des Rauschanteils benutzt werden 4.2.
4.1. Definition der Brownschen Bewegung
Die Brownsche Bewegung ergibt sich als Grenzfall der symmetrischen Irrfahrt 4.3
nach einer geeigneten Reskalierung. Diese Reskalierung entspricht einer Beobachtung der symmetrischen Irrfahrt aus einer großen Entfernung über einen langen
Zeitraum. Aus diesem Grund können die Abbildungen 4.1 und 4.2 auch als Visualisierungen der Brownschen Bewegung in R, bzw. in R2 betrachtet werden 4.4.
Während in Abbildung 4.1 die zeitliche Entwicklung verschiedener Pfade der
1-dimensionalen Irrfahrt dargestellt ist, zeigt Abbildung 4.2, wie ein einzelner Pfad
der 2-dimensionalen Irrfahrt in R2 eingebettet ist. Wie dieser Pfad im Verlauf der
Zeit durchlaufen wird, ist nicht zu erkennen.
4.1
Die Brownsche Bewegung ist für verschiedene Klassen stochastischer Prozesse jeweils ein
einfaches Beispiel.
4.2
Eine stochastische Differentialgleichung ist beispielsweise
(∗1 )
dXt
|{z}
=
Zustandsänderung
in infinitesimalem
Zeitintervall
b(Xt )dt
| {z }
deterministische
Zustandsänderung
+
σ(Xt )dBt ,
| {z }
zufällige
Zustandsänderung
wobei b und σ geeignete Funktionen sind und B = (Bt )t≥0 eine Brownsche Bewegung ist. In einer
Integraldarstellung kann (∗1 ) auch in der Form
Z t
Z t
σ(Xs )dBs , t ≥ 0,
b(Xs )ds +
(∗2 )
Xt = X0 +
0
0
geschrieben werden.
Bei der mathematischen Diskussion von (∗1 ) oder (∗2 ) muß zunächst dem stochastischen InR
tegral 0t σ(Xs )dBs eine Bedeutung zugewiesen werden. Anschließend können Existenz und Eindeutigkeit, sowie qualitative und quantitative Eigenschaften einer Lösung X = (Xt )t≥0 untersucht
werden.
4.3
Die symmetrische Irrfahrt in Zd wurde in Beispiel 2.20 vorgestellt.
4.4In den Abbildungen A.1.13 - A.1.15 wird dementsprechend der Betrag der Brownschen
Bewegung in R2 , R3 , bzw. R10 visualisiert.
67
68
1000
800
600
400
Ort
200
0
-200
-400
-600
-800
-1000
0
20000
40000
60000
80000
100000
Zeit
Abbildung 4.1. Symmetrische Irrfahrt in Z. Zeitdauer = 100000,
20 Realisierungen.
350
300
250
Y
200
150
100
50
0
-50
-700
-600
-500
-400
-300
-200
-100
0
X
Abbildung 4.2. Symmetrische Irrfahrt in Z2. Zeitdauer = 100000,
Simulation eines Pfads.
20. Oktober 2016
100
69
Sei X = (Xn )n∈N0 die symmetrische Irrfahrt in Z
lung 4.6
(4.1)
Xn =
n
X
ξk ,
k=1
4.5
. X besitzt die Darstel-
n ∈ N0 ,
wobei ξk , k ∈ N, unabhängige, in {−1, 1} gleichverteilte Zufallsvariablen sind.
Beim Übergang zur Brownschen Bewegung wird X zunächst
• auf alle Zeitpunkte t ≥ 0 fortgesetzt, d.h., Y = (Yt )t≥0 mit Yt = X⌊t⌋ ,
t ≥ 0, 4.7 eingeführt, und anschließend
• reskaliert, d.h., es werden die Prozesse XN = (XtN )t≥0 mit 4.8
1
XtN = √ YN t ,
N
(4.2)
t ≥ 0, N ∈ N,
betrachtet.
Zum Studium der Asymptotik von XN werden die Zuwächse XtN − XsN , 0 ≤
s < t < ∞, für N → ∞ untersucht. Aufgrund des Zentralen Grenzwertsatzes ist
zunächst
lim (XtN − XsN )
N →∞
p
⌊N t⌋
X
⌊N t⌋ − ⌊N s⌋
1
√
p
= lim
ξl
N →∞
N
⌊N t⌋ − ⌊N s⌋ l=⌊N s⌋+1
√
= t − s ζ, in Verteilung, 0 ≤ s < t < ∞,
wobei Pζ = N(0, 1) 4.9. Etwas allgemeiner folgt mit einem mehrdimensionalen Zentralen Grenzwertsatz, daß
lim XtN1 , XtN2 − XtN1 , . . . , XtNn − XtNn−1
(4.3)
N →∞
p
√
√
=
t1 ζ1 , t2 − t1 ζ2 , . . . , tn − tn−1 ζn , in Verteilung,
0 = t0 < t1 < · · · < tn < ∞, n ∈ N,
4.5Die nun folgenden und schließlich zu (4.3) führenden Überlegungen lassen sich völlig analog
auch für die symmetrische Irrfahrt in Zd , d > 1, durchführen.
4.6Die Darstellung (4.1) der symmetrischen Irrfahrt impliziert insbesondere X = 0.
0
4.7Der Prozeß Y nimmt in den Zeitintervallen [l, l + 1), l ∈ N , einen konstanten Wert in Z
0
an und springt in den Zeitpunkten l ∈ N mit Wahrscheinlichkeit 1/2 jeweils um 1 nach oben oder
nach unten. Alternativ zu dem Prozeß Y könnte im folgenden auch mit einer wie in (4.5) linear
e von X gearbeitet werden.
interpolierten Variante Y
4.8Man könnte auch andere Skalierungen verwenden, d.h., beispielsweise Prozesse X(α,β) =
(α,β)
(α,β)
(Xt
)t≥0 mit Xt
= Yαt /β, t ≥ 0, α, β > 0, einführen. Die Überlegungen dieses Abschnitts 4.1, insbesondere das nun folgende Studium der Asymptotik von Summen unabhängiger,
in {−1, 1} gleichverteilter Zufallsvariablen mit Hilfe des Zentralen Grenzwertsatzes, lassen jedoch
den Schluß zu, daß ein nichttrivialer Limes für X(α,β) bei α, β → ∞ nur dann erwartet werden
α→∞ √
kann, wenn β = β(α) ∼
α.
In den Abbildungen 4.1 und 4.2 wurde durch die Auswahl der jeweiligen Bildbereiche
durch den Computer automatisch eine Reskalierung von Raum√und Zeit vorgenommen. Bei einer
√ großzügigen Betrachtungsweise in Abbildung 4.2 ist sogar Zeitdauer/Raumdurchmesser ∼
100000/800 ∼ 316/800 ∼ 1 zu erkennen, d.h., die in (4.2) gewählte Skalierung drängt sich auch
im Rahmen dieser Simulationen auf.
4.9Somit konvergiert X N − X N bei N → ∞ in Verteilung gegen eine gemäß N(0, t − s)
s
t
verteilte Zufallsvariable.
20. Oktober 2016
70
wobei ζ1 , ζ2 , . . . unabhängige Zufallsvariablen mit Pζk = N(0, 1), k = 1, 2, . . . ,
sind 4.10.
(4.3) berechtigt zur Vermutung, daß bei N → ∞ die Prozesse XN gegen einen
stochastischen Prozeß B = (Bt )t≥0 mit unabhängigen, normalverteilten Zuwächsen
konvergieren 4.11 4.12.
Dementsprechend wird ein Rd -wertiger stochastischer Prozeß B = (Bt )t≥0 als
(standard ) Brownsche Bewegung bezeichnet, falls
(4.4a)
B0 = 0, f.s.
4.13
,
(4.4b) t → Bt f.s. stetig ist
4.14
und wenn außerdem
(4.4c) für 0 ≤ s < t < ∞ der Zuwachs Bt − Bs unabhängig von Bu , 0 ≤ u ≤ s,
ist und eine Normalverteilung mit Erwartungswert 0 und Kovarianzmatrix
(t − s)I 4.15 besitzt 4.16.
Es kann nachgewiesen werden, daß es einen eindeutig bestimmten Prozeß gibt,
der (4.4) erfüllt 4.17.
4.2. Donskersches Invarianzprinzip
Nicht nur die symmetrische Irrfahrt, sondern viele andere stochastische Prozesse konvergieren nach einer Reskalierung von Raum und Zeit gegen die Brownsche
Bewegung. Daher ist die Brownsche Bewegung ein gutes Modell für zahlreiche zufallsbeeinflußte zeitliche Entwicklungen, falls diese über einen längeren Zeitraum
aus einer großen Entfernung beobachtet werden 4.18.
In dem folgenden Resultat werden die formalen Überlegungen in Abschnitt 4.1
verallgemeinert, bzw. präzisiert 4.19.
Satz 4.1. 4.20 Seien ζk , k ∈ N, reellwertige, i.i.d. Zufallsvariablen mit E[ζ1 ] = 0
Pn
e = (Yet )t≥0 mit
und E[(ζ1 )2 ] = 1. Sei weiterhin Xn = k=1 ζk , n ∈ N0 , und Y

 ⌈t⌉ − t X + t − ⌊t⌋ X = X + t − ⌊t⌋ ζ , t ∈
/ N0 ,
⌊t⌋
⌈t⌉
⌊t⌋
⌈t⌉
e
⌈t⌉ − ⌊t⌋
⌈t⌉ − ⌊t⌋
(4.5)
Yt = ⌈t⌉ − ⌊t⌋

Xt ,
t ∈ N0 ,
4.10(4.3) besagt, daß asymptotisch bei N → ∞ die Zuwächse X N − X N
t
t
i
i−1
, i = 1, . . . , n, des
Prozesses XN in den disjunkten Zeitintervallen (ti−1 , ti ], i = 1, . . . , n, unabhängig und gemäß
N(0, ti − ti−1 ), i = 1, . . . , n, verteilt sind.
4.11Für 0 ≤ s < t < ∞ sollte insbesondere B − B unabhängig von B , 0 ≤ u ≤ s, gemäß
t
s
u
N(0, t − s) verteilt sein.
4.12
Eine mathematisch rigorose, allgemeine Diskussion der Konvergenz von stochastischen
Prozessen wird an dieser Stelle nicht durchgeführt. Die Beziehung (4.3), die im wesentlichen die
Konvergenz der endlich-dimensionalen Verteilungen der Prozesse XN bei N → ∞ festhält, dient
nur zur Motivation der nun folgenden Definition der Brownschen Bewegung.
4.13Diese Bedingung ist nur eine Standardisierung.
4.14Sei B auf einem Wahrscheinlichkeitsraum (Ω, F, P) definiert. In (4.4b) wird verlangt, daß
bzgl. P für fast alle ω ∈ Ω der Pfad t → Bt (ω) stetig ist. Diese Forderung der Stetigkeit wird
beispielsweise auch durch Simulationen der symmetrischen Irrfahrt, wie sie in den Abbildungen 4.1,
4.2 und A.1.13 - A.1.15 zu sehen sind, nahegelegt.
4.15
I ist hier die d × d-Einheitsmatrix.
4.16
Falls der Erwartungswert des Zuwachses gleich (t − s)a für ein a ∈ Rd und die Kovarianzmatrix gleich (t − s)Q für eine positiv-definite symmetrische Matrix Q ∈ Rd⊗d ist, spricht man
von einer Brownschen Bewegung mit Drift a und Diffusionsmatrix Q.
4.17
Damit ist gemeint, daß alle (4.4) erfüllenden Prozesse, die auch auf unterschiedlichen
Wahrscheinlichkeitsräumen (Ω, F, P) definiert sein können, die gleiche Verteilung besitzen.
4.18
In allen für Anwendungen wesentlichen Situationen hat die hier angesprochene Reskalierung eine Darstellung wie in (4.2).
4.19
Das Ziel jener Überlegungen in Abschnitt 4.1 war letztendlich, die Definition (4.4) der
Brownschen Bewegung zu motivieren. Im folgenden Satz 4.1 wird insbesondere anstelle der symmetrischen Irrfahrt eine Klasse verallgemeinerter Irrfahrten betrachtet.
4.20
Vgl. [2], Chapter 7, Theorem (6.6).
20. Oktober 2016
71
die lineare Interpolation des Prozesses
e (N ) = (B
et(N ) )t≥0 , N ∈ N, von Y
e mit
B
gilt dann
4.22
.
4.21
e (N ) = √1 YeN t ,
B
t
N
X = (Xn )n∈N0 . Für die Reskalierungen
t ≥ 0, N ∈ N,
w- lim PB
e (N ) = PW ,
N →∞
wobei PW das Wienermaß
4.23
ist.
4.3. Die Pfade der Brownschen Bewegung
Die Pfade der Brownschen Bewegung in R sind zwar stetig, aber dennoch relativ irregulär. Ihr Regularitätsverhalten kann auf unterschiedliche Weisen präzisiert
werden.
Satz 4.2 (Gesetz vom iterierten Logarithmus).
dard Brownsche Bewegung in R. Dann gilt
"
Bs+h − Bs
P lim sup p
(4.6)
= 1,
2h log(log(1/h))
hց0
Bs+h − Bs
4.24
Sei B = (Bt )t≥0 die stan-
#
= −1 = 1,
lim inf p
hց0
2h log(log(1/h))
s ≥ 0.
Satz 4.2 charakterisiert das Verhalten der Pfade der Brownschen Bewegung
unmittelbar nach einem festen Zeitpunkt s ≥ 0. Insbesondere zeigt (4.6), daß
• fast alle Pfade der eindimensionalen Brownschen Bewegung nach dem Erreichen eines Punktes a ∈ R 4.25 in jedem beliebig kleinen Intervall danach
unendlich viele weitere a-Stellen besitzen 4.26 und daß
• in einem festen Zeitpunkt s ≥ 0 mit Wahrscheinlichkeit 1 die Pfade der
Brownschen Bewegung nicht differenzierbar und auch nicht Hölderstetig
mit Exponent γ ≥ 1/2 sind 4.27.
4.21X kann als eine verallgemeinerte Irrfahrt bezeichnet werden.
4.22P
e (N) . Da B
e (N) fast
e (N ) bezeichnet die Verteilung des stochastischen Prozesses B
B
sicher stetige Pfade besitzt, kann PB
e (N ) als ein Wahrscheinlichkeitsmaß auf (C([0, ∞); R),
B(C([0, ∞); R))), dem mit der Borelschen σ-Algebra B(C([0, ∞); R)) versehenen Raum der stetigen, reellwertigen Funktionen auf [0, ∞), identifiziert werden. w-limN→∞ . . . bezeichnet die
schwache Konvergenz von Wahrscheinlichkeitsmaßen in (C([0, ∞); R), B(C([0, ∞); R))).
4.23Das Wienermaß ist die Verteilung der standard Brownschen Bewegung auf (C([0, ∞); R),
B(C([0, ∞); R))).
4.24Vgl. [12], Chapter II, Corollary (1.11).
4.25Hier ist der erste Eintrittszeitpunkt T = inf{t ≥ 0 : B = a} in die Menge {a} gemeint.
a
t
Es muß u.a. berücksichtigt werden, daß Ta eine Stoppzeit ist, und daß mit B für jede Stoppzeit T
auch der Prozeß BT = (BtT )t≥0 mit BtT = BT +t − BT , t ≥ 0, eine standard Brownsche Bewegung
ist, vgl. [6], Theorem 13.11. Diese Tatsache wird als die starke Markoveigenschaft der Brownschen
Bewegung bezeichnet.
4.26Aus (4.6) folgt formal
p
p
BTa +h ≃ a + 2h log(log(1/h)), BTa +h′ ≃ a − 2h′ log(log(1/h′ )),
für unendlich viele, beliebig kleine h, h′ > 0,
wobei Ta in Fußnote 4.25 beschrieben wird. Für jedes ǫ > 0 ist somit wegen der Stetigkeit der
Pfade der Brownschen Bewegung
BTa +η = a,
für unendlich viele η ∈ (0, ǫ).
4.27Zur Differenzierbarkeit müßte lim
h→0 (Bs+h − Bs )/h existieren, was nach (4.6) ausge-
schlossen ist. Ebenso folgt aus (4.6), daß lim suphց0 |Bs+h − Bs |/|h|γ = ∞, f.s., falls γ ≥ 1/2,
20. Oktober 2016
72
Weitere Resultate präzisieren die Regularität der Pfade der Brownschen Bewegung im gesamten Zeitverlauf 4.28. Wesentliche Unterschiede zu üblichen“, nicht”
zufälligen Funktionen auf [0, ∞) werden insbesondere deutlich durch folgenden Satz.
Satz 4.3 (Quadratische Variation der Brownschen Bewegung). 4.29 Sei B =
(Bt )t≥0 die standard Brownsche Bewegung in R. Zu T > 0 sei Dn , n ∈ N, eine
Folge feiner werdender Partitionen von [0, T ], d.h., Dn = {tn0 , tn1 , . . . , tnkn }, wobei
0 = tn0 < tn1 < · · · < tnkn = T und limn→∞ supl=1,...,kn |tnl − tnl−1 | = 0. Dann
gilt 4.30 4.31 4.32 4.33
(4.7)
lim
n→∞
kn
X
l=1
|Btnl − Btnl−1 |2 = T,
in L2 .
Die Brownsche Bewegung ist invariant unter einigen Transformationen, z.B.,
unter einer Inversion der Zeit.
so daß die Hölderstetigkeit mit Exponent γ ≥ 1/2 auch nicht möglich ist. In diesen Argumenten
wird benutzt, daß (h log(log(1/h)))−1/2 = o(h−γ ) bei h ց 0 für alle γ ≥ 1/2.
4.28
Als ein Analogon zu Satz 4.2 kann ein Satz von Lévy zu Charakterisierung des Stetigkeitsmoduls der Brownschen Bewegung betrachtet werden, vgl. [12], Chapter I, Theorem (2.7).
Dieses Resultat besagt, daß
"
#
|Bt − Bt1 |
p 2
(∗)
P lim sup
sup
= 1 = 1, T > 0.
2ǫ log(1/ǫ)
ǫց0 0≤t1 <t2 ≤T
t2 −t1 <ǫ
p
Der durch (∗) beschriebene globale“ Stetigkeitsmodul ǫ → ǫ log(1/ǫ) der Pfade der Brownschen
”
Bewegung fällt offensichtlich
bei ǫ ց 0 langsamer ab als der in (4.6) angegebene lokale“ Stetigp
”
keitsmodul ǫ → ǫ log(log(1/ǫ)). Bei einer globalen Betrachtungsweise sind somit die Pfade der
Brownschen Bewegung noch etwas weniger regulär als unter einem lokalen Blickwinkel.
4.29Vgl. [12], Chapter I, Theorem (2.4).
4.30Die in (4.7) angegebene Konvergenz in L2 wird auch Konvergenz im quadratischen Mittel
genannt. Eine Folge Yn , n ∈ N, reellwertiger Zufallsvariablen konvergiert bei N → ∞ in diesem
Sinn gegen eine Zufallsvariable Y , falls limN→∞ E[|Yn − Y |2 ] = 0.
4.31
Für eine stetig differenzierbare Funktion φ : [0, T ] → R ist die Variation 1. Ordnung
P n
n
|φ(tn
|φ| := limn→∞ kl=1
l ) − φ(tl−1 )| endlich. Insbesondere gilt
kn
X
l=1
n
|φ(tn
l ) − φ(tl−1 )|
n→∞
≃
kn
X
l=1
n
n
|φ′ (tn
l )|(tl − tl−1 )
n→∞
≃
Z
T
0
|φ′ (s)|ds.
Falls andererseits eine stetige Funktion φ : [0, T ] → R eine nichttriviale Variation 1. Ordnung
P n
n
|φ(tn
besitzt, wenn also limn→∞ kl=1
l ) − φ(tl−1 )| = |φ| ∈ (0, ∞), folgt weiterhin, daß
kn
X
l=1
n
2
|φ(tn
l ) − φ(tl−1 )| ≤
sup
l=1,...,kn
|
n
|φ(tn
l ) − φ(tl−1 )|
kn
X
} |l=1
{z
n→∞
→ 0
n→∞
n
|φ(tn
l ) − φ(tl−1 )| → 0,
{z
}
n→∞
→ |φ|
d.h., die Variation 2. Ordnung verschwindet. Somit muß als Folge von Satz 4.3 die Variation
1. Ordnung |B| der Brownschen Bewegung f.s. unendlich sein.
4.32
Eine Beziehung wie (4.7), d.h.,
kn
X
l=1
|Btn
− Btn
|2 =
l
l−1
kn
X
l=1
n
|tn
l − tl−1 |
|Btn − Btn |2
l
l−1
n
|tn
l − tl−1 |
n→∞
≃
T,
q
n
kann nur gelten, wenn |Btn −Btn | ∼ tn
l − tl−1 im ”Durchschnitt aller l = 1, . . . , kn“. Es deutet
l
l−1
√
sich damit an, daß ǫ → ǫ der entlang der Pfade gemittelte“ Stetigkeitsmodul der Brownschen
”
Bewegung ist. Dieser Stetigkeitsmodul fällt bei ǫ ց 0 schneller ab als die beiden in Fußnote 4.28
erwähnten Stetigkeitsmodule.
4.33
Für die standard Brownsche Bewegung in Rd ist T durch dT auf der rechten Seite von
(4.7) zu ersetzen.
20. Oktober 2016
73
2.0
1.5
1.0
0.5
0.0
−0.5
−1.0
−1.5
−2.0
0
10000
20000
30000
40000
50000
60000
70000
80000
90000
100000
Abbildung 4.3. Verdeutlichung des Gesetzes vom iterierten Logarithmus mit Simulationen der symmetrischen Irrfahrt. Zeitdauer
= 100000, 10 Simulationen.
Satz 4.4. 4.34 Sei B = (Bt )t≥0 eine standard Brownsche Bewegung in R
b = (B
bt )t≥0 mit
Dann ist der Prozeß B
(
0,
t = 0,
b
Bt =
tB1/t , t > 0,
ebenfalls eine standard Brownsche Bewegung
4.36
4.35
.
.
Mit Hilfe der in Satz 4.4 vorgestellten Invarianzeigenschaft kann ein zu Satz 4.2
äquivalentes Resultat, das das Verhalten der Pfade der standard Brownsche Bewegung B = (Bt )t≥0 bei t → ∞ charakterisiert, hergeleitet werden.
Satz 4.5 (Gesetz vom iterierten Logarithmus). 4.37 Sei B = (Bt )t≥0 eine standard Brownsche Bewegung in R. Dann gilt
#
"
Bt
Bt
(4.8)
= 1, lim inf p
= −1 = 1.
P lim sup p
tր∞
2t log(log(t))
2t log(log(t))
tր∞
Abbildung 4.3 zeigt, daß Satz 4.5 plausibel wird, wenn die standard Brownsche
Bewegung mit Hilfe der symmetrischen Irrfahrt simuliert wird.
4.34Vgl. [12], Chapter I, Proposition (1.10)(iv).
4.35 B . . . eine standard Brownsche Bewegung“ bedeutet, daß B ein stochastischer Prozeß
”
ist, der (4.4) erfüllt.
4.36D.h., B
b erfüllt (4.4).
4.37Vgl. [12], Chapter II, Corollary (1.12).
20. Oktober 2016
Anhang
In diesem Anhang werden einige Ergänzungen zusammengestellt. Insbesondere
werden Ergebnisse von Simulationen spezieller stochastischer Prozesse vorgestellt.
Zur Durchführung dieser Simulationen wird das Software-Paket Scilab 4.1 verwendet. Außerdem werden Resultate aus verschiedenen mathematischen Gebieten, die
in den Kapiteln 2 - . . . Verwendung finden, zusammengestellt.
A.1. Ergänzungen zu Kapitel 2
A.1.1. Simulation der eindimensionalen symmetrischen Irrfahrt. Zur
Simulation der eindimensionalen symmetrischen Irrfahrt A.1.2 kann das folgende
Scilab-Programm benutzt werden:
// Irrfahrt in 1D
// Bestimmung eines Pfades
N=10000;
// Zeitdauer
X0=0;
// Start im Ursprung
Pfad=ones((1:N+1));
// Initialisierung des Pfades
t=(0:N);
// Zeitpunkte
Pfad(1)=X0;
for i=2:N+1,
Z=(2*floor(2*rand(1,’uniform’)))-1;
// Bernoulli-verteilter Zuwachs
Pfad(i)=Pfad(i-1)+Z;
// Neue Position
end;
// Einstellung von Graphik-Parametern
xset("use color",0);
xbasc(0);
// Loeschen des Graphik-Fensters 0
xselect();
// Gegenw. Graphik-Fenster in den Vordergrund
// Darstellung des Pfades
plot2d2(t,Pfad(1,:));
xtitle("","Zeit","Ort");
Als Resultate ergeben sich beispielsweise Abbildung A.1.1 und A.1.2.
4.1Vgl. http://www.scilab.org/. Da bei einigen Betriebssystemen momentan (22. April 2012)
noch Probleme mit der Graphik der aktuellen Version scilab-5.3.3 auftreten, wird in den folgenden
Simulationen die alte Version scilab-4.1.2 benutzt.
A.1.2Vgl. Beispiel 2.2.
75
76
4
2
0
Ort
−2
−4
−6
−8
−10
0
10
20
30
40
50
60
70
80
90
100
Zeit
Abbildung A.1.1. Simulation eines Pfads der symmetrischen Irrfahrt bis zum Zeitpunkt 100.
60
40
20
Ort
0
−20
−40
−60
−80
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
Zeit
Abbildung A.1.2. Simulation eines Pfads der symmetrischen Irrfahrt bis zum Zeitpunkt 10000.
20. Oktober 2016
77
A.1.2. Simulation der Irrfahrt mit Trägheit. Zur Simulation eines eindimensionalen diffundierenden Teilchens mit Trägheit A.1.3 reicht es aus, das ScilabProgramm aus Abschnitt A.1.1 an wenigen Stellen zu modifizieren.
// Irrfahrt (mit Traegheit) in 1D
// Bestimmung eines Pfades
N=10000;
// Zeitdauer
p=0.9;
// Traegheitsparameter
X0=0;
// Start im Ursprung
X1=1;
Pfad=ones((1:N+1));
// Initialisierung des Pfades
t=(0:N);
// Zeitpunkte
Pfad(1)=X0;
Pfad(2)=X1;
for i=3:N+1,
Z=(2*grand(1,’bin’,1,p))-1;
// Bernoulli-verteilter Zuwachs
Pfad(i)=Pfad(i-1)+Z*(Pfad(i-1)-Pfad(i-2)); // Neue Position
end;
// Einstellung von Graphik-Parametern
xset("use color",0);
xbasc(0);
// Loeschen des Graphik-Fensters 0
xselect();
// Gegenw. Graphik-Fenster in den Vordergrund
// Darstellung des Pfades
plot2d2(t,Pfad(1,:));
xtitle("","Zeit","Ort");
Als Resultate ergeben sich beispielsweise Abbildung A.1.3 - A.1.12.
Noch ausführlich und präzise zu formulieren: p fest, Zeitdauer N hinreichend
groß. Pfad der Irrfahrt mit Trägheit sieht dann wie ein Pfad der symmetrischen
Irrfahrt aus.
Grund: Satz von Donsker (Verallgemeinerung des Zentralen Grenzwertsatzes
auf stochastische Prozesse): Skalierungslimes sehr vieler vernünftiger Prozesse aus
verschiedenen Anwendungsgebieten ist Brownsche Bewegung. Daher ist die Brownsche Bewegung in der Modellbildung äußerst wichtig.
...
A.1.3Vgl. Beispiel 2.3.
20. Oktober 2016
78
10
5
0
Ort
−5
−10
−15
−20
−25
0
10
20
30
40
50
60
70
80
90
100
Zeit
Abbildung A.1.3. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.9 bis zum Zeitpunkt 100.
150
100
50
Ort
0
−50
−100
−150
−200
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
Zeit
Abbildung A.1.4. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.9 bis zum Zeitpunkt 10000.
20. Oktober 2016
79
8
6
4
Ort
2
0
−2
−4
−6
0
10
20
30
40
50
60
70
80
90
100
Zeit
Abbildung A.1.5. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.5 bis zum Zeitpunkt 100.
140
120
100
80
Ort
60
40
20
0
−20
−40
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
Zeit
Abbildung A.1.6. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.5 bis zum Zeitpunkt 10000.
20. Oktober 2016
80
2.0
1.5
1.0
Ort
0.5
0.0
−0.5
−1.0
−1.5
−2.0
0
10
20
30
40
50
60
70
80
90
100
Zeit
Abbildung A.1.7. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.1 bis zum Zeitpunkt 100.
25
20
15
Ort
10
5
0
−5
−10
−15
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
Zeit
Abbildung A.1.8. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.1 bis zum Zeitpunkt 10000.
20. Oktober 2016
81
1400
1200
1000
Ort
800
600
400
200
0
−200
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
Zeit
Abbildung A.1.9. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.99 bis zum Zeitpunkt 10000.
8
6
4
2
Ort
0
−2
−4
−6
−8
−10
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
Zeit
Abbildung A.1.10. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.01 bis zum Zeitpunkt 10000.
20. Oktober 2016
82
8000
6000
4000
2000
Ort
0
−2000
−4000
−6000
−8000
−10000
0e+00
1e+05
2e+05
3e+05
4e+05
5e+05
6e+05
7e+05
8e+05
9e+05
1e+06
Zeit
Abbildung A.1.11. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.99 bis zum Zeitpunkt 1000000.
140
120
100
80
Ort
60
40
20
0
−20
−40
0e+00
1e+05
2e+05
3e+05
4e+05
5e+05
6e+05
7e+05
8e+05
9e+05
1e+06
Zeit
Abbildung A.1.12. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.01 bis zum Zeitpunkt 1000000.
20. Oktober 2016
83
A.1.3. Erzeugende Funktionen. Für eine beschränkte Folge ak , k ∈ N0 ,
reeller Zahlen ist
∞
X
(A.1)
b
a(µ) =
ak µk , 0 ≤ µ < 1,
k=0
deren erzeugende Funktion. Erzeugende Funktionen haben ähnliche Eigenschaften
wie Fouriertransformierte A.1.4 oder Laplacetransformierte. Sie spielen u.a. als Hilfsmittel in der diskreten Wahrscheinlichkeitstheorie A.1.5 eine wichtige Rolle. Die beiden folgenden Resultate werden in solchen Anwendungen häufig angewandt.
Lemma A.1.1.
N0 , und bk , k ∈ N0 , beschränkte, reellwertige
P∞ Seien ak , k ∈P
∞
Folgen, wobei k=0 |ak | < ∞ oder k=0 |bk | < ∞. Dann ist die Faltung ck , k ∈ N0 ,
Pk
mit ck = l=0 al bk−l , k ∈ N0 jener Folgen ebenfalls beschränkt A.1.6. Weiterhin
gilt A.1.7:
b
c(µ) = b
a(µ)bb(µ), 0 ≤ µ < 1.
Lemma A.1.2 (Lemma von Abel A.1.8). Sei ak , k ∈ N0 eine beschränkte, reellwertige Folge.
P∞
(a) Falls k=0 ak absolut konvergiert A.1.9, gilt:
lim
µր1
∞
X
k=0
(b) Falls ak ≥ 0, k ∈ N0 , und limµր1
∞
X
ak µk =
ak .
k=0
P∞
k=0
ak = lim
N →∞
k=0
∞
X
ak µk = a ≤ ∞, gilt:
N
X
ak = a.
k=0
Bemerkung
Lemma A.1.2 besagt insbesondere, daß es zurP
Berechnung
P∞ A.1.3.
∞
ak µk = limµր1 b
a(µ) zulässig ist, limµր1 . . . und
von limµր1 k=0P
k=0 . . . zu
∞
vertauschen, falls k=0 |ak | < ∞ oder falls ak ≥ 0, k ∈ N0 .
A.1.4. Simulationen des Betrags höherdimensionaler symmetrischer
Irrfahrten. In den in den Abbildungen A.1.13 - A.1.15 dargestellten Simulationen deutet sich an, daß die symmetrische Irrfahrt in Z2 rekurrent ist, während die
A.1.4Ersetzt man in µ → b
a(µ) die Variable µ durch exp(2πiθ) erhält man die Fouriertransformierte
a(θ) von ak , k ∈ N0 . Die Fouriertransformierte e
a ist zumindest dann wohldefiniert,
P∞θ → e
wenn k=1 |ak | < ∞.
A.1.5
Z.B. bei der Untersuchung von Markovketten wie beim Beweis von Satz 2.32.
A.1.6Wenn beispielsweise P∞ |a | < ∞, so ist
k=0 k
|ck | ≤
k
X
l=0
|al ||bk−l | ≤
„
sup |br |
r∈N0
«X
∞
l=0
|al | ≤ C < ∞,
k ∈ N0 .
Aufgrund der Beschränktheit von ck , k ∈ N0 , ist b
c durch (A.1) wohldefiniert.
A.1.7
b
c(µ) =
∞
X
k=0
ck µk =
∞
X
k=0
µk
„X
k
l=0
al bk−l
«
=
∞
X
l=0
al µl
∞
X
k=l
|
{z
}
∞
X
m
=
bm µ
A.1.8Vgl. [7], Chapter 2, Lemma 5.1.
A.1.9D.h., falls P∞ |a | < ∞.
k=0
bk−l µk−l = b
a(µ)b
b(µ),
k
20. Oktober 2016
m=0
0 ≤ µ < 1.
84
symmetrische Irrfahrt in Z3 , bzw. in Z10 transient ist. Insbesondere wird das Tran”
sienzverhalten“ in Zd , d = 3, 4, . . . , mit wachsendem d immer ausgeprägter A.1.10.
700
600
500
|X|
400
300
200
100
0
0
20000
40000
60000
80000
100000
Zeit
Abbildung A.1.13. Betrag der symmetrischen Irrfahrt in Z2 .
4 Simulationen bis zum Zeitpunkt 100000.
A.1.10Durch die Simulationen in den Abbildungen A.1.13 - A.1.15 werden die Resultate in
den Beispielen 2.37, 2.39 und 2.40 illustriert.
20. Oktober 2016
85
250
200
|X|
150
100
50
0
0
2000
4000
6000
8000
10000
Zeit
Abbildung A.1.14. Betrag der symmetrischen Irrfahrt in Z3 .
10 Simulationen bis zum Zeitpunkt 10000.
500
450
400
350
|X|
300
250
200
150
100
50
0
0
2000
4000
6000
8000
Zeit
Abbildung A.1.15. Betrag der symmetrischen Irrfahrt in Z10 .
2 Simulationen bis zum Zeitpunkt 10000.
20. Oktober 2016
10000
Literaturverzeichnis
[1] M. Abramowitz, I.A. Stegun: Handbook of Mathematical Functions (Ninth Printing). Dover
Publications, 1972.
[2] R. Durrett. Probability: Theory and Examples, 2nd Edition. Duxbury Press, 1996.
[3] F. Erwe. Differential- und Integralrechnung, Band 1. Bibliographisches Institut, 1973.
[4] G. Grimmett, D. Stirzaker. Probability and Random Processes, 3rd Edition. Oxford University Press, 2003.
[5] C. Hesse. Angewandte Wahrscheinlichkeitstheorie. Vieweg 2003.
[6] O. Kallenberg. Foundations of Modern Probability, 2nd Edition. Springer, 2002.
[7] S. Karlin, H.M. Taylor. A First Course in Stochastic Processes (Second Edition). Academic
Press, 1975.
[8] S. Karlin, H.M. Taylor. A Second Course in Stochastic Processes. Academic Press, 1981.
[9] M. Löwe. Mathematische Statistische Mechanik. Skript, Institut für Mathematische Statistik,
Universität Münster (http://www.math.uni-muenster.de/statistik/loewe/statmech.pdf).
[10] M. Matsumoto, T. Nishimura. Mersenne twister: a 623-dimensionally equidistributed uniform
pseudo-random number generator. ACM Transactions on Modeling and Computer Simulation 8 (Special issue on uniform random number generation), 3 - 30, 1998.
[11] H. Niederreiter. Random Number Generation and Quasi-Monte-Carlo-Methods. SIAM,
CBMS-NSF Regional Conference Series in Applied Mathematics 63, 1992.
[12] D. Revuz, M. Yor. Continuous Martingales and Brownian Motion (Third Edition). Springer
Verlag, 1999.
[13] W. Walter. Gewöhnliche Differentialgleichungen. Springer 1972.
87