Modellierung für Lehramtsstudierende Wintersemester 2012/13 Ausgewählte Abschnitte 14. Februar 2013 Karl Oelschläger Institut für Angewandte Mathematik Universität Heidelberg 1 Inhaltsverzeichnis Kapitel 1. Einleitung und Überblick 5 Kapitel 2. Modellierung mit stochastischen Prozessen 9 2.1. Stationäre stochastische Prozesse 12 2.1.1. Lineare Vorhersage schwach stationärer stochastischer Prozesse 17 2.2. Markovprozesse 19 2.2.1. Markovketten 19 2.2.2. Modellbildung mit Markovketten 23 2.2.3. Klassifikation der Zustände einer Markovkette 28 2.2.4. Rekurrenz und Transienz 30 2.2.5. Asymptotik der Übergangsmatrizen 36 2.2.6. Stationäre Verteilungen von Markovketten 39 2.2.7. Rekurrenz und Transienz (2. Teil) 43 2.2.8. Markovprozesse in kontinuierlicher Zeit mit diskretem Zustandsraum 45 2.2.9. Vorwärts- und Rückwärtsgleichungen 50 2.2.10. Simulation eines Markovprozesses mit einem diskreten Zustandsraum 55 2.3. Erneuerungsprozesse 56 Kapitel 3.1. 3.2. 3.3. 3. Simulation von Zufallsvariablen Erzeugung von Pseudozufallszahlen in [0, 1] Simulation von Folgen reellwertiger, i.i.d. Zufallsvariablen Quasizufallszahlen 59 59 60 62 Kapitel 4.1. 4.2. 4.3. 4. Brownsche Bewegung Definition der Brownschen Bewegung Donskersches Invarianzprinzip Die Pfade der Brownschen Bewegung 65 65 68 69 Anhang 73 A.1. Ergänzungen zu Kapitel 2 73 A.1.1. Simulation der eindimensionalen symmetrischen Irrfahrt 73 A.1.2. Simulation der Irrfahrt mit Trägheit 75 A.1.3. Erzeugende Funktionen 81 A.1.4. Simulationen des Betrags höherdimensionaler symmetrischer Irrfahrten 81 Literaturverzeichnis 85 3 4 Anmerkungen zu den Fußnoten Die folgenden Seiten enthalten zahlreiche Fußnoten. Diese Fußnoten enthalten: • Querverweise, Referenzen, • Ergänzungen, • Präzisierungen, Erläuterungen, • Hinweise auf weiterführende Resultate oder Begriffe, • Beweise und • Definitionen. Sie sind gedacht • nicht als Haupttext, • aber als Hilfestellung zum Verständnis des Haupttextes, • zur Verdeutlichung von Verbindungen innerhalb der Vorlesung und • für Ausblicke auf Resultate im späteren Verlauf der Vorlesung, bzw. in weiterführenden Veranstaltungen. 14. Februar 2013 KAPITEL 1 Einleitung und Überblick Ausgangspunkt bei der Bildung eines mathematischen Modells ist ein 1.1 Phäno” men“ beispielsweise aus Physik, Biologie, Technik, Wirtschaft, . . . , das • immer wieder beobachtet wird 1.2, das • immer nach dem gleichen Schema“ abläuft 1.3 und das ” • verstanden“ werden sollte. Hinter dem Wunsch des Verstehens kann z.B. ” der Wunsch nach Befriedigung der Neugier oder nach der Optimierung eines Ertrags stehen 1.4. Die Vorgehensweise bei der Bildung eines mathematischen Modells besteht zunächst aus der • Bestimmung der wesentlichen, das Ausgangsphänomen charakterisierenden Größen“ 1.5 und anschließend der ” • Darstellung der Zusammenhänge und Wechselwirkungen jener Größen als eine mathematische Gesetzmäßigkeit“ 1.6. Diese Gesetzmäßigkeit wird als ” mathematisches Modell bezeichnet. • Der nächste Schritt in einer realen Anwendung ist die Untersuchung des mathematischen Modells, d.h. die Herleitung mathematischer Sätze, die Durchführung numerischer Berechnungen oder von Computersimulationen. • Abschließend sind die Resultate der mathematischen Überlegungen, der numerischen Berechnungen oder der Simulationen in den Kontext des Ausgangsphänomens zu übersetzen 1.7. Insbesondere ist die Glaubwürdigkeit des mathematischen Modells durch Vergleich der bei seiner Untersuchung 1.1Am Anfang einer Modellierung steht immer ein Geschehen aus der realen Welt“. Zu seiner ” Beschreibung wird i. allg. die Umgangssprache verwendet. Auf die Sprache der Mathematik kann in diesem Stadium noch nicht zurückgegriffen werden. 1.2Ein Phänomen, das immer wieder“ beobachtet wird, ist z.B. das tägliche Wettergeschehen ” an einem festen Ort. Phänomene, die nur einmal geschehen, brauchen i. allg. nicht modelliert zu werden. Ausnahmsweise kann aber auch die Modellierung einmaliger oder auch evtl. sogar niemals eintretender Ereignisse dann sinnvoll sein, wenn wie beispielsweise beim Sturz des Mondes auf die Erde, die Auswirkungen extrem sind. 1.3Wenn sich das Erscheinungsbild eines Phänomens immer wieder ändert und sich auch in einem stochastischen Sinn keine Regelmäßigkeit finden läßt, wie möglicherweise beim Ablauf von Bundestagsdebatten, kann keine sinnvolle Modellierung vorgenommen werden. 1.4Ohne ein solches Ziel wird man den zur Modellierung erforderlichen Arbeitsaufwand scheuen. 1.5Wenn beispielsweise der an einer bestimmten Wetterstation gemessene Temperaturverlauf zu modellieren ist, kann sicherlich das Gewicht der Betreuer jener Wetterstation unberücksichtigt bleiben. 1.6Diese mathematische Gesetzmäßigkeit könnte z.B. eine gewöhnliche Differentialgleichung oder ein spezieller stochastischer Prozeß sein. 1.7Somit ist eine Rückkehr aus der abstrakten mathematischen Welt in die Realität durchzuführen. 5 6 sich ergebenden Konsequenzen mit Beobachtungen der Realität zu prüfen 1.8. Charakteristisch für das Gebiet der mathematischen Modellierung ist, • daß ein vorgegebenes Phänomen i. allg. auf vielfältige Weisen modelliert werden kann und daß die Details des Modells abhängig von Vorkenntnissen oder vom gewünschten, bzw. geplanten Erkenntnisgewinn gewählt werden können 1.9. • Als Konsequenz des Bezugs zur realen Welt“ ist eine permanente Prüfung ” des mathematischen Modells notwendig 1.10. Die Bereitschaft zu Modifizierung eines Modells sollte vorhanden sein 1.11. Beispiel 1.1 (Modellierung der Ausbreitung von Licht). Eine Folge verschiedener Modelle wird genannt. Vorangehende, bewährte Modelle werden nach neuen Beobachtungen und Erkenntnissen erweitert, bzw. ersetzt. Beobachtung: Schattenwurf. 1. Modell: Strahlenmodell des Lichts, geometrische Optik. Weitere Beobachtung: Beugungsphänomene. 2. Modell: Wellenmodell des Lichts, Wellenoptik. Weitere Beobachtung: Photoeffekt. 3. Modell: Teilchenmodell des Lichts, Photonen. Konflikte zwischen 1., 2. und 3. Modell. 4. Modell: Quantenmechanik, Quantenelektrodynamik. Hypothesen (Einstein u.a.): Die Geschwindigkeit des Lichts ist endlich. Lichtstrah” len“ in einem kräftefreien Raum bewegen sich geradeaus. Bestätigung der Hypothesen durch Experimente. Gedankenexperiment (Einstein): Lichtausbreitung in einem ungebremst im Gravitationsfeld der Erde fallenden Fahrstuhl“. ” 1.8Beispielsweise ist ein Klimamodell, das in Europa auf der Ostseite von Gebirgen eine im Vergleich zur Westseite erhöhte Regenmenge vorhersagt, nicht glaubwürdig. 1.9Es können unterschiedliche Aspekte des realen Phänomens in den Vordergrund gestellt werden. Es können genaue oder auch weniger genaue Modelle vorgeschlagen werden. Hierbei ist zu erwarten, daß ein genaueres“ Modell mathematisch weniger gut behandelt werden kann. ” Wenn zufällige Einflüsse berücksichtigt werden sollen, ist ein stochastisches Modell zu suchen. Wenn andererseits viele zufällige Einflüsse sich aufgrund eines Gesetzes der großen Zahlen zu einem deterministischen Beitrag zusammenfügen, mag ein deterministisches Modell ausreichen. Bei der Untersuchung eines mathematischen Modells kann der Beweis mathematischer Sätze, die Durchführung numerischer Berechnungen oder von Simulationen das Ziel sein. Dementsprechend sind unterschiedliche Vorgehensweisen beim Entwurf eines mathematischen Modells sinnvoll. Wenn die Ergebnisse, die ein mathematisches Modell liefert, eine Grundlage von wirtschaftlichen oder politischen Entscheidungen sein sollen, können offensichtlich auch kommerzielle oder politische Interessen den Entwurf jenes Modells stark beeinflussen. Beispielsweise können in einem Modell, bzw. einer Studie zur Wirtschaftlichkeit der Kernenergie die Kosten für die Entsorgung des Atommülls, des Rückbaus veralteter Kernkraftwerke, der Aufgabe großer Landstriche im Fall eines schwerwiegenden Unfalls, . . . berücksichtigt, bzw. ignoriert werden. 1.10Es ist zu klären, ob das Modell eine realistische Beschreibung des zugrundeliegenden Phänomes liefert, d.h., ob Beobachtungen in der Realität auch im Modell gesehen werden können, bzw. ob Aussagen des Modells z.B. durch Messungen in der Realität verifiziert werden können. Wenn spezielle Aspekte der Realität eine verstärkte Aufmerksamkeit erfordern, sollten insbesondere die Aussagen des Modells zu diesen Schwerpunkten die realen Beobachtungen gut widerspiegeln. Marginale Aspekte der Realität brauchen durch das mathematische Modell weniger gut erfaßt zu werden. Letztendlich sollte sich auch der Aufwand zur Erstellung und Untersuchung eines mathematischen Modells in akzeptablen“ Grenzen halten. 1.11Wenn ein ”bisher bewährtes mathematisches Modell sich aufgrund von neuen Erkenntnissen als ungeeignet zur Beschreibung der Realität erweist, ist die weitere Beschäftigung mit ihm evtl. nur noch reine Mathematik“. Aus didaktischen Gründen“ mögen jene Überlegungen ” ” dennoch sinnvoll sein. 14. Februar 2013 7 Beobachtungen 1.12: - Beobachter im Fahrstuhl: Lichtstrahl“ ist geradlinig. ” - Beobachter auf dem Erdboden, der ins Innere des Fahrstuhls blickt: Lichtstrahl“ ist gekrümmt 1.13. ” 5. Modell: Allgemeine Relativitätstheorie. Konflikt zwischen 4. und 5. Modell. Allgemeineres Modell existiert gegenwärtig nicht. Großes noch ungelöstes Problem der Physik: Quantisierung der Gravitation. 1.12Unter http://www.einstein-online.info/vertiefung/AequivalenzLicht sind Animationen der beiden Beobachtungen zu finden. 1.13Die Krümmung des Lichts in Gravitationsfeldern kann durch konkrete Beobachtungen verifiziert werden (Sonnenfinsternisse, Gravitationslinsen). 14. Februar 2013 KAPITEL 2 Modellierung mit stochastischen Prozessen Mit stochastischen oder zufälligen Prozessen können zeitliche Entwicklungen modelliert werden, die vom Zufall beeinflußt sind“. ” Sei (Ω, F, P) ein Wahrscheinlichkeitsraum, (Ω′ , F′ ) ein meßbarer Raum und 2.1 T ⊆ R. Für alle t ∈ T sei Xt : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable. Ein stochastischer Prozeß X = (Xt )t∈T ergibt sich, wenn die Familie {Xt : t ∈ T} dieser Zufallsvariablen zu einem Objekt zusammengefaßt wird. Der gemeinsame Wertebereich (Ω′ , F′ ) der Zufallsvariablen Xt , t ∈ T, wird auch als Zustandsraum von X bezeichnet. Unter der Verteilung eines stochastischen Prozesses X = (Xt )t∈T versteht man die gemeinsame Verteilung der Zufallsvariablen {Xt : t ∈ T}. Beispiel 2.1 (Bernoulli-Prozeß). Zu p ∈ [0, 1] seien Yn , n ∈ N, unabhängige, {−1, 1}-wertige Zufallsvariablen mit (2.1) P[Yn = 1] = p, P[Yn = −1] = 1 − p, n ∈ N. Der stochastische Prozeß Y = (Yn )n∈N wird als Bernoulli-Prozeß (mit Parameter p) bezeichnet. Mit einem derartigen Prozeß kann z.B. der zeitliche Verlauf eines beliebig oft unabhängig wiederholten Münzwurfs mit Erfolgswahrscheinlichkeit p modelliert werden 2.2 2.3. Beispiel 2.2 (Irrfahrt). Sei Y = (Yn )n∈N der Bernoulli-Prozeß zum Parameter p ∈ [0, 1] aus Beispiel 2.1. Weiterhin sei ( 0, k = 0, (2.2) Xk = Pk Xk−1 + Yk = l=1 Yl , k = 1, 2, . . . . Der stochastische Prozeß X = (Xk )k∈N0 wird als Irrfahrt (auf Z) bezeichnet. Für p = 1/2 ergibt sich die symmetrische Irrfahrt. Auf eine anschauliche Weise läßt sich die Irrfahrt X folgendermaßen beschreiben: • X startet zum Zeitpunkt 0 im Ursprung 0. • Zu jedem späteren Zeitpunkt k = 1, 2, . . . springt X mit Wahrscheinlichkeit p nach rechts, bzw. mit Wahrscheinlichkeit 1 − p nach links 2.4. • Zwischen zwei aufeinanderfolgenden Zeitpunkten in N0 bewegt sich X nicht. 2.1In den konkreten Beispielen dieser Vorlesung ist üblicherweise T = N = {1, 2, . . . }, T = N0 = {0, 1, 2, . . . }, T = Z oder auch T = [0, ∞). 2.2Im hier beschriebenen Modellierungsansatz kann −1 mit Mißerfolg“ und 1 mit Erfolg“ ” ” identifiziert werden. 2.3 Ebenso könnten mit dem Bernoulli-Prozeß Y auch die Ergebnisse einer beliebig großen Serie von Prüfungen der Funktionsfähigkeit der Produktionsstücke eines Industriebetriebs modelliert werden. In diesem Zusammenhang bedeutet Yn = +1 (Yn = −1), daß das n-te Produktionsstück funktionsfähig (defekt) ist. 2.4Im Zeitpunkt n ∈ N beschreibt die Bernoulli-verteilte Zufallsvariable Y 0 n+1 , wie die unmittelbar folgende Bewegung von X verläuft. 9 10 Für p ∈ (0, 1) kann die Irrfahrt als ein einfaches Modell für ein eindimensiona” les diffundierendes Teilchen“ betrachtet werden. In den Fällen p 6= 1/2 hat dieses Teilchen eine Drift“ 2.5. ” Auf Möglichkeiten, realistischere“ Modelle eines eindimensionalen diffundie” ” renden Teilchens“ zu entwerfen, wird in den folgenden Beispielen 2.3 und 2.4 eingegangen. Beispiel 2.3 (Diffundierendes Teilchen mit Trägheit). Die in Beispiel 2.2 beschriebene Irrfahrt ändert in jedem Zeitpunkt völlig zufällig“ ihre Richtung 2.6. In einem ” realistischeren Modell kann die Trägheit“ des Teilchens berücksichtigt werden 2.7. ” Definiert man z.B. X = (Xn )n∈N0 durch 2.8 k = 0, 0, (2.3) Xk = 1, k = 1, Xk−1 + Yk−1 (Xk−1 − Xk−2 ), k = 2, 3, . . . , wobei Y = (Yn )n∈N der in Beispiel 2.1 definierte Bernoulli-Prozeß zum Parameter p ∈ [0, 1] ist, so zeigt sich, daß • X in jedem Zeitpunkt n = 1, 2, 3, . . . mit Wahrscheinlichkeit p seine Rich” tung“ beibehält, d.h., wenn Yn = 1, so ist Xn+1 = Xn + (Xn − Xn−1 ), bzw. Xn+1 − Xn = Xn − Xn−1 , und daß • X in jedem Zeitpunkt n = 1, 2, 3, . . . mit Wahrscheinlichkeit 1 − p seine Richtung“ umdreht, d.h., wenn Yn = −1, so ist Xn+1 = Xn − (Xn − ” Xn−1 ), bzw. Xn+1 − Xn = −(Xn − Xn−1 ). Das durch X = (Xn )n∈N0 beschriebene Teilchen kann insbesondere dann als träge“ ” bezeichnet werden, wenn p > 1/2 2.9. Durch Xn − Xn−1 = Xn − Xn−1 , n = 1, 2, . . . , n − (n − 1) kann für die Prozesse X in den Beispielen 2.2 und 2.3 eine Geschwindigkeit“ defi” niert werden. • In Beispiel 2.2 sind Vn , n = 1, 2, . . . , i.i.d. Zufallsvariablen mit Werten in {−1, 1} 2.10. • In Beispiel 2.3 sind die Zufallsvariablen Vn , n = 1, 2, . . . , abhängig 2.11, d.h., Vn+1 = Vn mit Wahrscheinlichkeit p, bzw. Vn+1 = −Vn mit Wahrscheinlichkeit 1 − p. Vn = 2.5In Anhang A.1.1 wird eine Simulation der symmetrischen Irrfahrt vorgestellt. 2.6 Völlig zufällig“ ist eine umgangssprachliche Beschreibung der Annahme, daß die Rich- ” tungsänderungen der Irrfahrt unabhängig sind. 2.7Ein Teilchen kann als träge“ bezeichnet werden, wenn es dazu tendiert, seine bisherige ” Richtung auch zukünftig beizubehalten. 2.8Durch die Annahmen X = 0 und X = 1 wird nur eine Anfangsrichtung vorgegeben. 0 1 2.9Wenn p > 1/2, behält X bei einer Ortsveränderung mit größerer Wahrscheinlichkeit seine Richtung bei, d.h., in den meisten“ Zeitpunkten n = 1, 2, . . . gilt Xn+1 −Xn = Xn −Xn−1 . Wenn ” p < 1/2, wechselt X außergewöhnlich häufig“ die Richtung, d.h., die Pfade von X tendieren zu ” Oszillationen. Für p = 1/2 ist für alle n = 1, 2, . . . genau wie bei einer symmetrischen Irrfahrt Xn+1 − Xn = ±(Xn − Xn−1 ) jeweils mit Wahrscheinlichkeit 1/2. Somit besitzt in diesem Fall der ′′ ) Prozeß X′ = (Xn )n∈N die gleiche Verteilung wie eine symmetrische Irrfahrt X′′ = (Xn n∈N , die zum Zeitpunkt n = 1 mit X1′′ = 1 startet. Diese Überlegungen werden durch die Simulationen in Anhang A.1.2 verdeutlicht. 2.10Aus (2.2) folgt V = X − X n n n−1 = Yn , n ∈ N. Somit nimmt die Geschwindigkeit“ eines ” durch die symmetrische Irrfahrt X beschriebenen Teilchens in den verschiedenen Zeitpunkten völlig zufällig“ die Werte −1 und +1 an. ” 2.11Die Abhängigkeit der Zufallsvariablen V , n = 1, 2, . . . , ist eine notwendige Eigenschaft, n wenn ein träges Teilchen modelliert werden soll. 14. Februar 2013 11 In einem weiteren Schritt zu einer realistischeren Modellierung“ eines diffun” dierenden physikalischen Teilchens kann nun Reibung“ berücksichtigt werden 2.12. ” Beispiel 2.4 (Diffundierendes Teilchen mit Reibung). Sei α ∈ (0, 1). Es sei angenommen, daß in jedem Zeitpunkt n die Geschwindigkeit“ Vn ” • um einen konstanten Anteil −αVn abnimmt (Reibung) und daß weiterhin zu Vn • ein zufälliger, additiver Beitrag Yn hinzutritt (Diffusion) 2.13. Somit kann die zeitliche Entwicklung des Geschwindigkeitsprozesses V = (Vn )n∈N0 durch ( 0, k = 0, (2.4) Vk = Vk−1 − αVk−1 + Yk , k = 1, 2, . . . , modelliert werden. Hierbei seien Y1 , Y2 , . . . i.i.d. Zufallsvariablen mit E[Y1 ] = 0 2.14. Mit einer zusätzlichen additiven Konstante β 6= 0 auf der rechten Seite von (2.4), d.h., durch ( 0, k = 0, (2.5) Vk = Vk−1 − αVk−1 + β + Yk , k = 1, 2, . . . , kann die Bewegung in einem räumlich homogenen äußeren Feld modelliert werden 2.15. Zu einem gegebenen Geschwindigkeitsprozeß V ergibt sich mit ( 0, k = 0, (2.6) Xk = Xk−1 + Vk−1 , k = 1, 2, . . . , ein Ortsprozess X = (Xn )n∈N0 . (2.4), (2.6), bzw. (2.5), (2.6) bilden Modelle für die räumliche Bewegung eines diffundierenden Teilchens mit Reibung. Die Prozesse X und V sind offensichtlich abhängig. Sie können zu einem stochastischen Prozess Z = (Zn )n∈N0 mit Zn = (Xn , Vn ), n ∈ N0 , zusammengefaßt werden. Der Zustandsraum dieses Prozesses Z ist R2 2.16. In den Beispielen 2.1 - 2.4 werden einzelne stochastische Prozesse, die in speziellen mathematischen Modellen angewandt werden, betrachtet. In den folgenden Abschnitten werden allgemeinere Klassen stochastischer Prozesse 2.17 vorgestellt, die vielfältige Anwendungen bei zahlreichen, ganz unterschiedlichen Modellierungsproblemen finden können. 2.12Für ein physikalisches Teilchen führt Reibung“ zu einer Verringerung seiner Geschwin” digkeit. Dieser Effekt wird im folgenden Beispiel 2.4 modelliert. 2.13Zufällige additive Beiträge zu den Änderungen der Geschwindigkeit ergeben sich beispielsweise bei der Modellierung der Bewegung eines Teilchens in einem Wärmebad, d.h. bei der Beschreibung der Auswirkungen zufälliger Stöße durch die eine ungeordnete thermische Bewegung ausführenden Moleküle des Mediums, welches das Teilchen umgibt. 2.14Durch die Annahme E[Y ] = 0 wird zum Ausdruck gebracht, daß die diffusiven Beiträge 1 zu den Geschwindigkeitsänderungen nicht zu einer systematischen Bewegung in eine bevorzugte Richtung führen. 2.15Mit einem derartigen äußeren Feld kann beispielsweise die Schwerkraft modelliert werden. Zum Verständnis des Modellierungsansatzes (2.5) beachte man, daß in der klassischen Mechanik die schwerkraftbedingte Änderung der Geschwindigkeit V eines Teilchens nahe der Erdoberfläche durch V̇ = konst. gegeben ist. Zur Modellierung eines äußeren Feldes könnte offensichtlich anstelle von (2.5) auch (2.4) mit i.i.d. Zufallsvariablen Y1 , Y2 , . . . mit E[Y1 ] = β 6= 0 benutzt werden. 2.16Im Gegensatz zu den Prozessen X in den Beispielen 2.2 und 2.3 ist V und damit auch X nicht auf Z konzentriert. 2.17 Beispielsweise werden stationäre stochastische Prozesse und Markovketten eingeführt. 14. Februar 2013 12 Die Zeit ist in den durch die Beispiele 2.2 - 2.4 eingeführten Modellen für die räumliche Bewegung eines Teilchens diskret. Der Einfachheit halber wird bis Abschnitt 2.2.7 diese Einschränkung beibehalten. 2.1. Stationäre stochastische Prozesse Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und (Ω′ , F′ ) ein meßbarer Raum. Weiterhin sei Xn : (Ω, F, P) → (Ω′ , F′ ), n ∈ N0 , eine Familie von Zufallsvariablen. Der stochastische Prozeß X = (Xn )n∈N0 heißt stationär, wenn für alle m ∈ N und alle k1 , . . . , km ∈ N0 mit 0 ≤ k1 < · · · < km < ∞ die gemeinsame Verteilung von Xk+k1 , . . . , Xk+km unabhängig von k ∈ N0 ist 2.18, d.h., wenn (2.7) P Xk+k1 ∈ A′k1 , . . . , Xk+km ∈ A′km = P Xk1 ∈ A′k1 , . . . , Xkm ∈ A′km , 0 ≤ k1 < · · · < km < ∞, A′k1 , . . . , A′km ∈ F′ , m ∈ N, k ∈ N0 . Ein stochastischer Prozeß ist somit stationär, wenn sein Verhalten in einem end” lichen Zeitintervall“ 2.19 nicht von der genauen Lage dieses Zeitintervalls auf der Zeitachse abhängt. Beispiel 2.5. Der in Beispiel 2.1 vorgestellte Bernoulli-Prozess Y = (Yn )n∈N mit Parameter p ∈ [0, 1] ist stationär. In der Tat sind die Größen P Yk+k1 = ηk1 , . . . , Yk+km = ηkm = 2.20 = 2.21 P[Yk+k1 = ηk1 ] · · · P[Yk+km = ηkm ] p Pm r=1 (1+ηkr )/2 Pm (1 − p) r=1 (1−ηkr )/2 , 1 ≤ k1 < · · · < km < ∞, ηk1 , . . . , ηkm ∈ {−1, 1}, m ∈ N, k ∈ N0 , welcher die endlich-dimensionalen Verteilungen von Y charakterisieren, von k unabhängig. Beispiel 2.6. Die in Beispiel 2.2 beschriebene Irrfahrt X = (Xn )n∈N0 ist nicht stationär, da z.B. P[X0 = 0] = 1 6= 0 = P[X1 = 0] gilt. Beispiel 2.7. An einem festen äquatornahen Ort werde an jedem Tag k = 1, 2, . . . zur Mittagszeit die Temperatur und die Luftfeuchtigkeit gemessen. In einem vernünftigen Modell der Meßreihe scheint die Verwendung eines stationären Prozesses Y = (Yn )n∈N sinnvoll zu sein 2.22. 2.18Auf analoge Weise lassen sich natürlich auch stationäre stochastische Prozesse wie (Xn )n∈N , (Xn )n∈Z oder (Xn )n∈Zd mit den Indexmengen N, Z, bzw. Zd , wobei d = 2, 3, . . . , charakterisieren. 2.19Dies ist (2.7) entsprechend in einem speziellen wahrscheinlichkeitstheoretischen Sinn gemeint. Insbesondere wird die zeitliche Invarianz des Verhaltens eines stochastischen Prozesses“ ” mit Hilfe des Begriffs der Verteilung von Zufallsvariablen formuliert. 2.20Da die Zufallsvariablen Y , Y , . . . unabhängig sind. 1 2 2.21 Man beachte, daß z.B. ( 1+η 1, falls η = 1, = 2 0, falls η = −1. Pm Somit ist r=1 (1 + ηkr )/2 die Anzahl der n ∈ {k1 , . . . , km } mit ηn = 1. Entsprechend ist Pm (1 − η k r )/2 die Anzahl der n ∈ {k1 , . . . , km } mit ηn = −1. r=1 2.22An einem äquatorfernen Ort ist mit jahreszeitlichen Schwankungen von Temperatur und Luftfeuchtigkeit zu rechnen, so daß dann eine Modellierung der Meßwerte durch einen stationären Prozeß nicht als angemessen erscheint. 14. Februar 2013 13 In vielen Anwendungen reellwertiger, quadratintegrabler 2.23, stationärer stochastischer Prozesse X = (Xn )n∈N0 werden L2 -Methoden angewandt. Insbesondere werden die Zufallsvariablen Xn , n ∈ N0 , als Elemente L2 (Ω, F, P) p des Hilbertraums 2 2 2 betrachtet. L (Ω, F, P) ist mit der Norm kXk2 := E[X ], X ∈ L (Ω, F, P), ausgestattet. Weiterhin ist das Skalarprodukt in L2 (Ω, F, P) durch hX, Y i := E[XY ], X, Y ∈ L2 (Ω, F, P), definiert. Für X, Y ∈ L2 (Ω, F, P) ist somit E[X] = hX, 1i, bzw. Cov(X, Y ) = E[XY ] − E[X]E[Y ] = hX, Y i − hX, 1ihY, 1i, wobei 1 eine Zufallsvariable, die f.s. den Wert 1 annimmt, bezeichnet. Zur Untersuchung von X mit L2 -Methoden sind nur lineare Berechnungen innerhalb von L2 (Ω, F, P) zugelassen. Im Vergleich zu allgemeineren Methoden ergibt sich damit eine wesentliche Vereinfachung. Jedoch können durch die Einschränkung der mathematischen Methoden natürlich i. allg. keine optimalen Resultate erzielt werden. Im Rahmen der L2 -Methoden wird speziell mit den ersten und zweiten Momenten von X, d.h., mit E[Xn ], n ∈ N0 , und Cov(Xn , Xk ), n, k ∈ N0 , gearbeitet. Aufgrund der Stationarität von X gilt (2.8a) E[Xn ] = E[Xk ], und (2.8b) n, k ∈ N0 , n, k, r ∈ N0 . Cov(Xn , Xk ) = Cov(Xn+r , Xk+r ), Insbesondere hängt die Autokovarianzfunktion (n, k) → Cov(Xn , Xk ) =: c(n, k) nur vom Betrag der Differenz der Argumente ab, d.h., ( Cov(X0 , Xk−n ), Cov(Xn , Xk ) = Cov(Xk , Xn ) = Cov(X0 , Xn−k ), falls k ≥ n, falls n > k, und somit (2.9) c(n, k) = Cov(X0 , X|n−k| ) = c(|n − k|), n, k ∈ N0 . Die o.g. L2 -Methoden sind nicht nur für alle quadratintegrablen, reellwertigen, stationären stochastischen Prozesse anwendbar. Hinreichend für die Anwendbarkeit ist vielmehr die Gültigkeit von (2.8). Prozesse, die (2.8) erfüllen, werden schwach stationär genannt. Schwach stationäre stochastische Prozesse brauchen nicht stationär zu sein, d.h., die Gültigkeit von (2.7) ist nicht notwendig 2.24. Beispiel 2.8. Seien U und V unkorrelierte Zufallsvariablen (2.10a) 2.25 mit E[U ] = E[V ] = 0 und (2.10b) E[U 2 ] = E[V 2 ] = 1 und sei λ ∈ [0, π). Für den Prozeß X = (Xn )n∈N0 mit (2.11) gilt Xn = U cos(λn) + V sin(λn), 2.26 (2.12a) E[Xn ] = 0, n ∈ N0 , n ∈ N0 , 2.23Ein stochastischer Prozeß X = (X ) 2 n n∈N0 heißt quadratintegrabel, falls E[Xn ] < ∞, n ∈ N0 . 2.24Andererseits ist ein stationärer stochastischer Prozeß X = (X ) n n∈N0 nur dann auch schwach stationär, wenn er auch quadratintegrabel ist. 2.25Die Zufallsvariablen U und V brauchen insbesondere nicht unabhängig zu sein. 2.26Wegen (2.10a). 14. Februar 2013 14 und (2.12b) Cov(Xn , Xn+k ) = 2.27 E[Xn Xn+k ] = E[(U cos(λn) + V sin(λn))(U cos(λ(n + k)) + V sin(λ(n + k)))] = 2.28 E[U 2 cos(λn) cos(λ(n + k)) + V 2 sin(λn) sin(λ(n + k))] = 2.29 cos(λn) cos(λ(n + k)) + sin(λn) sin(λ(n + k)) = 2.30 cos(λk) = c(k), k, n ∈ N0 . Der Prozeß X ist daher schwach stationär. I. allg. braucht jedoch X nicht stationär zu sein. Für λ = π/2 ergibt sich beispielsweise X0 = U, X1 = V, X2 = −U, X3 = −V, X4 = U, .... In diesem Fall ist für die Stationarität insbesondere notwendig, daß (U, V ), (V, −U ), (−U, −V ) und (−V, U ) identisch verteilt sind. I. allg. muß dies aber nicht zutreffen. Durch Addition von Prozessen, wie sie in (2.11) definiert werden, erhält man eine etwas allgemeinere Klasse schwach stationärer Prozesse. Beispiel 2.9. Sei N ∈ N und seien U1 , . . . , UN , V1 , . . . , VN paarweise unkorrelierte Zufallsvariablen mit E[U1 ] = · · · = E[UN ] = E[V1 ] = · · · = E[VN ] = 0 und 2 E[U12 ] = · · · = E[UN ] = E[V12 ] = · · · = E[VN2 ] = 1. Außerdem seien λ1 , . . . , λN ∈ [0, π) und β1 , . . . , βN ∈ R. Der Prozeß X = (Xn )n∈N0 mit (2.13) Xn = N X βr (Ur cos(λr n) + Vr sin(λr n)), r=1 ist schwach stationär, da E[Xn ] = 0, n ∈ N0 , und Cov(Xn , Xn+k ) = N X n ∈ N0 , 2.31 βr2 cos(λr k) = c(k), r=1 k, n ∈ N0 . Der Spektralsatz, ein Hauptresultat der Theorie stationärer Prozesse, besagt, daß auch allgemeinere reellwertige stationäre stochastische Prozesse sich durch eine geeignete Verallgemeinerung von (2.13), d.h., als Summe periodischer Funktionen mit zufälligen Koeffizienten, darstellen lassen 2.32. 2.27Wegen (2.12a). 2.28Da U und V unkorreliert sind, d.h., da E[U V ] = 0. 2.29 2.30 Wegen (2.10b). Vgl. z.B. [1], Kapitel 4. Aus den Beziehungen 4.3.31 und 4.3.32 folgt insbesondere cos(λn) cos(λ(n + k)) + sin(λn) sin(λ(n + k)) = 1 1 (cos(λk) + cos(λ(2n + k))) + (cos(λk) − cos(λ(2n + k))) = cos(λk). 2 2 2.31Zum Beweis können die Berechnungen in (2.12b) leicht verallgemeinert werden. 2.32Die Frequenzen dieser Funktionen sind deterministisch, die Amplituden zufällig. In allge- meinen Fällen ist die Summe durch ein Integral zu ersetzen, d.h., ein allgemeinerer reellwertiger stationärer stochastischer Prozeß X = (Xn )n∈Z ist durch ein stochastisches Integral Z exp(inλ)Z(dλ), n ∈ Z, (∗) Xn = [0,2π) 14. Februar 2013 15 Zur Modellierung von zeitlich angeordneten Folgen von Beobachtungsdaten, d.h. von Zeitreihen 2.33, durch schwach stationäre Prozesse werden häufig spezielle Typen solcher Prozesse, wie autoregressive, bzw. Moving-Average Prozesse verwendet. Ein schwach stationärer Prozeß 2.34 Z = (Zn )n∈Z wird autoregressiv genannt, wenn r X αi Zn−i + Yn , n ∈ Z, (2.14) Zn = 2.35 i=1 wobei Yk , k ∈ Z, unkorrelierte Zufallsvariablen mit E[Yk ] = 0, E[Yk2 ] = σ 2 < ∞, k ∈ Z, sind und α1 , . . . , αr ∈ R, r ∈ N. Beispiel 2.10. Sei Z = (Zn )n∈Z schwach stationär mit (2.15) n ∈ Z, Zn = αZn−1 + Yn , wobei Yn , n ∈ N, unkorrelierte Zufallsvariablen mit E[Yn ] = 0, E[Yn2 ] = 1, n ∈ Z, sind. Außerdem sei |α| < 1 2.36. Aus (2.15) ergibt sich durch Iteration 2.37 ∞ X (2.16) Zn = αk Yn−k , n ∈ Z. k=0 bzgl. eines stochastischen Prozesses Z = (Zλ )λ∈[0,2π) mit orthogonalen Zuwächsen darstellbar. Der Spektralsatz und insbesondere die Darstellung (∗) von reellwertigen stationären stochastischen Prozessen wird in [4], Section 9.4, erläutert. 2.33 Die in Beispiel 2.7 erwähnten Meßwerte für die Temperatur und die Luftfeuchtigkeit bilden beispielsweise eine Zeitreihe. 2.34 Durch die Verwendung von Z als Indexmenge, d.h. als Menge der Zeitpunkte, wird die Notation etwas einfacher. Für autoregressive Prozesse mit N0 als Indexmenge wäre beispielsweise (2.14) für n = 0, 1, . . . , r − 1 zu modifizieren. 2.35Z ist ein gewichtetes Mittel von vergangenen“ Werten Z n n−r , . . . , Zn−1 des Prozesses ” Z, das durch ein additives Rauschen Yn überlagert wird. 2.36Ein derartiger Prozeß wird in (2.4) betrachtet. Allerdings wird dort N und nicht Z als 0 Indexmenge benutzt. Außerdem ersetzt 1 − α in (2.4) das hier in (2.15) verwendete α. 2.37 (2.15) führt zu Zn = αZn−1 + Yn = α2 Zn−2 + αYn−1 + Yn = · · · = ∞ X αk Yn−k , k=0 n ∈ Z. P∞ k 2 In (2.16) ist zu beachten, daß die Reihe k=0 α Yn−k in L (Ω, F, P) konvergiert und daher wohldefiniert ist. In der Tat ergibt zunächst die Cauchy-Ungleichung 2 X 2 X q q |α|k |Yn−k | αk Yn−k ≤ k=p+1 k=p+1 ≤ X q k=p+1 |α|k |Yn−k |2 X q k=p+1 |α|k , p, q ∈ N0 , p < q. Für p, q ∈ N0 mit p < q folgt somit 2 # " q " q 2 # p X X X k k αk Yn−k α Yn−k − α Yn−k = E E k=p+1 k=0 k=0 "∞ # q X X 2 |α|k Yn−k ≤E |α|k | (∗) = Da |Yl |2 ≥ 0, l ∈ Z, können E[. . . ] und werden. P∞ k=0 k=0 ∞ X k=0 {z k=p+1 } | 2 |α|k E[Yn−k ] | {z } =1 {z p,q→∞ → p,q→∞ → 0. } 0 . . . in (∗) aufgrund des Satzes von Fubini vertauscht 14. Februar 2013 16 Nun folgt E[Zn ] = 0, n ∈ Z, und (2.17) c(n) = 2.38 = 2.40 E[Z0 Zn ] = ∞ X α2k+n = k=0 ∞ X αk+l E[Y−k Yn−l ] {z } | k,l=0 = δ(−k, n − l) 2.39 αn , 1 − α2 n ∈ N0 . Ein schwach stationärer Moving-Average Prozeß Z = (Zn )n∈Z ergibt sich beispielsweise, wenn ein sich im Hintergrund befindender schwach stationärer Prozeß 2.41 X = (Xn )n∈Z durch Beobachtungsinstrumente modifiziert, z.B. geglättet wird, d.h., wenn 2.42 (2.18) Zn = r X n ∈ Z, αi Xn−i , i=1 wobei α1 , . . . , αr ∈ R, r ∈ N. Wenn ein Statistiker gegebene Beobachtungsdaten z1 , . . . , zN durch einen autoregressiven oder einen Moving-Average Prozeß Z modellieren will, hat er insbesonc2 für die Koeffizienten r, α1 , . . . , αr dere Schätzer 2.43 rb ∈ N, α c1 , . . . , α crb ∈ R und σ und σ 2 in (2.14), bzw. in (2.18) zu bestimmen. Anschließend kann er z.B. im RahPrb men des Moving-Average Modells Z = (Zn )n∈Z mit Zn = i=1 αbi Xn−i , n ∈ Z, die Werte . . . , X−1 , X0 , X1 , X2 , . . . des Prozesses 2.44 X schätzen (Filterung). Ebenso könnte er im Rahmen des autoregressiven Modells Z = (Zn )n∈Z mit Zn = Prb c2 , k ∈ Z, zukünftige“ bi Zn−i + Yn , n ∈ Z, wobei 2.45 E[Yk ] = 0, E[Yk2 ] = σ i=1 α ” Werte ZN +1 , ZN +2 , . . . von Z schätzen (Vorhersage). 2.38Vgl. (2.9). Man beachte, daß c(.) auf N definiert ist. 0 2.39 Man könnte diese Beziehung P begründen mit einer formalen durch den Satz von Fubini gerechtfertigten Vertauschung von ∞ k,l=0 . . . und E[. . . ]. Bei einer Anwendung von L2 -Methoden kann zunächst (∗) Z0 = Zn = ∞ X k=0 ∞ X αk Y−k = 0 X α−l Yl , l=−∞ n X αk Yn−k = k=0 bzw. αn−l Yl l=−∞ aus (2.16) geschlossen werden. Beachtet man nun, daß die Zufallsvariablen {Yk : k ∈ Z} ein vollständiges Orthonormalsystem in dem von ihnen aufgespannten Teilraum H ⊆ L2 (Ω, F, P) bilden, so kann aus (∗) und der Parsevalschen Identität E[Z0 Zn ] = hZ0 , Zn i = 0 X α−l αn−l = l=−∞ ∞ X k=0 αk αn+k | {z } = α2k+n gefolgert werden. 2.40 Aus −k = n − l folgt zunächst l = k + n und dann k + l = 2k + n. 2.41X kann als ein Prozeß betrachtet werden, der von großem Interesse ist, jedoch nicht direkt beobachtet werden kann. 2.42Andere Summationen wie z.B. Pr . . . oder Pr i=0 i=−s . . . sind in manchen Anwendungen auch möglich. Ebenso ist wie in (2.14) die Addition von Rauschtermen Yn , n ∈ Z, auf der rechten Seite von (2.18) denkbar. 2.43Bei allen der hier angesprochenen Schätzungen können natürlich nur die vorliegenden Beobachtungen z1 , . . . , zN zugrunde gelegt werden. 2.44Vgl. Fußnote 2.41. 2.45Wie in (2.14) seien Y , n ∈ Z, unkorrelierte Zufallsvariablen. n 14. Februar 2013 17 Bemerkung 2.11. In der Zeitreihenanalyse werden häufig mit den ARMA-Modellen auch Kombinationen von autoregressiven und Moving-Average-Modellen eingesetzt. Insbesondere nennt man einen schwach stationären Prozeß Z = (Zn )n∈Z ein ARMA-Modell mit den Ordnungen r und p, falls p r X X βi Xn−i + Yn , n ∈ Z, αi Zn−i + (2.19) Zn = i=1 i=1 mit einem schwach stationären Prozeß X = (Xn )n∈Z , unkorrelierten Zufallsvariablen Yk , k ∈ Z, wobei E[Yk ] = 0, E[Yk2 ] = σ 2 < ∞, k ∈ Z, und mit α1 , . . . , αr , β1 , . . . , βp ∈ R. 2.1.1. Lineare Vorhersage schwach stationärer stochastischer Prozesse. Gewisse zeitlich geordnete Beobachtungsdaten . . . , z0 , z1 , z2 , . . . seien durch einen schwach stationären Prozeß 2.46 Z = (Zn )n∈Z modelliert. Unter der Annahme, daß für n ∈ Z und k ∈ N0 die Werte von Zn−k , . . . , Zn beobachtet worden sind, soll nun Zn+r für ein r ∈ N geschätzt werden. Insbesondere 2.47 [ soll ein Schätzer Z gesucht n+r für Zn+r mit minimalem quadratischen Fehler 2.48 [ [ werden, d.h. , Zn+r = Zn+r (Zn−k , . . . , Zn ) ist so zu bestimmen, daß 2 [ minimal (2.20a) E (Z n+r − Zn+r ) wird. Um eine explizite Lösung von (2.20a) zu erleichtern, wird zusätzlich verlangt, daß [ (2.20b) Z eine lineare Funktion von Zn−k , . . . , Zn n+r ist 2.49 . Satz 2.12. 2.50 Sei Z = (Zn )n∈Z ein schwach stationärer Prozeß mit E[Z0 ] = 0 und Autokovarianzfunktion Z2 ∋ (n, l) → c(n, l) = Cov(Zn , Zl ) = 2.51 c(|n − l|). 2.52 [ In diesem Fall ist die Lösung Z n+r von (2.20) gegeben durch [ Z n+r = (2.21a) k X ai Zn−i , i=0 wobei (a0 , a1 , . . . , ak ) das lineare Gleichungssystem (2.21b) k X i=0 ai c(|i − j|) = c(r + j), j = 0, 1, . . . , k, 2.46In diesem Abschnitt 2.1.1 wird mit L2 -Methoden gearbeitet. Insbesondere ist in diesem Fall der zur Modellbildung benutzte Prozeß Z durch E[Z0 ] und die Autokovarianzfunktion Z2 ∋ (n, k) → c(n, k) = Cov(Zn , Zk ) = Cov(Z0 , Z|n−k| ) charakterisiert. Daher ist die Voraussetzung der schwachen Stationärität sinnvoll. 2.47In praktischen Anwendungen hat sich dieses Qualitätskriterium bewährt. Natürlich gibt es auch andere Methoden, die Güte eines Schätzers zu bewerten. 2.48Z \ n+r ist eine Funktion der bekannten Werte von Zn−k , . . . , Zn . 2.49Die eindeutig bestimmte Lösung von (2.20a) ohne die Einschränkung (2.20b) ist durch \ den bedingten Erwartungswert Z n+r = E[Zn+r |Zn−k , . . . , Zn ] gegeben, vgl. [5], Theorem 8.1.4. In der Praxis kann jedoch E[Zn+r |Zn−k , . . . , Zn ] i. allg. nicht explizit berechnet werden. Hingegen kann, wie in diesem Abschnitt 2.1.1 gezeigt wird, die Lösung von (2.20a), (2.20b) durch Lösen eines linearen Gleichungssystems gewonnen werden. 2.50 Vgl. [4], Section 9.2, Theorem (1). 2.51Vgl. (2.9). 2.52Wie im Beweis von Satz 2.12 verdeutlicht wird, ist Z \ n+r die lineare Projektion von Zn+r auf den durch die Zufallsvariablen Zn−k , . . . , Zn aufgespannten, abgeschlossenen linearen \ Unterraum von L2 (Ω, F, P). Daher ist Z n+r eindeutig bestimmt. Eindeutigkeit der Koeffizienten a0 , a1 , . . . , ak liegt allerdings genau dann vor, wenn die Zufallsvariablen Zn−k , . . . , Zn linear unabhängig sind. 14. Februar 2013 18 löst. Um Satz 2.12 zu beweisen, wird folgendes Resultat benötigt. Satz 2.13 (Projektionstheorem 2.53). Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und L2 (Ω, F, P) der Hilbertraum der reellwertigen, quadratintegrablen Zufallsvariablen auf (Ω, F, P). Sei weiterhin H in L2 (Ω, F, P) ein abgeschlossener, linearer Teilraum. Für Y ∈ L2 (Ω, F, P) und YH ∈ H sind dann die folgenden Aussagen äquivalent: (2.22a) E[(Y − YH )Z] = 0, Z ∈ H, (2.22b) kY − YH k2 ≤ kY − Zk2 , Z ∈ H. Begründung (von Satz 2.13). In einem Hilbertraum wie L2 (Ω, F, P) steht die kürzeste Strecke von einem abgeschlossenen linearen Teilraum H zu einem Y ∈ / H senkrecht 2.54 auf H. Genau dann, wenn YH in H den Abstand zu Y minimiert, d.h., wenn (2.22b) gilt, steht somit Y − YH senkrecht auf allen Z ∈ H, d.h., es gilt (2.22a). Beweis (von Satz 2.12). Sei H der von den Zufallsvariablen Zn−k , . . . , Zn aufgespannte, abgeschlossene lineare Unterraum von L2 (Ω, F, P). Nach Satz 2.13 ist 2 [ das eindeutig bestimmte Z n+r ∈ H, welches H ∋ Z → E[(Zn+r − Z) ] mini2.55 miert , durch (2.23) [ E[(Zn+r − Z n+r )Z] = 0, charakterisiert. [ Da Z n+r eine Darstellung (2.21a) hat (2.23) zu 2.57 [ E[Zn+r Zn−j ] = E[Z n+r Zn−j ] = {z } | = c(|n + r − (n − j)|) Damit ist (2.21b) nachgewiesen 2.58 . k X i=0 2.56 Z ∈ H, und weil Zn−k , . . . , Zn ∈ H, führt ai E[Zn−i Zn−j ] , j = 0, 1, . . . , k. | {z } = c(|n − i − (n − j)|) Wenn die Autokovarianzfunktion c(.) bekannt ist, kann durch Lösen des linearen Gleichungssystems (2.21b) ein linearer Schätzer (2.21a) mit minimalem quadratischen Fehler für zukünftige Werte des Prozesses Z bestimmt werden. Beispiel 2.14 (Lineare Vorhersage eines autoregressiven Prozesses). Im folgenden sei Z = (Zn )n∈Z der in Beispiel 2.10 betrachtete schwach stationäre Prozeß. Pk [ Bei der Bestimmung des besten linearen Schätzers Z n+r = i=0 ai Zn−i von Zn+r bei gegebenen Beobachtungen von Zn−k , . . . , Zn ist zu berücksichtigen, daß die Autokovarianzfunktion c(.) von Z durch (2.17) gegeben ist. Somit führt (2.21b) zu k X ai α|i−j| = αr+j , j = 0, 1, . . . , k. (2.24) i=0 2.53Vgl. [4], Section 7.9, Theorem (14). 2.54Senkrecht bezieht sich auf das Skalarprodukt h., .i in dem Hilbertraum L2 (Ω, F, P). Hierbei ist hX, Y i = E[XY ], X, Y ∈ L2 (Ω, F, P). 2.55Das hier beschriebene Z \ n+r ∈ H löst offensichtlich (2.20). 2.56Da Z \ n+r ∈ H und weil H von Zn−k , . . . , Zn aufgespannt wird. 2.57Da E[Z ] = 0, ist E[Z Z ] = Cov(Z , Z ) = c(|k − l|), k, l ∈ Z. 0 k l k l 2.58Man beachte, daß c(|n + r − (n − j)|) = c(r + j) und c(|n − i − (n − j)|) = c(|i − j|) für j = 0, 1, . . . , k. 14. Februar 2013 19 Durch Einsetzen kann sofort verifiziert werden, daß (2.24) durch ( αr , i = 0, ai = 0, i = 1, 2, . . . , k, gelöst wird, d.h., 2.59 r [ Z n+r = α Zn . (2.25) [ Der quadratische Fehler dieses Schätzers Z n+r ist 2 2 [ = E Zn+r − αr Zn E Zn+r − Z n+r 2 = E[Zn+r ] − 2αr E[Zn+r Zn ] + α2r E[Zn2 ] = 2.60 Var(Zn+r ) − 2αr Cov(Zn+r , Zn ) + α2r Var(Zn ) = c(0) − 2αr c(r) + α2r c(0) = 2.61 1 − α2r 1 2r 2r (1 − 2α + α ) = . 1 − α2 1 − α2 2.2. Markovprozesse Ein Markovprozeß X = (Xt )t≥0 zeichnet sich dadurch aus, daß in jedem Zeitpunkt s ≥ 0 die zukünftige Entwicklung, d.h., Xu , u > s, bei gegebenem gegenwärtigen Zustand Xs nicht von der Vergangenheit Xu , u < s, abhängt. Die elementarsten Beispiele für Markovprozesse sind Markovketten, d.h. Markovprozesse in diskreter Zeit mit Werten in einem diskreten, d.h. höchstens abzählbaren Zustandsraum. Nach der Untersuchung solcher Prozesse wird ab Abschnitt 2.2.8 auch auf Markovprozesse mit einem diskreten Zustandsraum, aber in kontinuierlicher Zeit eingegangen. 2.2.1. Markovketten. Ein stochastischer Prozeß X = (Xn )n∈N0 in diskreter Zeit mit Werten in einem höchstens abzählbaren Zustandsraum S heißt Markovkette, falls 2.62 (2.26) P Xn+k = s′ | X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn | {z } {z } | {z } | Zukunft Gegenwart Vergangenheit = P Xn+k = s′ |Xn = sn , n ∈ N0 , k ∈ N, s0 , s1 , . . . , sn , s′ ∈ S. Zur Charakterisierung der zukünftigen Entwicklung einer Markovkette reicht also die Kenntnis des gegenwärtigen Zustandes aus. Die zusätzliche Kenntnis der zeitlichen Entwicklung in der Vergangenheit bringt in diesem Fall keinen Informationsgewinn. Beispiele 2.15. Offensichtlich sind der in Beispiel 2.1 eingeführte Bernoulli-Prozeß und die in Beispiel 2.2 vorgestellte Irrfahrt Markovketten. Der in Beispiel 2.4 betrachtete Prozeß V ist ein Markovprozeß in diskreter Zeit mit kontinuierlichem 2.59Falls die Zufallsvariablen Y , n ∈ N, die in Beispiel 2.10 in die Definition von Z = (Z ) n n n∈Z eingehen, nicht nur unkorreliert sondern sogar unabhängig sind, ist Z ein Markovprozeß, vgl. Abschnitt 2.2. Jene Markoveigenschaft wird nun auch durch (2.25) verdeutlicht: Bei gegebenem gegenwärtigen Zustand Zn werden zur optimalen“ Verhersage eines zukünftigen Zustandes Zn+r ” keine Kenntnisse zur Vergangenheit Zn−1 , Zn−2 , . . . benötigt. 2.60Da E[Y ] = 0, n ∈ Z, und daher die Darstellung (2.16) von Z , n ∈ Z, zu E[Z ] = 0, n n n n ∈ Z, führt. 2.61 Vgl. (2.17). 2.62Stillschweigend sei angenommen, daß P[X = s , . . . , X = s ] > 0. Nur in diesem Fall n n 0 0 sind beide Seiten von (2.26) wohldefiniert. 14. Februar 2013 20 Zustandsraum R. Faßt man diesen Prozeß mit dem ebenfalls in Beispiel 2.4 angegebenen Prozeß X zu Z = (Zn )n∈N0 mit Zn = (Xn , Vn ), n ∈ N0 , zusammen, so ergibt sich ein weiterer Markovprozeß 2.63. Der in Beispiel 2.3 diskutierte Prozeß X = (Xn )n∈N0 ist für p 6= 1/2 nicht markovsch 2.64. Allerdings ist Z = (Zn )n∈N mit Zn = (Xn , Xn−1 ), n ∈ N, eine Markovkette, die zu X äquivalent ist 2.65. Insbesondere enthält Zn−1 bei gegebenem Zn keine weiteren Informationen zur Charakterisierung von Zn+1 . Die bedingten Wahrscheinlichkeiten (2.27) Pn (s1 , s2 ) = P Xn+1 = s2 |Xn = s1 , s1 , s2 ∈ S, n ∈ N0 , werden (1-Schritt-) Übergangswahrscheinlichkeiten genannt 2.66. Sie können zu den (1-Schritt-) Übergangsmatrizen Pn = (Pn (s, s′ ))s,s′ ∈S , n ∈ N0 , zusammengefaßt werden. Eine Markovkette besitzt stationäre Übergangswahrscheinlichkeiten, falls Pn = P unabhängig von n ist 2.67. Beispiel 2.16. Die Irrfahrt (zu einem Parameter p ∈ [0, 1]) 2.68 ist eine Markovkette mit stationären Übergangswahrscheinlichkeiten. Durch .. .. .. . . . . . . . . . . . . . . . . . . . . . 0 p 0 . . . . . . . . . . 1 − p 0 p 0 . . . . (2.28) P = 0 p . . . . . . . . . . . . . 1 − p . . . . . . . . . . . . . . . . . 1 − p 0 . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. ist ihre Übergangsmatrix gegeben. Unter der Verteilung einer Markovkette X = (Xn )n∈N0 versteht man die gemeinsame Verteilung der Zufallsvariablen Xn , n ∈ N0 . Satz 2.17. Die Verteilung einer Markovkette X = (Xn )n∈N0 mit einem diskreten Zustandsraum S ist durch ihre Übergangsmatrizen und ihre Anfangsverteilung, d.h., die Verteilung PX0 von X0 , eindeutig bestimmt. Es gilt 2.69 (2.29) P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn 2.63Z ist ein Markovprozeß in diskreter Zeit mit dem Zustandsraum R2 . 2.64(2.3) zeigt, daß zumindest für p 6= 1/2 bei gegebenem X die Kenntnis von X n n−1 zusätzliche Informationen zur Charakterisierung von Xn+1 liefert. Offensichtlich ermöglicht für p 6= 1/2 die Kenntnis von Xn−1 eine präzisere Vorhersage der zukünftigen Richtung Xn+1 − Xn des Prozesses X. 2.65Falls Z = (x, x′ ) ∈ Z2 , ist Z ′ n n+1 = (X, x), wobei X = x+(x−x ) mit Wahrscheinlichkeit p und X = x − (x − x′ ) mit Wahrscheinlichkeit 1 − p. 2.66Umgangssprachlich kann P (s , s ) für n ∈ N und s , s ∈ S auch als die Wahrscheinn 1 2 0 1 2 ” lichkeit für einen Sprung von s1 nach s2 zum Zeitpunkt n“ bezeichnet werden. 2.67In diesem Fall besitzt die Markovkette X eine zeitlich homogene Dynamik. Allerdings ist eine Markovkette mit stationären Übergangswahrscheinlichkeiten i. allg. kein stationärer Prozeß, vgl. Abschnitt 2.1. Dies wird am Beispiel der im Ursprung startenden Irrfahrt deutlich, vgl. Beispiel 2.6. 2.68Vgl. Beispiel 2.2. 2.69(2.29) ergibt sich aus P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn = P X0 = s0 , . . . , Xn−1 = sn−1 P Xn = sn |X0 = s0 , . . . , Xn−1 = sn−1 = P X0 = s0 , . . . , Xn−2 = sn−2 P Xn−1 = sn−1 |X0 = s0 , . . . , Xn−2 = sn−2 P Xn = sn |Xn−1 = sn−1 = ... = P[X0 = s0 ]P X1 = s1 |X0 = s0 · · · Pn−1 (sn−1 , sn ) 14. Februar 2013 21 = PX0 [s0 ]P0 (s0 , s1 ) · · · Pn−1 (sn−1 , sn ), s0 , s1 , . . . , sn ∈ S, n ∈ N0 . Im folgenden werden nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet. Bemerkung 2.18. Alle möglichen mathematischen Eigenschaften einer Markovkette mit stationären Übergangswahrscheinlichkeiten sind durch die 1-Schritt-Übergangswahrscheinlichkeiten (bzw. die 1-Schritt-Übergangsmatrix P ) und die Anfangsverteilung PX0 bestimmt 2.70. Beispiel 2.19 (Verallgemeinerte Irrfahrt in Zd , d = 1, 2, . . . ). Sei ζn , n ∈ N, eine Folge von unabhängigen, identisch verteilten Zufallsvariablen mit Werten in Zd . Außerdem sei X = (Xn )n∈N0 durch X0 = 0, Xk = k X ζl , k = 1, 2, . . . , l=1 definiert. Der Prozeß X ist eine Verallgemeinerung der Irrfahrt aus Beispiel 2.2. Er ist eine Markovkette mit dem Zustandsraum Zd . Für d = 1 besitzt X die Übergangsmatrix 2.71 (2.30) P = (P[Xn+1 = q|Xn = p])p,q∈Z = (P[ζn+1 = q − p])p,q∈Z .. .. .. . . . . . . . . . . . . . . . . . . . a0 a a2 . . . . . . . 1 . . . a−1 a0 a 1 a 2 . . . = (P[ζ1 = q − p])p,q∈Z = . . . . . . . . a−1 a0 a1 . . . , . . . . . . . . . . . . . . a−1 a0 . . . .. .. . . .................... wobei ak = P[ζ1 = k], k ∈ Z. Ein Spezialfall von (2.30) ist die schon in (2.28) vorgestellte Übergangsmatrix der Irrfahrt in Z, für die a−1 = 1 − p, a1 = p und ak = 0, k ∈ Z \ {−1, 1}, ist. Beispiel 2.20 (Symmetrische Irrfahrt in Zd , d = 1, 2, 3, . . . ). Sei d = 1, 2, 3, . . . . Weiterhin seien ek = (0, . . . , 0, |{z} 1 , 0, . . . , 0), k = 1, . . . , d, k-te Stelle die Einheitsvektoren in die Koordinatenrichtungen des Rd . Wenn nun in Beispiel 2.19 vorausgesetzt wird, daß die Zufallsvariablen ζn , n ∈ N, die Werte ±ek , k = 1, . . . , d, jeweils mit Wahrscheinlichkeit 1/2d annehmen, ergibt sich die symmetrische Irrfahrt in Zd 2.72. = PX0 [{s0 }]P0 (s0 , s1 ) · · · Pn−1 (sn−1 , sn ), s0 , s1 , . . . , sn ∈ S, n ∈ N0 . Hier wird insbesondere die Markoveigenschaft (2.26) und die Beziehung P[A ∩ B] = P[B]P[A|B] benutzt. 2.70Vgl. dazu z.B. Satz 2.17. Auch im folgenden, wie beispielsweise in Satz 2.32, wird dieses Prinzip immer wieder bestätigt werden. 2.71In den Übergangsmatrizen der verallgemeinerten Irrfahrten in Z geht jeweils die (n+1)-te Zeile aus der n-ten Zeile durch Verschieben um eine Spalte nach rechts“ hervor. Für verallge” meinerte Irrfahrten in Zd , d = 2, 3, . . . , besitzt die Übergangsmatrix keine derart übersichtliche Struktur. 2.72Die symmetrische Irrfahrt X = (X ) d n n∈N0 in Z startet im Ursprung und springt dann in jedem Zeitpunkt n = 1, 2, . . . von der aktuellen Position mit Wahrscheinlichkeit 1/2d zu einem der 2d Nachbarpunkte in Zd . 14. Februar 2013 22 Die bisher als Irrfahrt bezeichneten Markovketten 2.73 X = (Xn )n∈N0 besitzen eine räumlich homogene Dynamik, d.h., für k, l ∈ Z, n ∈ N0 , hängen die bedingten Wahrscheinlichkeiten P[Xn+1 = k + l|Xn = k], für einen Sprung von k nach k + l zum Zeitpunkt n nicht von k ab. Diese Unabhängigkeit von k geht in folgendem Beispiel verloren. Beispiel 2.21 (Eindimensionale räumlich inhomogene Irrfahrt 2.74). Sei S = {a, a+ 1, . . . , b−1, b} für a, b ∈ Z, a < b 2.75. Für k ∈ S seien qk , rk , pk mit 0 ≤ qk , rk , pk ≤ 1, qk + rk + pk = 1 gegeben. Es gelte qa = pb = 0. Eine Markovkette X = (Xn )n∈N0 mit Zustandsraum S und P[Xn+1 = k − 1|Xn = k] = qk , k = a + 1, . . . , b, P[Xn+1 = k|Xn = k] = rk , k = a, . . . , b, P[Xn+1 = k + 1|Xn = k] = pk , k = a, . . . , b − 1, wird als räumlich inhomogene Irrfahrt bezeichnet. Spezialfälle derartiger Prozesse tauchen in verschiedenen Modellen auf 2.76. Als Verallgemeinerung der (1-Schritt-)Übergangswahrscheinlichkeiten 2.77 werden die n-Schritt-Übergangswahrscheinlichkeiten durch (2.31a) P n (s1 , s2 ) = P[Xm+n = s2 |Xm = s1 ] 2.78 definiert. Als Ergänzung von (2.31a) setzt man P 0 (s1 , s2 ) = δ(s1 , s2 ), (2.31b) , 2.79 m ∈ N0 , n ∈ N, s1 , s2 ∈ S, s1 , s2 ∈ S. Für alle n ∈ N0 werden die n-Schritt-Übergangswahrscheinlichkeiten P n (s, s′ ), s, s′ ∈ S, zur n-Schritt-Übergangsmatrix P n = (P n (s, s′ ))s,s′ ∈S zusammengefaßt. Die Familie der n-Schritt-Übergangswahrscheinlichkeiten genügt der ChapmanKolmogorov-Gleichung, d.h., 2.80 X P k (s1 , s)P l (s, s2 ), k, l, n ∈ N0 , k + l = n, s1 , s2 ∈ S. (2.32) P n (s1 , s2 ) = s∈S 2.73 Vgl. Beispiel 2.16 und Beispiel 2.19. 2.74In dem hier vorgestellten Beispiel sind nur Sprünge der Größe ≤ 1 erlaubt. 2.75Die Fälle a = −∞ und / oder b = +∞ werden analog behandelt. 2.76Eine räumlich inhomogene Irrfahrt ist beispielsweise das Ehrenfestsche Modell der Diffusion durch eine Membran, vgl. Beispiel 2.23. 2.77Vgl. (2.27). Es ist zu beachten, daß nun nur noch stationäre Übergangswahrscheinlichkeiten betrachtet werden. 2.78Da hier nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden, sind P[Xm+n = s2 |Xm = s1 ], m ∈ N0 , n ∈ N, s1 , s2 ∈ S, von m unabhängig. 2.79 δ(., .) mit ( 1, falls k = l, δ(k, l) = 0, sonst. bezeichnet das Kronecker-Symbol. 2.80Wenn insbesondere die Markoveigenschaft (2.26) berücksichtigt wird, ergibt sich P n (s1 , s2 ) = P[Xn = s2 |X0 = s1 ] = P[Xn = s2 , X0 = s1 ] P[X0 = s1 ] 1 P[Xn = s2 , Xk ∈ S, X0 = s1 ] P[X0 = s1 ] "• # [ 1 = P {Xk+l = s2 , Xk = s, X0 = s1 } s∈S P[X0 = s1 ] X P[Xk+l = s2 , Xk = s, X0 = s1 ] = P[X0 = s1 ] s∈S = 14. Februar 2013 23 (2.32) besagt, daß die Matrix P n = P k+l durch Multiplikation der Matrizen P k und P l entsteht, d.h., P k+l = P k · P l = 2.81 P l · P k , k, l ∈ N0 . Durch Iteration folgt P n = |P · P{z· · · P}, n mal (2.33) n ∈ N0 , wobei P die 1-Schritt-Übergangsmatrix ist. Um für die Untersuchung einer Markovkette X die algebraischen Eigenschaften ihrer Übergangsmatrix P ausnutzen zu können, ist es sinnvoll, Wahrscheinlichkeitsmaße auf dem Zustandsraum S von X als Zeilenvektoren darzustellen. Das folgende Resultat demonstriert dann beispielsweise, daß sich die Verteilung von X zu einem Zeitpunkt n aus der Verteilung von X zum Zeitpunkt 0 durch rechtsseitige Multiplikation mit der n-Schritt-Übergangsmatrix P n ergibt. Satz 2.22. Sei X = (Xn )n∈N0 eine Markovkette mit einem Zustandsraum S. Außerdem sei 2.82 ρ = (ρs )s∈S mit ρs = P[X0 = s], s ∈ S, die Anfangsverteilung von X. Dann folgt 2.83: P[Xn = s] = X ρs′ P n (s′ , s) = 2.84 s′ ∈S (ρ · P n )s . 2.2.2. Modellbildung mit Markovketten. Anhand von klassischen Beispielen wird gezeigt, wie sich Markovketten bei der Bildung einfacher Modelle für zufällige, sich zeitlich entwickelnde Phänomene anwenden lassen. X P[Xk = s, X0 = s1 ] P[Xk+l = s2 , Xk = s, X0 = s1 ] P[X0 = s1 ] P[Xk = s, X0 = s1 ] s∈S | {z } | {z } = P[Xk = s|X0 = s1 ] = P[Xk+l = s2 |Xk = s, X0 = s1 ] | {z } = P[Xk+l = s2 |Xk = s] X = P k (s1 , s)P l (s, s2 ). = s∈S 2.81Die Matrizen P k und P l kommutieren. Dies ist eine Konsequenz der Chapman-Kolmogo- rov-Gleichung (2.32). 2.82ρ ist als Zeilenvektor aufzufassen. 2.83Zum Beweis kann (2.29) mit P = P , k = 0, 1, 2, . . . , herangezogen werden. Insbesondere k gilt: P[Xn = s] = P[X0 ∈ S, . . . , Xn−1 ∈ S, Xn = s] # "• [ {X0 = s0 , . . . , Xn−1 = sn−1 , Xn = s} =P s0 ∈S,...,sn−1 ∈S = X P[X0 = s0 , . . . , Xn−1 = sn−1 , Xn = s] s0 ∈S,...,sn−1 ∈S = X P[X0 = s0 ]P (s0 , s1 ) · · · P (sn−2 , sn−1 )P (sn−1 , s) = s0 ∈S,...,sn−1 ∈S 2.84 ·“ bezeichnet hier eine Vektor-Matrix-Multiplikation. ” 14. Februar 2013 X s0 ∈S ρs0 P n (s0 , s). 24 Beispiel 2.23 (Ehrenfestsches Modell der Diffusion durch eine Membran Es seien zwei Behälter, die zusammen B1 2N Teilchen (Moleküle) enthalten, gegeben. Diese Behälter seien durch eine durchlässige Membran getrennt, so daß die Teilchen zwischen den Boxen hin und her wechseln können. 2.85 ). B2 Zur Modellierung der Dynamik der Teilchenzahlen in B1 und B2 kann als Zustandsraum 2.86 S = {−N, −N + 1, . . . , 0, 1, . . . , N − 1, N } gewählt werden. k ∈ S beschreibt die Situation, in der N + k Teilchen in B1 enthalten sind 2.87. Eine einfache Dynamik kann folgendermaßen definiert werden: In jedem Zeitpunkt n ∈ N0 wird aus der Menge aller Teilchen gemäß der Gleichverteilung ein Teilchen zufällig ausgewählt. Dieses Teilchen wird in den jeweils anderen Behälter gebracht 2.88. Durch diese Beschreibung wird eine Markovkette X = (Xn )n∈N0 für die Anzahl der Teilchen in B1 charakterisiert. Deren Übergangswahrscheinlichkeiten sind 2.89: N +i , falls i = −N + 1, . . . , N, j = i − 1 2.90, 2N P[Xn+1 = j|Xn = i] = N − i , falls i = −N, . . . , N − 1, j = i + 1 2.91, 2N 0, sonst. Fragen 2.92. Stellt sich für große Zeiten ein Gleichgewicht ein? Was ist überhaupt ein Gleichgewicht“? 2.93 Konvergiert die Verteilung PXn von Xn bei n → ∞ ” gegen eine Grenzverteilung? Ist diese Grenzverteilung invariant unter der Dynamik? 2.85 Das Ehrenfestsche Modell wurde durch den österreichischen Physiker P. Ehrenfest (1880 - 1933) vorgeschlagen. Insbesondere kann mit diesem Modell erklärt werden, daß sich zeitliche Reversibilität und Rekurrenz unter einer mikroskopischen“ Sichtweise und zeitlich irreversibles ” Verhalten unter einem makroskopischen“ Blickwinkel vereinbaren lassen. Damit läßt sich verdeut” lichen, daß die beiden physikalischen Gebiete klassische Mechanik, die u.a. durch eine reversible Dynamik ausgezeichnet ist, und Thermodynamik, die durch eine irreversible Dynamik charakterisiert ist, sich nicht widersprechen. Umfassendere Überlegungen zu dieser Problematik finden sich beispielsweise in [9], Abschnitt 2.3. 2.86Da die Gesamtzahl 2N aller Teilchen fest ist, genügt es, die zeitliche Entwicklung der (Anzahl der Teilchen in B1 ) - N zu beschreiben. 2.87In diesem Fall ist die Anzahl der Teilchen in B gleich 2N − (N + k) = N − k. 2 2.88Die räumliche Bewegung innerhalb der Behälter wird nicht modelliert. 2.89Das Ehrenfestsche Modell kann als eine räumlich inhomogene Irrfahrt betrachtet werden. Gemäß der Notation in Beispiel 2.21 ist dazu a = − N, b = N, pk = N +k N −k , rk = 0, qk = , 2N 2N k = −N, . . . , N, zu setzen. 2.90Ein Teilchen wird von B nach B gebracht. 1 2 2.91 Ein Teilchen wird von B2 nach B1 gebracht. 2.92 Für die Beispiele dieses Abschnitts 2.2.2 werden jeweils Fragen formuliert, die mit Hilfe allgemeiner Resultate zur Theorie der Markovketten beantwortet werden können. 2.93 Offensichtlich kann dies kein fester, deterministischer Zustand sein. Vielmehr muß Gleich” gewicht“ in einem stochastischen Sinn definiert werden, d.h., zufällige Fluktuationen sollten möglich sein. 14. Februar 2013 25 Gibt es weitere invariante Verteilungen? Gibt es einen Zeitpunkt, in dem sich alle Teilchen in dem Behälter B1 befinden 2.94 ? Beispiel 2.24 (Warteschlangenmodell). Es sei angenommen, daß an einem Servicepunkt (Postschalter, Internetserver, Telefon-Hotline, . . . ) - pro Zeiteinheit ein Kunde bedient werden kann und daß weiterhin - ständig neue Kunden ankommen, wobei ζn die Anzahl der neuen Kunden im Zeitintervall (n, n + 1] sei. ζn , n ∈ N0 , seien i.i.d. Zufallsvariablen 2.95. Sei nun Xn die Größe der Warteschlange zum Zeitpunkt n, n ∈ N0 . Offensichtlich gilt 2.96 2.97: (2.34) Xn+1 = (Xn − 1)+ + ζn , n ∈ N0 . Diese Beziehung verdeutlicht, daß X = (Xn )n∈N0 eine Markovkette mit dem Zustandsraum S = N0 ist. Falls P[ζ1 = l] = al , l ∈ N0 , ergibt sich aus (2.34) für die Übergangswahrscheinlichkeiten ( al+1 2.98, falls k = 1, 2, . . . , l ∈ N0 ∪ {−1}, P[Xn+1 = k + l|Xn = k] = al , falls k = 0, l ∈ N0 , bzw. für die Übergangsmatrix a0 a1 a2 . . . . . . . a0 a1 a2 . . . . . . . P = 0 a0 a1 a2 . . . . 0 0 a0 a1 . . . .................... Fragen. Unter welchen Bedingungen wird die Warteschlange im Verlauf der Zeit immer länger? Mit anderen Worten, wann gilt limn→∞ Xn = ∞? Gilt diese Konvergenz f.s. oder nur mit positiver Wahrscheinlichkeit? In welchen Situationen stellt sich ein Gleichgewicht“ ein? Gibt es Zeitpunkte, in denen die Warteschlange ” leer ist? Beispiel 2.25 (Verzweigungsprozeß). Zur Modellierung der zeitlichen Entwicklung einer Population sei angenommen, daß • die Menge der Zeitpunkte diskret ist, daß es 2.94Offensichtlich ist in einem solchen Zeitpunkt das System weit entfernt von einem stabi” len“ oder invarianten“ Zustand. ” 2.95Insbesondere im Bereich der Informationstechnologie gibt es etliche Anwendungen für Warteschlangenmodelle. Das hier vorgestellte Modell beschreibt z.B. eine Warteschlange an einem Drucker, für den die Druckaufträge alle etwa gleich groß sind. Andere Modelle sind beispielsweise für solche FTP- oder HTTP-Server notwendig, die nur eine beschränkte Anzahl gleichzeitiger Zugriffe zulassen und darüberhinausgehende Anfragen abweisen. Ein Einblick in die Vielfalt von Warteschlangenmodellen, die auch nicht-markovsch sein können, wird in [4], Chapter 11, gegeben. 2.96Beachte: Wenn kein Kunde wartet, d.h., wenn X = 0, wird auch keiner bedient. Aus n diesem Grund taucht der Beitrag (. . . )+ in (2.34) auf. 2.97 (2.34) kann in der Form Xn+1 − Xn = −I{1,2,... } (Xn ) + ζn , n ∈ N0 , geschrieben werden, d.h., (2.34) ist als eine stochastische Differenzengleichung eine zeitlich diskretisierte Version einer stochastischen Differentialgleichung. 2.98Wenn die Länge der Warteschlange k = 1, 2, . . . beträgt, wird in der nächsten Zeiteinheit ein Kunde bedient. Dieser scheidet anschließend aus der Warteschlange aus. Damit in dem betrachteten Zeitraum die Länge der Warteschlange um l anwächst, müssen daher l + 1 Neukunden hinzukommen. 14. Februar 2013 26 3000 2500 2000 1500 1000 500 0 0 20 60 40 80 100 Abbildung 2.1. 20 Simulationen eines Verzweigungsprozesses mit b0 = 0.25, b1 = 0.5, b2 = 0.2, b3 = 0.05 und X0 = 1. In 4 Fällen überlebt die Population bis zum Zeitpunkt 100 und scheint exponentiell zu wachsen. • keine Unterschiede zwischen den einzelnen Individuen gibt • die Individuen voneinander unabhängig sind und daß • die Lebensdauer gleich 1 ist 2.100. 2.99 , daß Diese Annahmen werden mathematisch dadurch präzisiert, daß angenommen wird, daß zu jedem Zeitpunkt n ∈ N0 jedes dann lebende Individuum unabhängig von den anderen eine zufällige Anzahl von Nachkommen hat und dann stirbt. Die Anzahl der Nachkommen eines Individuums habe die Verteilung b = (bk )k∈N0 . Sei nun Xn die Größe der Population zum Zeitpunkt n ∈ N0 , und sei 2.101 ζnl , n ∈ N0 , l ∈ N, eine Familie von i.i.d. Zufallsvariablen mit der Verteilung b, d.h., P[ζnl = m] = bm , n, m ∈ N0 , l ∈ N. Der stochastische Prozeß X = (Xn )n∈N0 , bzw. seine Dynamik kann nun durch die Beziehung 2.102 (2.35) Xn+1 = Xn X l=1 ζnl , n ∈ N, 2.99Insbesondere gibt es nur ein Geschlecht. 2.100Der auf diesen Modellannahmen basierende, hier vorgestellte einfache Verzweigungspro- zeß läßt sich zurückführen auf Bemühungen im 18. und 19. Jahrhundert, das Anwachsen und Aussterben von Adelsfamilien zu beschreiben. In einem solchen Zusammenhang entspricht eine Zeiteinheit einer Generation. 2.101Für n ∈ N und l ∈ N soll ζ l die Größe der Nachkommenschaft des l-ten der zur Zeit 0 n n lebenden Individuen modellieren. Da die Größe Xn der Population zum Zeitpunkt n a priori l für alle l ∈ N eingeführt. jeden Wert in N0 annehmen kann, werden die Zufallsvariablen ζn 2.102(2.35) verdeutlicht, daß die Größe X n+1 der Bevölkerung zum Zeitpunkt n + 1 die l , l = 1, . . . , X , der zum Zeitpunkt n lebenden Summe der Größen der Nachkommenschaften ζn n Individuen ist. Insbesondere treten die zum Zeitpunkt n lebenden Individuen zum Zeitpunkt n + 1 selbst nicht mehr in Erscheinung. 14. Februar 2013 27 repräsentiert werden. Offensichtlich ist X eine Markovkette mit Zustandsraum S = N0 und den Übergangswahrscheinlichkeiten (2.36) P[Xn+1 = k|Xn = j] = P[ζn1 + · · · + ζnj = k] X 2.103 bl1 · · · blj , j ∈ N, n, k ∈ N0 , l1 ,...,lj =0,1,...,k = l1 +···+lj =k 2.104 δ , j = 0, n, k ∈ N0 . k,0 Das durch (2.35) oder (2.36) zusammengefaßte Modell wird auch Galton-Watson-Prozeß genannt. Fragen. Unter welchen Bedingungen stirbt die Population f.s. aus, bzw., wann stirbt sie mit positiver Wahrscheinlichkeit nicht aus? 2.105 Wie sieht unter der Bedingung, daß die Population nicht ausstirbt, das asymptotische Verhalten von Xn bei n → ∞ aus 2.106 ? Beispiel 2.26 (Wright-Fisher-Modelle). In einfachen Modellen der zeitlichen Entwicklung der genetischen Zusammensetzung einer großen Population P wird ein einzelnes Gen, das in zwei Varianten A und a existiert, betrachtet. Speziell zur Modellierung der Dynamik des Anteils der A-Variante kann für alle Generationen n ∈ N0 eine zufällig aus P ausgewählte Teilpopulation PT mit einer festen Anzahl 2N von Individuen untersucht werden 2.107. In der n-ten Generation sei Xn die Anzahl der Individuen in PT mit der A-Variante des Gens. X = (Xn )n∈N0 ist somit ein stochastischer Prozeß mit dem Zustandsraum {0, 1, . . . , 2N }. In den Wright-Fisher-Modellen wird die Dynamik von X folgendermaßen definiert: Unter der Bedingung Xn = j ergibt sich Xn+1 durch 2N -maliges, unabhängiges Ziehen mit Zurücklegen aus {a, A}. Hierbei wird A mit Wahrscheinlichkeit pj ∈ [0, 1] gezogen 2.108. Somit ist 2N k (2.37) P[Xn+1 = k|Xn = j] = pj (1 − pj )2N −k , j, k = 0, 1, . . . , 2N. k Die Unabhängigkeit bei den Ziehungen modelliert eine zufällige Bildung von Paaren von Individuen bei der zeitlichen Entwicklung der Gesamtpopulation P. Durch eine spezielle Wahl von pj , j = 0, 1, . . . , 2N , kann das Vorliegen von Mutations-, bzw. Selektionseffekten modelliert werden: 2.103Die Wahrscheinlichkeit, daß das 1. Individuum l Nachkommen, das 2. Individuum l 1 2 Nachkommen, . . . und das j-te Individuum lj Nachkommen hat, ist aufgrund der Unabhängigkeit der Individuen gleich bl1 bl2 · · · blj . Die hier betrachteten Ereignisse sind für unterschiedliche Sequenzen l1 , l2 , . . . , lj disjunkt, so daß sich ihre jeweiligen Einzelwahrscheinlichkeiten addieren. 2.104 Wenn Xn = 0, so ist die Population zum Zeitpunkt n ausgestorben, d.h., es gilt insbesondere auch 0 = Xn+1 = Xn+2 = . . . . 2.105 Falls b0 > 0, hat eine vorgegebene Anzahl N von Individuen mit Wahrscheinlichkeit bN 0 > 0 keine Nachkommen. In diesem Fall stirbt die Population somit mit positiver Wahrscheinlichkeit aus. 2.106Abbildung 2.1 läßt im Fall des Nichtaussterbens der Population exponentielles“ Wachs” tum vermuten. 2.107Zur Modellierung des Anteils der A-Variante des Gens in einer großen Gesamtpopulation ist es sinnvoll, ein N ∈ N zu wählen und für alle Zeitpunkte eine fest vorgegebene Anzahl 2N von unabhängigen Stichproben zu betrachten. 2.108Die Anzahl j der A-Gene in der n-ten Generation hat über die Erfolgswahrscheinlich” keit“ pj einen entscheidenden Einfluß auf die Anzahl der A-Gene in der (n + 1)-ten Generation. 14. Februar 2013 28 • Wenn die beiden Varianten des Gens nicht mutieren können und keine selektiven Vorteile haben, ist die Wahl 2.109 j , j = 0, 1, . . . , 2N, (2.38a) pj = 2N naheliegend. • Zur Modellierung einer Population mit mutierenden A- und a-Genen sei angenommen, daß vor der Bestimmung der Population der nächsten Generation jedes A-Gen (a-Gen) mit Wahrscheinlichkeit α1 (α2 ) in ein a-Gen (A-Gen) mutieren kann. Diese Annahme führt zu 2.110 j(1 − α1 ) (2N − j)α2 + , j = 0, 1, . . . , 2N. 2N 2N • Falls Individuen mit der A-Variante des Gens bei ihrer Vermehrung einen selektiven Vorteil gegenüber den Individuen mit der a-Variante besitzen, kann (1 + s)j , j = 0, 1, . . . , 2N, (2.38c) pj = 2N + sj definiert werden. In (2.38c) wird ein s > 0 als ein Maß für den selektiven Vorteil des A-Gens benutzt 2.111. Fragen. Unter welchen Bedingungen stirbt bei n → ∞ eine Gen-Variante aus? Stellt sich bei n → ∞ ein Gleichgewicht“ ein? Sind unterschiedliche Gleich” ” gewichte“ möglich? Wie groß ist im zeitlichen Mittel das Verhältnis der Größen der Populationen der beiden Gen-Varianten? Wie lange dauert es, bis eine durch eine Mutation neu eingeführte“ selektiv überlegene Gen-Variante A die Gen-Variante ” a verdrängt hat? (2.38b) pj = 2.2.3. Klassifikation der Zustände einer Markovkette. In diesem Abschnitt 2.2.3 wird erläutert, daß der Zustandsraum S einer allgemeinen Markovkette X = (Xn )n∈N0 in elementare“ Mengen S 1 , S 2 , . . . , die unter der Dynamik der ” Markovkette nicht zerlegbar“ sind, zerfällt . Die Markovkette X kann auf jene Men” gen eingeschränkt werden, so daß sich elementare Bestandteile“ X1 = (Xn1 )n∈N0 , ” X2 = (Xn2 )n∈N0 , . . . von X = (Xn )n∈N0 ergeben 2.112. ′ ′ Seien s, s ∈ S. Der Zustand s heißt von s aus zugänglich, falls ein n ∈ N0 mit 2.113 P n (s′ , s) > 0 existiert 2.114 (Schreibweise: s′ → s). s und s′ kommunizieren, falls s′ → s und s → s′ 2.115 (Schreibweise: s′ ↔ s). Bemerkung 2.27. ↔ definiert eine Äquivalenzrelation in S, d.h., es gilt: (i) s ↔ s (Reflexivität). (ii) s ↔ s′ =⇒ s′ ↔ s (Symmetry). 2.109Beim Ziehen“ eines Gens für die (n + 1)-te Generation ist die Wahrscheinlichkeit für ” die A-Variante gleich dem Anteil der A-Gene in der n-ten Generation. 2.110Beträgt in der n-ten Generation die Anzahl der A-Gene j und somit die Anzahl der aGene 2N − j, so sind nach der Berücksichtigung von Mutationen im Mittel j(1 − α1 ) + (2N − j)α2 Gene der Variante A vorhanden. 2.111(2.38c) wird plausibel, wenn in der Population P die A-Gene mit dem Gewicht“ 1 + s T ” und die a-Gene mit dem Gewicht 1 versehen werden und wenn die Wahrscheinlichkeit für das Ziehen“ einer Gen-Variante für die zukünftige Population proportional zu ihrem Gewicht ist. ” 2.112Für i = 1, 2, . . . ist Xi eine Markovkette mit Zustandsraum S i . Es ist allerdings möglich, daß Xi die Menge S i nach einer zufälligen, endlichen Zeit Tei verläßt und nie mehr zurückkehrt. Man betrachtet daher Xi nur bis zum Zeitpunkt Tei . 2.113Für n ∈ N bezeichnet P n die n-Schritt-Übergangsmatrix, vgl. (2.31). 0 2.114D.h., mit positiver Wahrscheinlichkeit kann s von s′ aus in endlich vielen Schritten erreicht werden. 2.115D.h., mit positiver Wahrscheinlichkeit kommt X in endlich vielen Schritten von s′ nach s und auch wieder zurück. 14. Februar 2013 29 (iii) s ↔ s′ und s′ ↔ s′′ =⇒ s ↔ s′′ (Transitivität) 2.116 . Folglich definiert ↔ eine Einteilung des Zustandsraums S in Äquivalenzklassen. Ein Übergang des Prozesses X von einer Äquivalenzklasse S i in eine zweite Äquivalenzklasse S j , j 6= i, kann möglich sein. Jedoch ist dann der Weg zurück, d.h., von S j nach S i , ausgeschlossen, denn andernfalls wäre S i ∪ S j eine Teilmenge einer Äquivalenzklasse. Wenn der Zustandsraum S einer Markovkette X aus einer einzigen Äquivalenzklasse besteht, nennt man X irreduzibel 2.117. Beispiele 2.28. (i) Die Irrfahrt zu einem Parameter p ∈ (0, 1) 2.118 ist irreduzibel. (ii) Das in Beispiel 2.23 vorgestellte Ehrenfestsche Modell ist irreduzibel. (iii) Das in Beispiel 2.24 beschriebene Warteschlangenmodell ist irreduzibel, falls 2.119 a0 > 0 und a0 + a1 < 1. Falls a0 = 0 zerfällt S in die Äquivalenzklassen {0}, {1}, {2}, . . . . Wenn a0 = 0 und a1 < 1 wird jede Äquivalenzklasse irgendwann mal für immer verlassen. (iv) Für den Verzweigungsprozeß X aus Beispiel 2.25 ist im allgemeinen Fall {0} eine Äquivalenzklasse. Wenn b0 , b1 , b2 > 0, ist weiterhin {1, 2, . . . } eine Äquivalenzklasse 2.120. Wenn b0 = 0, sind {1}, {2}, . . . Äquivalenzklassen. Falls zusätzlich b1 < 1, werden diese Äquivalenzklassen jeweils nach endlicher Zeit für immer verlassen 2.121. Es gibt gewisse Eigenschaften bzgl. einer Markovkette X, die zunächst nur einzelnen Zuständen des Zustandsraums zugeschrieben werden können, z.B. die anschließend diskutierte Periodizität oder auch die Rekurrenz, bzw. die Transienz, auf welche in dem folgenden Abschnitt 2.2.4 eingegangen werden wird. Viele dieser Eigenschaften werden, wie sich später herausstellt, von allen Zuständen einer Äquivalenzklasse geteilt, vgl. z.B. Satz 2.30 oder Korollar 2.33 2.122. Eine zum Zeitpunkt 0 in 0 startende Irrfahrt (zu einem Parameter p ∈ (0, 1)) kann nur in geraden Zeitpunkten nach 0 zurückkehren, d.h., P n (0, 0) > 0 nur wenn n gerade ist. Ausgehend von dieser Beobachtung definiert man für eine allgemeine Markovkette X = (Xn )n∈N0 in einem Zustandsraum S und ein festes s ∈ S die 2.116Zum Beweis von (iii) kann folgendermaßen argumentiert werden: s ↔ s′ , s′ ↔ s′′ =⇒ ∃ n, m ∈ N0 mitP P n (s, s′ ) > 0, P m (s′ , s′′ ) > 0. n+m ′′ =⇒ P (s, s ) = σ∈S P n (s, σ) P m (σ, s′′ ) ≥ P n (s, s′ )P m (s′ , s′′ ) > 0 (vgl. (2.32)). | {z } | {z } ≥0 ≥0 =⇒ s → s′′ . s′′ → s“ kann auf analoge Weise gezeigt werden. ” 2.117Viele Resultate über Markovketten werden nur für irreduzible Markovketten formuliert. Sie lassen sich aber wortwörtlich auch auf die Einschränkungen XA von Markovketten X auf solche Äquivalenzklassen A, die von X niemals verlassen werden, übertragen. 2.118Vgl. Beispiel 2.16. 2.119Wenn a > 0 und a +a < 1 kann die Markovkette aus Beispiel 2.24 von jedem Zustand 0 0 1 k ∈ N im nächsten Schritt mit positiver Wahrscheinlichkeit nach k − 1 bzw. in {k + 1, k + 2, . . . } gelangen. Ausgehend von 0 kann die Markovkette mit positiver Wahrscheinlichkeit {1, 2, . . . } erreichen. 2.120In diesem Fall können von jedem Zustand k ∈ {1, 2, . . . } im nächsten Zeitpunkt mit positiver Wahrscheinlichkeit die in {1, 2, . . . } benachbarten Zustände erreicht werden. 2.121Wenn b = 0, kann die Population niemals abnehmen. Wenn darüberhinaus b < 1, 0 1 P ist ∞ l=2 bl > 0 und daher springt von jedem Zustand k ∈ {1, 2, . . . } der Prozeß X im nächsten Zeitpunkt mit positiver Wahrscheinlichkeit in einen Zustand k ′ ∈ {k + 1, k + 2, . . . }. 2.122In einer Erweiterung der ursprünglichen Begriffsbildung können damit die betreffenden Eigenschaften den Einschränkungen Xi von X auf die einzelnen Äquivalenzklassen S i zugeschrieben werden. 14. Februar 2013 30 Periode (2.39) ( d(s) = ggT{n ∈ N : P n (s, s) > 0}, bzw. 0, falls P n (s, s) = 0, n = 1, 2, . . . . Beispiel 2.29. Für eine Irrfahrt zu einem Parameter p ∈ (0, 1) 2.123 hat k ∈ Z die Periode 2. Andererseits hat für eine Irrfahrt zu einem Parameter p ∈ {0, 1} jedes k ∈ Z die Periode 0 2.124. Satz 2.30. 2.125 Falls s ↔ s′ , so gilt: d(s) = d(s′ ). Wegen Satz 2.30 kann man von der Periode einer Äquivalenzklasse oder auch von der Periode einer irreduziblen Markovkette sprechen. Eine Markovkette besitzt auf eine gewisse Weise eine maximale Vergeßlich” keit“, wenn d(s) = 1 für alle s ∈ S 2.126. Solche Markovketten heißen aperiodisch. Beispiel 2.31. Eine verallgemeinerte Irrfahrt in Z aperiodisch 2.128. 2.127 mit a−1 · a0 · a1 > 0 ist 2.2.4. Rekurrenz und Transienz. Sei X = (Xn )n∈N0 eine Markovkette mit Zustandsraum S. Die Überlegungen zu Äquivalenzklassen in Abschnitt 2.2.3 drehen sich letztendlich um die Beantwortung der Frage, ob 2.129 (2.40a) P[Xn = s′ für ein n ∈ N|X0 = s] > 0, In diesem Abschnitt 2.2.4 wird nun diskutiert, ob ( (2.40b) P[Xn = s′ für ein n ∈ N|X0 = s] s, s′ ∈ S. = 1, oder < 1, s, s′ ∈ S. Bei Start in einem Zustand s ∈ S kann die Markovkette X evtl. zu einem späteren Zeitpunkt wieder nach s zurückkehren. Ob diese Rückkehr dann nur mit positiver Wahrscheinlichkeit oder f.s. geschieht, wird als Spezialfall von (2.40b) untersucht. Auch auf die Frage, wie oft eine Rückkehr nach s stattfindet, wird in diesem Abschnitt eingegangen. Sei 2.130 (2.41) q n (s, s′ ) = P Xn = s′ ; Xr 6= s′ , 1 ≤ r < n|X0 = s , n = 1, 2, . . . , s, s′ ∈ S, q 0 (s, s′ ) = 0, s, s′ ∈ S. Für n ≥ 1 ist q n (s, s′ ) die unter X0 = s bedingte Wahrscheinlichkeit, daß der Zeitpunkt der ersten Rückkehr nach s′ = s (bzw. des ersten Eintritts in s′ 6= s) gleich n ist. Ein Zustand s ∈ S heißt rekurrent, falls ∞ X (2.42) q n (s, s) = 1, n=1 2.123Vgl. Beispiel 2.16. 2.124Man beachte, daß eine Irrfahrt zu einem Parameter p ∈ {0, 1} zu keinem Punkt k ∈ Z jemals wieder zurückkehrt. 2.125 Vgl. [4], Section 6.3, Theorem (2). 2.126In diesem Fall kann der Zeitpunkt einer möglichen Rückkehr nicht auf eine Teilmenge aller Zeitpunkte eingegrenzt werden. 2.127Vgl. Beispiel 2.19. 2.128Wenn a −1 · a0 · a1 > 0, ist a−1 > 0, a0 > 0 und a1 > 0. Daher kann der Prozeß zu jedem Zeitpunkt mit positiver Wahrscheinlichkeit nach rechts oder nach links springen, bzw. die aktuelle Position beibehalten. 2.129Für s, s′ ∈ S mit s 6= s′ trifft (2.40a) genau dann zu, wenn s → s′ . 2.130Offensichtlich gilt q 1 (s, s′ ) = P (s, s′ ). 14. Februar 2013 31 d.h., wenn unter der Bedingung X0 = s eine spätere Rückkehr nach s f.s. stattfindet. Ein nichtrekurrenter Zustand wird transient genannt 2.131. In den folgenden Überlegungen wird geklärt werden, wie Rekurrenzeigenschaften mit Hilfe der Übergangsmatrix P bestimmt werden können 2.132. Zunächst beschreibt 2.133 n X q k (s, s′ )P n−k (s′ , s′ ), n ∈ N0 , s, s′ ∈ S, (2.43) P n (s, s′ ) = δn,0 δs,s′ + k=0 eine Beziehung zwischen P und den Matrizen q n , n ∈ N0 . Um ein auf der Übergangsmatrix P basierendes Kriterium für die Gültigkeit von (2.42) zu finden, ist das Gleichungssystem (2.43) nach P aufzulösen 2.134. Satz 2.32 (Rekurrenzkriterium). Ein Zustand s ∈ S ist genau dann rekurrent, wenn 2.135 ∞ X P n (s, s) = ∞. (2.44) n=1 Beweis. Aus (2.43) folgt (2.45) P n (s, s) = δn,0 + n X q k (s, s)P n−k (s, s), k=0 Mit Lemma A.1.1 folgt somit (2.46) n ∈ N0 . 2.136 \ P\ (s, s)(µ) = 1 + q(s, s)(µ)P\ (s, s)(µ), 0 ≤ µ < 1, 2.131Bei Start in einem rekurrenten Zustand s findet X mit Wahrscheinlichkeit 1 zurück. Bei Start in einem transienten Zustand ist die Rückkehr nicht sicher. 2.132Diese Frage zielt auf eine Überprüfung von Bemerkung 2.18 im speziellen Fall der Rekurrenz. Eine Antwort findet sich in Satz 2.32. 2.133Für n = 0 ist (2.43) offensichtlich. Hierzu beachte man (2.31b) und die Tatsache, daß für n = 0 die Summe auf der rechten Seite gleich 0 ist. Für n ≥ 1 betrachte man die disjunkte Zerlegung (∗1 ) {X0 = s; Xn = s′ } = Nun gilt (∗2 ) • [ k=1,...,n X0 = s; Xr 6= s′ , r = 1, . . . , k − 1; Xk = s′ ; Xn = s′ . P X0 = s; Xr 6= s′ , r = 1, . . . , k − 1; Xk = s′ ; Xn = s′ = P X0 = s; Xr 6= s′ , r = 1, . . . , k − 1; Xk = s′ P Xn = s′ X0 = s; Xr 6= s′ , r = 1, . . . , k − 1; Xk = s′ | {z } = P n−k (s′ , s′ ) (vgl. (2.26)) = P Xk = s′ ; Xr 6= s′ , r = 1, . . . , k − 1X0 = s P[X0 = s]P n−k (s′ , s′ ) = q k (s, s′ )P[X0 = s]P n−k (s′ , s′ ), k = 1, 2, . . . , n. Wenn Satz 2.17, die Additivität des Wahrscheinlichkeitsmaßes P und q 0 (. . . ) = 0 berücksichtigt werden, führen (∗1 ) und (∗2 ) zu (∗3 ) P[X0 = s]P n (s, s′ ) = P[X0 = s] n X q k (s, s′ )P n−k (s′ , s′ ), k=0 n = 1, 2, . . . , s, s′ ∈ S. Da (∗3 ) für alle Anfangsverteilungen PX0 gilt, folgt (2.43). Man beachte, daß in den Beweis von (2.43) die Markoveigenschaft (2.26) von X als wesentlicher Beitrag eingegangen ist. 2.134Dazu werden im Beweis von Satz 2.32 die in Anhang A.1.3 beschriebenen erzeugenden Funktionen benutzt, vgl. (2.47). 2.135Das Rekurrenzkriterium dieses Satzes 2.32 ist notwendig und hinreichend. Ein weiteres hinreichendes Rekurrenzkriterium wird in Satz 2.52 gegeben. 2.136Es werden die erzeugenden Funktionen der beiden Seiten von (2.45) gebildet. Hierbei wird s ∈ S festgehalten, während n ∈ N0 variabel ist. Bei der Anwendung von Lemma A.1.1 ist P k zu beachten, daß ∞ k=1 q (s, s) ≤ 1. 14. Februar 2013 32 d.h., (2.47) 1 , \ 1 − q(s, s)(µ) P\ (s, s)(µ) = 0 ≤ µ < 1. Satz 2.32 folgt nun durch Auswertung von (2.47) unter Zuhilfenahme von Lemma A.1.2. (a) Sei s rekurrent, d.h., ∞ X q k (s, s) = 1. k=1 \ Dann führt Lemma A.1.2(a) zu limµր1 q(s, s)(µ) = 1. Da limµր1 P\ (s, s)(µ) = ∞ sich jetzt als Konsequenz von (2.47) ergibt, folgt ∞ X k=0 P k (s, s) = ∞ aus Lemma A.1.2(b). P∞ (b) Sei s transient, d.h., k=1 q k (s, s) < 1. Dann folgt ∞ X k=0 P k (s, s) < ∞ mit einer zu (a) völlig analogen Argumentation. Das nächste Resultat besagt, daß innerhalb einer Äquivalenzklasse alle Elemente die gleichen Rekurrenz- bzw. Transienzeigenschaften besitzen 2.137. Korollar 2.33. s sei rekurrent und es gelte s ↔ s′ 2.138 . Dann ist auch s′ rekurrent. Beweis. Aus s ↔ s′ folgt die Existenz von m, n ∈ N0 mit P m (s, s′ ) > 0 und P (s′ , s) > 0. Da n P n+m+r (s′ , s′ ) ≥ P n (s′ , s)P r (s, s)P m (s, s′ ), r ∈ N0 , aus der Chapman-Kolmogorov-Gleichung (2.32) folgt, ergibt sich als Konsequenz ∞ X k=0 P k (s′ , s′ ) ≥ ∞ X P n+m+r (s′ , s′ ) r=0 ∞ X P r (s, s) = ≥ konst. | {z } > 0 r=0 Nun impliziert Satz 2.32 die Rekurrenz von s′ . 2.139 ∞. Bemerkung 2.34. Aufgrund von Korollar 2.33 kann auch von rekurrenten bzw. transienten irreduziblen Markovketten gesprochen werden. Korollar 2.35. Ein Zustand s ∈ S ist genau dann rekurrent, wenn die unter X0 = s bedingte erwartete Anzahl der Rückkehrzeitpunkte ∞ ist. 2.137Auf das Phänomen, daß manche Eigenschaften einzelner Zustände s sogar für alle Zustände in der Äquivalenzklasse von s gelten, wurde in Abschnitt 2.2.3 nach Beispiel 2.28 hingewiesen. 2.138s ↔ s′ besagt, daß die Zustände s und s′ kommunizieren. Diese Äquivalenzrelation wird in Abschnitt 2.2.3 eingeführt. 2.139Da s rekurrent ist. 14. Februar 2013 33 Beweis. Da Anzahl der Zeitpunkte einer Rückkehr von (Xn )n∈N0 nach s = = ∞ X n=1 ∞ X n=1 2.140 und folgt I{n ist Rückkehrzeitpunkt von (X ) n n∈N0 nach s} I{X = s} n i h E I{X = s} X0 = s = P[Xn = s|X0 = s] = P n (s, s), n n ∈ N, E Anzahl der Zeitpunkte einer Rückkehr von (Xn )n∈N0 nach sX0 = s "∞ # X =E I{X = s} X0 = s n n=1 = 2.141 ∞ ∞ i X h X P n (s, s). E I{X = s} X0 = s = n n=1 n=1 Somit ist Korollar 2.35 eine Konsequenz von Satz 2.32. Bemerkung 2.36. Als Präzisierung von Korollar 2.35 gilt sogar: Ein Zustand s ist rekurrent genau dann, wenn 2.142 (2.48) P[Xn = s unendlich oft|X0 = s] = 1, d.h., wenn die Anzahl der Rückkehrzeitpunkte f.s. gleich ∞ ist 2.143 . In den folgenden Beispielen werden die Rekurrenzeigenschaften der symmetrischen Irrfahrt X = (Xn )n∈N0 in Zd , d = 1, 2, . . . , untersucht 2.144. Da diese Prozesse irreduzibel sind 2.145, genügt es, die Rekurrenz des Ursprungs zu prüfen 2.146. Beispiel 2.37 (Irrfahrt in Z1 ). Im allgemeinen, eventuell nicht-symmetrischen Fall 2.147, d.h. falls P[Xn+1 = k + 1|Xn = k] = p, P[Xn+1 = k − 1|Xn = k] = 1 − p, k ∈ Z, 2.140Hier wird auf einem intuitiven Niveau ein bedingter Erwartungswert betrachtet. Eine mathematisch rigorose Einführung dieses Begriffs wird beispielsweise in [5], Abschnitt 8.1, gegeben. 2.141Aufgrund der σ-Additivität des bedingten Erwartungswerts und weil I {Xn = s} ≥ 0, f.s., P n ∈ N, ist die Vertauschung von E[. . . |X0 = s] und ∞ . . . zulässig. n=1 2.142(2.48) ist insofern präziser als Korollar 2.35, da mit jenem Resultat nicht ausgeschlossen werden kann, daß P[Xn = s unendlich oft|X0 = s] < 1, bzw. P[Xn = s nur endlich oft|X0 = s] > 0. 2.143Vgl. [7], Chapter 2, Theorem 7.1. 2.144Die symmetrische Irrfahrt in Zd , d = 1, 2, 3, . . . , wird in Beispiel 2.20 vorgestellt. Es wird sich herausstellen, daß das Rekurrenzverhalten der symmetrischen Irrfahrt von d abhängt. Dieses Resultat läßt sich folgendermaßen begründen: Für großes d, d.h. für d ≥ d0 , hat die symmetrische Irrfahrt eine positive Wahrscheinlichkeit, sich zu verlaufen“ und nicht mehr zum Startpunkt ” zurückzufinden. Als mathematisches Problem bleibt die Bestimmung von d0 . 2.145 Vgl. z.B. Beispiel 2.28(i). 2.146 Vgl. Korollar 2.33 und Bemerkung 2.34. 2.147Vgl. Beispiel 2.16. 14. Februar 2013 34 gilt: (2.49) P 2n+1 (0, 0) = 2.148 P 2n (0, 0) = 2.149 0, n = 0, 1, 2, . . . , (2n)! n 2n n p (1 − p)n , p (1 − p)n = n! n! n Mit der Stirlingschen Formel (2.50) 2.150 ergibt sich die Approximation √ 4πn (2n)2n exp(−2n) n P 2n (0, 0) ≃ √ p (1 − p)n ( 2πn nn exp(−n))2 αn pn (1 − p)n 2n √ 2 = √ , n groß, = πn πn wobei α = 4p(1 − p). Da p(1 − p) ( < 1/4, p 6= 1/2, = 1/4, p = 1/2, folgt aus Satz 2.32: (a) Falls p 6= 1/2 und daher α < 1, gilt (2.51a) ∞ X P k (0, 0) = k=0 ∞ X 2.151 P 2n (0, 0) . 2.152 1+C n=0 d.h., die Irrfahrt in Z ist für p 6= 1/2 transient. (b) Für p = 1/2 ist α = 1. Somit folgt 2.153 (2.51b) n = 1, 2, . . . . ∞ X k=0 P k (0, 0) = ∞ X P 2n (0, 0) & C n=0 d.h., die symmetrische Irrfahrt in Z ist rekurrent. ∞ X 1 √ αn < ∞, n n=1 ∞ X 1 √ = ∞, n n=1 Bemerkungen 2.38. (i) Für p > 1/2 erwartet man für Xn bei n → ∞ Kon” vergenz“ gegen +∞. Entsprechend erwartet man für p < 1/2 Konvergenz“ gegen ” 2.154 −∞. In der Tat gilt nach dem starken Gesetz der großen Zahlen , ( Xn > 0, falls p > 1/2, lim = 2p − 1 f.s. n→∞ n < 0, falls p < 1/2, Ebenso folgt nach dem starken Gesetz der großen Zahlen für die eindimensionale verallgemeinerte Irrfahrt aus Beispiel 2.19 die Beziehung limn→∞ Xn /n = E[ζ1 ], f.s.. Nach Bemerkung 2.36 sind daher derartige Prozesse transient, falls E[ζ1 ] 6= 0 2.148Eine Rückkehr nach 0 ist nur mit einer geraden Anzahl von Sprüngen möglich. 2.149Zur Rückkehr nach 0 muß genauso oft nach rechts wie nach links gesprungen werden. 2.150Die Stirlingsche Formel besagt, daß (∗) 1 n! , ≤ exp 1≤ √ 12n 2πn nn exp(−n) n ∈ N, vgl. [3], Kapitel IV, Abschnitt 3, (177). In einer formalen Schreibweise folgt somit √ n! ∼ 2πn nn exp(−n), n groß. 2.151In (2.51a), bzw. (2.51b) ist C jeweils eine strikt positive, endliche Konstante. 2.152Man beachte P 0 (0, 0) = 1, vgl. (2.31b), und (2.50). 2.153Vgl. (2.49) und (2.50). 2.154Beachte die Darstellung X = Pn Y , n ∈ N , wobei die Y unabhängige, {−1, 1}n 0 i i=1 i wertige Zufallsvariablen mit P[Yi = 1] = 1 − P[Yi = −1] = p und damit E[Yi ] = 2p − 1 für i ∈ N sind. 14. Februar 2013 35 ist 2.155 2.156. (ii) Auch für alle d ≥ 2 ist eine nicht-symmetrische Irrfahrt X 2.157 in Zd transient. In diesen Fällen ist mindestens eine der d Projektionen auf die Koordinatenrichtungen eine verallgemeinerte Irrfahrt in Z1 nach Beispiel 2.19 mit ak = 0, k ∈ Z\{−1, 0, 1} und a1 6= a−1 . Wie in (i) kann daher die Transienz jener Projektion und damit auch die von X gefolgert werden. Beispiel 2.39 (Symmetrische Irrfahrt in Z2 ). Analog zu (2.49) gilt: (2.52) P 2n+1 (0, 0) = 0, n = 0, 1, 2, . . . , X (2n)! 1 2n P 2n (0, 0) = 2.158 i!i!j!j! 4 {i,j∈N0 :i+j=n} = n X i=0 Nun ist 1 2n (2n)! , (i!(n − i)!)2 4 n = 1, 2, . . . . (2n)! (2n)! n! n! = · · (i!(n − i)!)2 n!n! i!(n − i)! i!(n − i)! 2n n n = , i = 0, 1, . . . , n, n i n−i und außerdem (2.53) Somit folgt 2.159 n X n n 2n = , i n − i n i=0 P 2n (0, 0) = 1 2n 2n2 4 n , n = 1, 2, . . . . n = 1, 2, . . . , d.h., aus der Stirlingschen Formel 2.160 ergibt sich 1 2n √4πn (2n)2n 2 1 2n P (0, 0) ≃ = , 4 2πn n2n πn Damit ist ∞ X k=0 n groß. P k (0, 0) = ∞, d.h., nach Satz 2.32 ist die symmetrische Irrfahrt in Z2 rekurrent. 2.155Die aus lim n→∞ Xn /n 6= 0, f.s., folgende Konvergenz von Xn gegen +∞ oder −∞ bei n → ∞ zeigt, daß P[Xn = 0 unendlich oft|X0 = 0] = 0. 2.156 Keine Aussagen zum Rekurrenzverhalten einer eindimensionalen verallgemeinerten Irrfahrt werden hier gemacht in dem Fall E[ζ1 ] = 0 oder wenn E[ζ1 ] überhaupt nicht existiert. 2.157Eine nicht-symmetrische Irrfahrt bezeichnet hier eine Markovkette wie in Beispiel 2.20, wobei allerdings die i.i.d. Zufallsvariablen ζn , n ∈ N, die Werte ±ek , k = 1, . . . , d, mit unterschiedlichen Wahrscheinlichkeiten annehmen. 2.158Um nach 2n Schritten zurück nach 0 zu gelangen sind gleichviele (i) Sprünge nach rechts und nach links, bzw. gleichviele (j) Sprünge nach oben und nach unten notwendig. Offensichtlich muß 2(i + j) = 2n gelten. 2.159Die rechte Seite in (2.53) gibt die Anzahl der Möglichkeiten, n Elemente aus insgesamt 2n Elementen auszuwählen, an. Um eine derartige Auswahl von n Elementen zu treffen, kann zunächst die Gesamtmenge mit 2n Elementen in zwei feste Teilmengen mit jeweils n Elementen geteilt werden. Anschließend werden für ein i ∈ {0, 1, . . . , n} eine Menge von i Elementen aus der ersten und eine Menge von n − i Elementen aus der zweiten Teilmenge entnommen. Die Anzahl der möglichen Ergebnisse bei diesem Verfahren steht auf der linken Seite von (2.53). 2.160Vgl. Fußnote 2.150. 14. Februar 2013 36 Beispiel 2.40 (Symmetrische Irrfahrt in Z3 ). Wie in (2.49) oder (2.52) gilt: P 2n+1 (0, 0) = 0, n = 0, 1, 2, . . . , X 1 2n (2n)! 2 (i!j!(n − i − j)!) 6 {i,j∈N0 :0≤i+j≤n} 2 X 1 2n n! 1 = 2n 2 i!j!(n − i − j)! 32n n {i,j:0≤i+j≤n} X 1 n! 1 2n 1 n! , n = 1, 2, . . . . ≤ 2n max 2 i!j!(n−i−j)! 3n i+j≤n i!j!(n−i−j)! n 3n i+j≤n | {z } | {z } n! 2.163 2.164 = 1 2.162 . 3 (n/3)! P 2n (0, 0) = 2.161 Mit der Stirlingschen Formel P und damit 2n (0, 0) . 2.165 folgt n! 1 2n 3n n 3 2n (n/3)! 2 √ √ 2πn nn 4πn (2n)2n 1 ≃ p ( 2πn/3 (n/3)n/3 )3 22n 3n 2πn n2n √ 3 3 = n groß, 2π 3/2 n3/2 ∞ X k=0 P k (0, 0) < ∞. Aufgrund von Satz 2.32 ergibt sich die Transienz der symmetrischen Irrfahrt in Z3 . Bemerkungen 2.41. (i) Aus der Transienz der symmetrischen Irrfahrt in Z3 folgt, daß für alle d ≥ 3 die symmetrische Irrfahrt in Zd ebenfalls transient ist. (ii) Die Dimensionsabhängigkeit des Rekurrenzverhaltens der symmetrischen Irrfahrt wird in Anhang A.1.4 durch die Ergebnisse einiger Simulationen illustriert. 2.2.5. Asymptotik der Übergangsmatrizen. Ein sehr wichtiger Untersuchungsgegenstand in der Theorie der Markovketten ist deren Asymptotik für große Zeiten. Insbesondere ist zu klären, ob sich bei n → ∞ gewisse Eigenschaften sta” bilisieren“, d.h. von n unabhängig werden. Bemerkung 2.42. Es stellt sich heraus, daß die Beschreibung der Asymptotik einer Markovkette X = (Xn )n∈N0 dann am übersichtlichsten ist, wenn Xn bei n → ∞ alle Informationen über den Startpunkt X0 vergißt“. Aus diesem Grund ” werden im folgenden primär irreduzible und aperiodische Markovketten diskutiert 2.166 werden . Derartigen Prozessen bleiben für große Zeiten keinerlei Informationen 2.161Um nach 2n Schritten zurück nach 0 zu gelangen, sind gleichviele (i) Sprünge nach rechts und nach links, gleichviele (j) Sprünge nach oben und nach unten, bzw. gleichviele (n − i − j) Sprünge nach vorn und nach hinten notwendig. 2.162 Hier wird die Gesamtwahrscheinlichkeit einer Multinomialverteilung bestimmt. 2.163 n!/(i!j!(n − i − j)!) ist die Anzahl der Möglichkeiten, aus einer Urne mit den Kugeln A, B und C beim n-maligen Ziehen mit Zurücklegen i mal A, j mal B und n − i − j mal C auszuwählen. Aus Symmetriegründen liegt das Maximum bei i ∼ j ∼ n/3. 2.164 Für nicht durch 3 teilbares n ist natürlich (n/3)! = Γ(1 + n/3) zu setzen, wobei Γ die Γ-Funktion, vgl. [1], Kapitel 6, bezeichnet. Die in Fußnote 2.150 beschriebene Stirlingsche Formel gilt auch für die Γ-Funktion. 2.165 Vgl. Fußnote 2.150. 2.166Die Begriffe der Irreduzibilität, bzw. Aperiodizität einer Markovkette werden in Abschnitt 2.2.3 eingeführt. 14. Februar 2013 37 über die Lage des Startpunktes X0 und die seit dem Start in X0 schon vergangene Zeit. In einem ersten Resultat zur Asymptotik von Markovketten X = (Xn )n∈N0 in einem Zustandsraum S wird für die Übergangsmatrizen P n = (P n (s, s′ ))s,s′ ∈S das Verhalten bei n → ∞ charakterisiert. Satz 2.43. 2.167 Sei X = (Xn )n∈N0 eine rekurrente, irreduzible und aperiodische Markovkette. Dann gilt 2.168 X −1 ∞ (2.54a) lim P n (s, s) = kq k (s, s) , s ∈ S, n→∞ bzw. k=0 2.169 lim P n (s′ , s) = lim P n (s, s), (2.54b) n→∞ n→∞ s, s′ ∈ S. Beweis. Zunächst führt (2.43) zu (2.55) n P (s, s) − n X q k (s, s)P n−k (s, s) = δn,0 , k=0 n ∈ N0 , s ∈ S. Für ein festes s ∈ S ist (2.55) eine Erneuerungsgleichung 2.170. Daher folgt (2.54a) durch Anwendung des Erneuerungssatzes 2.171. Details hierzu finden sich in Beispiel 2.67 2.172. Zur Verifizierung von (2.54b) sei auf den Beweis von Theorem 1.2 in [7], Chapter 3, verwiesen. und C Bemerkungen 2.44. (i) Sei X = (Xn )n∈N0 eine beliebige Markovkette, eine Äquivalenzklasse bezüglich 2.173 ↔, so daß die Einschränkung XC von X auf C rekurrent und aperiodisch ist. In diesem Fall kann C von X niemals verlassen werden 2.174. Da XC irreduzibel ist, bleibt daher Satz 2.43 sinngemäß auch für diese Markovkette gültig. (ii) Mit (2.41) wird deutlich, daß (2.56) ∞ X kq k (s, s) = E[τs ], k=0 s ∈ S, wobei τs die Rückkehrzeit des Prozesses X zum Startpunkt s ist. Unter den Voraussetzungen von Satz 2.43 gilt somit (2.57) lim P n (s′ , s) = n→∞ 1 , E[τs ] s, s′ ∈ S. 2.167Vgl. [7], Chapter 3, Theorem 1.2. 2.168Die in (2.54) eingehenden Matrizen (q n (s, s′ )) ′ s,s ∈S , n ∈ N0 , werden in (2.41) definiert. P k (2.54a) zeigt insbesondere, daß limn→∞ P n (s, s) = 0, falls ∞ k=0 kq (s, s) = ∞. 2.169In (2.54b) zeigt sich explizit, daß der Startpunkt s′ von X asymptotisch keine Rolle mehr spielt. 2.170Vgl. (2.113), bzw. (2.116). 2.171Vgl. Satz 2.66 2.172In Beispiel 2.67 wird auch erläutert, wieso die Irreduzibilität und die Aperiodizität von X benötigt werden. 2.173Vgl. Abschnitt 2.2.3. 2.174Weil C eine Äquivalenzklasse ist, könnte X nach dem Verlassen von C mit Wahrschein lichkeit 1 nicht mehr zurückkehren. Weiterhin kann aufgrund der Rekurrenz von XC und Bemerkung 2.36 eine endliche Aufenthaltsdauer in C ausgeschlossen werden. 14. Februar 2013 38 (iii) Im allgemeinen lassen sich Resultate für aperiodische Markovketten in leicht modifizierter Form auf periodische Markovketten übertragen. Besitzt beispielsweise eine rekurrente und irreduzible Markovkette die Periode d, so folgt 2.175 lim P nd (s, s) = (2.58) n→∞ d , E[τs ] s ∈ S. (iv) Eine Modifikation von (2.57), bzw. (2.58) für eine beliebige rekurrente und irreduzible Markovkette lautet 2.176 n 1 1X k ′ , s, s′ ∈ S. P (s , s) = (2.59) lim n→∞ n E[τs ] k=1 Korollar 2.45. 2.177 Sei s0 ∈ C, wobei C eine aperiodische, rekurrente Äquivalenzklasse des Zustandsraums S einer Markovkette X ist, und sei lim P n (s0 , s0 ) = πs0 > 0 n→∞ für ein s0 ∈ C. Dann gilt (2.60) πs = lim P n (s, s) > 0, n→∞ s ∈ C. Korollar 2.45 beschreibt eine Eigenschaft, nämlich die strikte Positivität von limn→∞ P n (s, s), die simultan für alle Elemente s einer aperiodischen Äquivalenzklasse des Zustandsraums gültig wird 2.178. Insbesondere besteht nun Gelegenheit zu einer Präzisierung des Rekurrenzbegriffs. Eine aperiodische, rekurrente Äquivalenzklasse C des Zustandsraums S einer Markovkette X heißt positiv rekurrent, falls 2.179 (2.61) πs = lim P n (s, s) > 0, n→∞ s ∈ C. Falls πs = 0, s ∈ C, wird C als 0-rekurrent bezeichnet. Aufgrund von Korollar 2.45 sind positive Rekurrenz und 0-Rekurrenz komplementäre Erscheinungsformen der Rekurrenz von aperiodischen Äquivalenzklassen. Bemerkung 2.46. Als Konsequenz aus Bemerkung 2.44(ii) ist die positive Rekurrenz einer aperiodischen Äquivalenzklasse C gleichbedeutend mit 2.180 E[τs ] < ∞, s ∈ C, während die 0-Rekurrenz auch durch E[τs ] = ∞, s ∈ C, charakterisiert ist. Daher kann mit Hilfe von E[τs ], s ∈ C, der Begriff der positiven Rekurrenz, bzw. der 0-Rekurrenz auch für periodische Äquivalenzklassen C eingeführt werden. Beispiel 2.47. In den Beispielen 2.37, bzw. 2.39 wird für die symmetrische Irrfahrt in Z, bzw. in Z2 nachgewiesen, daß für alle s des jeweiligen Zustandsraums P 2n+1 (s, s) = 0, n = 0, 1, 2, . . . , und limn→∞ P 2n (s, s) = 0, n = 1, 2, . . . . Daher kann die 0-Rekurrenz der symmetrische Irrfahrt in Z, bzw. in Z2 gefolgert werden. 2.175Vgl. [7], Chapter 3, Remark 1.4. 2.176Vgl. [7], Chapter 3, Remark 1.4. Die für beliebige rekurrente und irreduzible Markov- ketten zutreffende Eigenschaft (2.59) ist eine Konsequenz der für speziellere aperiodische, bzw. periodische Markovketten geltenden aussagekräftigeren Eigenschaften (2.57), bzw. (2.58). 2.177Vgl. [7], Chapter 3, Remark 1.4. Zum Beweis von (2.60) kann ähnlich argumentiert werden wie beim Beweis von Korollar 2.33. 2.178Eine analoge Bedeutung haben Satz 2.30 und Korollar 2.33. Mit jenen Resultaten wird nachgewiesen, daß Rekurrenz, Transienz oder eine feste Periodizität simultan für alle Elemente einer Äquivalenzklasse des Zustandsraums vorliegen. 2.179In Satz 2.48 und Korollar 2.49 werden zu (2.57) alternative Charakterisierungen der durch (2.61) definierten Größen πs , s ∈ C, gegeben. Insbesondere wird nachgewiesen, daß π = (πs )s∈C ein invariantes Wahrscheinlichkeitsmaß der Markovkette X ist. 2.180Die Zufallsvariable τ ist die Zeit bis zur Rückkehr der in s startenden Markovkette X s nach s. 14. Februar 2013 39 2.2.6. Stationäre Verteilungen von Markovketten. In diesem Abschnitt werden die Grenzwerte 2.181 πs , s ∈ C, aus Korollar 2.45 auf alternative Weisen charakterisiert 2.182. Zunächst wird πs , s ∈ C, als Lösung eines der Übergangsmatrix P zugeordneten Eigenwertproblems 2.183, d.h. durch eine algebraische Eigenschaft beschrieben. Darauf aufbauend kann weiterhin πs , s ∈ C, als ein unter der Dynamik der zugehörigen Markovkette invarianter Zustand, d.h. als eine stationäre Verteilung, identifiziert werden 2.184. Satz 2.48. Sei C eine aperiodische, positiv rekurrente Äquivalenzklasse des Zustandsraums S einer Markovkette X = (Xn )n∈N0 mit den Übergangswahrscheinlichkeiten P (s, s′ ), s, s′ ∈ S. Sei 2.185 πs = lim P n (s, s), (2.62) n→∞ s ∈ C. Die Limiten (πs )s∈C lösen πs ≥ 2.186 0, s ∈ C, X πs = πs′ P (s′ , s), s ∈ C, (2.63a) (2.63b) s′ ∈C X (2.63c) πs = 1, s∈C und sind darüberhinaus durch die Beziehungen (2.63) eindeutig bestimmt. Durch die Zuordnung πs = 0, s ∈ S \ C, kann die Lösung (πs )s∈C von (2.63) auf den gesamten Zustandsraum S fortgesetzt werden. Die Beziehungen (2.63) bleiben auch für diese Fortsetzung π = (πs )s∈S gültig 2.187. Nach (2.63a) und (2.63c) definiert π ein Wahrscheinlichkeitsmaß auf S. Aufgrund von (2.63b) ist π als Zeilenvektor interpretiert außerdem ein linker Eigenvektor der Übergangsmatrix P zum Eigenwert 1 . Korollar 2.49. Das Wahrscheinlichkeitsmaß π ist eine stationäre Verteilung von X, d.h., falls 2.188 P[X0 = s] = πs , s ∈ S, folgt P[Xn = s] = πs , s ∈ S, n ∈ N0 2.189. Beweis von Satz 2.48. Wegen ihrer Rekurrenz kann die Äquivalenzklasse C des Zustandsraums S von X niemals verlassen werden 2.190. Daher kann o.E.d.A. C = S, und da S abzählbar ist, weiterhin S = N angenommen werden. (a) (πi )i∈N löst (2.63). Die Positivität (2.63a) folgt aus (2.62) und der Positivität von P (., .). Weiterhin gilt: 1= ∞ X j=1 P n (i, j) ≥ M X P n (i, j), j=1 i, n, M ∈ N. 2.181C sei eine aperiodische, positiv rekurrente Äquivalenzklasse des Zustandsraums S einer Markovkette X. 2.182Die bisher vorliegende Charakterisierung ist durch (2.57) gegeben. 2.183Vgl. (2.63). 2.184Vgl. Korollar 2.49. 2.185Die Existenz dieser Grenzwerte wird durch Satz 2.43 sichergestellt. 2.186Da C positiv rekurrent ist, gilt sogar π 0, s ∈ C, vgl. Korollar 2.45 und (2.61). s 2.187In (2.63) muß nur C durch S ersetzt werden. 2.188Wie im vorangehenden Abschnitt bemerkt, muß π von C auf S fortgesetzt werden. 2.189Zum Beweis sei darauf hingewiesen, daß sich π = P n ′ s s′ ∈S πs′ P (s , s), s ∈ S, n ∈ N0 , durch Iteration aus (2.63b) ergibt. Somit folgt Korollar 2.49 aus Satz 2.22. 2.190Vgl. Bemerkung 2.44(i). 14. Februar 2013 40 Bei n → ∞ folgt daher die Beziehung 1≥ d.h., (2.63a) führt zu M X πj , j=1 ∞ X (2.64) j=1 M ∈ N, πj ≤ 1. Mit der Chapman-Kolmogorov-Gleichung 2.191 ergibt sich P n+1 (i, j) ≥ M X P n (i, k)P (k, j), i, j, n, M ∈ N. k=1 Aus der Positivität von π. und P (., .) folgt wie in (2.64) bei n → ∞ daher πj ≥ bzw. (2.65) M X j, M ∈ N, πk P (k, j), k=1 πj ≥ ∞ X j ∈ N. πk P (k, j), k=1 Eine Iteration dieser Beziehung führt zu ∞ X ∞ X πj ≥ πl P (l, k) P (k, j) = k=1 2.192 l=1 Weitere Iterationen ergeben schließlich ∞ X πl P n (l, j), πj ≥ ∞ X l=1 j, n ∈ N. l=1 Falls hier “ für ein j0 und ein n0 gilt, folgt mit ” ∞ ∞ X ∞ X X n0 πl P (l, j) πj > j=1 j=1 = 2.193 l=1 ∞ X l=1 ein Widerspruch. Daher ist (2.66) πj = ∞ X πl P 2 (l, j). πl ∞ X P n0 (l, j) = j=1 | {z =1 πl P n (l, j), l=1 } ∞ X πl l=1 j, n ∈ N, womit insbesondere (2.63b) gezeigt wäre. Es folgt weiterhin: ∞ ∞ ∞ X X X πj = 2.194 lim πl P n (l, j) = 2.195 πl πj , πl lim P n (l, j) = n→∞ n→∞ | {z } l=1 l=1 l=1 = 2.196 πj j ∈ N. 2.191Vgl. (2.32). 2.192Die Vertauschung der Summationen wird durch die Positivität von π und P (., .) auf. grund des Satzes von Fubini ermöglicht. 2.193Aufgrund der Positivität von π und P n0 (., .) rechtfertigt auch hier der Satz von Fubini . die Vertauschung der Summationen. 14. Februar 2013 41 Wegen der positiven Rekurrenz von X ist π. > 0, d.h., (2.63c) ist nun auch gezeigt. (b) Eindeutigkeit der Lösung von (2.63). Sei (xk )k∈N eine Lösung von (2.63). Dann ergibt sich durch Iteration von (2.63b) unter Berücksichtigung der Positivität von x. und P (., .), die eine Vertauschung von Summationen erlaubt, ∞ ∞ X ∞ X X (2.67) xl P (l, j) P (j, k) xj P (j, k) = xk = j=1 j=1 = ∞ X xl ∞ X | = {z } 2 P (l, k) 2.197 xj P n (j, k), j=1 so daß schließlich xk = = 2.198 lim n→∞ 2.199 ∞ X j=1 folgt. ∞ X l=1 P (l, j)P (j, k) = . . . j=1 l=1 = ∞ X k, n ∈ N, xj P n (j, k) j=1 xj lim P n (j, k) = 2.200 n→∞ ∞ X j=1 xj πk = 2.201 πk , k ∈ N, Beispiel 2.50 (Stationäre Wahrscheinlichkeitsverteilung einer räumlich inhomogenen Irrfahrt 2.202). X = (Xn )n∈N0 sei eine eindimensionale räumlich inhomogene Irrfahrt gemäß Beispiel 2.21 mit dem Zustandsraum N0 , d.h. mit a = 0 und b = ∞. Die 1-Schritt-Übergangsmatrix sei durch 2.203 α β 0 0 ... q1 0 p1 0 . . . P = 0 q2 0 p2 . . . , .................... wobei α, β > 0, α + β = 1 und qj , pj > 0, qj + pj = 1, j ∈ N, gegeben. Zur Klärung der Frage, ob diese Irrfahrt eine stationäre Wahrscheinlichkeitsverteilung besitzt, ist eine Lösung von (2.63) zu bestimmen. Zu suchen ist daher 2.194Vgl. (2.66). 2.195Das Vertauschen von P∞ . . . und lim n→∞ . . . kann durch den Satz von der bel=1 P schränkten Konvergenz begründet werden. Man beachte hierzu 0 ≤ P n (., .) ≤ 1 und ∞ k=1 πk ≤ 1, vgl. (2.64). 2.196 Vgl. (2.54) und (2.62). 2.197Aufgrund der Chapman-Kolmogorov-Gleichung, vgl. (2.32). 2.198Vgl. (2.67). 2.199Mit einer Argumentation wie in Fußnote 2.195 kann mit dem Satz von der beschränkten P Konvergenz das Vertauschen von ∞ j=1 . . . und limn→∞ . . . begründet werden. 2.200 Vgl. Satz 2.43 und (2.62). P 2.201 Da (xk )k∈N eine Lösung von (2.63) ist, d.h., insbesondere weil ∞ j=1 xj = 1. 2.202 Da eine räumlich homogene Irrfahrt nicht positiv rekurrent ist, vgl. Beispiel 2.40, bzw. Beispiel 2.47 im Fall symmetrischer Irrfahrten, kann ein solcher Prozeß auch keine stationäre Verteilung besitzen. Eine etwas speziellere räumlich inhomogene Irrfahrt mit α = 0 und β = 1 wird in einem Beispiel nach Theorem 1.3 in [7], Chapter 3, diskutiert. Durch die Annahme α, β > 0 ist in Beispiel 2.50 sichergestellt, daß X aperiodisch ist. 2.203Am Punkt 0 wird diese Irrfahrt mit Wahrscheinlichkeit β nach +1 reflektiert, bzw. bleibt mit Wahrscheinlichkeit α für zunächst 1 Zeiteinheit sitzen. 14. Februar 2013 42 zunächst eine positive Lösung (2.68) 2.204 (xk )k∈N0 von x0 = x0 α + x1 q1 , x1 = x0 β + x2 q2 , xj = xj−1 pj−1 + xj+1 qj+1 , j = 2, 3, . . . . Nach der Bestimmung von (xk )k∈N0 ist noch die Normierbarkeit zu prüfen. Insbesondere ist zu klären, ob eine Konstante γP> 0 exisiert, so daß (x′k )k∈N0 mit x′k = γxk , k ∈ N0 , die Beziehung (2.63c), d.h. k∈N0 x′k = 1, erfüllt. Aus (2.68) folgt 1−α x0 , x1 = q1 1 − α x1 − x0 β β x2 = = − x0 q2 q1 q2 q2 1 1 p1 1 − q1 − x0 = (1 − α) x0 , = (1 − α) x0 = (1 − α) q1 q2 q2 q1 q2 q1 q2 p1 p2 x0 , . . . x3 = (1 − α) q1 q2 q3 und zusammenfassend durch vollständige Induktion Qj−1 pr x0 , j = 1, 2, . . . . (2.69) xj = (1 − α) Qr=1 j r=1 qr (2.69) zeigt, daß x0 als gemeinsamer Faktor aller xj , j ∈ N0 , in Erscheinung tritt, d.h., x0 hat die Bedeutung einer Normierungskonstante. (xk )k∈N0 löst insbesondere auch (2.63c), d.h. repräsentiert ein stationäres Wahrscheinlichkeitsmaß für die hier betrachtete Irrfahrt, falls ein x0 ∈ (0, ∞) mit ∞ Qj−1 X pr (2.70) 1 = x0 + x0 (1 − α) Qr=1 j r=1 qr j=1 gewählt werden kann. Da α ∈ (0, 1), ist dies möglich, falls ∞ Qj−1 X pr < ∞. Qr=1 j r=1 qr j=1 2.205 Im speziellen Fall 2.206 pk = p, qk = q, k ∈ N, besitzt die Irrfahrt dieses Beispiels 2.50 genau dann ein stationäres Wahrscheinlichkeitsmaß, wenn ∞ j X p < ∞, q j=1 d.h., wenn p < q. Als Konsequenz von (2.69) und (2.70) ist dieses stationäre Wahrscheinlichkeitsmaß (xk )k∈N0 durch ∞ X pj−1 −1 q−p x0 = 2.207 1 + (1 − α) = , j q q − p +1−α j=1 x0 p j , j = 1, 2, . . . , xj = (1 − α) p q 2.204In einem ersten Schritt wird eine Lösung (x ) k k∈N0 von (2.63a), (2.63b) gesucht. An- schließend ist zu klären, ob nach einer Normierung von (xk )k∈N0 auch (2.63c) erfüllt ist. −1 −1 2.205Aufgrund von (2.70) ist in diesem Fall x = 1+(1−α) P∞ Qj−1 p Qj . 0 j=1 r=1 r r=1 qr 2.206Es liegt nun eine Irrfahrt in N vor, deren Dynamik nur am Rand 0 des Zustandsraums 0 eine Inhomogenität aufweist. 14. Februar 2013 43 gegeben. 2.2.7. Rekurrenz und Transienz (2. Teil). 2.208 Mit Eigenwertproblemen wie in (2.63) kann auch gearbeitet werden, wenn Rekurrenz-, bzw. Transienzeigenschaften von Markovketten geprüft werden sollen. Anders als in (2.63) werden nun jedoch rechte Eigenvektoren betrachtet. Genaugenommen werden auch keine ex” akten“ Eigenwertprobleme untersucht, sondern nur Beziehungen, die fast einem ” Eigenwertproblem gleichen“ 2.209. Satz 2.51 (Transienzkriterium). 2.210 Sei X = (Xn )n∈N0 eine irreduzible Markovkette mit dem Zustandsraum 2.211 S = N0 und der Übergangsmatrix P . Notwendig und hinreichend für die Transienz von X ist die Existenz einer beschränkten, nichtkonstanten Lösung von 2.212 ∞ X (2.71) P (i, j)yj = yi , i = 1, 2, . . . . j=0 Beim nächsten Resultat wird eine (2.71) entsprechende Ungleichung zur Untersuchung auf Rekurrenz vorgeschlagen. Satz 2.52 (Rekurrenzkriterium). 2.213 Sei X = (Xn )n∈N0 eine irreduzible Markovkette mit dem Zustandsraum S = N0 und der Übergangsmatrix P . Es existiere eine Folge yi , i ∈ N0 , mit limi→∞ yi = ∞ und 2.214 ∞ X (2.72) j=0 P (i, j)yj ≤ yi , i = 1, 2, . . . . Dann ist X rekurrent. Beispiel 2.53. gelte 2.216 2.215 (2.73) Für das Warteschlangenmodell X = (Xn )n∈N0 in Beispiel 2.24 0 < a0 < 1, a0 + a1 < 1. (a) Sei zunächst (2.74) ∞ X kak > 1. k=0 Da in diesem Fall die mittlere Anzahl neu hinzukommender Kunden pro Zeitintervall größer als 1, d.h. die Anzahl der pro Zeitintervall bedienten Kunden, ist, erwartet man, daß die Warteschlange immer größer wird, d.h., daß X transient ist. 2.207Vgl. Fußnote 2.205. 2.208In diesem Abschnitt wird gezeigt, daß der Nachweis der Rekurrenz, bzw. der Transienz einer irreduziblem Markovkette X = (Xn )n∈N0 mit Methoden der linearen Algebra vorgenommen werden kann. Hierbei ist insbesondere die Übergangsmatrix P von X zu untersuchen. 2.209 Vgl. (2.71) und (2.72). 2.210 Vgl. [7], Chapter 3, Theorem 4.1. 2.211Da der Zustandsraum S einer Markovkette immer höchstens abzählbar ist, kann S = N 0 o.E.d.A. angenommen werden. 2.212Man beachte, daß (2.71) für i = 0 nicht gelten muß. 2.213Vgl. [7], Chapter 3, Theorem 4.2. 2.214Wie (2.71) muß auch (2.72) nicht für i = 0 gelten. 2.215Vgl. [7], Chapter 3, Section 5. 2.216Nach Beipiel 2.28(iii) sichert (2.73) insbesondere die Irreduzibilität von X. 14. Februar 2013 44 1.0 0.8 0.6 0.4 0.2 0.0 0.2 ζ 0 0.0 0.4 0.6 0.8 1.0 Abbildung 2.2. Erzeugende Funktion der Verteilung der pro Zeiteinheit neu hinzukommenden Kunden in einem transienten Warteschlangenmodell. Die Verteilung der pro Zeiteinheit neu ankommenden Kunden ist durch a0 = 0.2, a1 = 0.1, a2 = 0.2, a3 = 0.3 und a4 = 0.2 charakterisiert. Zur Bestätigung dieser Vermutung 2.217 sei yj = ζ j , j = 0, 1, 2, . . . , für ein ζ ∈ [0, ∞). Der Ansatz (yj )i∈N0 erfüllt (2.71), falls 2.219 (2.75) ∞ X P (i, j)ζ j = ∞ X aj−i+1 ζ j = ζ i , 2.218 i = 1, 2, . . . , j=i−1 j=0 d.h., da ∞ X aj−i+1 ζ j−i+1 = j=i−1 falls 2.220 (2.76) ∞ X k=0 ak ζ k =: b a(ζ), b a(ζ) = ζ. a(1) = P∞ist b P∞Weil (ak )k∈N0 ein Wahrscheinlichkeitsmaß auf N0 repräsentiert, ′ ka a = 1. Weiterhin folgt b a (0) = a > 0 aus (2.73) und b a (1) = k > 1 k 0 k=0 k=0 aus (2.74). Somit hat b a als stetige, strikt konvexe 2.221 Funktion einen Graph wie in Abbildung 2.2 und es existiert ein ζ0 ∈ (0, 1) mit b a(ζ0 ) = ζ0 . Die Folge (ζ0j )j∈N0 ist insbesondere eine beschränkte, nicht-konstante Lösung von (2.75), d.h., aufgrund von Satz 2.51 liegt Transienz vor. (b) Alternativ zu (2.74) sei nun ∞ X k=0 kak ≤ 1. 2.217Zur Prüfung der Vermutung soll Satz 2.51 angewandt werden. 2.218Zunächst ist ζ ∈ [0, ∞) beliebig. Die folgenden Überlegungen zeigen, wie ein für die Anwendung von Satz 2.51 geeignetes, spezielles ζ ∈ (0, 1) zu wählen ist. 2.219Die Übergangsmatrix P von X ist in Beispiel 2.24 angegeben. 2.220(2.76) folgt nach einer Division beider Seiten von (2.75) durch ζ i−1 . b a ist die erzeugende Funktion der Verteilung (ak )k∈N0 der in einer Zeiteinheit neu an der Warteschlange ankommenden Kunden, vgl. Anhang A.1.3. P 2.221Die strikte Konvexität von b k−2 > 0, 0 < s < 1. a folgt aus b a′′ (s) = ∞ k=2 k(k − 1)ak s 14. Februar 2013 45 Da ∞ X ∞ X P (i, j)j = aj−i+1 j j=i−1 j=0 = 2.222 ∞ X j=i−1 = ∞ X k=0 aj−i+1 (j − i + 1) + i − 1 kak + i − 1 ≤ i, i = 1, 2, . . . , erfüllt die Folge yi , i ∈ N0 , mit yi = i, i = 0, 1, 2, . . . , die Voraussetzungen von Satz 2.52, d.h., X ist rekurrent 2.223. 2.2.8. Markovprozesse in kontinuierlicher Zeit mit diskretem Zustandsraum. Ein stochastischer Prozeß X = (Xt )t≥0 2.224 mit Werten in einem diskreten, d.h., höchstens abzählbaren Zustandsraum S heißt Markovprozeß, falls (2.77) P[Xt+h = s′ |Xu1 = s1 , . . . , Xun = sn , Xt = s] = P[Xt+h = s′ |Xt = s], 0 ≤ u1 < · · · < un < t < ∞, h > 0, s1 , . . . , sn , s, s′ ∈ S, n ∈ N. Die bedingten Wahrscheinlichkeiten Pt,t′ (s, s′ ) = P[Xt′ = s′ |Xt = s], 0 ≤ t ≤ t′ < ∞, s, s′ ∈ S, die die rechte Seite von (2.77) bestimmen, heißen Übergangswahrscheinlichkeiten. Diese können zu den Übergangsmatrizen Pt,t′ = (Pt,t′ (s, s′ ))s,s′ ∈S , 0 ≤ t ≤ t′ < ∞, zusammengefaßt werden. Ein Markovprozeß 2.225 ist durch seine Übergangswahrscheinlichkeiten und seine Anfangsverteilung vollständig charakterisiert. Satz 2.54. 2.226 Die Verteilung eines Markovprozesses X = (Xt )t≥0 mit diskretem Zustandsraum S ist eindeutig durch die Wahrscheinlichkeiten (2.78) P Xt1 = s1 , Xt2 = s2 , . . . , Xtn = sn , 0 ≤ t1 < t2 < · · · < tn < ∞, s1 , s2 , . . . , sn ∈ S, n ∈ N, bestimmt. Diese sind durch die Übergangswahrscheinlichkeiten und die Anfangsverteilung PX0 2.227 charakterisiert. Es gilt (2.79) P X0 = s0 , Xt1 = s1 , Xt2 = s2 , . . . , Xtn = sn = PX0 [s0 ]P0,t1 (s0 , s1 )Pt1 ,t2 (s1 , s2 ) . . . Ptn−1 ,tn (sn−1 , sn ), 0 < t1 < t2 < · · · < tn < ∞, s0 , s1 , . . . , sn ∈ S, n ∈ N. Wie im zeitlich diskreten Fall bestehen gewisse Beziehungen zwischen den Übergangswahrscheinlichkeiten. So gilt auch hier die Chapman-Kolmogorov-Gleichung 2.228 X (2.80) Pt1 ,t2 (s1 , s2 )Pt2 ,t3 (s2 , s3 ) = Pt1 ,t3 (s1 , s3 ), s2 ∈S 2.222Da P∞ j=i−1 aj−i+1 = P∞ k=0 ak = 1. 2.223In [7], Chapter 3, Section 5, wird insbesondere der rekurrente Fall detaillierter un- P∞ tersucht. Es wird nachgewiesen, daß X positiv rekurrent (0-rekurrent) ist, falls k=0 kak < 1 P∞ ( k=0 kak = 1). 2.224Das Zeitintervall kann auch beschränkt sein, z.B. [a, b], 0 ≤ a < b < ∞. 2.225Im Rest dieses Abschnitts 2.2 ist mit Markovprozeß immer ein Markovprozeß in kontinuierlicher Zeit mit einem diskreten Zustandsraum gemeint. 2.226Satz 2.54 entspricht dem sich auf den zeitlich diskreten Fall beziehenden Satz 2.17. 2.227P X0 ist die Verteilung der Zufallsvariablen X0 , d.h, PX0 [s] = P X0 = s], s ∈ S. 2.228Vgl. die zeitlich diskrete Variante (2.32) und zu deren Beweis auch Fußnote 2.80. 14. Februar 2013 46 0 ≤ t1 ≤ t2 ≤ t3 < ∞, s1 , s3 ∈ S. Ein direktes Analogon zu den in (2.27) eingeführten 1-Schritt-Übergangswahrscheinlichkeiten existiert im zeitlich kontinuierlichen Fall nicht 2.229. Stattdessen haben die infinitesimalen Übergangswahrscheinlichkeiten (Übergangsraten oder auch Übergangsintensitäten) 2.230 2.231 2.232 1 P[Xt+h = s′ |Xt = s], t ≥ 0, s, s′ ∈ S, s 6= s′ , h→0 h eine wesentliche Bedeutung bei der Beschreibung und Untersuchung der Markovprozesse in kontinuierlicher Zeit mit diskretem Zustandsraum. Insbesondere besitzen derartige Markovprozesse f.s. nur Sprünge, deren Übergangsintensität strikt positiv ist 2.233. (2.81) λt (s, s′ ) = lim Bemerkung 2.55. Bei der Modellierung von zufälligen zeitlichen Entwicklungen in der Physik oder der Biologie durch Markovprozesse • sind oft die Übergangsraten leicht zugänglich 2.234. • Danach ergeben sich die Übergangswahrscheinlichkeiten durch Lösen eines Systems gewöhnlicher Differentialgleichungen, dessen Koeffizienten jene Übergangsraten sind 2.235. Die von nun an betrachteten Markovprozesse haben stationäre Übergangswahrscheinlichkeiten, d.h., 2.236 Pt,t′ (s, s′ ) = Pt′ −t (s, s′ ), 0 ≤ t ≤ t′ < ∞, s, s′ ∈ S. In diesem Fall sind die infinitesimalen Übergangswahrscheinlichkeiten von der Zeit unabhängig 2.237. Beispiel 2.56 (Poissonprozeß). Der Poissonprozeß X = (Xt )t≥0 ist ein N0 -wertiger Markovprozeß, der • in jedem beschränkten Zeitintervall endlich viele Sprünge der Größe +1 besitzt, wobei • die Anzahl der Sprünge in einem Zeitintervall mit einer festen Länge unabhängig von der Lage dieses Intervall auf der Zeitachse, bzw. der Anzahl der früheren Sprünge ist, und der • zwischen den Sprungzeitpunkten konstant bleibt 2.238. 2.229Insbesondere gibt es keine elementare Zeiteinheit“ 1, so daß die Differenz zwischen zwei ” verschiedenen Zeitpunkten ein ganzzahliges Vielfaches von 1 ist. 2.230Zur Existenz der Limiten in (2.81) vgl. Satz 2.59. 2.231Die infinitesimalen Übergangsraten λ (s, s′ ), s, s′ ∈ S, s 6= s′ , t ≥ 0, sind nichtnegativ. t 2.232 Eine äquivalente Formulierung von (2.81) ist: P[Xt+h = s′ |Xt = s] = λt (s, s′ )h + o(h) bei h → 0, t ≥ 0, s, s′ ∈ S, s 6= s′ . 2.233Ist beispielsweise der Markovprozeß X = (X ) t t≥0 konservativ, vgl. (2.94), so ist P ′ ′ {s ∈S:s′ 6=s} λt (s, s ) < ∞, s ∈ S, t ≥ 0. In diesem Fall ist die Wahrscheinlichkeit, daß ein Sprung im Zeitpunkt t, mit dem s verlassen wird, zum Zustand s′′ 6= s führt, gleich λt (s, s′′ ) P ′ −1 , vgl. Abschnitt 2.2.10. {s′ ∈S:s′ 6=s} λt (s, s ) 2.234Beispielsweise sind Zerfalls-, Geburts- oder Todesraten häufig vorgegeben oder einfach zu bestimmen. 2.235Die Herleitung und Lösung eines solchen Systems gewöhnlicher Differentialgleichungen wird für den in Beispiel 2.56 eingeführten Poissonprozeß, einen speziellen Markovprozeß mit Werten in N0 , in Beispiel 2.57 erläutert. Für allgemeine Markovprozesse mit einem höchstens abzählbaren Zustandsraum wird dieses Vorgehen zur Bestimmung der Übergangswahrscheinlichkeiten in Abschnitt 2.2.9 diskutiert. 2.236 Die nun diskutierten Prozesse besitzen somit eine zeitlich stationäre Dynamik. 2.237Vgl. (2.81). Es gilt also λ (s, s′ ) = λ(s, s′ ), t ≥ 0, s, s′ ∈ S, s 6= s′ . t 2.238Diese anschauliche Beschreibung des Poissonprozesses wird durch (2.82) präzisiert. 14. Februar 2013 47 Dieser einfache, aber wichtige Prozess spielt in vielen Anwendungen eine Rolle. Beispielsweise kann für t ≥ 0 die Zufallsvariable Xt • die Anzahl der an einem Servicepunkt im Zeitintervall [0, t] ankommenden Kunden 2.239, • die Anzahl der Zerfälle eines radioaktiven Präparats in [0, t] oder • die Anzahl der Verkehrsunfälle in [0, t] an einer bestimmten Kreuzung modellieren. In diesen Beispielen ist die Qualität des Poisson’schen Modells“ gut, wenn ” die jeweiligen äußeren Bedingungen zeitlich konstant sind, d.h., wenn keine bevorzugten Einkaufszeiten der Kunden bestehen, bzw. die Halbwertszeit des radioaktiven Präparats groß ist, bzw. keine zeitlichen Verkehrsschwankungen zu beobachten sind 2.240. Ein Markovprozeß X = (Xt )t≥0 mit Werten in N0 heißt Poissonprozeß mit Intensität (oder Übergangsintensität oder Rate) λ > 0, falls 2.241 (2.82) 1 P[Xt+h = n + 1|Xt = n] = λ, hց0 h 1 lim P[Xt+h ∈ / {n, n + 1}|Xt = n] = 0, hց0 h lim n ∈ N0 , t ≥ 0. Durch die Beziehungen (2.82) wird im folgenden Beispiel 2.57 die Bestimmung der Übergangswahrscheinlichkeiten des Poissonprozesses ermöglicht. Beispiel 2.57 (Übergangswahrscheinlichkeiten des Poissonprozesses). Zur Bestimmung der Übergangswahrscheinlichkeiten Pt (k, l), k, l ∈ N0 , t ≥ 0, des in Beispiel 2.56 vorgestellten Poissonprozesses X = (Xt )t≥0 wird ein System gewöhnlicher Differentialgleichungen aufgestellt und gelöst werden. Diese Differentialgleichungen sind durch die Übergangsintensität λ 2.242 bestimmt. (a) Berechnung von Pt (0, 0), t ≥ 0. Zunächst gilt 2.243 (2.83) Pt+h (0, 0) = P[Xt+h = 0|X0 = 0] = 2.244 P[Xt+h = 0, Xt = 0|X0 = 0] = 2.245 = 2.247 P[Xt+h = 0|Xt = 0, X0 = 0] P[Xt = 0|X0 = 0] {z } | = 2.246 P[Xt+h = 0|Xt = 0] Ph (0, 0)Pt (0, 0) = (1 − P[Xh 6= 0|X0 = 0])Pt (0, 0), | {z } = 2.248 λh + o(h) 2.239Für 0 ≤ s < t < ∞ modelliert in diesem Fall X − X die Anzahl der Kunden, die t s in dem Zeitintervall (s, t] ankommen. Aus der zweiten der oben beschriebenen Eigenschaften des Poissonprozesses folgt u.a. die Unabhängigkeit der Verteilung von Xt+h − Xs+h von h ≥ 0. 2.240Die Rate, mit der die zu zählenden Geschehnisse jeweils eintreten, muß zeitlich (nahezu) konstant sein. Falls die äußeren Bedingungen“ zeitlich langsam veränderlich sind, ist das ” Poisson’sche Modell evtl. (zeitlich) lokal brauchbar. 2.241Da P[X / {n, n + 1}|Xt = n] = 1, t+h = n|Xt = n] + P[Xt+h = n + 1|Xt = n] + P[Xt+h ∈ folgt aus (2.82) insbesondere auch limhց0 (1/h)(1 − P[Xt+h = n|Xt = n]) = λ, n ∈ N0 , t ≥ 0. 2.242Die Übergangsintensität λ wird durch (2.82) eingeführt. Das durch λ bestimmte System gewöhnlicher Differentialgleichungen zur Bestimmung der Übergangswahrscheinlichkeiten ist durch (2.84a), (2.87a) und die Anfangbedingungen (2.84b), (2.87b) gegeben. 2.243In den folgenden Argumenten wird angenommen, daß die Markoveigenschaft (2.77) des Poissonprozesses vorausgesetzt werden kann, daß nur Sprünge mit zugehöriger positiver Übergangsrate, d.h., Sprünge der Größe +1 möglich sind und daß zwischen den Sprüngen die Pfade des Poissonprozesses konstant sind. 14. Februar 2013 48 und damit Pt+h (0, 0) − Pt (0, 0) = −λPt (0, 0)h + o(h), bei h → 0. Dividiert man beide Seiten durch h und betrachtet den Limes h ց 0 ergibt sich d Pt (0, 0) = −λPt (0, 0). (2.84a) dt Mit der Anfangsbedingung (2.84b) P0 (0, 0) = 1 erhält man daher (2.85) Pt (0, 0) = exp(−λt), t ≥ 0. Der Zeitpunkt des ersten Sprungs aus dem Punkt 0 besitzt folglich eine Exponentialverteilung mit Parameter λ 2.249. (b) Gewöhnliche Differentialgleichungen für Pt (0, k), t ≥ 0, k = 1, 2, . . . . Wie in (2.83) wird zur Bestimmung von Pt+h (0, k) der Zustand des Poissonprozesses X zur Zeit t als Hilfsgröße benutzt. Es gilt (2.86) Pt+h (0, k) = 2.250 + Pt (0, k) Ph (k, k) +Pt (0, k − 1) Ph (k − 1, k) {z } | | {z } 2.251 2.251 = 1 − λh + o(h) = λh + o(h) k X l=2 und damit Pt (0, k − l) Ph (k − l, k) , | {z } = 2.251 o(h) k = 1, 2, . . . , Pt+h (0, k) − Pt (0, k) = (−Pt (0, k) + Pt (0, k − 1))λh + o(h), k = 1, 2, . . . . Bei h ց 0 führen diese Beziehungen zu dem System von Differentialgleichungen d Pt (0, k) = −λPt (0, k) + λPt (0, k − 1), k = 1, 2, . . . , (2.87a) dt die durch die Anfangsbedingungen (2.87b) P0 (0, k) = 0, k = 1, 2, . . . , ergänzt werden. 2.244Da nur Sprünge der Größe +1 möglich sind, vgl. Fußnote 2.243, und somit unter der Bedingung X0 = 0 aus Xt+h = 0 auch Xt = 0 folgt. 2.245 Man beachte: P[Xt+h = 0, Xt = 0, X0 = 0] P[Xt = 0, X0 = 0] P[Xt+h = 0, Xt = 0|X0 = 0] = · P[Xt = 0, X0 = 0] P[X0 = 0] = P[Xt+h = 0|Xt = 0, X0 = 0]P[Xt = 0|X0 = 0]. 2.246 Wegen der Markoveigenschaft (2.77). Da nur Sprünge mit positiver Sprungrate, d.h., mit der Größe +1 auftreten können, folgt Pt+h (0, 0) = Ph (0, 0)Pt (0, 0) auch unmittelbar aus der Chapman-Kolmogorov-Gleichung (2.80). 2.248 Weil 2.247 P[Xh 6= 0|X0 = 0] = P[Xh = 1|X0 = 0] + P[Xh 6∈ {0, 1}|X0 = 0] = λh + o(h), bei h → 0, vgl. (2.82). 2.249Sei T = inf{t ≥ 0 : X 6= 0}. Da nur Sprünge der Größe +1 möglich sind, gilt offensichtt lich P[T > t|X0 = 0] = Pt (0, 0), t ≥ 0. Somit besitzt die unter X0 = 0 bedingte Verteilung von T die Dichte t → (d/dt)P[T ≤ t|X0 = 0] = (d/dt)(1 − P[T > t|X0 = 0]) = λ exp(−λt) bzgl. des Lebesguemaßes auf [0, ∞). 2.250Aufgrund der Chapman-Kolmogorov-Gleichung, vgl. (2.80), und weil nur Sprünge der Größe +1 möglich sind. 2.251 Wegen (2.82), vgl. auch Fußnote 2.241. 14. Februar 2013 49 (c) Lösung des Systems (2.87). Mit dem Ansatz (2.88) Qt (k) = Pt (0, k) exp(λt), t ≥ 0, k ∈ N0 , führt (2.87a) zu d Qt (k) = λQt (k − 1), k = 1, 2, . . . . dt Unter Berücksichtigung von 2.252 Qt (0) = 1, t ≥ 0, und 2.253 Q0 (k) = 0, k = 1, 2, . . . , folgt sukzessive (2.89) d Qt (1) = λ, dt d Qt (2) = λQt (1) = λ2 t, dt ... ... d.h., Qt (1) = λt, d.h., Qt (2) = λ2 t2 , 2 d.h., Qt (k) = λk tk , k! Mit (2.85) und (2.88) erhält man nun (2.90) Pt (0, k) = k = 3, 4, . . . , t ≥ 0. 2.254 λk tk exp(−λt), k! k ∈ N0 , t ≥ 0. (d) Darstellung aller Übergangswahrscheinlichkeiten Pt (m, k), t ≥ 0, m, k ∈ N0 . Aufgrund von (2.90) und wegen (2.82) 2.255 gilt k−m (λt) exp(−λt), k ≥ m, (2.91) Pt (m, k) = Pt (0, k − m) = (k − m)! 0, k < m. Daher besitzt die Anzahl der Sprünge eines Poissonprozesses mit Parameter λ in einem Zeitintervall der Länge T eine Poisson-Verteilung mit Parameter λT . Beispiel 2.58 (Geburts- und Todesprozesse). Zur Modellierung der Zeitentwicklung der Größe einer Population durch einen einfachen Markovprozeß X = (Xt )t≥0 mit Zustandsraum S = N0 seien Geburtsraten βi > 0, i ∈ N0 , und Todesraten δi > 0, i ∈ N, gegeben. Nun können infinitesimale Übergangswahrscheinlichkeiten durch 2.256 βi , j = i + 1, i = 0, 1, 2, . . . , λ(i, j) = δi , j = i − 1, i = 1, 2, . . . , 0, sonst, 2.252Wegen (2.85) und (2.88). 2.253Vgl. (2.87b) und (2.88). 2.254Für k = 2, 3, . . . sei T = inf{t ≥ 0 : X = k} der Zeitpunkt des k-ten Sprungs des t k P Poissonprozesses (Xt )t≥0 mit X0 = 0. Da P[Tk > t] = k−1 l=0 Pt (0, l), t ≥ 0, und somit (2.84a), (2.87a) und (2.90) zu d P[Tk > t] = − λPt (0, k − 1) + λPt (0, k − 2) − λPt (0, k − 2) ± · · · − λPt (0, 0) dt λk tk−1 = − λPt (0, k − 1) = − exp(−λt), t ≥ 0, (k − 1)! führen, hat die Verteilung von Tk die Dichte t → (d/dt)P[Tk ≤ t] = (d/dt)(1 − P[Tk > t]) = λk tk−1 exp(−λt)/(k − 1)! bzgl. des Lebesguemaßes auf [0, ∞). Somit besitzt Tk eine GammaVerteilung mit den Parametern α = λ und r = k. 2.255(2.82) besagt insbesondere, daß die Verteilung der Anzahl der Sprünge in einem Zeitintervall von der Anzahl der vorangegangenen Sprünge unabhängig ist, und daß Sprünge mit negativer Größe f.s. nicht vorkommen. 14. Februar 2013 50 definiert werden. Unabhängigkeit“ zwischen den einzelnen Individuen 2.257 der Population kann ” durch die Annahme, daß die Geburts- und Todesraten zur Populationsgröße proportional sind, zum Ausdruck gebracht werden. In diesem Fall ist βi = βi, i ∈ N, bzw. δi = δi, i ∈ N, für β, δ > 0 2.258. 2.2.9. Vorwärts- und Rückwärtsgleichungen. In diesem Abschnitt 2.2.9 wird erläutert, wie für einen allgemeinen Markovprozeß in kontinuierlicher Zeit mit diskretem Zustandsraum ausgehend von den zugehörigen infinitesimalen Übergangswahrscheinlichkeiten 2.259 mit Hilfe eines Systems gewöhnlicher Differentialgleichungen die Übergangswahrscheinlichkeiten bestimmt werden können. Insbesondere werden die Ausführungen in Beispiel 2.57 zur Berechnung der Übergangswahrscheinlichkeiten des Poissonprozesses verallgemeinert. Die infinitesimalen Übergangswahrscheinlichkeiten werden in (2.81) als Grenzwerte eingeführt. Wie jetzt im zeitlich stationären Fall erläutert wird, ist die Existenz dieser Grenzwerte unter vernünftigen Bedingungen gesichert 2.260. Die Größen Pt (s, s′ ), t > 0, s, s′ ∈ S, bilden eine standard Familie von Übergangswahrscheinlichkeiten, falls 2.261 (2.92a) (2.92b) (2.92c) X Pt (s, s′ ) ≥ 0, t > 0, s, s′ ∈ S, X Pt (s, s′ ) = 1, t > 0, s ∈ S, s′ ∈S Pt (s, s′ )Pu (s′ , s′′ ) = Pt+u (s, s′′ ), s′ ∈S und falls (2.92d) t, u > 0, s, s′′ ∈ S, die Funktionen (0, ∞) ∋ t → Pt (s, s′ ), s, s′ ∈ S, stetig sind mit lim Pt (s, s′ ) = δs,s′ , s, s′ ∈ S. tց0 Es stellt sich heraus, daß die Gültigkeit der Bedingungen (2.92) für die Übergangswahrscheinlichkeiten eines Markovprozesses X = (Xt )t≥0 die Existenz der Übergangsintensitäten sicherstellt 2.262. Satz 2.59. 2.263 Sei X = (Xt )t≥0 ein Markovprozeß mit Werten in einer höchstens abzählbaren Menge S und einer standard Familie Pt , t > 0, von Übergangswahrscheinlichkeiten. Dann existiert 2.264 1 d 1 − Ph (s, s) = λ(s), s ∈ S, (2.93a) − Pt (s, s) = lim hց0 h dt t=0 2.256β = λ(0, 1) ist die Rate, mit der die Einwanderung eines einzelnen Individuums in eine 0 schon ausgestorbene Population stattfindet. 2.257 D.h., das Fehlen einer Wechselwirkung. 2.258Im Unterschied zu den in diesem Beispiel vorgestellten Geburts- und Todesprozessen sind beim Galton-Watson-Prozess, vgl. Beispiel 2.25, die verschiedenen Generationen strikt voneinander getrennt. 2.259Vgl. (2.81). 2.260In [8], Chapter 14, Section 1, wird die nun behandelte Thematik ausführlicher dargestellt. 2.261Für ein festes t > 0 ist P nach (2.92a) und (2.92b) eine stochastische Matrix. Nach t (2.92c) erfüllen die Matrizen Pt , t > 0, die Chapman-Kolmogorov-Gleichung (2.80). Die letzte Bedingung (2.92d) ist eine Regularitätsbedingung, die von den Übergangswahrscheinlichkeiten vernünftiger Markovprozesse erwartet werden kann. 2.262Es ist bemerkenswert, daß in (2.92d) nur eine Stetigkeitseigenschaft gefordert wird. Andererseits sind in (2.81) oder Satz 2.59 die Übergangsintensitäten durch Ableitungen definiert. 2.263Vgl. [8], Chapter 14, Theorem 1.1 und Theorem 1.2. 2.264Die jeweils erste Gleichheit in den beiden Beziehungen (2.93) wird plausibel, wenn (2.92d), d.h. P0 (s, s′ ) = limtց0 Pt (s, s′ ) = δs,s′ , s, s′ ∈ S, berücksichtigt wird. 14. Februar 2013 51 in [0, ∞] 2.265 . Außerdem existieren die Grenzwerte Ph (s, s′ ) d Pt (s, s′ ) = lim = λ(s, s′ ), hց0 dt h t=0 (2.93b) in [0, ∞) s, s′ ∈ S, s 6= s′ , 2.266 . Wenn die Übergangsraten bekannt sind 2.267, können üblicherweise die Übergangswahrscheinlichkeiten durch Lösen eines Systems gewöhnlicher Differentialgleichungen bestimmt werden 2.268. Ein Markovprozeß X wie in Satz 2.59 heißt konservativ, wenn die Raten λ(s), s ∈ S, und λ(s, s′ ), s, s′ ∈ S, s 6= s′ , die Beziehung X λ(s, s′ ) = λ(s) < ∞, s ∈ S, (2.94) s′ ∈S s′ 6=s erfüllen 2.269 . Satz 2.60 (Kolmogorovsche Rückwärtsgleichungen). 2.270 Sei X = (Xt )t≥0 ein Markovprozeß wie in Satz 2.59, wobei X zusätzlich konservativ sei 2.271. Dann erfüllen die Übergangwahrscheinlichkeiten die Rückwärtsgleichungen 2.272 X d (2.95) λ(s, s′′ )Pt (s′′ , s′ ) − λ(s)Pt (s, s′ ) Pt (s, s′ ) = dt ′′ s ∈S s′′ 6=s = 2.273 X s′′ ∈S s′′ 6=s λ(s, s′′ ) Pt (s′′ , s′ ) − Pt (s, s′ ) , s, s′ ∈ S, t ≥ 0. 2.265Der Grenzwert λ(s) = ∞ kommt genau bei solchen Zuständen s ∈ S vor, die sofort, nachdem sie durch den Prozeß X erreicht wurden, auch schon wieder verlassen werden. 2.266Insbesondere ist λ(s, s′ ) ∞, falls s 6= s′ . 2.267 In vielen Anwendungen ergeben sich die infinitesimalen Übergangswahrscheinlichkeiten als Annahmen bei der Modellbildung oder aus intuitiven Überlegungen, vgl. z.B. Beispiel 2.58. 2.268 Durch die folgenden Sätze 2.60 und 2.61 wird demonstriert, daß zur Bestimmung der Übergangswahrscheinlichkeiten i. allg. zwei unterschiedliche Systeme gewöhnlicher Differentialgleichungen zur Verfügung stehen. 2.269Aufgrund der formalen, aus Satz 2.59 folgenden Beziehung X X Ph (s, s′ ) 1 1 − Ph (s, s) − (∗) lim λ(s) − λ(s, s′ ) = lim hց0 hց0 h h ′ ′ s ∈S s′ 6=s s ∈S s′ 6=s ! X 1 ′ ≃ lim 1 − Ph (s, s) − Ph (s, s ) = 0 hց0 h ′ s ∈S s′ 6=s P ist (2.94) plausibel. In (∗) werden limhց0 . . . und s′ ∈S, s′ 6=s . . . vertauscht. Außerdem wird die Eigenschaft (2.92b) einer standard Familie von Übergangswahrscheinlichkeiten benutzt. 2.270 Vgl. [8], Chapter 14, Section 2. 2.271Vgl. (2.94). 2.272Für eine formale Herleitung von (2.95) kann in der Beziehung X Pt+h (s, s′ ) − Pt (s, s′ ) = Ph (s, s′′ )Pt (s′′ , s′ ) − Pt (s, s′ ) s′′ ∈S = X s′′ ∈S s′′ 6=s Ph (s, s′′ )Pt (s′′ , s′ ) + (Ph (s, s) − 1)Pt (s, s′ ), s, s′ ∈ S, t ≥ 0, h > 0, die sich mit der Chapman-Kolmogorov-Gleichung (2.80) ergibt, nach einer Division beider Seiten durch h der Grenzfall h ց 0 betrachtet werden. Hierbei muß Satz 2.59 berücksichtigt werden. 2.273Wegen (2.94). 14. Februar 2013 52 (2.95) heißen Rückwärtsgleichungen, weil auf der rechten Seite die Übergangsintensitäten λ(s, s′′ ), bzw. λ(s), an die ersten (zeitlich rückwärtigen“) Argumente ” s′′ , bzw. s, der Übergangswahrscheinlichkeiten gekoppelt“ sind. ” In dem nun folgenden Resultat wird ein zu (2.95) alternatives System gewöhnlicher Differentialgleichungen vorgestellt. Bei diesem System sind an den entsprechenden Stellen die Übergangsraten an die zweiten (zeitlich später liegenden) Argumente der Übergangswahrscheinlichkeiten gekoppelt“. ” Satz 2.61 (Kolmogorovsche Vorwärtsgleichungen). 2.274 Sei X = (Xt )t≥0 ein Markovprozeß wie in Satz 2.59, wobei X zusätzlich konservativ sei 2.275. Außerdem sei die Familie Pt (s, s′ ), t > 0, s, s′ ∈ S, der Übergangswahrscheinlichkeiten von X gleichmäßig stetig, d.h., es gelte 2.276 (2.96) lim Pt (s, s) = 1 tց0 gleichmäßig in s ∈ S. Dann ist Pt (s, s′ ), t > 0, s, s′ ∈ S, die eindeutige Lösung der Vorwärtsgleichungen 2.277 X d (2.97) Pt (s, s′′ )λ(s′′ , s′ ) − Pt (s, s′ )λ(s′ ) Pt (s, s′ ) = dt ′′ s ∈S s′′ 6=s′ = 2.278 X s′′ ∈S s′′ 6=s′ Pt (s, s′′ )λ(s′′ , s′ )−Pt (s, s′ )λ(s′ , s′′ ) , s, s′ ∈ S, t ≥ 0. Wenn in einer konkreten Anwendung die Übergangsintensitäten 2.279 λ(s, s′ ), s, s ∈ S, s 6= s′ , so gegeben sind, daß mit Hilfe der Rückwärtsgleichung (2.95) oder der Vorwärtsgleichung (2.97) die Übergangswahrscheinlichkeiten eindeutig berechnet werden können 2.280, ist dank Satz 2.54 für jede Anfangsverteilung der zugehörige Markovprozeß X = (Xt )t≥0 , d.h., dessen Verteilung, eindeutig bestimmt. ′ Beispiel 2.62. Für den in Beispiel 2.56 eingeführten Poissonprozeß ist ( λ, s′ = s + 1, λ(s, s′ ) = s ∈ N0 . 0, sonst, 2.281 2.274Vgl. [4], Section 6.10, Theorem (6). 2.275Vgl. (2.94). 2.276Offensichtlich ist durch (2.96) eine Verschärfung von (2.92d) gegeben. 2.277In einer an die Überlegungen in Fußnote 2.272 erinnernden, formalen Herleitung von (2.97) kann in der Beziehung X Pt+h (s, s′ )−Pt (s, s′ ) = Pt (s, s′′ )Ph (s′′ , s′ ) − Pt (s, s′ ) s′′ ∈S = X Pt (s, s′′ )Ph (s′′ , s′ ) + Pt (s, s′ )(Ph (s′ , s′ )−1), s′′ ∈S s′′ 6=s′ s, s′ ∈ S, t ≥ 0, h > 0, die sich mit der Chapman-Kolmogorov-Gleichung (2.80) ergibt, nach einer Division beider Seiten durch h der Grenzfall h ց 0 betrachtet werden. Insbesondere ist auch Satz 2.59 zu berücksichtigen. 2.278Wegen (2.94). 2.279Für konservative Prozesse X können die Raten λ(s), s ∈ S, mit Hilfe von (2.94) berechnet werden. 2.280D.h., die Rückwärtsgleichung, bzw. die Vorwärtsgleichung muß für die Anfangsbedingung P0 (s, s′ ) = δs,s′ , s, s′ ∈ S, eine eindeutige Lösung Pt (s, s′ ), s, s′ ∈ S, t ≥ 0, besitzen. 2.281Vgl. (2.82). 14. Februar 2013 53 Daher lauten die Rückwärtsgleichungen 2.282 (2.98a) d Pt (k, l) = λPt (k + 1, l) − λPt (k, l), dt und die Vorwärtsgleichungen 2.283 k, l ∈ N0 , k ≤ l, t ≥ 0, d Pt (k, l) = Pt (k, l − 1)λ − Pt (k, l)λ, dt wobei zusätzlich 2.284 k, l ∈ N0 , k ≤ l, t ≥ 0, (2.98b) (2.98c) k, l ∈ N0 , k > l, t ≥ 0, Pt (k, l) = 0, zu berücksichtigen ist. Die zeitliche Entwicklung des Poissonprozesses ist insbesondere auch 2.285 räumlich homogen, d.h., Pt (k, l) = Pt (0, l − k), k, l ∈ N0 , k ≤ l, t ≥ 0. Daher reduzieren sich sowohl die Rückwärtsgleichungen 2.286 als auch die Vorwärtsgleichungen 2.287 auf das in Beispiel 2.57 hergeleitete System (2.84a), (2.87a), d.h. auf 2.288 ( −λPt (0, m), m = 0, d Pt (0, m) = t ≥ 0. (2.99) dt λPt (0, m − 1) − λPt (0, m), m = 1, 2, . . . , Die Vorgehensweise bei der Ableitung von (2.84a), (2.87a) entspricht allerdings der Argumentation bei der Begründung der Vorwärtsgleichungen 2.289. Beispiel 2.63 (Geburtsprozeß). Für den in Beispiel 2.58 eingeführten Prozeß X = (Xt )t≥0 sei δi = 0, i = 1, 2, . . . , angenommen 2.290. Für die in Satz 2.59 beschriebenen Raten gilt somit ( βi , j = i + 1, i ∈ N0 , λ(i, j) = 0, sonst, λ(i) = βi , und daher folgt insbesondere (2.100) i ∈ N0 , 2.291 Pt (i, j) = 0, i, j ∈ N0 , i > j, t ≥ 0. Außerdem lauten die Rückwärtsgleichungen (2.101) 2.292 d Pt (i, j) = βi Pt (i + 1, j) − βi Pt (i, j), dt i, j ∈ N0 , i ≤ j, t ≥ 0, 2.282Vgl. Satz 2.60. 2.283Vgl. Satz 2.61. 2.284Es ist zu beachten, daß der Poissonprozeß nur Sprünge der Größe +1 besitzt. 2.285Vgl. (2.91). 2.286Vgl. (2.98a), (2.98c). 2.287Vgl. (2.98b), (2.98c). 2.288(2.99) ergibt sich aus (2.98a), bzw. aus (2.98b), wenn P (i, j) = P (0, j − i), i, j ∈ N , t t 0 t ≥ 0, vgl. (2.91), und außerdem (2.98c) berücksichtigt wird. Weiterhin wird l − k = m gesetzt. 2.289Wie bei der Begründung der Vorwärtsgleichungen, vgl. Fußnote 2.277, wird sowohl bei der Herleitung von (2.84a), vgl. (2.83), als auch bei der Herleitung von (2.87a), vgl. (2.86), der Zustand Xt des Poissonprozesses zum Zeitpunkt t als Hilfsgröße bei der Bestimmung des Zustandes Xt+h zum Zeitpunkt t + h herangezogen. 2.290Somit liegt ein reiner Geburtsprozeß vor. 2.291Da die Todesraten δ , i = 1, 2, . . . , verschwinden, kann X mit wachsendem t nur t i anwachsen. 2.292Vgl. Satz 2.60. Für i = j ist P (i + 1, i) = 0 zu beachten, vgl. (2.100). t 14. Februar 2013 54 und die Vorwärtsgleichungen 2.293 d Pt (i, j) = Pt (i, j − 1)βj−1 − Pt (i, j)βj , i, j ∈ N0 , i ≤ j, t ≥ 0. (2.102) dt Zur Lösung der Vorwärtsgleichungen (2.102) kann ein iteratives Verfahren angewandt werden. Hierbei ergibt sich für i = j ∈ N0 im ersten Schritt d (2.103) Pt (i, i) = −Pt (i, i)βi , i ∈ N0 , t ≥ 0, dt d.h., mit P0 (i, i) = 1, i ∈ N0 , folgt (2.104) Pt (i, i) = exp(−βi t), i ∈ N0 , t ≥ 0. Im nächsten Schritt für j = i + 1, i ∈ N0 , führt das Einsetzen der Lösung (2.104) von (2.103) in (2.102) zu d (2.105) Pt (i, i + 1) = Pt (i, i)βi − Pt (i, i + 1)βi+1 dt = exp(−βi t)βi − Pt (i, i + 1)βi+1 , i ∈ N0 , t ≥ 0, wobei P0 (i, i + 1) = 0, i ∈ N0 . Die Lösung von (2.105) kann mit 2.294 Z t (2.106) Pt (i, i + 1) = exp(−βi+1 t) dv βi exp(−βi v) exp(βi+1 v) 0 t 1 β exp(−β t) exp((β − β )v) i i+1 i+1 i βi+1 − βi v=0 β i = = exp(−βi t) − exp(−βi+1 t) , falls βi 6= βi+1 , βi+1 − βi βi exp(−βi t)t, falls βi = βi+1 , i ∈ N0 , t ≥ 0, explizit angegeben werden. Nach der Bestimmung der Lösung (Pt (i, i+1))t≥0 , i ∈ N0 , von (2.105) kann diese in (2.102) mit j = i + 2 eingesetzt werden. Eine explizite Lösung der resultierenden gewöhnlichen Differentialgleichung 2.295 ist möglich und liefert (Pt (i, i + 2))t≥0 , i ∈ N0 . Durch Iteration des hier beschriebenen Verfahrens, d.h., • Lösen von (2.102) mit j = i + k, • Einsetzen der Lösung in (2.102) mit j = i + k + 1, 2.293Vgl. Satz 2.61. Für i = j ist P (i, i − 1) = 0 zu beachten, vgl. (2.100). t 2.294 (2.105) ist eine inhomogene lineare Differentialgleichung, die etwas allgemeiner die Gestalt (∗1 ) hat. Die Lösung (∗2a ) d xt = αt xt + γt , dt x0 = ξ, Z xt = exp(Gt ) ξ + t 0 wobei (∗2b ) Gv = Z t ≥ 0, dv γv exp(−Gv ) , t ≥ 0, v du αu , 0 v ≥ 0, von (∗1 ) kann mit der Methode der Variation der Konstanten bestimmt werden, vgl. [13], Kapitel I, §2, II. Im hier betrachteten Fall (2.105) für ein festes i ∈ N0 ist xv = Pv (i, i + 1), αv = −βi+1 , γv = βi exp(−βi v), ξ = 0, v ≥ 0, in (∗1 ), bzw. in (∗2 ) zu setzen. 2.295Diese Differentialgleichung ist wie schon (2.105) eine inhomogene lineare Differentialgleichung, vgl. Fußnote 2.294. 14. Februar 2013 55 für k = 2, 3, . . . , i ∈ N0 , ergibt sich schließlich die vollständige Lösung (Pt (i, j))t≥0 , i, j ∈ N0 , der Vorwärtsgleichungen (2.102) 2.296. 2.2.10. Simulation eines Markovprozesses mit einem diskreten Zustandsraum. Sei X = (Xt )t≥0 ein konservativer Markovprozeß mit einem diskreten Zustandsraum S 2.297. Das zeitliche Verhalten von X zeichnet sich u.a. durch folgende Eigenschaften aus: • Sei Xt = s für ein t ≥ 0 und ein s ∈ S. Die verbleibende Aufenthaltszeit T = inf{w ≥ t : Xw 6= s} − t in s besitzt eine Exponentialverteilung mit Parameter λ(s) 2.298. • Nach dem Verlassen von s springt X zu einem Zustand s′ ∈ S \ {s} mit Wahrscheinlichkeit λ(s, s′ )/λ(s) 2.299 2.300. Eine Computersimulation von X kann somit auf den infinitesimalen Übergangswahrscheinlichkeiten λ(s), λ(s, s′ ), s, s′ ∈ S, s 6= s′ , aufgebaut werden. Bei einem gegebenen Startpunkt X0 = s0 bietet sich folgendes Verfahren an: 2.296Zusätzlich ist noch (2.100) zu beachten. 2.297Damit wird insbesondere P ′ s′ ∈S,s′ 6=s λ(s, s ) = λ(s) < ∞, s ∈ S, gefordert, vgl. (2.94). 2.298Zur Begründung können die Argumente in Beispiel 2.57(a) leicht modifiziert über- nommen werden. In einer alternativen Vorgehensweise kann zunächst P[Xt+2−n u = s, Xt+2·2−n u = s, . . . , Xt+(2n −1)·2−n u = s, Xt+u = s|Xt = s] = P[Xt = s, Xt+2−n u = s, Xt+2·2−n u = s, . . . , Xt+u = s] P[Xt = s] n = P2−n u (s, s)2 (aufgrund von (2.79)) n = (1 − λ(s)2−n u + o(2−n u))2 festgehalten werden. Nun folgt (wegen (2.93a)), t ≥ 0, u > 0, s ∈ S, n ∈ N, P[T > u|Xt = s] = P[Xt+v = s, 0 ≤ v ≤ u|Xt = s] (∗) = lim P[Xt+2−n u = s, Xt+2·2−n u = s, . . . , Xt+(2n −1)·2−n u = s, Xt+u = s|Xt = s] n→∞ n = lim (1 − λ(s)2−n u + o(2−n u))2 = exp(−λ(s)u), n→∞ t ≥ 0, u > 0, s ∈ S, d.h., die verbleibende Aufenthaltszeit T in s besitzt die Verteilung mit der Dichte d d u→ P[T ≤ u|Xt = s] = (1 − P[T > u|Xt = s]) = λ(s) exp(−λ(s)u), u > 0. du du Somit ist T exponentiell mit Parameter λ(s) verteilt. In der obigen Argumentation folgt (∗) aus der Tatsache, daß für die hier betrachteten Markovprozesse o.E.d.A. angenommen werden kann, daß ihre Pfade rechtsstetig mit linksseitigen Grenzwerten sind, vgl. . . . , und aus der σ-Stetigkeit von oben von Wahrscheinlichkeitsmaßen, vgl. ... . 2.299Da X als konservativ vorausgesetzt wird, definiert λ(s, s′ )/λ(s), s′ ∈ S \ {s}, für alle s ∈ S ein Wahrscheinlichkeitsmaß auf S \ {s}. 2.300 Zur Begründung beachte man, daß für s, s′ ∈ S, s 6= s′ und u ≥ 0 gilt: P[Xu+h = s′ |Xu+h 6= s, Xu = s] P[Xu+h = s′ , Xu = s] (da {Xu+h = s′ , Xu+h 6= s, Xu = s} = {Xu+h = s′ , Xu = s}) P[Xu+h 6= s, Xu = s] P[Xu = s]P[Xu+h = s′ |Xu = s] = P[Xu = s]P[Xu+h 6= s|Xu = s] | {z } = 1 − P[Xu+h = s|Xu = s] = λ(s, s′ )h + o(h) λ(s)h + o(h) ′ h→0 λ(s, s ) → . λ(s) = (nach Satz 2.59) 14. Februar 2013 56 • Sei T0 eine nach der Exponentialverteilung mit Parameter λ(s0 ) verteilte Zufallsvariable 2.301. Setze dann Xt = s0 , 0 ≤ t < T0 . • Wähle nun s1 ∈ S \ {s0 } unabhängig von T0 gemäß der diskreten Wahrscheinlichkeitsverteilung λ(s0 , s1 )/λ(s0 ), s1 ∈ S \ {s0 }. • Sei T1 eine nach der Exponentialverteilung mit Parameter λ(s1 ) verteilte und von T0 und der vorhergehenden Wahl von s1 unabhängige Zufallsvariable. Setze Xt = s1 , T0 ≤ t < T0 + T1 . • Wähle s2 ∈ S \ {s1 } gemäß der diskreten Verteilung λ(s1 , s2 )/λ(s1 ), s2 ∈ S \ {s1 } 2.302. • ... 2.3. Erneuerungsprozesse Ein Erneuerungsprozeß gibt in jedem Zeitpunkt an, wie oft ein immer wiederkehrendes Phänomen bisher schon beobachtet worden ist. Zu diesem Phänomen wird hierbei angenommen, daß bei jedem Eintreffen das bisherige Geschehen auf die Zukunft keinen Einfluß hat. Für eine präzise Beschreibung eines Erneuerungsprozesses sei zunächst Tk , k ∈ N, eine Folge von i.i.d. Zufallsvariablen mit Werten in N0 2.303. Weiterhin sei Sn , n ∈ N0 , mit n X (2.107) Sn = T k , n ∈ N0 , k=1 die zugeordnete Folge der Partialsummen. Nun kann durch (2.108) Nm = sup{n ∈ N0 : Sn ≤ m}, m ∈ N0 , ein Erneuerungsprozeß N = (Nm )m∈N0 definiert werden 2.304 . Beispiel 2.64. Sei X = (Xn )n∈N0 eine Markovkette mit Zustandsraum S und s ∈ S. Unter der Annahme X0 = s sei ( 0, n = 0, Sn = inf{k ∈ N0 : k > Sn−1 , Xk = s}, n = 1, 2, . . . , d.h., der Prozeß S = (Sn )n∈N0 beschreibt die Zeitpunkte, an denen der Prozeß X nach s zurückkehrt. Zur Modellierung der jeweiligen Dauer der Abwesenheit vom Zustand s steht nun der Prozeß T = (Tk )k∈N mit Tk = Sk − Sk−1 , k ∈ N, zur 2.305 Verfügung. Aufgrund der Markoveigenschaft sind die Zufallsvariablen Pn von X Tk , k ∈ N, i.i.d. Offensichtlich ist Sn = k=1 Tk , n ∈ N0 . Somit kann durch (2.108) ein X zugeordneter Erneuerungsprozeß N = (Nm )m∈N0 eingeführt werden. Für m ∈ N0 beschreibt die Zufallsvariable Nm wie oft X bis zum Zeitpunkt m nach s zurückgekehrt ist. Ein Anliegen der Erneuerungstheorie ist beispielsweise die Untersuchung der Erneuerungsfunktion φ = (φm )m∈N0 mit (2.109) φm = E[Nm ], m ∈ N0 . 2.301Verfahren zur Simulation von Zufallsvariablen werden in [5], Abschnitt 10.2 beschrieben. 2.302Natürlich soll die Wahl von s unabhängig von T , T und der Wahl von s erfolgen. 2 0 1 1 2.303Die Zufallsvariablen T , k ∈ N, modellieren beispielsweise die Lebensdauer eines technik schen Geräts, das nach einem Ausfall sofort durch ein gleichartiges Produkt ersetzt wird. 2.304Im Zusammenhang des in Fußnote 2.303 angesprochenen Beispiels beschreibt für ein n ∈ N0 die Zufallsvariable Sn den Zeitpunkt, an dem zum n-ten mal das technische Gerät ersetzt wird, und Nm die Anzahl der technischen Geräte, die bis zum Zeitpunkt m schon ausgefallen sind und dann ersetzt wurden. 2.305Vgl. (2.26). Man beachte hier auch, daß angenommen wird, daß X stationäre Übergangswahrscheinlichkeiten hat. 14. Februar 2013 57 Hierbei soll die Verteilung (ar )r∈N0 von 2.306 T1 als bekannt vorausgesetzt werden. Beispiel 2.65. Die Lebensdauer T einer Glühbirne habe die Verteilung ar = P[T = r], r ∈ N0 . Nach ihrem Ausfall werde eine Glühbirne durch eine neue vom gleichen Typ ersetzt. Bei der Modellierung der jeweiligen Lebensdauer der verschiedenen eingesetzten Glühbirnen ergibt sich somit eine Folge Tk , k ∈ N, von i.i.d. Zufallsvariablen mit der Verteilung (ar )r∈N0 . Definiert man nun gemäß (2.107) und (2.108) zunächst einen Prozeß S = (Sn )n∈N0 der Partialsummen von Tk , k ∈ N, und anschließend einen Erneuerungsprozeß N = (Nm )m∈N0 , so ist beschreibt für m ∈ N0 die Zufallsvariable Nm die Anzahl der bis zur Zeit m ausgefallenen Glühbirnen. Da m [ {Nm = k} = 2.307 {T1 = l, Nm = k}, k = 1, 2, . . . , m = 0, 1, 2, . . . , l=0 eine disjunkte Zerlegung ist, folgt m X (2.110) P[Nm = k] = P[T1 = l, Nm = k] l=0 = m X l=0 Nun ist P[T1 = l] P[Nm = k|T1 = l], k = 1, 2, . . . , m = 0, 1, 2, . . . . {z } | {z } | = al = 2.308 P[Nm−l = k − 1] ∞ X (2.111a) kP[Nm = k] = E[Nm ], m = 0, 1, 2, . . . , k=1 und (2.111b) ∞ m X X k al P[Nm−l = k − 1] k=1 = l=0 2.309 m X l=0 al ∞ X k=1 | (k − 1)P[Nm−l = k − 1] +1 , {z = E[Nm−l ] m = 0, 1, 2, . . . . } Aufgrund von (2.110) und (2.111) erfüllt φ = (φm )m∈N0 mit φm = E[Nm ], m = 0, 1, 2, . . . , die Beziehung m X al φm−l + bm , m = 0, 1, 2, . . . , (2.112a) φm = l=0 wobei (2.112b) bm = m X al , m = 0, 1, 2, . . . . l=0 Zur Bestimmung von φm = E[Nm ], m = 0, 1, 2, . . . , ist (2.112) zu lösen 2.310 . 2.306D.h., a = P[T = r], r ∈ N . r 1 0 2.307Wenn N = k, d.h., wenn k Glühbirnen bis zum Zeitpunkt m ausfallen, versagt die erste m Glühbirne in genau einem der Zeitpunkte l = 0, 1, . . . , m, d.h., T1 = l für genau ein l = 0, 1, . . . , m. 2.308Das Ereignis {T = l} tritt ein, wenn zum Zeitpunkt l die erste Glühbirne ausfällt und 1 durch eine neue ersetzt wird. Falls dieses Ereignis eingetroffen ist, müssen, damit das Ereignis {Nm = k} geschieht, in dem Zeitintervall zwischen den Zeitpunkten l und m noch k − 1 weitere Glühbirnen ausfallen. P∞ P∞ 2.309Da P∞ P[N m−l = k − 1] = r=0 P[Nm−l = r] = 1 und k=1 (k − 1)P[Nm−l = P∞ k=1 k − 1] = r=0 rP[Nm−l = r] = E[Nm−l ]. 2.310Insbesondere ist die Folge φ , m ∈ N , durch a , r ∈ N , und b , r ∈ N , darzustellen. m r r 0 0 0 14. Februar 2013 58 (2.112) ist ein Spezialfall der im folgenden Satz 2.66 auf ihre Asymptotik untersuchten Erneuerungsgleichung. 2.311 Satz 2.66 (Erneuerungssatz). Seien ak , k P ∈ Z, und bk , k ∈ Z,Pgegeben, wobei P P ak ≥ 0, k ∈ Z, k∈Z ak = 1, k∈Z |k|ak < ∞, k∈Z kak > 0 und k∈Z |bk | < ∞. Außerdem sei ggT({k ∈ Z : ak > 0}) = 1. Falls die Erneuerungsgleichung 2.312 ∞ X (2.113) un − ak un−k = bn , n ∈ Z, k=−∞ eine beschränkte, reellwertige Lösung un , n ∈ Z, besitzt, so existieren lim un n→−∞ und lim un . n→+∞ Falls limn→−∞ un = 0, so gilt P∞ bk . lim un = P∞k=−∞ n→+∞ k=−∞ kak P (2.114) bleibt auch im Fall k∈Z kak = ∞ gültig, falls die rechte Seite als 0 interpretiert wird. (2.114) In dem wichtigen Spezialfall mit (2.115) ak = bk = uk = 0, k = −1, −2, . . . , 2.313 2.314 lautet die Erneuerungsgleichung n X (2.116) un − ak un−k = bn , und bk ≥ 0, k = 0, 1, 2 . . . , n = 0, 1, 2, . . . . k=0 Beispiel 2.67 (Beweis von (2.54a)). Infolge der Irreduzibilität von X gelten die folgenden Argumente gleichzeitig für alle s ∈ S 2.315. Für ein festes s ∈ S ist aufgrund von (2.55) durch un = P n (s, s), n = 0, 1, 2, . . . , eine beschränkte Lösung von (2.116) und damit auch von (2.113) gegeben 2.316. Hierbei ist an = q n (s, s), n = 0, 1, 2, . . . , und bn = δn,0 , n = 0, 1, 2, . . . . Die Voraussetzungen von Satz 2.66 sind in derPhier betrachteten Situation ∞ erfüllt. Aus der Rekurrenz von X folgt insbesondere n=0 q n (s, s) = 1. Weiterhin impliziert die Aperiodizität von X zunächst ggT{n ∈ N : P n (s, P s) > 0} = 1 und ank schließend 2.317 ggT{n ∈ N : q n (s, s) > 0} = 1. Die Möglichkeit ∞ k=0 kq (s, s) = ∞ kann allerdings nicht ausgeschlossen werden. Somit 2.318 führt (2.114) zu (2.54a), d.h. zu 2.319 X −1 ∞ lim P n (s, s) = kq k (s, s) . n→∞ 2.311 k=0 Vgl. [7], Chapter 3, Theorem 1.1. 2.312Eine andere Scheibweise für (2.113) ist u − a ∗ u = b. Hierbei bezeichnet ∗“ die Faltung. ” Außerdem entspricht u (a, b) der Folge uk , k ∈ Z (ak , k ∈ Z, bzw. bk , k ∈ Z). 2.313Vgl. (2.112). Übrigens liefert Satz 2.66 für die Lösung φ = (φ ) m m∈N0 von (2.112) mit φm = E[Nm ], m = 0, 1, 2, . . . , keine Aussage, da offensichtlich φ nicht beschränkt ist. 2.314 Für den Spezialfall (2.115), (2.116) wird Satz 2.66 in [7], Chapter 3, Section 2, bewiesen. 2.315Vgl. Satz 2.30 und Korollar 2.33. 2.316Man beachte, daß im vorliegenden Fall (2.115) zutrifft. 2.317Wäre ggT{n ∈ N : q n (s, s) > 0} = d∗ > 1, dann könnte offensichtlich P n (s, s) nur dann strikt positiv sein, wenn n ein Vielfaches von d∗ ist, d.h., wenn X periodisch ist. 2.318Man beachte, daß in der hier betrachteten Situation offensichtlich lim n→−∞ un = 0 gilt. P P∞ 2.319 Hier wird u.a. ∞ k=0 bk = k=0 δk,0 = 1 berücksichtigt. 14. Februar 2013 KAPITEL 3 Simulation von Zufallsvariablen Typischerweise sind realitätsnahe wahrscheinlichkeitstheoretische Modelle zufallsbeeinflußter Phänomene des menschlichen Umfeldes so kompliziert, daß exakte Berechnungen unmöglich sind. Zur Überprüfung der Gültigkeit der Modelle und auch zur Gewinnung von Vorhersagen wird dann oft auf deren Computersimulation zurückgegriffen 3.1. Zur Erstellung guter Computerimplementationen wahrscheinlichkeitstheoretischer Modelle ist es offensichtlich wesentlich, daß auf eine zuverlässige Weise Zufallsvariablen mit einer vorgegebenen Verteilung simuliert werden können. Ein grundlegendes Problem ist hierbei die Simulation einer Folge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen 3.2. 3.1. Erzeugung von Pseudozufallszahlen in [0, 1] Ein erster, naheliegender Ansatz besteht darin, ein als zufällig“ erachtetes ” physikalisches Phänomen 3.3 geeignet zu verarbeiten 3.4. Auf diese Weise können wahre“ Zufallszahlen gewonnen werden 3.5. ” Eine bequemere Methode ist die Verwendung von sog. Pseudozufallszahlen. Darunter versteht man Zahlenfolgen, die durch spezielle, i. allg. rekursive Algorithmen berechnet werden und somit völlig deterministisch sind, die jedoch aufgrund ihrer Komplexität als zufällig erscheinen 3.6. Beispiel 3.1 (Lineare Kongruenzmethode). Ein bekanntes Verfahren ist die lineare Kongruenzmethode 3.7. Zu vorgegebenen Parametern m ∈ N, a = 1, . . . , m − 1, c = 0, 1, . . . , m−1 und einen Startwert x0 = 0, 1, . . . , m−1 betrachtet man zunächst 3.1Zunächst kann ein mathematisches Modell dann als brauchbar betrachtet werden, wenn Beobachtungen der realen Phänomene im Rahmen von Computersimulationen reproduziert werden können. In einem solchen Fall können nun weitere Computersimulationen benutzt werden, um evtl. teure Experimente zu ersetzen oder auch um Vorhersagen über zukünftige Geschehnisse zu treffen. 3.2Wie in Abschnitt 3.2 noch demonstriert werden wird, können aus derartigen Zufallsvariablen solche mit anderen Verteilungen mit Hilfe geeigneter Transformationen gewonnen werden. 3.3Man denke z.B. an thermisches Rauschen, radioaktiven Zerfall oder quantenoptische Prozesse. 3.4In solchen Fällen spricht man von Hardware-basierten Zufallsgeneratoren. Wenn auf diese Weise Zufallszahlen durch ein separates Gerät außerhalb eines Computers erzeugt werden, müssen sie diesem über eine geeignete Schnittstelle zugeführt werden. 3.5Voraussetzung ist natürlich, daß das zugrundeliegende physikalische Phänomen in der Tat zufällig“ ist, d.h. sich auf eine nichtvorhersehbare Weise verhält. Evtl. müssen die ermittelten ” Zufallszahlen“ auch noch durch geeignete Verfahren aufbereitet werden, damit sie auch wirklich ” unabhängige, auf [0, 1] gleichverteilte Zufallsvariablen nachbilden. 3.6 Ein zufälliges Erscheinungsbild“ einer Zahlenfolge kann mit geeigneten statistischen Tests ” geprüft werden. Eine aktuelle Familie von Tests wurde insbesondere unter dem Namen DieHarder von R. G. Brown (http://www.phy.duke.edu/~rgb/General/rand rate.php) entwickelt. Beispiel eines Tests 3.7 Vgl. z.B. [5], Abschnitt 10.2. 59 60 die Folge xn , n ∈ N0 , mit (3.1) xn+1 = (axn + c) mod m, n = 0, 1, 2, . . . , und bildet diese anschließend mit un = xn /m, n = 0, 1, 2, . . . , in das Intervall [0, 1] ab. Wenn m, a, c und x0 geschickt“ gewählt werden, hat die Folge un , ” n = 0, 1, 2, . . . , ein Erscheinungsbild wie eine typische“ Realisierung einer Fol” ge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen 3.8 3.9. Etliche klassische, ältere Zufallsgeneratoren basieren auf der linearen Kongruenzmethode 3.10. Beispiel 3.2 (Mersenne Twister). Der Mersenne Twister ist ein moderner Zufallsgenerator 3.11. Sei F2 der kommutative Körper der Charakteristik 2 3.12. Sei weiterhin w ∈ N hinreichend groß, n ∈ N, m = 1, . . . , n − 1 und r = 1, 2, . . . , w − w 1. Für y ∈ Fw sei außerdem y l = (y1 , . . . , yr , 0, . . . , 0) ∈ Fw 2 = {0, 1} 2 und 3.13 u l u y = (0, . . . , 0, yr+1 , . . . , yw ) ∈ Fw . Wenn y, z ∈ Fw 2 2 , bezeichnet (y |z ) = l u (y1 , . . . , yr , zr+1 , . . . , zw ) ∈ Fw 2 die Verkettung von y und z . Letztendlich sei w⊗w A ∈ F2 eine vorgegebene w × w-Matrix mit Einträgen aus F2 . Zunächst wird nach der Vorgabe von Startwerten x0 , x1 , . . . , xn−1 ∈ Fw 2 eine 3.14 Folge x0 , x1 , · · · ∈ Fw 2 rekursiv gemäß (3.2) xk+n := xk+m ⊕w (xlk |xuk+1 ) ⊙w A, k = 0, 1, 2, . . . , Pw konstruiert. Der Folge x0 , x1 , . . . in kann nun durch 3.15 uk = q=1 xk;q 2−q , k = 0, 1, 2, . . . , eine Folge uk , k = 0, 1, 2, . . . , in [0, 1] zugeordnet werden, die bei einer vernünftigen“ Wahl von w, n, m, r, A und x0 , x1 , . . . , xn−1 wie eine typische“ ” ” Realisierung einer Folge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen aussieht. Fw 2 3.2. Simulation von Folgen reellwertiger, i.i.d. Zufallsvariablen Aus Zufallsvariablen, die gemäß der Gleichverteilung auf [0, 1] verteilt sind, können mit geeigneten Transformationen reellwertige Zufallsvariablen mit beliebigen anderen Verteilungen gewonnen werden. Beispiel 3.3 (Simulation diskreter Zufallsvariablen). Auf 3.16 N sei ein Wahrscheinlichkeitsmaß 3.17 µ = (µn )n∈N gegeben. Zur Konstruktion einer N-wertigen 3.8Eine Realisierung einer Familie X , X , . . . von Zufallsvariablen, die auf einem Wahr1 2 scheinlichkeitsraum (Ω, F, P) definiert sind, ergibt sich, wenn eine Folge X1 (ω), X2 (ω), . . . für ein festes, aber beliebiges ω ∈ Ω betrachtet wird. Für ein kleines“ A ∈ F mit P[A] = 1 kann man ” {(X1 (ω), X2 (ω), . . . ) : ω ∈ A} als eine Menge typischer Realisierungen“ betrachten. ” 3.9 Bei einer unglücklichen Wahl der Parameter erhält man u.U. eine sehr regelmäßige Folge x0 , x1 , x2 , . . . . Beispielsweise ergibt sich 5, 0, 5, 0, . . . für a = c = x0 = 5, m = 10. Allgemein besitzt eine durch (3.1) bestimmte Zahlenfolge immer eine endliche Periode, die höchstens m ist. 3.10 Oft hat sich allerdings im Lauf der Zeit herausgestellt, daß jene oft benutzten Zufallsgeneratoren, deren Perioden zwischen 230 und 248 liegen, eine nur geringe Qualität besitzen. 3.11 Eine detaillierte Beschreibung findet sich in [10]. Die Periode einer gut bewährten Variante ist mit 219937 − 1 eine extrem große Mersennesche Primzahl. Durch die Multiplikation mit der Matrix A in der Rekursionsformel (3.2) werden die Bits“ der erzeugten Zahlenfolgen ” durcheinandergewirbelt“, was den Namensbestandteil twister“(≃ Wirbelwind“) erklärt. ” 3.12D.h., F = {0, 1} mit der Addition 0 ⊕ 0 = 0,” 0 ⊕ 1 = 1 ” ⊕ 0 = 1, 1 ⊕ 1 = 0 und der 2 Multiplikation 0 ⊙ 0 = 0, 0 ⊙ 1 = 1 ⊙ 0 = 0, 1 ⊙ 1 = 1. 3.13y l (y u ) faßt die unteren (oberen) Bits“ von y zusammen. ” 3.14⊕w , bzw. ⊙w , bezeichnet die Vektoraddition in Fw 2 , bzw. die Multiplikation mit einer w⊗w Matrix in F2 . 3.15x = (x k k;1 , . . . , xk;w ), k = 0, 1, 2, . . . . Die Koordinaten der Vektoren xk , k ∈ N, werden als Koeffizienten für die Darstellung der Zahlen uk , k ∈ N, im Dualsystem benutzt. 3.16Die folgenden Überlegungen lassen sich leicht modifizieren, wenn N durch eine beliebige, höchstens abzählbare Menge Ω′ ersetzt wird. 3.17Insbesondere ist µ ≥ 0, n ∈ N, und P n n∈N µn = 1. 14. Februar 2013 61 Zufallsvariablen mit der Verteilung µ sei zunächst U in [0, 1) gleichverteilt und weiterhin eine Zufallsvariable X = X(U ) durch Pn−1 Pn (3.3) X = X(U ) = n, U ∈ k=1 µk , k=1 µk , n ∈ N, definiert. Da (3.4) PX [{n}] = P[X = n] Pn−1 Pn =P U∈ k=1 µk k=1 µk , Pn−1 Pn = 3.18 | k=1 µk − k=1 µk | = µn , n ∈ N, besitzt X die Verteilung µ. Sei nun x1 , x2 , . . . eine Folge unabhängiger, in [0, 1] gleichverteilter“ Pseudozu” fallszahlen. Die Überlegungen zu (3.4) demonstrieren, daß durch die transformierten 3.19 Zufallszahlen X(x1 ), X(x2 ), . . . unabhängige, N-wertige Zufallsvariablen mit der Verteilung µ simuliert werden können. Beispiel 3.4 (Inversionsmethode). Zur Beschreibung der Inversionsmethode sei mit F : R → (0, 1) eine stetige, streng monoton steigende Verteilungsfunktion vorgegeben 3.20. Insbesondere besitzt eine solche Verteilungsfunktion F eine ebenfalls stetige und streng monoton steigende Umkehrfunktion F −1 : (0, 1) → R. Wenn nun U eine in (0, 1) gleichverteilte Zufallsvariable ist, so gilt P[F −1 (U ) ≤ y] = 3.21 P[U ≤ F (y)] = 3.22 F (y), y ∈ R. Damit ist der reellwertigen Zufallsvariablen 3.23 X = F −1 (U ) die vorgegebene Verteilungsfunktion FX = F zugeordnet. Sei z.B. F die Verteilungsfunktion der Exponentialverteilung mit Parameter 1, d.h., F (x) = (1−exp(−x))I[0,∞) (x), x ∈ R. F ist stetig und nach der Einschränkung auf [0, ∞) auch streng monoton wachsend. Diese Einschränkung von F besitzt die Umkehrfunktion F −1 : [0, 1) → [0, ∞) mit F −1 (x) = − log(1 − x), x ∈ [0, 1). Somit ist die Zufallsvariable − log(1 − U ) exponentiell verteilt mit Parameter 1, wenn U auf (0, 1) gleichverteilt ist 3.24. Wenn allgemeiner U1 , U2 , . . . unabhängig, in (0, 1) gleichverteilt sind, so sind die Zufallsvariablen F −1 (U1 ), F −1 (U2 ), . . . i.i.d. mit Verteilungsfunktion F . Insbesondere ist durch F −1 (x1 ), F −1 (x2 ), . . . eine Simulation einer Folge von i.i.d. Zufallsvariablen mit der Verteilungsfunktion F gegeben, falls x1 , x2 , . . . eine Folge von unabhängigen, in [0, 1] gleichverteilten“ Zufallszahlen ist 3.25. ” Auf den üblichen Computern sind Zufallsgeneratoren evtl. als Teil des Betriebssystems oder im Rahmen von Softwarepaketen wie Maple, Mathematica oder R 3.18Da U in [0, 1) gleichverteilt ist. 3.19Die Funktion X wird in (3.3) definiert. 3.20In [5], Abschnitt 10.2, werden die Überlegungen dieses Beispiels auf allgemeine, nicht unbedingt stetige oder streng monotone Verteilungsfunktionen verallgemeinert. 3.21Da F streng monoton steigend ist. 3.22 Da U in (0, 1) gleichverteilt ist. 3.23 Die Funktion X = F −1 ◦ U ist als Verknüpfung einer stetigen Funktion F −1 mit einer meßbaren Funktion U ebenfalls meßbar und somit eine Zufallsvariable, falls auf dem Bildraum R von F −1 die Borelsche σ-Algebra B(R) benutzt wird. 3.24Mit einer Zufallsvariablen U ist offensichtlich auch die Zufallsvariable 1 − U in (0, 1) gleichverteilt. Somit ist − log(U ) exponentiell verteilt mit Parameter 1. 3.25Beispielsweise können x , x , . . . Pseudozufallszahlen sein, wie sie in den Beispielen 3.1 1 2 und 3.2 beschrieben werden. 14. Februar 2013 62 meistens verfügbar. Mit solchen Zufallsgeneratoren werden Folgen von Pseudozufallszahlen in [0, 1] erzeugt, die anschließend für eine Verteilungsfunktion F in eine Folge unabhängiger“, gemäß F verteilter Zufallszahlen transformiert werden ” können 3.26 3.27. Für Berechnungen, bei denen hohe Ansprüche an die Qualität 3.28 der Zufallsgeneratoren gestellt werden, können diese auch aus wissenschaftlichen SoftwareBibliotheken, wie z.B. der GNU Scientific Library (GSL) entnommen werden 3.29. 3.3. Quasizufallszahlen Die bisher angesprochenen Pseudozufallszahlen, die der Nachbildung“ von Zu” fallsvariablen dienen, sollten nicht mit den sog. Quasizufallszahlen verwechselt wer3.30 den . Hinter der Konstruktion einer Folge von Quasizufallszahlen x1 , x2 , . . . , z.B. in [0, 1], steht die Absicht, die Diskrepanz |{xi : i = 1, . . . , N, xi ∈ [0, u)}| ∗ − u, N ∈ N, DN (x1 , . . . , xN ) := sup N u∈[0,1] 3.31 zu minimieren , d.h., für derartige Folgen sollte der Unterschied zwischen der relativen Anzahl von Folgengliedern, die in ein Intervall [a, b) ∈ [0, 1] fallen, und der Länge von [a, b) gleichmäßig in a, b ∈ [0, 1] möglichst klein werden. Beispiel Wenn Quasizufallszahlen im Rahmen von Quasi-Monte-Carlo-Methoden auf die gleiche Weise verwendet werden wie Pseudozufallszahlen in Monte-Carlo-Methoden, können in manchen Fällen wesentlich bessere Resultate erzielt werden 3.32. 3.26Neben den in den Beispielen 3.3, bzw. 3.4 beschriebenen Methoden stehen zu diesem Zweck in den gängigen Softwarepaketen üblicherweise noch andere Verfahren zur Verfügung. 3.27In R können beispielsweise unabhängige, geometrisch verteilte Zufallsvariaben mit dem Befehl rgeom simuliert werden. Wenn R interaktiv genutzt wird, ergibt sich z.B.: > rgeom(60,0.3) [1] 0 0 1 0 3 2 3 0 3 3 1 1 3 2 1 10 1 7 3 18 2 0 0 0 1 [26] 1 2 0 2 1 2 2 3 5 0 0 5 13 0 0 8 1 0 0 20 2 1 3 2 8 [51] 0 4 5 3 7 1 0 2 1 7 Mit dem R-Befehl rgeom(n, p) werden hier n unabhängige, geometrisch mit Parameter p verteilte Zufallsvariaben simuliert. 3.28 Wenn sehr viele Zufallszahlen benötigt werden, sollten diese die statistischen Eigenschaften wahrer“ Zufallsvariablen gut reproduzieren. Außerdem sollten die Zufallszahlen schnell zur ” Verfügung gestellt werden. 3.29 Vgl. http://www.gnu.org/software/gsl/. Die GSL ist für Linux und in inoffiziellen Versionen auch für etliche andere Betriebssysteme verfügbar. Neben verschiedenen auf der linearen Kongruenzmethode, vgl. Beispiel 3.1, basierenden Zufallsgeneratoren ist u.a. auch der Mersenne Twister, vgl. Beispiel 3.2, implementiert. Weiterhin gibt es Befehle zur Simulation von unabhängigen Zufallsvariablen mit einer vorgegebenen Verteilung wie der Normalverteilung, der Exponentialverteilung, der Multinomialverteilung, der χ2 -Verteilung, . . . . 3.30 Vgl. [11]. 3.31Folgen von Quasizufallszahlen werden daher auch Folgen mit niedriger Diskrepanz genannt. 3.32Für die besten Folgen von Quasizufallszahlen wie z.B. Halton- oder Sobol-Folgen ist ∗ (x , . . . , x ) ≤ C log(N )/N , N ∈ N, für eine von der jew. Folge abhängige Konstante DN 1 N √ ∗ (X , . . . , X ) ≃ 1/ N , C > 0. Aufgrund des Zentralen Grenzwertsatzes ist im Vergleich dazu DN 1 N N → ∞, wenn Xn , n ∈ N, eine Folge von unabhängigen, in [0, 1] gleichverteilten Zufallsvariablen ist. Bei der Monte-Carlo-Integration einer meßbaren, beschränkten Funktion h : [0, 1] → R, R P d.h., der Approximation von 01 dx h(x) durch (1/N ) N k=1 h(Xk ), ergibt sich folglich ein Fehler √ der Größenordnung 1/ N . Wenn hingegen eine der optimalen“ Folgen x1 , x2 , . . . von Quasizu” P fallszahlen verwendet wird, d.h., wenn bei der Quasi-Monte-Carlo-Integration (1/N ) N k=1 h(xk ) R1 als Approximation von 0 dx h(x) benutzt wird, ist bei N → ∞ der Fehler nur noch von der Größenordnung log(N )/N . 14. Februar 2013 63 Pseudozufallszahlen und Quasizufallszahlen unterscheiden sich gravierend. Einerseits ist die Diskrepanz von wahren“ Zufallszahlen oder von Pseudozufallszahlen ” wesentlich größer als die von Quasizufallszahlen 3.33. Andererseits besitzen Quasizufallszahlen nicht die gleichen statistischen Eigenschaften wie wahre“ Zufallszahlen ” oder Pseudozufallszahlen 3.34. 3.33 Vgl. Fußnote 3.32. Dort ist die Diskrepanz von hochwertigen Folgen von Quasizufallszahlen, bzw. von unabhängigen, in [0, 1] gleichverteilten Zufallsvariablen angegeben. 3.34 Beispielsweise versagen Quasizufallszahlen bei Tests wie der in Fußnote 3.6 erwähnten DieHarder-Testfamilie. 14. Februar 2013 KAPITEL 4 Brownsche Bewegung Die Brownsche Bewegung ist der wohl bekannteste Diffusionsprozeß, d.h. Markovprozeß mit stetigen Pfaden. In vielen Artikeln und Büchern werden detaillierte Resultate über die Brownsche Bewegung vorgestellt. Dieser Prozeß ist einerseits innerhalb der Wahrscheinlichkeitstheorie von großer Bedeutung 4.1. U.a. können relativ beliebige Diffusionsprozesse durch geeignete Transformationen der Brownschen Bewegung dargestellt werden. Auch außerhalb der Wahrscheinlichkeitstheorie tritt die Brownsche Bewegung in Erscheinung. Beispielsweise können die Lösungen gewisser elliptischer oder parabolischer Differentialgleichungen als Funktionale der Brownschen Bewegung repräsentiert werden. Bei der Modellierung von zufallsbeeinflußten Zeitentwicklungen durch stochastische Differentialgleichungen kann die Brownsche Bewegung zur Darstellung des Rauschanteils benutzt werden 4.2. 4.1. Definition der Brownschen Bewegung Die Brownsche Bewegung ergibt sich als Grenzfall der symmetrischen Irrfahrt 4.3 nach einer geeigneten Reskalierung. Diese Reskalierung entspricht einer Beobachtung der symmetrischen Irrfahrt aus einer großen Entfernung über einen langen Zeitraum. Aus diesem Grund können die Abbildungen 4.1 und 4.2 auch als Visualisierungen der Brownschen Bewegung in R, bzw. in R2 betrachtet werden 4.4. Während in Abbildung 4.1 die zeitliche Entwicklung verschiedener Pfade der 1-dimensionalen Irrfahrt dargestellt ist, zeigt Abbildung 4.2, wie ein einzelner Pfad der 2-dimensionalen Irrfahrt in R2 eingebettet ist. Wie dieser Pfad im Verlauf der Zeit durchlaufen wird, ist nicht zu erkennen. 4.1 Die Brownsche Bewegung ist für verschiedene Klassen stochastischer Prozesse jeweils ein einfaches Beispiel. 4.2 Eine stochastische Differentialgleichung ist beispielsweise (∗1 ) dXt |{z} = Zustandsänderung in infinitesimalem Zeitintervall b(Xt )dt | {z } deterministische Zustandsänderung + σ(Xt )dBt , | {z } zufällige Zustandsänderung wobei b und σ geeignete Funktionen sind und B = (Bt )t≥0 eine Brownsche Bewegung ist. In einer Integraldarstellung kann (∗1 ) auch in der Form Z t Z t σ(Xs )dBs , t ≥ 0, b(Xs )ds + (∗2 ) Xt = X0 + 0 0 geschrieben werden. Bei der mathematischen Diskussion von (∗1 ) oder (∗2 ) muß zunächst dem stochastischen InR tegral 0t σ(Xs )dBs eine Bedeutung zugewiesen werden. Anschließend können Existenz und Eindeutigkeit, sowie qualitative und quantitative Eigenschaften einer Lösung X = (Xt )t≥0 untersucht werden. 4.3 Die symmetrische Irrfahrt in Zd wurde in Beispiel 2.20 vorgestellt. 4.4In den Abbildungen A.1.13 - A.1.15 wird dementsprechend der Betrag der Brownschen Bewegung in R2 , R3 , bzw. R10 visualisiert. 65 66 1000 800 600 400 Ort 200 0 -200 -400 -600 -800 -1000 0 20000 40000 60000 80000 100000 Zeit Abbildung 4.1. Symmetrische Irrfahrt in Z. Zeitdauer = 100000, 20 Realisierungen. 350 300 250 Y 200 150 100 50 0 -50 -700 -600 -500 -400 -300 -200 -100 0 X Abbildung 4.2. Symmetrische Irrfahrt in Z2. Zeitdauer = 100000, Simulation eines Pfads. 14. Februar 2013 100 67 Sei X = (Xn )n∈N0 die symmetrische Irrfahrt in Z lung 4.6 (4.1) Xn = n X ξk , k=1 4.5 . X besitzt die Darstel- n ∈ N0 , wobei ξk , k ∈ N, unabhängige, in {−1, 1} gleichverteilte Zufallsvariablen sind. Beim Übergang zur Brownschen Bewegung wird X zunächst • auf alle Zeitpunkte t ≥ 0 fortgesetzt, d.h., Y = (Yt )t≥0 mit Yt = X⌊t⌋ , t ≥ 0, 4.7 eingeführt, und anschließend • reskaliert, d.h., es werden die Prozesse XN = (XtN )t≥0 mit 4.8 1 XtN = √ YN t , N (4.2) t ≥ 0, N ∈ N, betrachtet. Zum Studium der Asymptotik von XN werden die Zuwächse XtN − XsN , 0 ≤ s < t < ∞, für N → ∞ untersucht. Aufgrund des Zentralen Grenzwertsatzes ist zunächst lim (XtN − XsN ) N →∞ p ⌊N t⌋ X ⌊N t⌋ − ⌊N s⌋ 1 √ p = lim ξl N →∞ N ⌊N t⌋ − ⌊N s⌋ l=⌊N s⌋+1 √ = t − s ζ, in Verteilung, 0 ≤ s < t < ∞, wobei Pζ = N(0, 1) 4.9. Etwas allgemeiner folgt mit einem mehrdimensionalen Zentralen Grenzwertsatz, daß lim XtN1 , XtN2 − XtN1 , . . . , XtNn − XtNn−1 (4.3) N →∞ p √ √ = t1 ζ1 , t2 − t1 ζ2 , . . . , tn − tn−1 ζn , in Verteilung, 0 = t0 < t1 < · · · < tn < ∞, n ∈ N, 4.5Die nun folgenden und schließlich zu (4.3) führenden Überlegungen lassen sich völlig analog auch für die symmetrische Irrfahrt in Zd , d > 1, durchführen. 4.6Die Darstellung (4.1) der symmetrischen Irrfahrt impliziert insbesondere X = 0. 0 4.7Der Prozeß Y nimmt in den Zeitintervallen [l, l + 1), l ∈ N , einen konstanten Wert in Z 0 an und springt in den Zeitpunkten l ∈ N mit Wahrscheinlichkeit 1/2 jeweils um 1 nach oben oder nach unten. Alternativ zu dem Prozeß Y könnte im folgenden auch mit einer wie in (4.5) linear e von X gearbeitet werden. interpolierten Variante Y 4.8Man könnte auch andere Skalierungen verwenden, d.h., beispielsweise Prozesse X(α,β) = (α,β) (α,β) (Xt )t≥0 mit Xt = Yαt /β, t ≥ 0, α, β > 0, einführen. Die Überlegungen dieses Abschnitts 4.1, insbesondere das nun folgende Studium der Asymptotik von Summen unabhängiger, in {−1, 1} gleichverteilter Zufallsvariablen mit Hilfe des Zentralen Grenzwertsatzes, lassen jedoch den Schluß zu, daß ein nichttrivialer Limes für X(α,β) bei α, β → ∞ nur dann erwartet werden α→∞ √ kann, wenn β = β(α) ∼ α. In den Abbildungen 4.1 und 4.2 wurde durch die Auswahl der jeweiligen Bildbereiche durch den Computer automatisch eine Reskalierung von Raum√und Zeit vorgenommen. Bei einer √ großzügigen Betrachtungsweise in Abbildung 4.2 ist sogar Zeitdauer/Raumdurchmesser ∼ 100000/800 ∼ 316/800 ∼ 1 zu erkennen, d.h., die in (4.2) gewählte Skalierung drängt sich auch im Rahmen dieser Simulationen auf. 4.9Somit konvergiert X N − X N bei N → ∞ in Verteilung gegen eine gemäß N(0, t − s) s t verteilte Zufallsvariable. 14. Februar 2013 68 wobei ζ1 , ζ2 , . . . unabhängige Zufallsvariablen mit Pζk = N(0, 1), k = 1, 2, . . . , sind 4.10. (4.3) berechtigt zur Vermutung, daß bei N → ∞ die Prozesse XN gegen einen stochastischen Prozeß B = (Bt )t≥0 mit unabhängigen, normalverteilten Zuwächsen konvergieren 4.11 4.12. Dementsprechend wird ein Rd -wertiger stochastischer Prozeß B = (Bt )t≥0 als (standard ) Brownsche Bewegung bezeichnet, falls (4.4a) B0 = 0, f.s. 4.13 , (4.4b) t → Bt f.s. stetig ist 4.14 und wenn außerdem (4.4c) für 0 ≤ s < t < ∞ der Zuwachs Bt − Bs unabhängig von Bu , 0 ≤ u ≤ s, ist und eine Normalverteilung mit Erwartungswert 0 und Kovarianzmatrix (t − s)I 4.15 besitzt 4.16. Es kann nachgewiesen werden, daß es einen eindeutig bestimmten Prozeß gibt, der (4.4) erfüllt 4.17. 4.2. Donskersches Invarianzprinzip Nicht nur die symmetrische Irrfahrt, sondern viele andere stochastische Prozesse konvergieren nach einer Reskalierung von Raum und Zeit gegen die Brownsche Bewegung. Daher ist die Brownsche Bewegung ein gutes Modell für zahlreiche zufallsbeeinflußte zeitliche Entwicklungen, falls diese über einen längeren Zeitraum aus einer großen Entfernung beobachtet werden 4.18. In dem folgenden Resultat werden die formalen Überlegungen in Abschnitt 4.1 verallgemeinert, bzw. präzisiert 4.19. Satz 4.1. 4.20 Seien ζk , k ∈ N, reellwertige, i.i.d. Zufallsvariablen mit E[ζ1 ] = 0 Pn e = (Yet )t≥0 mit und E[(ζ1 )2 ] = 1. Sei weiterhin Xn = k=1 ζk , n ∈ N0 , und Y ⌈t⌉ − t X + t − ⌊t⌋ X = X + t − ⌊t⌋ ζ , t ∈ / N0 , ⌊t⌋ ⌈t⌉ ⌊t⌋ ⌈t⌉ e ⌈t⌉ − ⌊t⌋ ⌈t⌉ − ⌊t⌋ (4.5) Yt = ⌈t⌉ − ⌊t⌋ Xt , t ∈ N0 , 4.10(4.3) besagt, daß asymptotisch bei N → ∞ die Zuwächse X N − X N t t i i−1 , i = 1, . . . , n, des Prozesses XN in den disjunkten Zeitintervallen (ti−1 , ti ], i = 1, . . . , n, unabhängig und gemäß N(0, ti − ti−1 ), i = 1, . . . , n, verteilt sind. 4.11Für 0 ≤ s < t < ∞ sollte insbesondere B − B unabhängig von B , 0 ≤ u ≤ s, gemäß t s u N(0, t − s) verteilt sein. 4.12 Eine mathematisch rigorose, allgemeine Diskussion der Konvergenz von stochastischen Prozessen wird an dieser Stelle nicht durchgeführt. Die Beziehung (4.3), die im wesentlichen die Konvergenz der endlich-dimensionalen Verteilungen der Prozesse XN bei N → ∞ festhält, dient nur zur Motivation der nun folgenden Definition der Brownschen Bewegung. 4.13Diese Bedingung ist nur eine Standardisierung. 4.14Sei B auf einem Wahrscheinlichkeitsraum (Ω, F, P) definiert. In (4.4b) wird verlangt, daß bzgl. P für fast alle ω ∈ Ω der Pfad t → Bt (ω) stetig ist. Diese Forderung der Stetigkeit wird beispielsweise auch durch Simulationen der symmetrischen Irrfahrt, wie sie in den Abbildungen 4.1, 4.2 und A.1.13 - A.1.15 zu sehen sind, nahegelegt. 4.15 I ist hier die d × d-Einheitsmatrix. 4.16 Falls der Erwartungswert des Zuwachses gleich (t − s)a für ein a ∈ Rd und die Kovarianzmatrix gleich (t − s)Q für eine positiv-definite symmetrische Matrix Q ∈ Rd⊗d ist, spricht man von einer Brownschen Bewegung mit Drift a und Diffusionsmatrix Q. 4.17 Damit ist gemeint, daß alle (4.4) erfüllenden Prozesse, die auch auf unterschiedlichen Wahrscheinlichkeitsräumen (Ω, F, P) definiert sein können, die gleiche Verteilung besitzen. 4.18 In allen für Anwendungen wesentlichen Situationen hat die hier angesprochene Reskalierung eine Darstellung wie in (4.2). 4.19 Das Ziel jener Überlegungen in Abschnitt 4.1 war letztendlich, die Definition (4.4) der Brownschen Bewegung zu motivieren. Im folgenden Satz 4.1 wird insbesondere anstelle der symmetrischen Irrfahrt eine Klasse verallgemeinerter Irrfahrten betrachtet. 4.20 Vgl. [2], Chapter 7, Theorem (6.6). 14. Februar 2013 69 die lineare Interpolation des Prozesses e (N ) = (B et(N ) )t≥0 , N ∈ N, von Y e mit B gilt dann 4.22 . 4.21 e (N ) = √1 YeN t , B t N X = (Xn )n∈N0 . Für die Reskalierungen t ≥ 0, N ∈ N, w- lim PB e (N ) = PW , N →∞ wobei PW das Wienermaß 4.23 ist. 4.3. Die Pfade der Brownschen Bewegung Die Pfade der Brownschen Bewegung in R sind zwar stetig, aber dennoch relativ irregulär. Ihr Regularitätsverhalten kann auf unterschiedliche Weisen präzisiert werden. Satz 4.2 (Gesetz vom iterierten Logarithmus). Brownsche Bewegung in R. Dann gilt " Bs+h − Bs P lim sup p (4.6) = 1, 2h log(log(1/h)) hց0 Bs+h − Bs 4.24 Sei B = (Bt )t≥0 die standard # = −1 = 1, lim inf p hց0 2h log(log(1/h)) s ≥ 0. Satz 4.2 charakterisiert das Verhalten der Pfade der Brownschen Bewegung unmittelbar nach einem festen Zeitpunkt s ≥ 0. Insbesondere zeigt (4.6), daß • fast alle Pfade der eindimensionalen Brownschen Bewegung nach dem Erreichen eines Punktes a ∈ R 4.25 in jedem beliebig kleinen Intervall danach unendlich viele weitere a-Stellen besitzen 4.26 und daß • in einem festen Zeitpunkt s ≥ 0 mit Wahrscheinlichkeit 1 die Pfade der Brownschen Bewegung nicht differenzierbar und auch nicht Hölderstetig mit Exponent γ ≥ 1/2 sind 4.27. 4.21X kann als eine verallgemeinerte Irrfahrt bezeichnet werden. 4.22P e (N) . Da B e (N) fast e (N ) bezeichnet die Verteilung des stochastischen Prozesses B B sicher stetige Pfade besitzt, kann PB e (N ) als ein Wahrscheinlichkeitsmaß auf (C([0, ∞); R), B(C([0, ∞); R))), dem mit der Borelschen σ-Algebra B(C([0, ∞); R)) versehenen Raum der stetigen, reellwertigen Funktionen auf [0, ∞), identifiziert werden. w-limN→∞ . . . bezeichnet die schwache Konvergenz von Wahrscheinlichkeitsmaßen in (C([0, ∞); R), B(C([0, ∞); R))). 4.23Das Wienermaß ist die Verteilung der standard Brownschen Bewegung auf (C([0, ∞); R), B(C([0, ∞); R))). 4.24Vgl. [12], Chapter II, Corollary (1.11). 4.25Hier ist der erste Eintrittszeitpunkt T = inf{t ≥ 0 : B = a} in die Menge {a} gemeint. a t Es muß u.a. berücksichtigt werden, daß Ta eine Stoppzeit ist, und daß mit B für jede Stoppzeit T auch der Prozeß BT = (BtT )t≥0 mit BtT = BT +t − BT , t ≥ 0, eine standard Brownsche Bewegung ist, vgl. [6], Theorem 13.11. Diese Tatsache wird als die starke Markoveigenschaft der Brownschen Bewegung bezeichnet. 4.26Aus (4.6) folgt formal p p BTa +h ≃ a + 2h log(log(1/h)), BTa +h′ ≃ a − 2h′ log(log(1/h′ )), für unendlich viele, beliebig kleine h, h′ > 0, wobei Ta in Fußnote 4.25 beschrieben wird. Für jedes ǫ > 0 ist somit wegen der Stetigkeit der Pfade der Brownschen Bewegung BTa +η = a, für unendlich viele η ∈ (0, ǫ). 4.27Zur Differenzierbarkeit müßte lim h→0 (Bs+h − Bs )/h existieren, was nach (4.6) ausge- schlossen ist. Ebenso folgt aus (4.6), daß lim suphց0 |Bs+h − Bs |/|h|γ = ∞, f.s., falls γ ≥ 1/2, 14. Februar 2013 70 Weitere Resultate präzisieren die Regularität der Pfade der Brownschen Bewegung im gesamten Zeitverlauf 4.28. Wesentliche Unterschiede zu üblichen“, nicht” zufälligen Funktionen auf [0, ∞) werden insbesondere deutlich durch folgenden Satz. Satz 4.3 (Quadratische Variation der Brownschen Bewegung). 4.29 Sei B = (Bt )t≥0 die standard Brownsche Bewegung in R. Zu T > 0 sei Dn , n ∈ N, eine Folge feiner werdender Partitionen von [0, T ], d.h., Dn = {tn0 , tn1 , . . . , tnkn }, wobei 0 = tn0 < tn1 < · · · < tnkn = T und limn→∞ supl=1,...,kn |tnl − tnl−1 | = 0. Dann gilt 4.30 4.31 4.32 4.33 (4.7) lim n→∞ kn X l=1 |Btnl − Btnl−1 |2 = T, in L2 . Die Brownsche Bewegung ist invariant unter einigen Transformationen, z.B., unter einer Inversion der Zeit. so daß die Hölderstetigkeit mit Exponent γ ≥ 1/2 auch nicht möglich ist. In diesen Argumenten wird benutzt, daß (h log(log(1/h)))−1/2 = o(h−γ ) bei h ց 0 für alle γ ≥ 1/2. 4.28 Als ein Analogon zu Satz 4.2 kann ein Satz von Lévy zu Charakterisierung des Stetigkeitsmoduls der Brownschen Bewegung betrachtet werden, vgl. [12], Chapter I, Theorem (2.7). Dieses Resultat besagt, daß " # |Bt − Bt1 | p 2 (∗) P lim sup sup = 1 = 1, T > 0. 2ǫ log(1/ǫ) ǫց0 0≤t1 <t2 ≤T t2 −t1 <ǫ p Der durch (∗) beschriebene globale“ Stetigkeitsmodul ǫ → ǫ log(1/ǫ) der Pfade der Brownschen ” Bewegung fällt offensichtlich bei ǫ ց 0 langsamer ab als der in (4.6) angegebene lokale“ Stetigp ” keitsmodul ǫ → ǫ log(log(1/ǫ)). Bei einer globalen Betrachtungsweise sind somit die Pfade der Brownschen Bewegung noch etwas weniger regulär als unter einem lokalen Blickwinkel. 4.29Vgl. [12], Chapter I, Theorem (2.4). 4.30Die in (4.7) angegebene Konvergenz in L2 wird auch Konvergenz im quadratischen Mittel genannt. Eine Folge Yn , n ∈ N, reellwertiger Zufallsvariablen konvergiert bei N → ∞ in diesem Sinn gegen eine Zufallsvariable Y , falls limN→∞ E[|Yn − Y |2 ] = 0. 4.31 Für eine stetig differenzierbare Funktion φ : [0, T ] → R ist die Variation 1. Ordnung P n n |φ(tn |φ| := limn→∞ kl=1 l ) − φ(tl−1 )| endlich. Insbesondere gilt kn X l=1 n |φ(tn l ) − φ(tl−1 )| n→∞ ≃ kn X l=1 n n |φ′ (tn l )|(tl − tl−1 ) n→∞ ≃ Z T 0 |φ′ (s)|ds. Falls andererseits eine stetige Funktion φ : [0, T ] → R eine nichttriviale Variation 1. Ordnung P n n |φ(tn besitzt, wenn also limn→∞ kl=1 l ) − φ(tl−1 )| = |φ| ∈ (0, ∞), folgt weiterhin, daß kn X l=1 n 2 |φ(tn l ) − φ(tl−1 )| ≤ sup l=1,...,kn | n |φ(tn l ) − φ(tl−1 )| kn X } |l=1 {z n→∞ → 0 n→∞ n |φ(tn l ) − φ(tl−1 )| → 0, {z } n→∞ → |φ| d.h., die Variation 2. Ordnung verschwindet. Somit muß als Folge von Satz 4.3 die Variation 1. Ordnung |B| der Brownschen Bewegung f.s. unendlich sein. 4.32 Eine Beziehung wie (4.7), d.h., kn X l=1 |Btn − Btn |2 = l l−1 kn X l=1 n |tn l − tl−1 | |Btn − Btn |2 l l−1 n |tn l − tl−1 | n→∞ ≃ T, q n kann nur gelten, wenn |Btn −Btn | ∼ tn l − tl−1 im ”Durchschnitt aller l = 1, . . . , kn“. Es deutet l l−1 √ sich damit an, daß ǫ → ǫ der entlang der Pfade gemittelte“ Stetigkeitsmodul der Brownschen ” Bewegung ist. Dieser Stetigkeitsmodul fällt bei ǫ ց 0 schneller ab als die beiden in Fußnote 4.28 erwähnten Stetigkeitsmodule. 4.33 Für die standard Brownsche Bewegung in Rd ist T durch dT auf der rechten Seite von (4.7) zu ersetzen. 14. Februar 2013 71 2.0 1.5 1.0 0.5 0.0 −0.5 −1.0 −1.5 −2.0 0 10000 20000 30000 40000 50000 60000 70000 80000 90000 100000 Abbildung 4.3. Verdeutlichung des Gesetzes vom iterierten Logarithmus mit Simulationen der symmetrischen Irrfahrt. Zeitdauer = 100000, 10 Simulationen. Satz 4.4. 4.34 Sei B = (Bt )t≥0 eine standard Brownsche Bewegung in R b = (B bt )t≥0 mit ist der Prozeß B ( 0, t = 0, b Bt = tB1/t , t > 0, ebenfalls eine standard Brownsche Bewegung 4.35 . Dann 4.36 . Mit Hilfe der in Satz 4.4 vorgestellten Invarianzeigenschaft kann ein zu Satz 4.2 äquivalentes Resultat, das das Verhalten der Pfade der standard Brownsche Bewegung B = (Bt )t≥0 bei t → ∞ charakterisiert, hergeleitet werden. Satz 4.5 (Gesetz vom iterierten Logarithmus). 4.37 Sei B = (Bt )t≥0 eine standard Brownsche Bewegung in R. Dann gilt # " Bt Bt (4.8) = 1, lim inf p = −1 = 1. P lim sup p tր∞ 2t log(log(t)) 2t log(log(t)) tր∞ Abbildung 4.3 zeigt, daß Satz 4.5 plausibel wird, wenn die standard Brownsche Bewegung mit Hilfe der symmetrischen Irrfahrt simuliert wird. 4.34Vgl. [12], Chapter I, Proposition (1.10)(iv). 4.35 B . . . eine standard Brownsche Bewegung“ bedeutet, daß B ein stochastischer Prozeß ” ist, der (4.4) erfüllt. 4.36D.h., B b erfüllt (4.4). 4.37Vgl. [12], Chapter II, Corollary (1.12). 14. Februar 2013 Anhang In diesem Anhang werden einige Ergänzungen zusammengestellt. Insbesondere werden Ergebnisse von Simulationen spezieller stochastischer Prozesse vorgestellt. Zur Durchführung dieser Simulationen wird das Software-Paket Scilab 4.1 verwendet. Außerdem werden Resultate aus verschiedenen mathematischen Gebieten, die in den Kapiteln 2 - . . . Verwendung finden, zusammengestellt. A.1. Ergänzungen zu Kapitel 2 A.1.1. Simulation der eindimensionalen symmetrischen Irrfahrt. Zur Simulation der eindimensionalen symmetrischen Irrfahrt A.1.2 kann das folgende Scilab-Programm benutzt werden: // Irrfahrt in 1D // Bestimmung eines Pfades N=10000; // Zeitdauer X0=0; // Start im Ursprung Pfad=ones((1:N+1)); // Initialisierung des Pfades t=(0:N); // Zeitpunkte Pfad(1)=X0; for i=2:N+1, Z=(2*floor(2*rand(1,’uniform’)))-1; // Bernoulli-verteilter Zuwachs Pfad(i)=Pfad(i-1)+Z; // Neue Position end; // Einstellung von Graphik-Parametern xset("use color",0); xbasc(0); // Loeschen des Graphik-Fensters 0 xselect(); // Gegenw. Graphik-Fenster in den Vordergrund // Darstellung des Pfades plot2d2(t,Pfad(1,:)); xtitle("","Zeit","Ort"); Als Resultate ergeben sich beispielsweise Abbildung A.1.1 und A.1.2. 4.1Vgl. http://www.scilab.org/. Da bei einigen Betriebssystemen momentan (22. April 2012) noch Probleme mit der Graphik der aktuellen Version scilab-5.3.3 auftreten, wird in den folgenden Simulationen die alte Version scilab-4.1.2 benutzt. A.1.2Vgl. Beispiel 2.2. 73 74 4 2 0 Ort −2 −4 −6 −8 −10 0 10 20 30 40 50 60 70 80 90 100 Zeit Abbildung A.1.1. Simulation eines Pfads der symmetrischen Irrfahrt bis zum Zeitpunkt 100. 60 40 20 Ort 0 −20 −40 −60 −80 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Zeit Abbildung A.1.2. Simulation eines Pfads der symmetrischen Irrfahrt bis zum Zeitpunkt 10000. 14. Februar 2013 75 A.1.2. Simulation der Irrfahrt mit Trägheit. Zur Simulation eines eindimensionalen diffundierenden Teilchens mit Trägheit A.1.3 reicht es aus, das ScilabProgramm aus Abschnitt A.1.1 an wenigen Stellen zu modifizieren. // Irrfahrt (mit Traegheit) in 1D // Bestimmung eines Pfades N=10000; // Zeitdauer p=0.9; // Traegheitsparameter X0=0; // Start im Ursprung X1=1; Pfad=ones((1:N+1)); // Initialisierung des Pfades t=(0:N); // Zeitpunkte Pfad(1)=X0; Pfad(2)=X1; for i=3:N+1, Z=(2*grand(1,’bin’,1,p))-1; // Bernoulli-verteilter Zuwachs Pfad(i)=Pfad(i-1)+Z*(Pfad(i-1)-Pfad(i-2)); // Neue Position end; // Einstellung von Graphik-Parametern xset("use color",0); xbasc(0); // Loeschen des Graphik-Fensters 0 xselect(); // Gegenw. Graphik-Fenster in den Vordergrund // Darstellung des Pfades plot2d2(t,Pfad(1,:)); xtitle("","Zeit","Ort"); Als Resultate ergeben sich beispielsweise Abbildung A.1.3 - A.1.12. Noch ausführlich und präzise zu formulieren: p fest, Zeitdauer N hinreichend groß. Pfad der Irrfahrt mit Trägheit sieht dann wie ein Pfad der symmetrischen Irrfahrt aus. Grund: Satz von Donsker (Verallgemeinerung des Zentralen Grenzwertsatzes auf stochastische Prozesse): Skalierungslimes sehr vieler vernünftiger Prozesse aus verschiedenen Anwendungsgebieten ist Brownsche Bewegung. Daher ist die Brownsche Bewegung in der Modellbildung äußerst wichtig. ... A.1.3Vgl. Beispiel 2.3. 14. Februar 2013 76 10 5 0 Ort −5 −10 −15 −20 −25 0 10 20 30 40 50 60 70 80 90 100 Zeit Abbildung A.1.3. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.9 bis zum Zeitpunkt 100. 150 100 50 Ort 0 −50 −100 −150 −200 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Zeit Abbildung A.1.4. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.9 bis zum Zeitpunkt 10000. 14. Februar 2013 77 8 6 4 Ort 2 0 −2 −4 −6 0 10 20 30 40 50 60 70 80 90 100 Zeit Abbildung A.1.5. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.5 bis zum Zeitpunkt 100. 140 120 100 80 Ort 60 40 20 0 −20 −40 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Zeit Abbildung A.1.6. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.5 bis zum Zeitpunkt 10000. 14. Februar 2013 78 2.0 1.5 1.0 Ort 0.5 0.0 −0.5 −1.0 −1.5 −2.0 0 10 20 30 40 50 60 70 80 90 100 Zeit Abbildung A.1.7. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.1 bis zum Zeitpunkt 100. 25 20 15 Ort 10 5 0 −5 −10 −15 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Zeit Abbildung A.1.8. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.1 bis zum Zeitpunkt 10000. 14. Februar 2013 79 1400 1200 1000 Ort 800 600 400 200 0 −200 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Zeit Abbildung A.1.9. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.99 bis zum Zeitpunkt 10000. 8 6 4 2 Ort 0 −2 −4 −6 −8 −10 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Zeit Abbildung A.1.10. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.01 bis zum Zeitpunkt 10000. 14. Februar 2013 80 15000 10000 Ort 5000 0 −5000 −10000 −15000 0e+00 1e+05 2e+05 3e+05 4e+05 5e+05 6e+05 7e+05 8e+05 9e+05 1e+06 Zeit Abbildung A.1.11. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.99 bis zum Zeitpunkt 1000000. 80 60 40 Ort 20 0 −20 −40 −60 −80 0e+00 1e+05 2e+05 3e+05 4e+05 5e+05 6e+05 7e+05 8e+05 9e+05 1e+06 Zeit Abbildung A.1.12. Simulation eines Pfads der Irrfahrt mit Trägheit zum Parameter p = 0.01 bis zum Zeitpunkt 1000000. 14. Februar 2013 81 A.1.3. Erzeugende Funktionen. Für eine beschränkte Folge ak , k ∈ N0 , reeller Zahlen ist ∞ X (A.1) b a(µ) = ak µk , 0 ≤ µ < 1, k=0 deren erzeugende Funktion. Erzeugende Funktionen haben ähnliche Eigenschaften wie Fouriertransformierte A.1.4 oder Laplacetransformierte. Sie spielen u.a. als Hilfsmittel in der diskreten Wahrscheinlichkeitstheorie A.1.5 eine wichtige Rolle. Die beiden folgenden Resultate werden in solchen Anwendungen häufig angewandt. Lemma A.1.1. Seien ak , k ∈PN0 , und bk , k ∈ N0 , beschränkte, reellwertige Folgen, P∞ ∞ wobei |a | < ∞ oder k=0 k=0 |bk | < ∞. Dann ist die Faltung ck , k ∈ N0 , Pk k mit ck = l=0 al bk−l , k ∈ N0 jener Folgen ebenfalls beschränkt A.1.6. Weiterhin gilt A.1.7: b c(µ) = b a(µ)bb(µ), 0 ≤ µ < 1. Lemma A.1.2 (Lemma von Abel A.1.8). Sei ak , k ∈ N0 eine beschränkte, reellwertige Folge. P∞ (a) Falls k=0 ak absolut konvergiert A.1.9, gilt: lim µր1 ∞ X k=0 (b) Falls ak ≥ 0, k ∈ N0 , und limµր1 ∞ X a k µk = k=0 N →∞ k=0 ak . k=0 P∞ ak = lim ∞ X ak µk = a ≤ ∞, gilt: N X ak = a. k=0 BemerkungPA.1.3. Lemma A.1.2 besagt insbesondere, daß es zurP Berechnung ∞ ∞ ak µk = limµր1 b a(µ) zulässig ist, limµր1 . . . und von limµր1 k=0P k=0 . . . zu ∞ vertauschen, falls k=0 |ak | < ∞ oder falls ak ≥ 0, k ∈ N0 . A.1.4. Simulationen des Betrags höherdimensionaler symmetrischer Irrfahrten. In den in den Abbildungen A.1.13 - A.1.15 dargestellten Simulationen deutet sich an, daß die symmetrische Irrfahrt in Z2 rekurrent ist, während die A.1.4Ersetzt man in µ → b a(µ) die Variable µ durch exp(2πiθ) erhält man die Fouriertransformierte a(θ) von ak , k ∈ N0 . Die Fouriertransformierte e a ist zumindest dann wohldefiniert, P∞θ → e wenn k=1 |ak | < ∞. A.1.5 Z.B. bei der Untersuchung von Markovketten wie beim Beweis von Satz 2.32. A.1.6Wenn beispielsweise P∞ |a | < ∞, so ist k=0 k |ck | ≤ k X l=0 |al ||bk−l | ≤ sup |br | r∈N0 X ∞ l=0 |al | ≤ C < ∞, k ∈ N0 . Aufgrund der Beschränktheit von ck , k ∈ N0 , ist b c durch (A.1) wohldefiniert. A.1.7 b c(µ) = ∞ X k=0 ck µk = ∞ X k=0 µk X k l=0 al bk−l = ∞ X l=0 al µl ∞ X k=l | {z } ∞ X m = bm µ A.1.8Vgl. [7], Chapter 2, Lemma 5.1. A.1.9D.h., falls P∞ |a | < ∞. k=0 bk−l µk−l = b a(µ)b b(µ), k 14. Februar 2013 m=0 0 ≤ µ < 1. 82 symmetrische Irrfahrt in Z3 , bzw. in Z10 transient ist. Insbesondere wird das Tran” sienzverhalten“ in Zd , d = 3, 4, . . . , mit wachsendem d immer ausgeprägter A.1.10. 700 600 500 |X| 400 300 200 100 0 0 20000 40000 60000 80000 100000 Zeit Abbildung A.1.13. Betrag der symmetrischen Irrfahrt in Z2 . 4 Simulationen bis zum Zeitpunkt 100000. A.1.10Durch die Simulationen in den Abbildungen A.1.13 - A.1.15 werden die Resultate in den Beispielen 2.37, 2.39 und 2.40 illustriert. 14. Februar 2013 83 250 200 |X| 150 100 50 0 0 2000 4000 6000 8000 10000 Zeit Abbildung A.1.14. Betrag der symmetrischen Irrfahrt in Z3 . 10 Simulationen bis zum Zeitpunkt 10000. 500 450 400 350 |X| 300 250 200 150 100 50 0 0 2000 4000 6000 8000 Zeit Abbildung A.1.15. Betrag der symmetrischen Irrfahrt in Z10 . 2 Simulationen bis zum Zeitpunkt 10000. 14. Februar 2013 10000 Literaturverzeichnis [1] M. Abramowitz, I.A. Stegun: Handbook of Mathematical Functions (Ninth Printing). Dover Publications, 1972. [2] R. Durrett. Probability: Theory and Examples, 2nd Edition. Duxbury Press, 1996. [3] F. Erwe. Differential- und Integralrechnung, Band 1. Bibliographisches Institut, 1973. [4] G. Grimmett, D. Stirzaker. Probability and Random Processes, 3rd Edition. Oxford University Press, 2003. [5] C. Hesse. Angewandte Wahrscheinlichkeitstheorie. Vieweg 2003. [6] O. Kallenberg. Foundations of Modern Probability, 2nd Edition. Springer, 2002. [7] S. Karlin, H.M. Taylor. A First Course in Stochastic Processes (Second Edition). Academic Press, 1975. [8] S. Karlin, H.M. Taylor. A Second Course in Stochastic Processes. Academic Press, 1981. [9] M. Löwe. Mathematische Statistische Mechanik. Skript, Institut für Mathematische Statistik, Universität Münster (http://www.math.uni-muenster.de/statistik/loewe/statmech.pdf). [10] M. Matsumoto, T. Nishimura. Mersenne twister: a 623-dimensionally equidistributed uniform pseudo-random number generator. ACM Transactions on Modeling and Computer Simulation 8 (Special issue on uniform random number generation), 3 - 30, 1998. [11] H. Niederreiter. Random Number Generation and Quasi-Monte-Carlo-Methods. SIAM, CBMS-NSF Regional Conference Series in Applied Mathematics 63, 1992. [12] D. Revuz, M. Yor. Continuous Martingales and Brownian Motion (Third Edition). Springer Verlag, 1999. [13] W. Walter. Gewöhnliche Differentialgleichungen. Springer 1972. 85