Einführung in die Wahrscheinlichkeitstheorie und die Statistik.

Einführung in die
Wahrscheinlichkeitstheorie und die Statistik
Sommersemester 2009
Vorläufige Version
29. September 2009
Karl Oelschläger
Institut für Angewandte Mathematik
Universität Heidelberg
1
Inhaltsverzeichnis
Kapitel 1. Einleitung und Überblick
1.1. Konzepte und Methoden in Wahrscheinlichkeitstheorie und Statistik
1.1.1. Einfache Modellannahmen
1.1.2. Ein wahrscheinlichkeitstheoretisches Modell
1.1.3. Wahrscheinlichkeitstheoretische Untersuchungen
1.1.4. Ein statistisches Modell
1.1.5. Statistische Untersuchungen
1.1.6. Zusammenfassung und Ausblick
1.2. Geschichte der Wahrscheinlichkeitstheorie und der Statistik
7
8
8
9
12
15
16
18
18
Kapitel 2. Wahrscheinlichkeitsräume
2.1. Elementare wahrscheinlichkeitstheoretische Modelle
2.1.1. Wurf einer fairen Münze
2.1.2. Wurf einer unfairen Münze
2.1.3. Wurf eines fairen Würfels
2.1.4. Wurf eines unfairen Würfels
2.1.5. Mehrmaliger, unabhängiger Wurf einer fairen Münze
2.1.6. Mehrmaliger, unabhängiger Wurf einer unfairen Münze
2.2. Diskrete Wahrscheinlichkeitsmaße
2.3. Konsequenzen aus den Kolmogorovschen Axiomen
2.3.1. Weitere Eigenschaften von σ-Algebren
2.3.2. Weitere Eigenschaften von Wahrscheinlichkeitsmaßen
2.4. Konstruktion von σ-Algebren und Wahrscheinlichkeitsmaßen
2.4.1. Gleichverteilung auf [0, 1]
2.4.2. ∞-facher, unabhängiger Münzwurf
2.4.3. Lebesguemaß in Rd , d = 1, 2, . . .
2.5. Satz von Vitali
2.6. Wahrscheinlichkeitsmaße mit einer Dichte bzgl. des Lebesguemaßes
2.6.1. Anwendung“ der Gleichverteilung
”
2.7. Poissonapproximation der Binomialverteilung
2.7.1. Anwendung der Poissonapproximation
21
22
22
23
23
23
24
24
25
27
28
28
29
30
31
33
34
35
37
38
39
Kapitel 3. Zufallsvariablen
3.1. Verteilung von Zufallsvariablen
3.1.1. Konstruktion und Simulation diskreter Zufallsvariablen
3.2. Familien von Zufallsvariablen und deren gemeinsame Verteilung
3.2.1. Gemeinsame Verteilung endlich vieler diskreter Zufallsvariablen
3.2.2. Unabhängige Zufallsvariablen mit einer Dichte
3.2.3. Unabhängigkeit von Ereignissen
3.2.4. Verteilung von Summen unabhängiger Zufallsvariablen
3.2.5. Gleichheitsbegriffe für Zufallsvariablen
3.3. Verteilungsfunktionen reellwertiger Zufallsvariablen
3.3.1. Eigenschaften von Verteilungsfunktionen
3.3.2. Beispiele für Verteilungsfunktionen
41
42
44
46
48
50
52
53
55
56
56
58
3
4
3.3.3. Simulation einer Folge von i.i.d. Zufallsvariablen mit einer Dichte
3.3.4. Quantile reellwertiger Zufallsvariablen
3.4. Stochastische Prozesse
3.4.1. Stationäre stochastische Prozesse
3.5. Wahrscheinlichkeitsräume und Zufallsvariablen in der Modellbildung
Kapitel
4.1.
4.2.
4.3.
4. Schätztheorie
Statistische Modelle
Maximum-Likelihood-Schätzer
Konfidenzbereiche
60
61
63
64
65
67
67
68
73
Kapitel 5. Laplacesche Wahrscheinlichkeitsräume und Kombinatorik
5.1. Urnenmodelle
5.1.1. Darstellung der Mengen Wk (N, n), k = 1, . . . , 4
5.1.2. Berechnung von |Wk (N, n)|, k = 1, . . . , 4
5.2. Anwendungen von Urnenmodellen
5.3. Eine Alternative zu den Urnenmodellen
5.4. Multinomialverteilung und hypergeometrische Verteilung
77
78
78
79
81
85
86
Kapitel 6. Erwartungswert und Varianz
6.1. Erwartungswert für diskrete Zufallsvariablen
6.2. Eigenschaften der Abbildung X → E[X]
6.3. Erwartungswert für allgemeine, reellwertige Zufallsvariablen
6.4. Varianz und verwandte Begriffe
6.4.1. Rechenregeln für Varianz und Kovarianz
6.5. Beispiele zum Erwartungswert und zur Varianz
6.6. Erwartungstreue Schätzer
6.6.1. Mittlerer quadratischer Fehler eines Schätzers
6.7. Elementare Ungleichungen in der Wahrscheinlichkeitstheorie
6.8. Konvergenzbegriffe in der Wahrscheinlichkeitstheorie
91
91
92
95
99
102
103
106
108
110
110
Kapitel 7. Gesetz der großen Zahlen
7.1. Ein schwaches Gesetz der großen Zahlen
7.2. Anwendungen des schwachen Gesetzes der großen Zahlen
7.2.1. Monte-Carlo-Integration
7.2.2. Bernstein-Polynome und der Approximationssatz von Weierstraß
113
113
114
114
115
Kapitel 8. Bedingte Wahrscheinlichkeiten
8.1. Bestimmung bedingter Wahrscheinlichkeiten
8.1.1. Rechenregeln für bedingte Wahrscheinlichkeiten
8.2. Markovketten
8.3. Modellbildung mit Markovketten
119
120
122
125
128
Kapitel
9.1.
9.2.
9.3.
9.4.
9.5.
133
133
135
137
139
139
9. Zentraler Grenzwertsatz
Konvergenzgeschwindigkeit beim Gesetz der großen Zahlen
Eigenschaften charakteristischer Funktionen
Zentraler Grenzwertsatz für i.i.d. Zufallsvariablen
Lokale Normalapproximation
Bestimmung von Konfidenzintervallen
Anhang
A.1. Ergänzungen zu Kapitel 1
A.1.1. Deskriptive Statistik
143
143
143
Literaturverzeichnis
149
29. September 2009
5
Anmerkungen zu den Fußnoten
Die folgenden Seiten enthalten zahlreiche Fußnoten.
Diese Fußnoten enthalten:
• Querverweise, Referenzen,
• Ergänzungen,
• Präzisierungen,
• Hinweise auf weiterführende Resultate oder Begriffe,
• Beweise und
• Definitionen.
Sie sind gedacht
• nicht als Haupttext,
• aber als Hilfestellung zum Verständnis des Haupttextes,
• zur Verdeutlichung von Verbindungen innerhalb der Vorlesung und
• für Ausblicke auf Resultate im späteren Verlauf der Vorlesung, bzw. in
weiterführenden Veranstaltungen.
29. September 2009
KAPITEL 1
Einleitung und Überblick
Die Wahrscheinlichkeitstheorie und die Statistik, die gelegentlich auch unter
dem Namen Stochastik 1.1 zusammengefaßt werden, sind Disziplinen der Mathematik, die der Beschreibung und der Untersuchung von Gesetzmäßigkeiten, die durch
den 1.2 Zufall“ beeinflußt werden, gewidmet sind.
”
Beispiel 1.1 (Gesetzmäßigkeit in einem zufälligen Geschehen). Eine sehr oft
geworfene faire Münze zeigt in etwa der Hälfte aller Fälle Kopf“. Diese Gesetz”
mäßigkeit wird im sog. Gesetz der großen Zahlen, einem zentralen Resultat der
1.3
Wahrscheinlichkeitstheorie, mathematisch gefaßt .
Beispiel 1.2 (Auswertung zufälliger Beobachtungen). Eine nicht notwendigerweise faire Münze werde mehrmals geworfen. Mit Hilfe der konkreten Wurfergebnisse soll entschieden werden, ob
• die Münze fair ist, bzw.
• wie groß die Wahrscheinlichkeit 1.4 p ist, daß bei einem einzigen Wurf
Zahl“ erscheint 1.5.
”
Methoden zur Beantwortung solcher Fragen werden durch die Statistik bereitgestellt. Beispielsweise können Schätzer oder Konfidenzintervalle für p bestimmt werden. Es besteht auch die Möglichkeit, durch einen Test zu prüfen, ob die Münze
fair ist 1.6.
Beispiel 1.3 (Zufälliges Geschehen ohne eine erkennbare Gesetzmäßigkeit). 1.7
Öffentliche Diskussionsbeiträge von Politikern und Funktionären zur Steuer- oder
1.1In der Einleitung zu [5] findet sich eine Deutung des Wortes Stochastik aus Ursprüngen
im Altgriechischen.
1.2Ein fundamentaler Beitrag der Wahrscheinlichkeitstheorie ist insbesondere eine Beantwortung der Frage, wie Zufall“ mathematisch überhaupt beschrieben werden soll. Die Antwort wird
”
durch die Kolmogorovschen Axiome gegeben.
1.3Das Gesetz der großen Zahlen exisitiert in vielen Variationen. Im vorliegenden Fall beschreibt es die Asymptotik bei Wurfanzahl N → ∞ der relativen Anzahl von Kopf“, d.h. des
”
Quotienten Anzahl von Kopf“/N . Insbesondere wird die Konvergenz dieses Quotienten gegen
”
seinen Erwartungswert, der bei einer fairen Münze 1/2 ist, festgehalten.
Eine vergleichbar grundlegende Bedeutung hat der Zentrale Grenzwertsatz, der im Zusammenhang dieses Beispiels die Asymptotik der zufälligen√Fluktuationen der relativen Anzahl
von Kopf“ um den Erwartungswert 1/2, d.h. genauer von N ((Anzahl von Kopf“/N ) − 1/2),
”
”
charakterisiert.
1.4Dieser zentrale Begriff ist zunächst formal zu verstehen. Später wird genauer erläutert
werden, wie Ereignissen gewisse Wahrscheinlichkeiten ∈ [0, 1] zugeordnet werden. Es gilt: Ein
Ereignis mit Wahrscheinlichkeit 0 tritt (fast) sicher nicht ein, ein Ereignis mit Wahrscheinlichkeit 1 tritt (fast) sicher ein, allgemein tritt ein Ereignis mit größerer Sicherheit ein, je höher seine
Wahrscheinlichkeit ist.
1.5Die zu bestimmende Wahrscheinlichkeit ist 1/2, falls die Münze fair ist.
1.6Die Begriffe Schätzer, Konfidenzintervall und Test sind in der Statistik grundlegend. Sie
beschreiben spezielle Methoden, beobachtete Daten auszuwerten.
1.7Solche Phänomene werden in der Stochastik nicht behandelt.
7
8
Rentengesetzgebung sind gelegentlich durch unkalkulierbare Einflüsse wie Wahlkampfvorbereitungen, Profilierungssucht, Lobbytätigkeit, . . . bestimmt. Eine Bearbeitung derartiger Äußerungen mit Methoden der Stochastik scheint nicht möglich
zu sein.
Mathematische Gesetzmäßigkeiten z.B. in der Natur, der Technik oder der
Wirtschaft 1.8 werden mit Hilfe von Modellen formuliert 1.9 und untersucht 1.10.
Daher ist das zentrale Thema dieser Vorlesung die Bildung und Untersuchung von
Modellen in der Wahrscheinlichkeitstheorie und der Statistik 1.11.
1.1. Konzepte und Methoden in Wahrscheinlichkeitstheorie und
Statistik
Im Rahmen einer speziellen Anwendung werden in diesem Abschnitt 1.1 einige
typische Fragestellungen und übliche Vorgehensweisen in der Wahrscheinlichkeitstheorie und der Statistik erläutert.
Es sei angenommen, daß in einem Industriebetrieb N gleichartige Produktionsstücke 1.12 zufällig ausgewählt und auf ihre Fehlerfreiheit getestet werden.
• Zunächst soll die Gesamtheit der möglichen Prüfungsdaten für die verschiedenen Produktionsstücke, d.h. die Struktur und die Eigenschaften
dieser Daten, analysiert werden 1.13.
• Weiterhin soll untersucht werden, wie aus konkreten Prüfungsergebnissen
Rückschlüsse auf die Verarbeitungsqualität des Betriebs gezogen werden
können 1.14.
1.1.1. Einfache Modellannahmen. 1.15 Es sei angenommen, daß
(i) ein einzelnes Produktionsstück mit einer vorerst noch unbekannten Wahrscheinlichkeit p ∈ [0, 1] fehlerhaft ist 1.16, und daß
(ii) die Qualitätseigenschaften der jeweiligen Produktionsstücke voneinander
unabhängig 1.17 sind.
1.8Dies betrifft alle Arten von Anwendungen, auch solche in denen kein Zufall involviert ist.
1.9Bei der Formulierung eines Modells werden alle bekannten, für wichtig erachteten Merkma-
le der jeweiligen Anwendung mathematisch formuliert. Vermeintlich unwesentliche Details werden
ignoriert, wie z.B. bei der Modellierung des Wurfs eines Würfels dessen Farbe.
1.10Nicht offensichtliche, sich als Konsequenzen spezieller Voraussetzungen, bzw. Modellannahmen ergebende Eigenschaften werden bewiesen.
1.11Eine mathematische Behandlung von Beispiel 1.3 scheitert an der Schwierigkeit, bzw.
Unmöglichkeit ein vernünftiges Modell für die angesprochenen Äußerungen zu entwerfen.
1.12Je nach Branche könnten dies Glühlampen, Speicherchips oder auch PKW’s sein.
1.13In diesem Kontext werden insbesondere Methoden der Wahrscheinlichkeitstheorie angewandt.
1.14Bei diesem Vorhaben kommen Methoden der Statistik zur Geltung.
1.15Mathematische Modelle gehen immer von Annahmen aus, die plausibel, widerspruchsfrei
und mit der zugrundeliegenden Realität verträglich sein sollen. Zur Klärung der Frage, ob diese
Annahmen ausreichend sind oder aber verändert bzw. ergänzt werden sollten, müssen vorhandene
Daten und Fakten berücksichtigt, evtl. weitere Messungen und Experimente vorgenommen und
auch die mathematischen Konsequenzen des Modells mit der Realität verglichen werden.
1.16Mit dieser Annahme wird u.a. auch zum Ausdruck gebracht, daß die Qualität des Herstellungsprozesses keinen systematischen Schwankungen unterliegt: Jedes Produktionsstück besitzt
die gleiche Chance“, fehlerfrei zu sein.
”1.17
Der Begriff der Unabhängigkeit, der in der Umgangssprache eine klare Bedeutung hat,
bzw. seine mathematisch präzisierte Formulierung wird in der Stochastik außerordentlich oft verwendet. Die Unabhängigkeit von zwei Ereignissen A und B besagt, daß die Wahrscheinlichkeit,
mit der A eintritt, sich nicht ändert, wenn bekannt wird, daß B eingetreten ist.
Hier beschreibt die Unabhängigkeit der . . . Produktionsstücke“ eine gewisse Optimalität“
”
”
des Herstellungsprozesses: Auch wenn ein defektes Produktionsstück gefunden wird, so hat dennoch das nächste wieder alle Chancen“, fehlerfrei zu sein.
”
29. September 2009
9
Bemerkung. Völlig analoge Modellannahmen machen auch in anderen Situationen einen Sinn, z.B. bei Alkoholkontrollen im Straßenverkehr, beim Prüfen
der Wirksamkeit eines neuen Medikaments durch seine Verabreichung an Testpersonen oder bei der Untersuchung von Schlachtvieh auf spezielle Krankheiten. In
diesen Fällen wären die Produktionsstücke durch Autofahrer, Testpersonen, bzw.
Schlachttiere zu ersetzen. Außerdem wäre dann p die Wahrscheinlichkeit für einen
festgestellten Alkoholkonsum, eine positive Wirkung des Medikaments, bzw. das
Vorliegen einer Erkrankung 1.18.
Die Modellannahmen (i) und (ii) kann man zunächst
• innerhalb der Wahrscheinlichkeitstheorie in ein mathematisches Modell
der Gesamtheit der möglichen Prüfungsdaten für die verschiedenen Produktionsstücke umsetzen. Für dieses wahrscheinlichkeitstheoretische Modell lassen sich mathematische Resultate herleiten, beispielsweise über Erwartungswerte oder die Asymptotik bei N → ∞ 1.19. Aufbauend auf dem
wahrscheinlichkeitstheoretischen Modell und den hierzu gewonnenen Erkenntnissen kann in einem weiteren Schritt
• innerhalb der Statistik 1.20 ein mathematisches Modell zur Auswertung
real vorliegender Prüfungsergebnisse entwickelt werden. Im Rahmen dieses
statistischen Modells können z.B. Verfahren erarbeitet werden, die eine
Schätzung des wahren“ Parameters p = pw 1.21 aus konkret erhobenen
”
Daten 1.22 ermöglichen.
1.1.2. Ein wahrscheinlichkeitstheoretisches Modell. Die Annahmen (i)
und (ii) in Abschnitt 1.1.1 können in einer mathematischen Struktur (ΩN , FN , PN,p )
zusammengefaßt werden 1.23:
• ΩN = {0, 1}N = (ω1 , ω2 , . . . , ωN ) : ωk ∈ {0, 1}, k = 1, . . . , N beschreibt die Menge der möglichen Stichproben. ωk = 1, bzw. ωk = 0,
bedeutet, daß das k-te Produktionsstück 1.24 defekt, bzw. nicht defekt
ist. ΩN wird Stichprobenraum genannt.
• Die Menge 1.25 FN = {A : A ⊆ ΩN } = Pot(ΩN ) beschreibt die Familie
aller Ereignisse. Beispielsweise sind
N
X
ωi = r , r = 0, . . . , N,
(1.1)
Ar = ω ∈ ΩN :
i=1
1.18Um alle diese möglichen unterschiedlichen Situationen gleichzeitig behandeln zu können
und um irrelevante, spezielle Details aus dem Blickfeld zu drängen, wird in der Stochastik oft
der mehrmalige, unabhängige Wurf einer Münze betrachtet, die mit Wahrscheinlichkeit p Zahl“
”
zeigt. Wenn p = 1/2 ist, nennt man diese Münze fair, sonst wird sie als unfair bezeichnet.
1.19In jenen Überlegungen nimmt die Fehlerwahrscheinlichkeit p einen fest vorgegebenen
Wert an.
1.20Genaugenommen ist hier die mathematische, induktive oder schließende Statistik gemeint. Im Gegensatz dazu werden in der deskriptiven, beschreibenden oder empirischen Statistik
die Prüfungsdaten nur geeignet zusammengefaßt, beispielsweise in graphischen Darstellungen oder
Kennzahlen.
1.21Hiermit ist dasjenige p gemeint, das dem speziellen Produktionsprozeß, für den die
Prüfungen durchgeführt werden, zugeordnet ist.
1.22
D.h. aus den Prüfungsergebnissen für N ausgewählte Produktionsstücke.
1.23Mit der Struktur (Ω , F , P
N
N
N,p ) und den Eigenschaften ihrer Komponenten werden auf
eine elementare Weise die Kolmogorovschen Axiome erfüllt. Insbesondere erlaubt diese Struktur,
ein sog. Wahrscheinlichkeitsraum, die Modellannahmen (i) und (ii) aus Abschnitt 1.1.1 und die
dadurch ausgedrückten Zufallsmechanismen“ im Rahmen der Mathematik zu realisieren.
”
1.24Hier wird implizit
angenommen, daß die Produktionsstücke durchnumeriert werden.
1.25Pot(S) bezeichnet die Potenzmenge, d.h. die Menge aller Teilmengen einer Menge S.
29. September 2009
10
(1.2)
(1.3)
die Ereignisse, daß jeweils genau r der getesteten Produktionsstücke defekt
sind 1.26.
• Jedem Ereignis A ∈ FN wird durch PN,p [A] ∈ [0, 1] seine Wahrscheinlichkeit zugeordnet 1.27. In Übereinstimmung mit der Modellannahme (i)
wird beispielsweise
PN,p {ω ∈ ΩN : ωi = 1} = p,
PN,p {ω ∈ ΩN : ωi = 0} = 1 − p, i = 1, . . . , N,
festgesetzt. Weiterhin ist
"
PN,p [Ar ] = PN,p
[
ω∈Ar
wobei
(1.4)
PN,p [{ω}] =
1.29
{ω} =
N
Y
i=1
= p
#
PN
1.28
PN,p [{ω}],
ω∈Ar
pωi (1 − p)1−ωi
|
{z
}
(
p,
falls ωi = 1,
=
1 − p, falls ωi = 0,
i=1
ωi
(1 − p)N −
= pr (1 − p)N −r ,
(1.5)
X
PN
i=1
ωi
ω ∈ Ar .
Es gibt Nr Möglichkeiten für die Einordnung“ von r defekten Produk
”
tionsstücken in die Folge aller N Produktionsstücke, d.h. 1.30 |Ar | = Nr .
Mit (1.3) und (1.4) folgt daher
N r
PN,p [Ar ] =
p (1 − p)N −r , r = 0, . . . , N.
r
1.26In einer anderen Sprechweise ist A das Ereignis, daß die gezogene Stichprobe genau r
r
”
defekte Produktionsstücke umfaßt“.
1.27Bei einem festen N hängt die Wahrscheinlichkeit eines Ereignisses von dem innerhalb
dieses wahrscheinlichkeitstheoretischen Modells als zwar fest, aber beliebig betrachteten Parameter
p ab. ΩN und FN hingegen sind von p unabhängig.
1.28Die Wahrscheinlichkeiten disjunkter Mengen addieren sich, d.h., wenn Ereignisse A und
B aufgrund von A ∩ B = ∅ sich gegenseitig ausschließen, gilt
(∗)
PN,p [A oder B] = PN,p [A ∪ B] = PN,p [A] + PN,p [B].
Somit addieren sich in diesem Fall die Einzelwahrscheinlichkeiten. Die Beziehung (∗) entspricht der
Anschauung, d.h., dem intuitiven Verständnis des Begriffs Wahrscheinlichkeit“. Im Rahmen der
”
Wahrscheinlichkeitstheorie wird (∗) als ein Bestandteil der Kolmogorovschen Axiome gefordert.
Im konkreten
hier¯betrachteten Fall muß berücksichtigt werden, daß Ar aus den disjunkten
˘
Mengen {ω} : ω ∈ Ar besteht.
1.29Da nach der Modellannahme (ii) die Qualitätseigenschaften der Produktionsstücke unabhängig sind, gilt z.B.
PN,p [1. Produktionsstück defekt, 2. Produktionsstück nicht defekt]
= PN,p [{ω ∈ ΩN : ω1 = 1, ω2 = 0}]
= PN,p [{ω ∈ ΩN : ω1 = 1} ∩ {ω ∈ ΩN : ω2 = 0}] = p(1 − p).
Wenn allgemein zwei Ereignisse A und B unabhängig sind, gilt die Beziehung
(∗1 )
PN,p [A und B] = PN,p [A ∩ B] = PN,p [A]PN,p [B],
d.h. die Einzelwahrscheinlichkeiten werden multipliziert. (∗1 ) entspricht der Anschauung, d.h.,
dem intuitiven Verständnis von Unabhängigkeit“. Im Rahmen der Wahrscheinlichkeitstheorie
”
wird (∗1 ) als Definition der Unabhängigkeit von zwei Ereignissen benutzt, vgl. (3.16).
1.30Mit |M | wird die Mächtigkeit einer endlichen Menge M bezeichnet.
29. September 2009
11
Somit ist die Anzahl der defekten Produktionsstücke binomialverteilt mit
den Parametern N und p 1.31.
Die nun konstruierte Struktur (ΩN , FN , PN,p ) ist ein einfaches Beispiel eines
Wahrscheinlichkeitsraums. Mit ihm liegt ein wahrscheinlichkeitstheoretisches Modell für die hier behandelte Qualitätsprüfung von Produktionsstücken vor 1.32.
Mit dem Wahrscheinlichkeitsraum (ΩN , FN , PN,p ) sind auch Zufallsvariablen,
d.h. gewisse reellwertige Funktionen auf ΩN , gegeben 1.33, wie z.B.:
• Yi : ΩN → R, i = 1, . . . , N , mit
(1.6)
Yi (ω) = ωi ,
ω = (ω1 , . . . , ωN ) ∈ ΩN , i = 1, . . . , N.
Yi gibt das Testergebnis für das i-te Produktionsstück an
• ZN : ΩN → R mit
(1.7)
ZN (ω) =
N
1 X
ω i , ω ∈ ΩN ,
N i=1
d.h., ZN =
1.34
.
N
1 X
Yi .
N i=1
ZN gibt die relative Anzahl defekter Produktionsstücke an.
• TN : ΩN → R mit
TN (ω) =
(
inf i ∈ {1, ..., N } : ωi = 1 ,
N + 1,
TN modelliert den Zeitpunkt
Produktionsstücks.
1.35
PN
falls
i=1 ωi > 0,
sonst,
ω ∈ ΩN .
der ersten Beobachtung eines defekten
1.31Die Binomialverteilung ist eine der klassischen Wahrscheinlichlichkeitsmaße oder -ver-
teilungen, die in der Stochastik häufig betrachtet werden.
1.32Nach der axiomatischen Begründung der Wahrscheinlichkeitstheorie u.a. durch A.N.
Kolmogorov liegt jedem wahrscheinlichkeitstheoretischen Modell ein Wahrscheinlichkeitsraum zugrunde. Für einen allgemeinen Wahrscheinlichkeitsraum (Ω, F, P) ist nach den Kolmogorovschen
Axiomen Ω eine Menge, F eine σ-Algebra bestehend aus der Menge aller Ereignisse, d.h. einer
geeigneten Menge von Teilmengen von Ω, und P ein Wahrscheinlichkeitsmaß, das jedem A ∈ F
eine Wahrscheinlichkeit P[A] ∈ [0, 1] zuweist. Ein Wahrscheinlichkeitsraum kann auch betrachtet
werden als ein meßbarer Raum (Ω, F), der durch ein Wahrscheinlichkeitsmaß eine Gewichtung der
meßbaren Mengen F erfährt.
Im allgemeinen ist F 6= Pot(Ω), da andernfalls eine vernünftige Definition von P nicht möglich
zu sein braucht, vgl. [5], Satz (1.5).
1.33Allgemein müssen diese Funktionen meßbar sein und damit eine in der Stochastik übliche
Minimalforderung für Funktionen erfüllen. Da im vorliegenden Fall die σ-Algebra FN alle Teilmengen von ΩN umfaßt, sind automatisch alle reellwertigen Funktionen auf ΩN meßbar.
1.34Wenn man die Zufallsvariablen Y , i = 1, . . . , N , als eine Gesamtheit (Y )
i
i i=1,...,N betrachtet, erhält man ein einfaches Beispiel eines stochastischen Prozesses.
Im allgemeinen sind stochastische Prozesse (Yt )t∈T Familien Yt , t ∈ T, von Zufallsvariablen,
die durch eine Menge T ⊆ R indiziert sind, welche als ein Bereich von Zeitpunkten betrachtet
werden kann. Stochastische Prozesse dienen u.a. der Modellierung dynamischer, vom Zufall beeinflußter Vorgänge.
1.35Es sei angenommen, daß die Tests in aufeinanderfolgenden Zeitpunkten durchgeführt
werden. Aufgrund von (1.6) ist in diesem Zusammenhang die Identifizierung der Folge der Zufallsvariablen Yi , i = 1, . . . , N , mit dem stochastischen Prozeß (Yi )i=1,...,N naheliegend, vgl.
Fußnote 1.34.
29. September 2009
12
Solche Zufallsvariablen können als Darstellungen von Verfahren zur Erhebung
von Daten betrachtet werden 1.36 1.37. Vor allem auch durch das Studium von Zufallsvariablen kann das durch (ΩN , FN , PN,p ) gegebene wahrscheinlichkeitstheoretische
Modell genauer untersucht werden 1.38.
1.1.3. Wahrscheinlichkeitstheoretische Untersuchungen. In der Wahrscheinlichkeitstheorie werden primär für einen gegebenen Wahrscheinlichkeitsraum
darauf definierte Zufallsvariablen mathematisch studiert 1.39. Detaillierte Überlegungen, die reale Meßwerte einschließen, treten in den Hintergrund.
Für das in Abschnitt 1.1.2 beschriebene Modell können in der Wahrscheinlichkeitstheorie beispielsweise Kenngrößen wie Erwartungswerte oder Varianzen spezieller auf dem Wahrscheinlichkeitsraum (ΩN , FN , PN,p ) definierter Zufallsvariablen
berechnet werden. Man kann auch die Fälle N → ∞ und / oder p → 0 betrachten
und Resultate ableiten, die das asymptotische Verhalten charakterisieren. Insbesondere werden in den folgenden Beispielen 1.4 - 1.7 die Zufallsvariablen 1.40 ZN
untersucht.
Beispiel 1.4 (Erwartungswert). Allgemein ist der Erwartungswert E[X] einer
reellwertigen Zufallsvariable X definiert als ein gewichtetes Mittel über den Wertebereich von X. Die Gewichte sind hierbei gegeben durch die Wahrscheinlichkeiten,
mit der die jeweiligen Werte von X angenommen werden, d.h. durch die Verteilung
von X 1.41 1.42 1.43.
(1.8)
EN,p [ZN ] =
N
hn
X
k
k oi
PN,p ω ∈ ΩN : ZN (ω) =
N |
N }
{z
k=0
= 1.44 PN,p [ZN = k/N ]
=
1.45
=
1.46
N
1 X
kPN,p [Ak ]
N
k=0
N
N
1 X
pk (1 − p)N −k
k
N
k
k=1 | {z }
N −1
N!
=N
=k
k!(N − k)!
k−1
1.36
Für jede mögliche Stichprobe ω ∈ ΩN ist z.B. mit ZN (ω) die relative Anzahl der defekten
Produktionsstücke gegeben.
1.37
Im mathematischen Gebiet der Statistik werden Zufallsvariablen auch als Statistiken
bezeichnet.
1.38Aus diesem Grund ist es auch sinnvoll, alle oder zumindest eine als wichtig erachtete
Familie von Zufallsvariablen zusammen mit dem Wahrscheinlichkeitsraum (ΩN , FN , PN,p ) als
wahrscheinlichkeitstheoretisches Modell zu bezeichnen.
1.39
Beispielsweise werden Sätze bewiesen, Verbesserungen und Verallgemeinerungen gesucht
oder Verbindungen zu anderen Teilgebieten der Mathematik hergestellt.
1.40Vgl. (1.7).
1.41Der Erwartungswert entspricht somit dem intuitiven Begriff des Mittelwerts“.
”
1.42Der Erwartungswert existiert, wenn jenes gewichtete Mittel wohldefiniert
ist. Das ist z.B.
für integrable, bzw. für nicht-negative Zufallsvariablen der Fall.
1.43Um die zugrunde liegenden Parameter N und p, d.h. den Bezug zum Wahrscheinlichkeitsmaß PN,p hervorzuheben, wird im folgenden die Notation EN,p [. . . ] benutzt.
1.44
Dies ist eine abkürzende Schreibweise.
1.45
Vgl. (1.1). Insbesondere ist {ω ∈ ΩN : ZN (ω) = k/N } = Ak , k = 1, . . . , N .
1.46
Vgl. (1.5).
29. September 2009
13
N X
N − 1 k−1
=p
p
(1 − p)N −1−(k−1)
k−1
k=1
{z
}
|
N
−1 X
N −1 l
=
p (1−p)N −1−l = (p + (1−p))N −1 = 1
l
l=0
=
1.47
p.
Beispiel 1.5 (Varianz). Die Varianz Var(X) einer reellwertigen Zufallsvariable
X ist definiert als der Erwartungswert der quadratischen Abweichung von X von
ihrem Erwartungswert E[X]. Sie charakterisiert die Größe der Schwankungen von
X um E[X] 1.48.
(1.9)
VarN,p (ZN ) = EN,p (ZN − EN,p [ZN ])2
=
N X
k
k=0
N
= ...
=
1.49
−p
2
PN,p [ZN = k/N ]
1
p(1 − p).
N
1.47Eine einfachere Begründung von (1.8) wäre folgende:
(a) Die Zuordnung X → E[X], die jeder reellwertigen Zufallsvariable X auf einem Wahrscheinlichkeitsraum (Ω, F, P), die einen Erwartungswert besitzt, diesen Erwartungswert
E[X] zuordnet, ist ein linearer Operator, d.h. es gilt
X, Y Zufallsvariablen, α, β ∈ R.
E[αX + βY ] = αE[X] + βE[Y ],
(b) Bei Berücksichtigung von (1.7) folgt somit
EN,p [ZN ] =
N
1 X
EN,p [Yi ],
N i=1
wobei die Zufallsvariablen Yi , i = 1, . . . , N , in (1.6) eingeführt wurden.
(c) Aufgrund von (1.2) ist
EN,p [Yi ] = PN,p [Yi = 1] · 1 + PN,p [Yi = 0] · 0 = p,
i = 1, . . . , N.
(d) Zusammenfassend folgt nun
EN,p [ZN ] =
N
1 X
p = p.
N i=1
Durch wenige simple Berechnungen wie in (c) und (d) und ein allgemeines Resultat der Stochastik, genauer der Maß- und Integrationstheorie, wie in (a) erübrigen sich somit aufwendigere,
langweilige Berechnungen wie bei der obigen Herleitung von (1.8).
1.48Nicht für alle Zufallsvariablen X ist Var(X) < ∞. Eine Zufallsvariable X mit Var(X) = 0
nimmt fast-sicher nur den Wert E[X] an, d.h., X ist deterministisch.
1.49Zur Begründung von (1.9) könnte man detaillierte Berechnungen wie bei der Herleitung
von (1.8) in Beispiel 1.4 durchführen. Andererseits könnte mit Hilfe allgemeiner Zusammenhänge
der Wahrscheinlichkeitstheorie auch wie folgt argumentiert werden.
P
(a) Gemäß (1.7) ist ZN = (1/N ) N
i=1 Yi eine gewichtete Summe der Zufallsvariablen Yi ,
i = 1, . . . , N . In Übereinstimmung mit der Modellannahme (ii) in Abschnitt 1.1.1 sind
diese Zufallsvariablen (stochastisch) unabhängig.
(b) Für unabhängige Zufallsvariablen X und Y auf einem Wahrscheinlichkeitsraum
(Ω, F, P) und α, β ∈ R gilt allgemein die Beziehung:
Var(αX + βY ) = α2 Var(X) + β 2 Var(Y ).
(c) Wegen (1.2), weil EN,p [Yi ] = p, i = 1, . . . , N , vgl. Fußnote 1.47(c), und wegen der
Linearität des Operators EN,p [ . ], vgl. Fußnote 1.47(a), ergibt sich:
VarN,p (Yi ) = EN,p [(Yi − p)2 ]
29. September 2009
14
Beispiel 1.6 (Gesetz der großen Zahlen). 1.50 Die Beziehungen (1.8) und (1.9)
besagen, daß die Schwankungen der Zufallsvariablen ZN um ihren Erwartungswert
p mit wachsendem N immer kleiner werden. Mit Hilfe eines allgemeinen Resultats
aus der Wahrscheinlichkeitstheorie, der Čebyšev’schen Ungleichung 1.51
(1.10)
1
P |X − E[X]| ≥ ǫ ≤ 2 Var(X),
ǫ
X Zufallsvariable, ǫ > 0,
läßt sich diese Aussage genauer fassen. Es ergibt sich die Konvergenz von ZN gegen
p bei N → ∞ in der Form
(1.11)
1
PN,p |ZN − p| ≥ ǫ ≤ 2 VarN,p (ZN )
ǫ
1
N →∞
= 2 p(1 − p) −−−−→ 0,
ǫ N
ǫ > 0.
Das in (1.11) beschriebene Konvergenzresultat ist auch als schwaches Gesetz der
großen Zahlen bekannt 1.52 1.53.
Beispiel 1.7 (Zentraler Grenzwertsatz). Eine Präzisierung der durch (1.11)
beschriebenen Konvergenz von ZN wird durch den Zentralen Grenzwertsatz beschrieben. Während das Gesetz der großen Zahlen ohne Angabe einer KonvergenzN →∞
geschwindigkeit nur besagt, daß ZN − p −−−−→ 0 bzgl. eines geeigneten Konvergenzbegriffs, √
identifiziert der Zentrale Grenzwertsatz diese Konvergenzgeschwindigkeit
√
als ∼ 1/ N . In einer genauen Formulierung wird festgestellt, daß die mit N skalierten Fluktuationen von ZN um den Erwartungswert p für N → ∞ normalverteilt
= EN,p [Yi2 ] − 2EN,p [Yi ]p + p2 = p − p2 = p(1 − p),
i = 1, . . . , N.
(d) Zusammenfassend folgt (1.9), d.h.,
VarN,p (ZN ) =
N
N
1 X
1
1 X
p(1 − p).
VarN,p (Yi ) = 2
p(1 − p) =
2
N i=1
N i=1
N
1.50
In diesem Beispiel 1.6 ist N nicht mehr fest, sondern kann beliebige Werte in N annehmen.
Um insbesondere große N zu behandeln, wird der Grenzübergang N → ∞ diskutiert.
1.51Damit (1.10) eine brauchbare Information liefert sollte Var(X) < ∞ vorausgesetzt werden. Die Čebyšev’sche Ungleichung ist eine der vielen Ungleichungen, die in den mathematischen
Untersuchungen in der Stochastik unverzichtbar sind.
1.52Es gibt auch ein starkes Gesetz der großen Zahlen für Z , N ∈ N. Die beiden VariN
anten des Gesetzes der großen Zahlen unterscheiden sich durch den jeweils zur Feststellung der
Konvergenz von ZN gegen p verwendeten Konvergenzbegriff. Während bei der Formulierung des
schwachen Gesetzes der großen Zahlen wie in (1.11) die stochastische Konvergenz benutzt wird,
findet beim starken Gesetz der großen Zahlen die fast-sichere Konvergenz Verwendung.
Die hier genannten und auch andere Konvergenzbegriffe werden in der Maß- und Integrationstheorie genauer untersucht. U.a. werden dort die Beziehungen zwischen den unterschiedlichen
Konvergenzkonzepten verdeutlicht. So folgt beispielsweise die stochastische Konvergenz aus der
fast-sicheren. Daher impliziert das starke Gesetz der großen Zahlen das schwache, wodurch insbesondere die gewählte Namensgebung gerechtfertigt wird.
1.53
In einer allgemeineren Form wird beim Gesetz der großen Zahlen die Konvergenz
N
1 X
N→∞
Xk −−−−→ E[X1 ]
N k=1
für unabhängige, identisch verteilte, integrable Zufallsvariablen X1 , X2 , . . . festgestellt.
29. September 2009
15
sind, d.h.
(1.12)
1.54 1.55 1.56 1.57
p
N/p(1 − p)(ZN − p) ∈ [a, b]
Z b
1
dx exp(−x2 /2), a, b ∈ R, a < b.
= √
2π a
lim PN,p
N →∞
1.1.4. Ein statistisches Modell. Die Aufgabe, die Qualität des Produktionsverfahrens zu prüfen 1.58, soll nun mit Methoden der Statistik bearbeitet werden. Basierend auf dem in Abschnitt 1.1.2 eingeführten und in Abschnitt 1.1.3 untersuchten wahrscheinlichkeitstheoretischen Modell der Gesamtheit der möglichen
Prüfungsdaten für die einzelnen Produktionsstücke sei angenommen 1.59, daß
• diesem Produktionsprozeß eine wahre“, allerdings unbekannte Fehler”
wahrscheinlichkeit pw zugeordnet ist, und daß somit
• aufgrund von Qualitätskontrollen vorliegende Prüfungsergebnisse y1 , . . . ,
yN mit
(
1, falls das i-te Produktionsstück fehlerhaft ist,
yi =
i = 1, ..., N,
0, sonst,
Realisierungen 1.60 der Zufallsvariablen Yi , i = 1, . . . , N , auf dem Wahrscheinlichkeitsraum (ΩN , FN , PN,pw ) sind.
Die Aufgabe besteht nun darin, pw zu schätzen, wobei nur die empirisch bestimmten
Daten y1 , . . . , yN der Schätzung zugrundegelegt werden können.
Vor der Lösung der Aufgabe kann ein Statistiker seine Situation folgendermaßen
zusammenfassen 1.61:
1.54Die Normalverteilung N(µ, σ2 ) mit Erwartungswert µ und Varianz σ2 ist ein Wahrscheinlichkeitsmaß auf R, das einem Intervall [a, b], −∞ ≤ a < b ≤ ∞, jeweils die Wahrscheinlichkeit
R
(2πσ2 )−1/2 ab dx exp(−(x − µ)2 /2σ2 ) zuordnet. Die Verteilung N(0, 1), die auf der rechten Seite
von (1.12) auftaucht, wird als standard Normalverteilung bezeichnet.
1.55
Mit (1.12) wird ein weiterer, in der Stochastik üblicher Konvergenzbegriff vorgestellt,
nämlich die sog. Konvergenz
in Verteilung.
Diese Namensgebung wird verständlich, wenn bedacht
ˆ
˜
wird, daß die Größen P X ∈ [a, b] , a, b ∈ R, a < b, die Verteilung einer reellwertigen Zufallsvariable X kennzeichnen.
p Durch (1.12) wird festgehalten, daß bei N → ∞ die Verteilung der Zufallsvariablen
N/p(1 − p) (ZN −p) gegen die standard Normalverteilung N(0, 1), vgl. Fußnote 1.54, konvergiert.
1.56
In einer allgemeineren Form besagt der Zentrale Grenzwertsatz, daß für unabhängige,
identisch verteilte, quadratintegrable Zufallsvariablen X1 , X2 , . . . mit Varianz σ2 die Verteilung
der Zufallsvariablen
!
r
N
N
1 X
X
−
E[X
]
, N = 1, 2, . . . ,
ηN =
1
k
σ2 N k=1
bei N → ∞ gegen die standard Normalverteilung N(0, 1) konvergiert, vgl. Satz 9.2.
1.57
Als Präzisierung des Gesetzes der großen Zahlen (1.11) besagt der Zentrale Grenzwertsatz
p
N→∞
(1.12) zumindest formal, daß ZN ∼ p + p(1 − p)/N Z, wobei Z eine normalverteilte Zufallsvariable mit Erwartungswert
√ 0 und Varianz 1 ist. Insbesondere tendiert der Abstand zwischen ZN
und p bei N → ∞ wie 1/ N gegen 0.
1.58Diese Aufgabe war die Motivation für die Überlegungen dieses Abschnitts 1.1.
1.59Sobald ein mit der Lösung der Aufgabe der Qualitätsprüfung betrauter Statistiker aufgrund der Auskünfte der am Produktionsprozeß beteiligten Personen mit den Modellannahmen
(i) und (ii) in Abschnitt 1.1.1 einverstanden ist, kann er bei seinen Überlegungen das genannte
wahrscheinlichkeitstheoretische Modell akzeptieren und sich darauf verlassen.
1.60Eine Realisierung einer Zufallsvariable X auf einem Wahrscheinlichkeitsraum (Ω, F, P)
ergibt sich als X(ω) nach Auswahl eines zufälligen, dann aber als fest betrachteten ω ∈ Ω.
1.61Offensichtlich reicht nach der Prüfung einer festen Anzahl N von Produktionsstücken
zur Einschätzung der Verarbeitungsqualität, d.h. zu einer vernünftigen Schätzung pc
w von pw ,
allein die Kenntnis der Anzahl fehlerhafter Produktionsstücke. Weitere Details wie die genaue
Reihenfolge ihres Auftretens, sind nicht notwendig.
29. September 2009
16
• Es gibt eine Menge XN = {0, 1, 2, . . . , N }, die die möglichen Werte für die
Anzahl der fehlerhaften Produktionsstücke umfaßt. XN wird Stichprobenraum genannt 1.62.
• Die σ-Algebra GN = Pot(XN ) der Teilmengen von XN beschreibt die Ereignisse, auf denen der Statistiker seine Entscheidungen aufbauen kann.
• Auf dem meßbaren Raum (XN , GN ) gibt es mit (QN,p )p∈[0,1] eine Familie von Wahrscheinlichkeitsmaßen. Für eine zugrundeliegende Fehlerwahrscheinlichkeit p beschreibt QN,p die zugehörige Wahrscheinlichkeitsverteilung der Anzahl fehlerhafter Produktionsstücke bei N Stichproben. Aufgrund von (1.5) gilt
(1.13)
QN,p = B(N, p),
p ∈ [0, 1],
wobei B(N, p) die Binomialverteilung mit den Parametern N und p ist.
Die Struktur (XN , GN , (QN,p )p∈[0,1] ) ist ein Beispiel eines statistischen Modells 1.63. In jeder Anwendungssituation ist die Bestimmung eines derartigen Modells die erste Aufgabe eines Statistikers. Seine mathematischen Überlegungen kann
er dann im Rahmen dieses Modells ausführen.
1.1.5. Statistische Untersuchungen. 1.64 In der Realität sind die Ziele und
die Methoden statistischer Überlegungen stark von der konkreten Anwendungssituation abhängig. Für den vorliegenden Fall der Prüfung der Verarbeitungsqualität
sollen zwei typische Fragestellungen und ihre jeweilige Lösung durch Methoden der
Statistik vorgestellt werden.
Beispiel 1.8 (Maximum-Likelihood-Schätzer). Ein mögliches Verfahren zur
Bestimmung eines Schätzers 1.65 pc
w für pw basiert auf dem sog. Maximum-Likelihood-Prinzip: Für eine beobachtete Anzahl x fehlerhafter Produktionsstücke wird
pc
w dadurch charakterisiert, daß unter der zugehörigen Verteilung, d.h. unter der
Binomialverteilung 1.66 QN,b
c
w ), jener Wert x die maximale Wahrscheinpw = B(N, p
1.67
1.68
lichkeit hat
. pc
w löst somit
N x
N
x
N −x
(1.14)
p (1 − p)N −x .
(1
−
p
c
)
=
sup
pc
w
w
x
x
p∈[0,1]
1.62In der hier betrachteten speziellen Situation, in der nicht das detaillierte Ergebnis der
Prüfung von N Produktionsstücken, sondern nur die Anzahl der fehlerhaften Teile von Interesse
ist, wird es sinnvoll, mit XN einen Stichprobenraum zu wählen, der übersichtlicher“ ist als der
”
in den Abschnitten 1.1.2 und 1.1.3 benutzte Stichprobenraum ΩN .
1.63Genaugenommen liegt hier ein parametrisches Modell mit dem Parameterbereich Θ =
[0, 1] vor. Θ kennzeichnet die unterschiedlichen Wahrscheinlichkeitsverteilungen QN,p , p ∈ [0, 1],
die als mögliche Kandidaten für die real zugrundeliegende Wahrscheinlichkeitsverteilung QN,pw
der Daten in Frage kommen.
1.64
In diesem Abschnitt sei die Anzahl N der geprüften Produktionsstücke fest.
1.65
Mit pc
w soll die wahre Fehlerwahrscheinlichkeit pw des Produktionsverfahrens geschätzt
werden.
1.66Vgl. (1.13).
1.67Unter allen möglichen p ist also der beobachtete Wert x für jenes pc am wahrscheinlichw
”
sten“.
1.68Etwas allgemeiner mit einem statistischen Modell (X, G, (Q )
p p∈Θ ), wobei X höchstens
abzählbar, G = Pot(X) und Qp , p ∈ Θ, eine Familie von Wahrscheinlichkeitsmaßen auf (X, G) sei,
ist bei einer Anwendung des Maximum-Likelihood-Prinzips zu x ∈ X eine Lösung pb = pb(x) von
(∗)
Qpb[{x}] = sup Qp [{x}]
p∈Θ
zu suchen. Für ein festes x ∈ X bezeichnet man übrigens die Funktion Θ ∋ p → Qp [{x}] = Lx (p) ∈
[0, 1] als Likelihood-Funktion zum Beobachtungswert x. Aufgrund von (∗) ist zur Bestimmung von
pb das Maximum der Likelihood-Funktion zu suchen.
29. September 2009
17
Als Maximum-Likelihood-Schätzer, d.h. als Lösung von (1.14), ergibt sich mit 1.69
x
(1.15)
pc
w =
N
die relative Anzahl der defekten Produktionsstücke in der auszuwertenden Stichprobe vom Umfang N .
Der Schätzer pc
w ist insofern zunächst unbefriedigend, als mit ihm keine Angabe
über seine Zuverlässigkeit verbunden ist.
Beispiel 1.9 (Konfidenzbereich). 1.70 Eine vertrauenswürdige, bzw. zuverlässige Schätzung für pw liegt dann vor, wenn ein möglichst kleiner sog. Konfidenzbereich angegeben wird, innerhalb dessen mit einer vorgegebenen hinreichend
”
großen Sicherheit“ 1.71 dieses pw erwartet werden kann. Eine sinnvolle Vorgehensweise besteht darin,
• zunächst ein Irrtumsniveau s ∈ (0, 1) 1.72 zu wählen und dann
• eine Zuordnung XN ∋ x → C(x) = [pu (x), po (x)] ⊆ [0, 1] zu bestimmen,
so daß für alle x das jeweilige Intervall C(x) möglichst klein ist und
• für jedes mögliche pw ∈ [0, 1] bzgl. des zugehörigen Wahrscheinlichkeitsmaßes QN,pw höchstens mit Wahrscheinlichkeit s solche x beobachtet werden, für die C(x) 6∋ pw gilt 1.73.
Wegen (1.13) sollte daher
X N (1.16)
sup
px (1 − p)N −x ≤ s
x
p∈[0,1]
x=0,1,...,N
C(x)6∋p
gelten
1.74 1.75
.
1.69Zur Lösung von (1.14) ist das Maximum der Likelihood-Funktion p → `N ´px (1−p)N−x =
x
Lx (p), bzw. in einer äquivalenten Formulierung das Maximum der Log-Likelihood-Funktion
`` ´ x
´
` ´
p → log(Lx (p)) = log N
p (1 − p)N−x = log N
+ x log(p) + (N − x) log(1 − p) = ℓx (p)
x
x
zu suchen. (1.15) ergibt sich nun aus
x
N −x
x
−
= 0 ⇐⇒ p =
,
p
1−p
N
N −x
x
< 0, p ∈ (0, 1),
ℓ′′
x (p) = − 2 −
p
(1 − p)2
ℓ′x (p) =
und
lim ℓx (p) = lim ℓx (p) = −∞.
pց0
pր1
1.70In den Überlegungen dieses Beispiels wird auf den möglichen Wunsch des Herstellers,
die Einschätzung der Verarbeitungsqualität seines Produkts mit einer Angabe der Zuverlässigkeit
jener Einschätzung zu verbinden, eingegangen.
1.71Eine derartige Phrase muß natürlich mathematisch gefaßt werden.
1.72Man könnte auch von einem Sicherheitsniveau 1 − s sprechen.
1.73Damit wären die umgangssprachlich formulierten Aussagen p 6∈ C(x) für höchstens
” w
s·100 % aller Beobachtungen x“ und pw ∈ C(x) für mindestens (1−s)·100 % aller Beobachtungen
”
x“ zutreffend. Diese Aussagen sind dann unabhängig vom genauen Wert von pw korrekt.
1.74Für C(x) = [0, 1], x ∈ X , ist (1.16) zwar erfüllt, jedoch liefert ein solcher KonfidenzbeN
reich offensichtlich keine brauchbare Information und sollte daher verkleinert werden.
1.75
In einer allgemeineren, im Rahmen eines statistischen Modells (X, G, (Qp )p∈Θ ) gewählten
Formulierung sollte die Zuordnung X ∋ x → C(x) ⊆ Θ so bestimmt werden, daß
ˆ
˜
sup Qp {x ∈ X : C(x) 6∋ p} ≤ s.
p∈Θ
29. September 2009
18
Für einen festen Beobachtungswert x und nach der Bestimmung von C(x) kann
nun der Statistiker sein Ergebnis in der folgenden Form präsentieren: Mit einer
”
Sicherheit von mindestens (1 − s) · 100 % liegt pw in dem Intervall C(x)“ 1.76.
1.1.6. Zusammenfassung und Ausblick. In der Stochastik werden Gesetzmäßigkeiten in zufälligen Vorgängen mathematisch beschrieben. Hierbei wird mit
mathematischen Modellen gearbeitet.
Im Teilgebiet der Wahrscheinlichkeitstheorie werden die Eigenschaften fest vorgegebener wahrscheinlichkeitstheoretischer Modelle studiert.
Im Teilgebiet der Statistik werden im Rahmen statistischer Modelle reale Beobachtungsdaten interpretiert.
In diesem Abschnitt 1.1 wurden u.a. folgende Begriffe, Konzepte und Resultate
der Stochastik vorgestellt 1.77:
• Wahrscheinlichkeitsraum
(Stichprobenraum, σ-Algebra der Ereignisse, Wahrscheinlichkeitsmaß)
• Zufallsvariable, Verteilung einer Zufallsvariable, stochastischer Prozeß
• Unabhängigkeit
• Erwartungswert, Varianz
• (schwaches bzw. starkes) Gesetz der großen Zahlen
• Zentraler Grenzwertsatz
• Čebyšev’sche Ungleichung
• stochastische bzw. fast-sichere Konvergenz, Konvergenz in Verteilung
• Binomialverteilung, Normalverteilung
• deskriptive und mathematische Statistik
• (parametrisches) statistisches Modell
• Maximum-Likelihood-Prinzip, Schätzer
• Konfidenzbereich
• Maß- und Integrationstheorie
Diese Begriffe spielen zentrale Rollen in den mathematischen Disziplinen Wahrscheinlichkeitstheorie und Statistik. Sie werden im weiteren Verlauf der Vorlesung
immer wieder auftauchen und dann auch mathematisch präzisiert werden.
1.2. Geschichte der Wahrscheinlichkeitstheorie und der Statistik
Um die Einordnung der Wahrscheinlichkeitstheorie und der Statistik in den
allgemeinen Rahmen der Mathematik und ihre außermathematische Bedeutung anzudeuten, werden in diesem Abschnitt 1.2 einige wenige Entwicklungsphasen und
markante Zeitpunkte festgehalten.
Antike und Mittelalter. Da völlig unklar ist, wie Begriffe wie Zufall oder Wahrscheinlichkeit mathematisch faßbar sind, kann sich noch keine Wahrscheinlichkeitstheorie entwickeln. Einzelne Abhandlungen über Glücksspiele sind
bekannt.
ca. 1655. Ein Briefwechsel zwischen B. Pascal und P. de Fermat u.a. über kombinatorische Probleme bei Glücksspielen wird als Beginn der mathematischen
Disziplin Wahrscheinlichkeitstheorie betrachtet. In einer Abhandlung ebenfalls über Glücksspiele führt Ch. Huygens den Erwartungswert ein.
ca. 1710. U.a. durch Arbeiten von J. Bernoulli (Gesetz der großen Zahlen) und A.
de Moivre (Zentraler Grenzwertsatz) gibt es Fortschritte in der elementaren“
”
Stochastik. Es entwickelt sich das Gebiet der Statistik.
1.76Die häufig umgangssprachlich verwendete Aussage
Mit einer Wahrscheinlichkeit von
”
(1 − s) · 100 % liegt pw in dem Intervall C(x)“ ist unpräzise und irreführend, da sie suggeriert,
daß pw zufällig ist, was nicht der Fall ist.
1.77
Zum Teil wurden diese Begriffe nur in Fußnoten erwähnt.
29. September 2009
19
18. und Beginn des 19. Jahrhunderts. In den mathematischen Auseinandersetzungen mit der Stochastik bleiben große Probleme mit kontinuierlichen Wahrscheinlichkeitsverteilungen bestehen. In philosphischen Überlegungen wird
u.a. von d’Alembert und P.S. Laplace versucht, den Zufall“ zu verstehen.
”
T. Bayes (bedingte Wahrscheinlichkeit) begründet die angelsächsische Schu”
le“ der mathematischen Statistik. C.F. Gauß und A.M. Legendre erarbeiten
die Methode der kleinsten Quadrate.
Ende des 19. Jahrhunderts. Die Mengenlehre (G. Cantor) und die Maß- und Integrationstheorie (E. Borel, H. Lebesgue) werden entwickelt. Sie erweisen sich
später als die Basis der modernen“ Stochastik.
”
Beginn des 20. Jahrhunderts. Vielfältige theoretische Untersuchungen und Anwendungen konvergieren“ letztendlich zum noch heute akzeptierten Gebäude“
”
”
der Wahrscheinlichkeitstheorie. Durch Arbeiten von L. Bachelier (Modellierung von Aktienkursen, 1900) und A. Einstein (Molekularbewegung, 1905)
findet mit der Brownschen Bewegung ein stochastischer Prozeß erste wichtige
Anwendungen.
1933. A.N. Kolmogorov veröffentlicht das Axiomensystem der Wahrscheinlichkeitstheorie. In den folgenden zwei Jahrzehnten sind schnelle Fortschritte möglich
(Stochastische Prozesse, Stochastische Differentialgleichungen, Martingale).
2. Hälfte des 20. Jahrhunderts. Erst durch Anwendungen von Resultaten der modernen Wahrscheinlichkeitstheorie werden viele technische oder wirtschaftliche Entwicklungen möglich, wie z.B.
• Manhattan-Projekt, Entwicklung der H-Bombe (Monte-Carlo Simulationen u.a. von S. Ulam, E. Fermi, J. v. Neumann).
• Steuerung von Satelliten und Raketen, bzw. Satellitennavigationssysteme (Kalman-Bucy Filter)
• Bestimmung des Preises für gewisse Finanzderivate (z.B. Terminkontrakte, Aktienoptionen) (u.a. Black-Scholes Modell)
29. September 2009
KAPITEL 2
Wahrscheinlichkeitsräume
Ein Wahrscheinlichkeitsraum ist ein Tripel (Ω, F, P), wobei
• Ω eine Menge,
• F eine σ-Algebra 2.1, d.h. eine spezielle Familie von Teilmengen von Ω
und
• P ein Wahrscheinlichkeitsmaß 2.3 auf (Ω, F) ist.
2.2
,
Ω heißt Stichprobenraum. Die Elemente 2.4 A ∈ F beschreiben Ereignisse, welche
durch P eine Wahrscheinlichkeit P[A] ∈ [0, 1] zugewiesen bekommen.
Während Stichprobenräume keinerlei Einschränkungen unterliegen 2.5, müssen
σ-Algebren und Wahrscheinlichkeitsmaße den im folgenden beschriebenen Kolmogorovschen Axiomen (2.1) und (2.2) genügen.
Sei Ω 6= ∅ eine Menge. Eine Familie F ⊆ Pot(Ω) heißt σ-Algebra, wenn
Ω ∈ F,
(2.1a)
(2.1b)
A∈F
(2.1c)
A1 , A2 , · · · ∈ F
Ω \ A ∈ F,
=⇒
=⇒
∞
[
k=1
Ak ∈ F.
Nun wird (Ω, F) als meßbarer Raum bezeichnet.
Im Rahmen eines wahrscheinlichkeitstheoretischen Modells lassen sich die Bedingungen (2.1) wie folgt interpretieren.
• Mit (2.1a) wird festgehalten, daß durch Ω das Ereignis irgendetwas ge”
schieht“ beschrieben wird.
• (2.1b) besagt, daß mit A auch A geschieht nicht“ ein Ereignis ist.
”
• Aufgrund von (2.1c) ist mit A1 , A2 , . . . auch A1 oder A2 oder . . .“ ein
”
Ereignis 2.6 2.7.
Für einen meßbaren Raum (Ω, F) heißt eine Funktion P : F → [0, 1] Wahrscheinlichkeitsmaß, wenn
(2.2a)
P[Ω] = 1,
2.1Die genaue Definition von σ-Algebren folgt in (2.1).
2.2I. allg. ist F eine echte Teilmenge der Potenzmenge Pot(Ω) von Ω.
2.3Die genaue Definition von Wahrscheinlichkeitsmaßen folgt in (2.2).
2.4Die Elemente A ∈ F sind Teilmengen von Ω.
2.5In konkreten Anwendungen sollten sie einfach nur groß genug“ sein, d.h., eine hinreichend
”
detaillierte Struktur besitzen.
2.6Man beachte, daß in (2.1c) nur abzählbare Vereinigungen betrachtet werden.
2.7Aus (2.1) können weitere Eigenschaften von σ-Algebren, wie z.B.
A1 , A2 , · · · ∈ F
=⇒
∞
\
k=1
abgeleitet werden, vgl. Abschnitt 2.3.1.
21
Ak ∈ F,
22
"
(2.2b) P
∞
[
k=1
Ak
#
2.8
=
∞
X
P[Ak ],
k=1
A1 , A2 , . . . ∈ F, Ak ∩ Al = ∅, k, l ∈ N, k 6= l.
Die Eigenschaft (2.2b) wird als σ-Additivität von P bezeichnet. Man beachte, daß
die Gültigkeit dieser Beziehung nur für abzählbar viele, paarweise disjunkte A1 , A2 ,
· · · ∈ F gefordert wird 2.9.
Die Eigenschaften (2.2) sind mit einem anschaulichen Begriff der Wahrschein”
lichkeit“ vereinbar 2.10. Beispielsweise besagt (2.2a), daß mit Wahrscheinlichkeit 1
“irgendetwas geschieht“ 2.11. Mit der σ-Additivität (2.2b) von P wird verlangt,
daß sich die Wahrscheinlichkeiten abzählbar vieler, sich gegenseitig ausschließender
Ereignisse addieren 2.12 2.13.
2.1. Elementare wahrscheinlichkeitstheoretische Modelle
2.1.1. Wurf einer fairen Münze. Bei einem Wurf einer fairen Münze kann
sich Kopf oder Zahl ergeben, wobei diese beiden Möglichkeiten die gleiche Wahrscheinlichkeit besitzen. Zur mathematischen Modellierung dieses Vorgangs kann
Kopf“ mit der Zahl 0 und Zahl“ mit 1 identifiziert werden und dann
”
”
Ω = {0, 1},
F = ∅, {0}, {1}, Ω = Pot(Ω),
1
1
P[∅] = 0, P[{0}] = , P[{1}] = , P[Ω] = 1
2
2
gewählt werden.
Die Menge Ω faßt die möglichen Ausgänge des Münzwurfs zusammen. Mit
diesen Ausgängen sind die durch F beschriebenen Ereignisse
∅ , Es wird weder Kopf noch Zahl geworfen“ 2.14,
”
{0} , Es wird Kopf geworfen“,
”
{1} , Es wird Zahl geworfen“,
”
Ω , Es wird Kopf oder Zahl geworfen“
”
verbunden. Da die Münze als fair vorausgesetzt wurde, besitzen diese Ereignisse
offensichtlich“ 2.15 die durch P angegebenen Wahrscheinlichkeiten.
”
2.8Als Folge von (2.1c) ist mit A , A , · · · ∈ F auch S∞ A ∈ F, d.h., die linke Seite von
1
2
k=1 k
(2.2b) ist wohldefiniert.
2.9Für beliebige, nicht notwendigerweise paarweise disjunkte A , A , · · · ∈ F gilt (2.2b) i. allg.
1
2
nicht. Vielmehr liegt dann σ-Subadditivität vor, d.h.,
"∞
#
∞
[
X
Ak ≤
(∗)
P
P[Ak ], A1 , A2 , · · · ∈ F.
k=1
k=1
Zum Beweis der Einschränkung von (∗) auf zwei Ereignisse vgl. (2.11).
2.10
Es ist bemerkenswert, daß (2.2a) und (2.2b) ausreichen, um auf eine eindeutige Weise
Wahrscheinlichkeitsmaße auf einem meßbaren Raum (Ω, F) zu charakterisieren.
2.11Das Ereignis Ω umfaßt “alles mögliche, das eintreten kann“. Man beachte, daß P[Ω]
aufgrund von (2.1a) wohldefiniert ist.
2.12Sich ausschließende Ereignisse entsprechen disjunkten Mengen.
2.13Es ist wesentlich, daß (2.2b) für abzählbar viele und nicht nur für endliche viele disjunkte
A1 , . . . , AN ∈ F, N ∈ N, gefordert wird. Jene endliche Additivität von P kann als Konsequenz von
(2.2) bewiesen werden, vgl. (2.9). Zusammen mit (2.9) werden weitere Konsequenzen aus (2.2) in
Abschnitt 2.3.2 zusammengestellt.
2.14Mit ∅ ∈ F werden hier auch unwahrscheinliche“ Ereignisse wie die Münze bleibt in der
”
”
Luft hängen“ oder im Zeitpunkt ihres Wurfs schlägt ein Blitz in die Münze ein und sie verdampft“
”
modelliert.
2.15
Hier wird auf die menschliche Erfahrung Bezug genommen. In mathematischen Modellen
realer Phänomene geht diese menschliche Erfahrung immer ein.
29. September 2009
23
Mit dem hier beschriebenen wahrscheinlichkeitstheoretischen Modell (Ω, F, P)
kann offenbar auch jedes andere Experiment“ mit zwei möglichen, gleichwahr”
scheinlichen Ausgängen beschrieben werden 2.16.
2.1.2. Wurf einer unfairen Münze. Bei einem Wurf einer Münze, die bevorzugt auf eine der beiden Seiten fällt, d.h. einer unfairen Münze, können Ω und
F wie in Abschnitt 2.1.1 gewählt werden. Mit einem geeigneten p ∈ [0, 1] 2.17 ist
dann allerdings P gemäß
P[∅] = 0, P[{0}] = 1 − p, P[{1}] = p, P[Ω] = 1
zu modifizieren.
Mit einem derartigen Wahrscheinlichkeitsraum (Ω, F, P) können Experimente
mit zwei möglichen, unterschiedlich wahrscheinlichen Ausgängen modelliert werden 2.18.
2.1.3. Wurf eines fairen Würfels. Im Gegensatz zu den Fällen in den Abschnitten 2.1.1 und 2.1.2 sind in diesem Fall sechs Ausgänge möglich, wobei diese
wie in Abschnitt 2.1.1 gleichwahrscheinlich sind. Nun kann durch
Ω = {1, 2, . . . , 6},
F = Pot(Ω),
1
P[{k}] = ,
6
P[A] =
2.19
k = 1, . . . , 6,
X
P[{k}] =
k∈A
|A|
|A|
=
,
6
|Ω|
A ∈ F,
ein zur Modellierung geeigneter Wahrscheinlichkeitsraum (Ω, F, P) definiert werden.
2.1.4. Wurf eines unfairen Würfels. Ein Würfel sei so manipuliert, daß die
sechs Seiten mit unterschiedlichen Wahrscheinlichkeiten pk , k = 1, . . . , 6, geworfen
werden. Hierbei sollte
pk ∈ [0, 1], k = 1, . . . , 6,
6
X
pk = 1
k=1
gelten. Zur Modellierung kann in diesem Fall (Ω, F) wie in Abschnitt 2.1.3 gewählt
und das Wahrscheinlichkeitsmaß P durch
X
X
P[A] =
pk =
P[{k}], A ∈ F,
k∈A
k∈A
definiert werden.
2.16Beispiele sind ein Wurf eines fairen Würfels, bei dem gefragt wird, ob eine gerade oder
”
eine ungerade Augenzahl auftritt“ oder eine Ultraschalluntersuchung eines Embryos, dessen Ge”
schlecht festgestellt werden soll“.
2.17p = 0 oder p = 1 wird dann benutzt, wenn die Münze so präpariert ist, daß sie immer
auf die gleiche Seite fällt.
2.18Weitere Beispiele wären der Wurf eines Reißnagels“, bei dem die glatte Seite, bzw.
”
der Stift nach oben zeigen kann, die Frage an einen zufällig ausgewählten Passanten, ob er im
”
kommenden Sommer Urlaub machen wird oder nicht“ oder die Untersuchung einer Blutkonserve,
”
ob diese HIV-positiv ist oder nicht“.
2.19Hier wird benutzt, daß sich die Wahrscheinlichkeiten endlich vieler, sich gegenseitig ausschließender, d.h. disjunkter Ereignisse zu ihrer Gesamtwahrscheinlichkeit addieren, vgl.
eqrefEq.2.0.1.
29. September 2009
24
2.1.5. Mehrmaliger, unabhängiger Wurf einer fairen Münze. 2.20 Ausgehend von den Überlegungen in Abschnitt 2.1.1 kann die Menge der Sequenzen
von N Würfen der Münze durch
Ω = {0, 1}N = {(ω1 , . . . , ωN ) : ωk ∈ {0, 1}, k = 1, . . . , N }
beschrieben werden. Wie in den Abschnitten 2.1.1 - 2.1.4 ist weiterhin die Wahl
F = Pot(Ω)
sinnvoll 2.21. Bei der Bestimmung der Wahrscheinlichkeit P[{ω}] für das Auftreten
einer einzelnen festen Wurfsequenz ω = (ω1 , . . . , ωN ) ∈ Ω muß beachtet werden,
daß für alle k = 1, . . . , N die Wahrscheinlichkeit für den Wurf von 0, bzw. 1 beim
k-ten Wurf unabhängig von den Resultaten der restlichen Würfe l 6= k jeweils 1/2
ist. Somit folgt zunächst
(2.3)
P[{ω}] = P[1. Wurf , ω1 , 2. Wurf , ω2 , . . . , N . Wurf , ωN ]
2.22
P[1. Wurf , ω1 ]P[2. Wurf , ω2 ] . . . P[N . Wurf , ωN ]
1 N
1
=
= 2.23
, ω ∈ Ω,
2
|Ω|
=
und dann als Ergänzung
(2.4)
P[A] =
X
ω∈A
P[{ω}] =
|A|
,
|Ω|
A ∈ F.
2.1.6. Mehrmaliger, unabhängiger Wurf einer unfairen Münze. 2.24
Die Menge der möglichen Wurfsequenzen ist offensichtlich die gleiche wie in Abschnitt 2.1.5, d.h., es kann
Ω = {0, 1}N
gewählt werden. Ebenso sind die gleichen Ereignisse wie in Abschnitt 2.1.5 zu betrachten, so daß
F = Pot(Ω)
definiert werden sollte. Wenn allerdings 2.25 p 6= 1/2 ist, so besitzen jene Ereignisse
nun andere Wahrscheinlichkeiten als in Abschnitt 2.1.5, d.h., P ist zu modifizieren.
Wenn die Unabhängigkeit der einzelnen Würfe berücksichtigt wird, so führt die in
2.20Der Begriff der Unabhängigkeit in der Wahrscheinlichkeitstheorie wird noch erläutert
werden. Analog zu den zu (1.4) führenden Überlegungen, vgl. insbesondere Fußnote 1.29, sei
vorerst damit gemeint, daß die einzelnen Würfe nicht durch die Ausgänge der anderen Würfe
beeinflußt werden.
Bei der rigorosen Definition der Unabhängigkeit zweier Ereignisse wird die intuitiv einleuchtende Beziehung
P[A und B] = P[A ∩ B] = P[A]P[B]
für unabhängige“ Ereignisse A und B benutzt.
”2.21
Jede Menge von Wurfsequenzen charakterisiert ein mit N Würfen einer Münze verbundenes Ereignis.
2.22Wegen der Unabhängigkeit der Würfe, vgl. Fußnote 2.20.
2.23Dieser Zusammenhang ergibt sich aus der Tatsache, daß Ω insgesamt 2N Elemente
enthält, d.h., |Ω| = 2N .
2.24Das nun vorgestellte wahrscheinlichkeitstheoretische Modell wurde schon bei der Untersuchung einer anderen Fragestellung (Prüfung der Qualität von Produktionsstücken) in Abschnitt 1.1.2 eingeführt.
2.25p ∈ [0, 1] ist die Wahrscheinlichkeit für den Wurf von 1 , Zahl“ bei einem einzelnen
”
Wurf der Münze, vgl. Abschnitt 2.1.2.
29. September 2009
25
Abschnitt 2.1.2 festgehaltene Wahrscheinlichkeitsverteilung 2.26 für das Ergebnis
eines einzelnen Wurfs zu
N
Y
PN
PN
pωi (1 − p)1−ωi = p i=1 ωi (1 − p)N − i=1 ωi , ω ∈ Ω,
P[{ω}] = 2.27
i=1
bzw.,
P[A] =
X
P[{ω}],
ω∈A
A ∈ F.
Bemerkung. (i) Wie in den Abschnitten 2.1.1 - 2.1.6 ist i. allg. bei endlichen
oder abzählbar unendlichen Stichprobenräumen Ω die Wahl F = Pot(Ω) üblich.
Wenn aber Ω überabzählbar unendlich ist, kann eine derartige Wahl von F zu einem
Widerspruch führen 2.28.
(ii) Wenn |Ω| < ∞ und P[{ω}] = 1/|Ω|, ω ∈ Ω, wie in den Abschnitten 2.1.1,
2.1.3 und 2.1.5 wird P als Gleichverteilung auf Ω bezeichnet 2.29. Nun ist (Ω, F, P)
ein Laplacescher Wahrscheinlichkeitsraum.
2.2. Diskrete Wahrscheinlichkeitsmaße
Die in diesem Abschnitt 2.2 vorgestellten Wahrscheinlichkeitsmaße tauchen sehr
oft in den klassischen Beispielen der elementaren Wahrscheinlichkeitstheorie auf. Sei
zunächst allgemein
• Ω eine endliche oder abzählbar unendliche Menge,
• F = Pot(Ω)
P und
• P[A] = a∈A pa , A ∈ F,
wobei
X
pa = P[{a}] ∈ [0, 1], a ∈ Ω, mit
pa = 1.
a∈Ω
In einem solchen Fall wird (Ω, F, P) als diskreter Wahrscheinlichkeitsraum und
P als diskretes Wahrscheinlichkeitsmaß bezeichnet 2.30. Spezielle Beispiele sind in
folgender Liste zusammengestellt:
Bernoulli-Verteilung mit Parameter p ∈ [0, 1]:
Ω = {0, 1};
p0 = 1 − p, p1 = p.
Anwendung: Modellierung eines Münzwurfs (fair, wenn p = 1/2, sonst unfair) 2.31.
Binomial-Verteilung B(N, p) mit Parametern N ∈ N und p ∈ [0, 1]:
N k
Ω = {0, 1, . . . , N }; pk =
p (1 − p)N −k , k ∈ Ω.
k
Anwendung: Mit B(N, p) kann die Anzahl der Erfolge beim N -maligen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p modelliert werden 2.32.
2.26Wahrscheinlichkeitsverteilung ist ein Synonym für Wahrscheinlichkeitsmaß.
2.27Vgl. die entsprechende Bestimmung von P in Abschnitt 2.1.2 und insbesondere auch die
Herleitung von (1.4).
2.28Vgl. Abschnitt 2.5.
2.29In diesen Fällen hat jedes einpunktige Elementarereignis“ {ω}, ω ∈ Ω, die gleiche Wahr”
scheinlichkeit.
2.30Die in Abschnitt 2.1 beschriebenen Wahrscheinlichkeitsräume sind alle diskret.
2.31Vgl. Abschnitte 2.1.1 und 2.1.2. Auch andere Experimente“ mit zwei möglichen
”
Ausgängen können mit Hilfe einer Bernoulli-Verteilung modelliert werden. Beispiele wären der
Test einer Person auf eine HIV-Infektion oder eine Funktionsprüfung einer Glühbirne.
2.32Vgl. auch Abschnitt 1.1.2, insbesondere (1.5). Die Anzahl der defekten Produktionsstücke
bei N Prüfungen ist binomialverteilt mit den Parametern N und der Fehlerwahrscheinlichkeit p.
29. September 2009
26
Geometrische Verteilung (auf N) mit Parameter p ∈ (0, 1)
Ω = N = {1, 2, . . . };
k−1
pk = (1 − p)
2.33
:
p, k ∈ Ω.
Anwendung: Modellierung des Zeitpunkts des ersten Wurfs von Zahl“ bei
”
dem ∞-fachen, unabhängigen Wurf einer Münze mit Wahrscheinlichkeit p
2.34 2.35
für Zahl“ beim einmaligen Wurf
.
”
Negative Binomial-Verteilung mit Parametern r ∈ N und p ∈ (0, 1):
k+r−1 r
Ω = N0 = {0, 1, 2, . . . }; pk =
p (1 − p)k , k ∈ Ω.
k
Anwendung: Modellierung der Anzahl der Mißerfolge vor dem r-ten Erfolg
bei einem beliebig oft unabhängig wiederholten Bernoulli-Experiment“ mit
”
Erfolgswahrscheinlichkeit p 2.36 2.37. Die Negative Binomial-Verteilung, die
auch als Pascal-Verteilung bezeichnet wird, ist eine Verallgemeinerung der
sich für r = 1 ergebenden geometrischen Verteilung 2.38 2.39.
Laplacesche Verteilung (Gleichverteilung) auf einer endlichen Menge M 2.40:
1
Ω = M ; pm =
, m ∈ Ω.
|M |
Anwendung: Modellierung von Experimenten mit einer endlichen Anzahl
möglicher Ausgänge, die evtl. aufgrund eingeschränkter Vorkenntnisse alle
als gleichwahrscheinlich erscheinen.
2.33In [5] wird auch die Wahrscheinlichkeitsverteilung auf N = {0, 1, 2, . . . } mit p = (1 −
0
k
p)k p,
k ∈ N0 , als geometrische Verteilung bezeichnet.
2.34Wegen der Unabhängigkeit der Würfe gilt insbesondere
ˆ
˜
P zum Zeitpunkt n wird das erste Mal Zahl“ geworfen
”
ˆ
˜
= P 1. Wurf , Kopf“, . . . , (n − 1)-ter Wurf , Kopf“, n-ter Wurf , Zahl“
”
”
”
= P[1. Wurf , Kopf“] . . . P[(n − 1)-ter Wurf , Kopf“]P[n-ter Wurf , Zahl“]
”
”
”
= (1 − p)n−1 p, n ∈ N.
2.35
Die Modellierung des ∞-fachen, unabhängigen Wurf einer Münze wird ausführlich in
Abschnitt 2.4.2 erläutert.
2.36Bei einem Bernoulli-Experiment“ denke man nicht nur an einen ∞-fachen, unabhängigen
”
Wurf einer Münze.
2.37
Das Ereignis, daß k (durch 0“ beschriebene) Mißerfolge vor dem r-ten (durch 1“ be”
”
schriebenen) Erfolg eintreten, wird repräsentiert durch die Sequenzen der Länge k + r mit Werten
in {0, 1}, die mit einer 1 enden und in den vorangehenden k + r − 1 Stellen genau k mal eine 0
und r − 1 mal eine 1 haben. Somit zeigt sich, wenn wie bei der Herleitung von (1.5) argumentiert
wird, daß die Wahrscheinlichkeit für dieses Ereignis
“k + r − 1”
pr (1 − p)k
k
ist.
2.38Mit geometrischer Verteilung ist hier die in Fußnote 2.33 beschriebene Variante gemeint.
2.39Der Name negative Binomial-Verteilung“ bezieht sich auf die Darstellung
”
“−r”
“k +
r − 1” r
(−1)k pr (1 − p)k , k ∈ N0 , r ∈ N,
p (1 − p)k =
k
k
die sich ergibt, wenn
“m”
= 1,
0
“m”
m(m − 1) . . . (m − l + 1)
=
, l = 1, 2, . . . ,
l
l!
für beliebige m ∈ Z definiert wird.
2.40In den Abschnitten 2.1.1, 2.1.3 und 2.1.5 wurden Laplacesche Verteilungen betrachtet.
Später, vgl. Abschnitte 2.4.1 und 2.6 wird auch die Gleichverteilung auf [0, 1], bzw. einem beschränkten Gebiet G ⊆ Rd eingeführt werden.
29. September 2009
27
Poissonverteilung P (λ) mit Parameter λ > 0:
Ω = N0 = {0, 1, 2, . . . };
pk =
λk
exp(−λ), k ∈ Ω.
k!
Anwendung: Modellierung der Anzahl von total zufälligen“ Zeitpunkten 2.41
”
in einem Zeitintervall [0, T ], z.B. der Anzahl eingehender Anrufe in einer
Telefonzentrale 2.42.
Multinomialverteilung und hypergeometrische Verteilung 2.43 sind weitere diskrete
Wahrscheinlichkeitsmaße, die auf endlichen Teilmengen eines geeigneten Zd ,
d = 2, 3, . . . , konzentriert sind. Sie treten auf bei der Modellierung der Resultate von mehrmaligen Ziehungen aus einer Urne, die endlich viele Kugeln
mit teilweise unterschiedlichen Farben enthält. Verschiedenartige Situationen
ergeben sich, je nachdem ob die gezogenen Kugeln zurückgelegt oder nicht
zurückgelegt werden.
Bemerkung. (i) Sei Ω ⊂ Rd höchstens abzählbar. Ein diskretes Wahrscheinlichkeitsmaß P auf Ω kann auch als ein Wahrscheinlichkeitsmaß auf 2.44 (Rd , B(Rd ))
betrachtet werden. Man definiert dann
X
P[A] =
P[{a}], A ∈ B(Rd ).
a∈Ω∩A
(ii) Für ein allgemeines Wahrscheinlichkeitsmaß P 2.45 auf (Rd , B(Rd )) bezeichnet
man Punkte a ∈ Rd mit P[{a}] > 0 auch als Atome von P. Offensichtlich ist ein
diskretes Wahrscheinlichkeitsmaß auf seinen Atomen konzentriert 2.46.
2.3. Konsequenzen aus den Kolmogorovschen Axiomen
In diesem Abschnitt 2.3 wird die Struktur allgemeiner σ-Algebren und Wahrscheinlichkeitsmaße ein wenig detaillierter betrachtet 2.47.
2.41Sowohl die Anzahl als auch die Lage jener Zeitpunkte innerhalb von [0, T ] seien zufällig.
Außerdem seien keine Wechselwirkungen zwischen den einzelnen Zeitpunkten vorhanden.
2.42Weitere Beispiele wären jeweils in einem Zeitintervall [0, T ] die Anzahl der bei einem
Mailserver eingehenden E-Mails, die Anzahl der Verkehrsunfälle auf einem festen Straßenabschnitt,
der Vulkaneruptionen auf der Erde, der von Astronomen beobachteten Supernova-Explosionen,
....
Die Tatsache, daß in derartigen Situationen mit Hilfe der Poissonverteilung eine vernünftige
mathematische Modellierung vorgenommen werden kann, ergibt sich aus der Gültigkeit der
Poisson-Approximation der Binomialverteilung. Dieses Resultat besagt, daß bei N → ∞ die
Binomialverteilung B(N, pN ) gegen die Poissonverteilung P (λ) konvergiert“, falls N pN → λ,
”
vgl. Abschnitt 2.7. Die Entwicklung eines Poissonschen Modells in einem konkreten Beispiel wird
in Abschnitt 2.7.1 diskutiert.
2.43
Vgl. Abschnitt 5.4.
2.44Die Borelsche σ-Algebra B(Rd ) ist die kleinste σ-Algebra in Rd , die alle d-dimensionalen
Rechtecke in Rd enthält, vgl. Abschnitt 2.4.3.
2.45P muß nicht diskret sein.
2.46Für ein Wahrscheinlichkeitsmaß auf (Rd , B(Rd )) mit einer Dichte f , vgl. Abschnitt 2.6,
R
gilt P[{a}] = {a} dx f (x) = 0, a ∈ Rd . Ein solches Wahrscheinlichkeitsmaß hat daher keine
Atome.
2.47Insbesondere werden einfache Folgerungen aus (2.1) und (2.2), welche σ-Algebren und
Wahrscheinlichkeitsmaße eindeutig charakterisieren, zusammengestellt.
29. September 2009
28
2.3.1. Weitere Eigenschaften von σ-Algebren. Sei (Ω, F) ein meßbarer
Raum. Unmittelbar aus (2.1) folgt zunächst 2.48
∅ ∈ F.
(2.5)
Weiterhin ist F auch unter endlichen Vereinigungen abgeschlossen, d.h.,
A1 , . . . , AN ∈ F, N ∈ N
(2.6)
=⇒
N
[
k=1
Ak ∈ F.
Schließlich läßt sich (2.1c) auf eine natürliche Weise durch
A1 , A2 , · · · ∈ F
(2.7)
=⇒
∞
\
k=1
ergänzen.
2.49
2.50
Ak ∈ F
2.3.2. Weitere Eigenschaften von Wahrscheinlichkeitsmaßen. Sei ein
allgemeiner Wahrscheinlichkeitsraum (Ω, F, P) gegeben. Komplementär zu (2.2a)
ist 2.51 2.52
(2.8)
P[∅] = 0.
2.48Zum Beweis von (2.5) beachte man
∅ = Ω \ |{z}
Ω ∈ F (vgl. (2.1b)).
∈ F (vgl. (2.1a))
2.49Aufgrund von (2.1c) scheint (2.6)
dennoch einmal präzise bewiesen werden.
Wenn hierzu
(
Ak ,
A′k =
∅,
offensichtlich“ zu sein. Diese Beziehung sollte aber
”
k = 1, . . . , N,
k = N + 1, N + 2, . . . ,
gesetzt wird, folgt
N
[
Ak =
k=1
∞
[
k=1
A′k ∈ F (aufgrund von (2.5) und (2.1c)).
2.50(2.7) folgt aus
∞
\
k=1
Ak = Ω \
«
( Ω \ Ak ) ∈ F (vgl. (2.1b)).
| {z }
k=1
∈ F (vgl. (2.1b))
{z
}
|
∈ F (vgl. (2.1c))
„[
∞
2.51(2.8) besagt, daß die Wahrscheinlichkeit, daß nichts geschieht“ 0 ist.
2.52
(∗)
”
Man beachte, daß ∅ ∈ F, vgl. (2.5). Damit ist P[∅] wohldefiniert. Nun gilt
1 = P[Ω]
(vgl. (2.2a))
.
.
.
= P[ Ω ∪ ∅ ∪ ∅ ∪ . . . ]
|
{z
}
disjunkte Vereinigung
∞
X
= P[Ω] +
P[∅] (vgl. (2.2b)).
| {z } k=2
= 1 (vgl. (2.2a))
(∗) kann nur gelten, wenn (2.8) richtig ist.
29. September 2009
29
Natürlich ist neben der σ-Additivität
d.h., 2.54
#
"N
N
X
[
(2.9) P
P[Ak ],
Ak =
2.53
auch die endliche Additivität von P,
k=1
k=1
A1 , . . . , AN ∈ F, Ak ∩Al = ∅, k, l = 1, . . . , N, k 6= l, N ∈ N,
zu erwarten. Für sich nicht gegenseitig ausschließende Ereignisse kann (2.9) beispielsweise durch 2.55
(2.10)
P[A ∪ B] = P[A] + P[B] − P[A ∩ B],
A, B ∈ F,
ergänzt werden. Als Konsequenzen von (2.10) ergeben sich mit
P[A ∪ B] ≤ P[A] + P[B],
(2.11)
(2.12)
die Monotonie von P.
A, B ∈ F,
2.57
die Subadditivität von P und mit
P[A] ≤ P[B],
2.56
A, B ∈ F, A ⊆ B,
2.4. Konstruktion von σ-Algebren und Wahrscheinlichkeitsmaßen
In diesem Abschnitt 2.4 wird erläutert, wie in komplexen Situationen, wenn
mit sehr großen Stichprobenräumen Ω zu arbeiten ist, geeignete σ-Algebren F und
Wahrscheinlichkeitsmaße P konstruiert werden können 2.58. Wenn insbesondere Ω
überabzählbar unendlich ist und daher i. allg. die Wahl F = Pot(Ω) nicht sinnvoll
ist 2.59, bietet sich die folgende Vorgehensweise an 2.60:
2.53Vgl. (2.2b).
2.54Zum Beweis von (2.9) beachte man
"
P
N
[
k=1
#
"
Ak = P
N
[
k=1
Ak ∪
∞
[
k=N+1
∅
#
|
{z
}
disjunkte Vereinigung
N
X
=
P[Ak ] +
k=1
∞
X
k=N+1
P[∅] (vgl. (2.2b)).
|{z}
= 0 (vgl. (2.8))
.
.
2.55Zum Beweis von (2.10) beachte man daß A∪B = (A\B) ∪
(B \A) ∪ (A∩B) eine disjunkte
Vereinigung ist. Mit (2.9) folgt nun
P[A ∪ B] + P[A ∩ B] = (P[A \ B] + P[A ∩ B]) + (P[B \ A] + P[A ∩ B]),
|
{z
}
|
{z
}
= P[A]
= P[B]
womit (2.10) bewiesen ist.
2.56Da P[A ∩ B] ≥ 0, folgt (2.11) aus (2.10).
2.57(2.12) folgt aus
P[B] = P[A] + P[B \ A]
≥ P[A]
(vgl. (2.9))
(da P[B \ A] ≥ 0).
2.58Hierbei ist beispielsweise die Modellierung von sehr umfangreichen realen Zusammen-
hängen gemeint, wenn die Verwendung von endlichen oder abzählbar unendlichen Stichprobenräumen ausgeschlossen ist.
2.59Vgl. Abschnitt 2.5. Der dort vorgestellte Satz von Vitali verdeutlicht, wie in dem in
Abschnitt 2.4.2 entworfenen Modell (Ω, F, P) für den ∞-fachen, unabhängigen, fairen Münzwurf
die Wahl F = Pot(Ω) zu einem Widerspruch führt.
2.60
Diese Vorgehensweise wird in den in den Abschnitten 2.4.1 - 2.4.3 behandelten Beispielen
konkretisiert werden.
29. September 2009
30
(i) Angabe einer Menge F∗ von elementaren“, dem menschlichen Verständnis
”
leicht zugänglichen Ereignissen 2.61.
(ii) Angabe einer Funktion P∗ : F∗ → [0, 1] mit den Eigenschaften (2.2a) und
(2.2b) 2.62.
In dieser Vorlesung wird im wesentlichen im Rahmen von (i) und (ii) gearbeitet.
Dies ist gerechtfertigt, falls der nächste Schritt (iii) gelingt.
(iii) Nachweis der eindeutigen Fortsetzbarkeit von P∗ zu einem Wahrscheinlichkeitsmaß P : F → [0, 1], wobei F = σ(F∗ ) die kleinste, F∗ umfassende
σ-Algebra ist 2.63.
Der Schritt (iii) wird in weiterführenden Vorlesungen behandelt 2.64.
Letztendlich ist dann (Ω, F, P) der Wahrscheinlichkeitsraum, mit dem mathematisch rigoros für wahrscheinlichkeitstheoretische Untersuchungen gearbeitet
wird.
2.4.1. Gleichverteilung auf [0, 1]. Sei Ω = [0, 1], F∗ = {[a, b] : 0 ≤ a ≤ b
≤ 1} 2.65 und P∗ : F∗ → [0, 1] mit P∗ [[a, b]] = b − a, 0 ≤ a ≤ b ≤ 1.
σ(F∗ ) =: B([0, 1]) 2.66 ist die Borelsche σ-Algebra in [0, 1]. P∗ besitzt eine
eindeutige Fortsetzung 2.67 λ = λ[0,1] auf B([0, 1]), das sog. Lebesguemaß auf [0, 1].
λ[0,1] wird auch als Gleichverteilung auf [0, 1] bezeichnet 2.68.
2.61Im Rahmen einer Modellbildung sollte a priori klar sein, daß die Wahrscheinlichkeiten
der Ereignisse in F∗ auf jeden Fall bekannt, bzw. zu berechnen sein sollten.
2.62
(2.2b) muß bei P∗ nur für paarweise disjunkte Mengen A1 , A2 , · · · ∈ F∗
S Die Bedingung
∗ gelten.
mit ∞
A
∈
F
k=1 k
2.63σ(F∗ ) existiert immer auf eine eindeutige Weise. Insbesondere kann nachgewiesen werden,
T
daß σ(F∗ ) = G∈F∗ G, wobei F∗ die Menge alle σ-Algebren G mit G ⊇ F∗ ist. Die Fortsetzung P
von P∗ auf σ(F∗ ) braucht jedoch nicht immer zu existieren, bzw. nicht eindeutig zu sein.
2.64
Die eindeutige Existenz eines Wahrscheinlicheitsmaßes P, das P∗ fortsetzt, wird z.B.
mit dem Satz von Carathéodory gesichert, vgl. [3], Appendix A.1. Jenes Resultat besagt, daß
eine Funktion P∗ : F∗ → [0, 1], welche die in (2.2) angegebenen Eigenschaften besitzt, vgl. dazu
Fußnote 2.62, sich dann auf eine eindeutige Weise zu einem Wahrscheinlichkeitsmaß auf (Ω, σ(F∗ ))
fortsetzen läßt, wenn F∗ eine Algebra ist.
Hierbei wird eine Familie F∗ von Teilmengen von Ω als Algebra bezeichnet, wenn F∗ die
Eigenschaften (2.1a) und (2.1b) besitzt und wenn für A, B ∈ F∗ auch A ∪ B ∈ F∗ gilt.
2.65F∗ ist die Menge der abgeschlossenen Intervalle in [0, 1].
2.66B([0, 1]) ist die kleinste σ-Algebra, die alle abgeschlossenen Intervalle in [0, 1] umfaßt.
B([0, 1]) ist ebenso die kleinste σ-Algebra, die alle offenen, bzw. halboffenen Intervalle in [0, 1]
enthält.
2.67Zum Nachweis der eindeutigen Existenz von λ kann der in Fußnote 2.64 beschriebene Satz
von Carathéodory nicht direkt angewandt werden, da F∗ keine Algebra ist. Allerdings könnte man
e ∗ der endlichen Vereinigungen disjunkter Elemente von F∗ , d.h. durch die
F∗ durch die Menge F
Menge
˘
¯
e ∗ = [a1 , b1 ] ∪ · · · ∪ [an , bn ] : 0 ≤ a1 ≤ b1 < a2 ≤ · · · < an ≤ bn ≤ 1, n ∈ N
F
ersetzen und anschließend mit
n
ˆ
˜ X
e ∗ [a1 , b1 ] ∪ · · · ∪ [an , bn ] =
P
|bk − ak |,
k=1
0 ≤ a1 ≤ b1 < a2 ≤ · · · < an ≤ bn ≤ 1, n ∈ N,
e ∗ erweitern. F
e ∗ ist eine Algebra und in der Tat ist es mit dem Satz von Carathéodory
P∗ auf F
e ∗ definierten
möglich, zu zeigen, daß mit λ eine eindeutige Fortsetzung auf B([0, 1]) der auf F
e ∗ existiert.
Funktion P
2.68In Abschnitt 2.2 war die Gleichverteilung auf einer endlichen Menge beschrieben worden.
Die beiden Gleichverteilungen besitzen aus offensichtlichen Gründen den gleichen Namen, sind
aber völlig unterschiedlich strukturierte Wahrscheinlichkeitsmaße.
29. September 2009
31
Beispiel 2.1. In B([0, 1]) sind u.a. einpunktige Mengen 2.69 {a}, a ∈ [0, 1],
oder auch abzählbare Teilmengen 2.70 {ak : k ∈ N}, ak ∈ [0, 1], k ∈ N, von [0, 1]
enthalten 2.71. Weil
"∞
#
[
λ[{ak : k ∈ N}] = λ
{ak }
=
k=1
∞
X
2.72
k=1
λ[{ak }] = 0, ak ∈ [0, 1], k ∈ N,
| {z }
= |ak − ak | = 0
besitzen alle abzählbaren Teilmengen von [0, 1] das Lebesguemaß 0
2.73
.
2.4.2. ∞-facher, unabhängiger Münzwurf. Bei manchen Experimenten
mit unabhängigen Würfen einer Münze, wie z.B. beim Bestimmen des ersten Zeitpunkts, an dem Kopf“ geworfen wird, steht anfangs nicht fest, wie oft die Münze
”
überhaupt geworfen werden muß 2.74. Um derartige Situationen zu untersuchen, ist
es sinnvoll, zu p ∈ [0, 1] den ∞-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p zu modellieren 2.75.
Wenn die Überlegungen in den Abschnitten 2.1.5 und 2.1.6 als Ausgangspunkt
genommen werden, ist es naheliegend, als Stichprobenraum 2.76
(2.13)
Ω = {0, 1}N := (ω1 , ω2 , . . . ) : ωk ∈ {0, 1}, k ∈ N
zu wählen 2.77. Ω ist insbesondere überabzählbar unendlich 2.78.
Mit einem vernünftigen Modell für den ∞-fachen, unabhängigen Münzwurf
sollte es auch möglich sein, jede Folge von Würfen zu beschreiben, deren Anzahl
durch ein vorgegebenes endliches N ∈ N beschränkt ist. Aus diesem Grund wird
F∗ als eine Menge von Ereignissen, die durch Würfe der Münze an endlich vielen
festen Zeitpunkten bestimmt sind, gewählt, d.h.,
(2.14) F∗ = {ω ∈ Ω : ωk1 = ηk1 , . . . , ωkn = ηkn } 2.79 :
k1 , . . . , kn ∈ N, 1 ≤ k1 < . . . < kn , ηk1 , . . . , ηkn ∈ {0, 1}, n ∈ N .
2.69Da {a} = [a, a] ∈ F∗ .
2.70Da {a } ∈ B([0, 1]), k = 1, 2, . . . , ist wegen (2.1c) auch {a : k ∈ N} = S∞ {a } ∈
k
k
k
k=1
B([0, 1]).
2.71O.E.d.A. sei angenommen, daß alle a , k ∈ N, verschieden sind.
k
2.72Wegen der σ-Additivität von λ, vgl. (2.2b).
2.73Es gibt auch Mengen M ∈ B([0, 1]), die die gleiche Mächtigkeit wie R haben und damit
überabzählbar sind, mit λ[M ] = 0, z.B. Cantormengen.
2.74Andere Beispiele sind die Bestimmung des Zeitpunkts, an dem insgesamt 104 mal Zahl“
”
geworfen wurde, die Bestimmung des ersten Zeitpunkts, an dem eine ununterbrochene Sequenz
von 105 Würfen von Kopf“ beendet wird, oder auch die Beantwortung der Frage, mit welcher
”
Wahrscheinlichkeit, zumindest einmal Zahl“ geworfen wird. Bei der Lösung dieser Probleme muß
”
man bereit sein, die Münze evtl. unendlich oft zu werfen.
2.75Mit einem Modell“ ist hier ein Wahrscheinlichkeitsraum (Ω, F, P) gemeint, so daß ins”
besondere unendlich lange Wurfsequenzen der Münze durch die Elemente ω von Ω repräsentiert
werden.
2.76
{0, 1}N ist die Menge der {0, 1}-wertigen Folgen.
2.77Für ein ω ∈ Ω und k ∈ N beschreibt ω das Ergebnis des k-ten Wurfs.
k
2.78Zur Begründung sei daraufhingewiesen, daß durch die Abbildung
Ω ∋ (ωk )k∈N →
∞
X
k=1
ωk 2−k ∈ [0, 1]
Ω surjektiv auf [0, 1] abgebildet werden kann.
2.79Hier wird das Ereignis, daß beim k -ten Wurf η , . . . und beim k -ten Wurf η
n
1
k1
kn geworfen
wird, betrachtet.
29. September 2009
32
Um eine Funktion P∗ : F∗ → [0, 1] zur Angabe von Wahrscheinlichkeiten P∗ [A]
von Ereignissen A ∈ F∗ zu definieren, können die Überlegungen in Abschnitt 2.1.6
herangezogen werden. Daher setzt man 2.80
(2.15)
P∗ [{ω ∈ Ω : ωk1 = ηk1 , . . . , ωkn = ηkn }]
=
n
Y
l=1
pηkl (1 − p)1−ηkl = p
Pn
l=1
ηkl
(1 − p)n−
Pn
l=1
ηkl
k1 , . . . , kn ∈ N, 1 ≤ k1 < . . .< kn , ηk1 , . . . , ηkn ∈ {0, 1}, n ∈ N.
Zu dieser Funktion P∗ : F∗ → [0, 1] existiert als Fortsetzung ein eindeutig bestimmtes Wahrscheinlichkeitsmaß P auf (Ω, F), wobei F = σ(F∗ ).
Beispiel 2.2. Für den ∞-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p ∈ (0, 1) ist die Wahrscheinlichkeit q1 , daß der erste Wurf von Kopf“
”
in einem geraden“ Zeitpunkt, d.h. zu einem Zeitpunkt 2k mit k ∈ N eintritt, zu
” 2.81
bestimmen
. Es gilt:
q1 = P erster Wurf von Kopf“ in einem der Zeitpunkte 2k, k ∈ N
”
= P ω ∈ Ω : ωl = 1, l = 1, . . . , 2k − 1; ω2k = 0 für ein k ∈ N
"
#
∞
[
= P 2.82
{ω ∈ {0, 1}N : ωl = 1, l = 1, . . . , 2k − 1; ω2k = 0}
k=1
=
2.83
=
2.85
∞
X
P {ω ∈ {0, 1}N : ωl = 1, l = 1, . . . , 2k − 1; ω2k = 0}
|
{z
}
k=1
∈ F∗ 2.84
∞
∞
X
1−p X 2 k
p2k−1 (1 − p) =
(p )
p
k=1
k=1
| {z }
p2
p2
1
−
1
=
=
=
1 − p2
1 − p2
(1 − p)(1 + p)
p
.
1+p
Speziell ergibt sich q1 = 1/3 für p = 1/2, d.h. für den ∞-fachen, unabhängigen,
fairen Münzwurf 2.86.
=
P∗
2.80Während Ω und F∗ und somit auch F = σ(F∗ ) von p ∈ [0, 1] unabhängig sind, hängen
und folglich auch P von p ab.
2.81Für den ∞-fachen, unabhängigen, fairen Münzwurf, d.h., für p = 1/2, mag eine sehr
naive Vorgehensweise mit dem Argument genau die Hälfte der Zeitpunkte ist gerade“ zu q1 = 1/2
”
führen. Da aber zunächst in dem ungeraden“ Zeitpunkt 1, dann erst in dem geraden“ Zeitpunkt 2
”
”
. . . Kopf“ oder Zahl“ gewählt wird, zeigt sich bald, daß q1 < 1/2 sein muß.
”2.82
”
Hier liegt eine Zerlegung in disjunkte, d.h. sich ausschließende Ereignisse vor.
2.83Wegen der σ-Additivität von P, vgl. (2.2b).
2.84
Dieses Ereignis wird durch die ersten 2k Würfe der Münze bestimmt, d.h., seine Wahrscheinlichkeit kann in einem Modell für den 2k-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p, vgl. Abschnitt 2.1.6, berechnet werden.
2.85
Vgl. (2.15).
2.86Es gilt lim
p→0 q1 = 0. Dies ist plausibel, da bei p → 0 mit gegen 1 strebender Wahrscheinlichkeit gleich beim 1. Wurf, d.h. in einem ungeraden Zeitpunkt, Kopf“ geworfen wird.
”
Weiterhin ist limp→1 q1 = 1/2. Da bei p → 1 bei jedem einzelnen Wurf mit nahe bei 1
liegender Wahrscheinlichkeit Zahl“ geworfen wird, dauert es i. allg. extrem lang, bis irgendwann
”
mal Kopf“ erscheint. Die Tatsache, daß in dem ungeraden Zeitpunkt 1 mit dem Werfen begonnen
”
wurde, ist dann längst vergessen. In dieser fernen Zukunft wird dann jeweils mit Wahrscheinlichkeit
1/2 Kopf“ erstmals in einem geraden, bzw. einem ungeraden Zeitpunkt geworfen.
”
Im Fall p = 1 wird immer Zahl“ geworfen, so daß dann q1 = 0 ist. Daher ist limp→1 q1 =
”
1/2 6= 0 = q1 |p=1 , d.h., die Funktion [0, 1] ∋ p → q1 ∈ [0, 1] ist unstetig für p = 1.
29. September 2009
33
Beispiel 2.3. Für den ∞-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p ∈ [0, 1) ist die Wahrscheinlichkeit q2 , daß nur endlich oft Kopf“
”
geworfen wird, zu bestimmen 2.87.
Die gesuchte Wahrscheinlichkeit q2 könnte zunächst auch experimentell durch
wiederholtes Werfen einer realen Münze oder auch mit Hilfe einer Computersimulation 2.88 bestimmt“ werden 2.89. Es deutet sich an, daß 2.90 q2 = 0 ist.
”
Bei einem mathematisch präzisen Vorgehen ergibt sich
"∞
#
[
N
2.91
q2 =
P
(2.16)
ω ∈ {0, 1} : ωk = ωk+1 = · · · = 1
k=1
∞
X
≤
P ω ∈ Ω : ωk = ωk+1 = · · · = 1 ,
{z
}
|
k=1
= Bk
wobei mit der σ-Subadditivität von P die abzählbare“ Variante der Subadditivität
”
von P 2.92 benutzt wird.
Weiterhin folgt
P[Bk ] ≤ 2.93 P ω ∈ Ω : ωk = · · · = ωk+N = 1 = 2.94 pN +1 , k, N ∈ N,
d.h., 2.95 P[Bk ] = 0, k ∈ N.
Aus (2.16) ergibt sich somit
2.96
q2 = 0.
2.4.3. Lebesguemaß in Rd , d = 1, 2, . . . . Sei Ω = Rd , F∗ = [a1 , b1 ] × · · · ×
[ad , bd ] : −∞ < ak ≤ bk < ∞, k = 1, . . . , d und 2.97 λ∗ : F∗ → [0, ∞) mit
Qd
λ∗ [a1 , b1 ] × · · · × [ad , bd ] = k=1 (bk − ak ), −∞ < ak ≤ bk < ∞, k = 1, . . . , d.
σ(F∗ ) =: B(Rd ) ist die Borelsche σ-Algebra in Rd . Die eindeutig existierende Fortsetzung λ(= λRd ) : B(Rd ) → [0, ∞] von λ∗ auf den meßbaren Raum
(Rd , B(Rd )) ist das Lebesguemaß auf Rd .
λRd ist kein Wahrscheinlichkeitsmaß, da offensichtlich (2.1a) nicht gilt. Allerdings wird das Maß λRd bei der Arbeit mit Wahrscheinlichkeitsmaßen mit einer
Dichte (bzgl. des Lebesguemaßes), wie z.B. der Normalverteilung oder der Exponentialverteilung benötigt 2.98.
2.87Da p < 1, ist insbesondere die Wahrscheinlichkeit 1 − p, daß bei einem einzelnen Wurf
Kopf“ geworfen wird, von 0 verschieden.
”
2.88Es ist eine beliebig lange Folge von unabhängigen, {0, 1}-wertigen Zufallszahlen“, die
”
mit Wahrscheinlichkeit p den Wert 1 und mit Wahrscheinlichkeit 1 − p den Wert 0 annehmen, zu
simulieren. Hinweise zur Durchführung einer solchen Simulation finden sich in Beispiel 3.3.
2.89
Ein mathematisch korrekter Beweis kann mit derartigen Mitteln natürlich nicht geführt
werden.
2.90
Wenn die Münze lange genug geworfen wird, erscheint immer wieder irgendwann mal“
”
Kopf“.
”
2.91Es wird nur endlich oft Kopf“ geworfen“ genau dann, wenn ein k ∈ N existiert, so daß
”
”
nach dem Zeitpunkt k nur noch Zahl“ geworfen wird.
”
2.92Vgl. (2.11).
2.93Wegen der Monotonie von P, vgl. (2.12).
2.94
Vgl. (2.15).
2.95
Man beachte, daß p < 1.
2.96Damit ist die experimentelle“ Lösung bestätigt.
”
2.97λ∗ weist jedem
d-dimensionalen Rechteck A in Rd sein Volumen Vol(A) zu.
2.98Vgl. Abschnitt 2.6. Eine hinreichend reguläre Funktion f : Rd → [0, ∞) ist eine WahrR
scheinlichkeitsdichte, wenn Rd dx f (x) = 1. Durch
Z
dx f (x), A ∈ B(Rd ),
P[A] =
A
definiert f ein Wahrscheinlichkeitsmaß P auf (Rd , B(Rd )). Jenes P wird als das Wahrscheinlichkeitsmaß mit der Dichte f bzgl. des Lebesguemaßes auf Rd bezeichnet.
29. September 2009
34
2.5. Satz von Vitali
Das in diesem Abschnitt 2.5 vorgestellte Resultat deutet an, daß in überabzählbaren Stichprobenräumen Ω die Verwendung der σ-Algebra Pot(Ω) im allgemeinen
nicht sinnvoll ist 2.99.
Wie in Abschnitt 2.4.2 sei zur Modellierung des ∞-fachen, unabhängigen Wurfs
einer fairen Münze der Stichprobenraum Ω = {0, 1}N = {ω = (ωi )i∈N : ωi ∈
{0, 1}, i ∈ N} 2.100 verwendet.
Sei
Tn A = {Tn ω : ω ∈ A},
(2.17a)
A ⊆ Ω, n ∈ N,
wobei
(2.17b)
Tn ω =
2.101
(ω1 , . . . , ωn−1 , 1 − ωn , ωn+1 , . . . ),
ω ∈ Ω, n ∈ N.
Auf Ω sei weiterhin eine σ-Algebra F von Ereignissen gegeben 2.102.
Wegen der Fairness der Münze sollte ein vernünftiges Wahrscheinlichkeitsmaß
P auf (Ω, F) insbesondere die Invarianzeigenschaft
(2.17c)
besitzen
P[A] = P[Tn A],
2.103
A ∈ F, n ∈ N,
.
Satz 2.4 (Vitali). 2.104 Für F = Pot({0, 1}N) kann kein Wahrscheinlichkeitsmaß auf dem meßbaren Raum ({0, 1}N, F) existieren, das neben den üblichen in
(2.2) geforderten Eigenschaften eines Wahrscheinlichkeitsmaßes auch die bei der
Modellierung des ∞-fachen, unabhängigen Wurfs einer fairen Münze erwartete Invarianzeigenschaft (2.17) besitzt.
Zum Beweis dieses Satzes kann mit Hilfe des Auswahlaxioms 2.105 eine Menge A1 ∈ Pot({0, 1}N) konstruiert werden, die sich dadurch auszeichnet, daß jeder
mögliche Wert für P[A1 ] zu einem Widerspruch führt.
Beispiele für Wahrscheinlichkeitsdichten auf R sind
„
«
(x − µ)2
1
exp −
fµ,σ 2 : x → √
,
2σ2
2πσ2
µ ∈ R, σ2 > 0.
fµ,σ 2 ist die Dichte der Normalverteilung mit Erwartungswert µ und Varianz σ2 . Weitere Wahrscheinlichkeitsdichten sind beispielsweise
(
λ exp(−λx), x ≥ 0,
, λ > 0.
gλ : x →
0,
x < 0,
gλ ist die Dichte der Exponentialverteilung mit Parameter λ > 0.
2.99Die Einführung von σ-Algebren durch (2.1) und auch die Überlegungen in Abschnitt 2.4
werden letztendlich erst aufgrund jenes Resultats notwendig.
2.100Ω ist die Menge aller {0, 1}-wertigen Folgen. Dieser Raum ist überabzählbar unendlich,
vgl. Fußnote 2.78.
2.101T ω ist eine Wurfsequenz, bei der im Vergleich zu ω beim n-ten Wurf das Ergebnis von
n
0 nach 1, bzw. von 1 nach 0 verändert ist. Für A ⊆ Ω geht Tn A aus A durch Änderung des n-ten
Wurfergebnisses für alle ω ∈ A hervor.
2.102In diesem Moment sei die σ-Algebra F noch nicht festgelegt. Es folgen nun Überlegungen
zur Wahl von F.
2.103(2.17c) besagt, daß beim ∞-fachen, unabhängigen Wurf einer fairen Münze die Wahrscheinlichkeit eines Ereignisses sich nicht ändern sollte, wenn man in einem festgelegten Wurfzeitpunkt die Rollen von Kopf“ und Zahl“ vertauscht.
”
”
2.104
Vgl. [5], Satz (1.5).
2.105Sei M eine Menge von nichtleeren Mengen. Das Auswahlaxiom besagt, daß es eine Funktion F mit Definitionsbereich M und
F (ξ) ∈ ξ,
ξ ∈ M,
gibt. F wählt also aus jeder Menge ξ ∈ M genau ein Element aus.
29. September 2009
35
Auf Ω = {0, 1}N muß folglich zur Beschreibung des ∞-fachen, unabhängigen
Wurfs einer fairen Münze mit einer σ-Algebra F gearbeitet werden, die kleiner als
Pot(Ω) ist, d.h. weniger Elemente enthält 2.106.
2.6. Wahrscheinlichkeitsmaße mit einer Dichte bzgl. des
Lebesguemaßes
Eine hinreichend reguläre
f : Rd → [0, ∞) mit
(2.18)
2.107
, z.B. stetige oder stückweise stetige Funktion
Z
dx f (x) = 1
Rd
heißt Wahrscheinlichkeitsdichte. Sei 2.108 Ω = Rd , F∗ = 2.109 [a1 , b1 ] × · · · × [ad , bd ] : −∞ < ak ≤ bk < ∞, k =
1, . . . , d und
Z
∗
dx f (x), A ∈ F∗ .
(2.19)
P [A] =
A
Wenn f stetig oder stückweise stetig ist, können die Integrale in (2.18) und (2.19)
als Riemann-Integrale aufgefaßt werden. Wenn allgemeiner f nur eine meßbare 2.110
Funktion ist, so sind jene Integrale als Lebesgue-Integrale zu betrachten 2.111.
Die eindeutig existierende Fortsetzung P von P∗ auf 2.112 B(Rd ) ist das Wahrscheinlichkeitsmaß mit der Dichte f (bzgl. des Lebesguemaßes auf Rd ) 2.113.
Es folgt eine Zusammenstellung einiger wichtiger Wahrscheinlichkeitsmaße mit
einer Dichte auf R, bzw. Rd .
Normalverteilung N(µ, σ 2 ) mit Erwartungswert 2.114 µ ∈ R und Varianz σ 2 > 0:
1
(x − µ)2
, x ∈ R.
fµ,σ2 (x) = √
exp −
2σ 2
2πσ 2
2.106Damit der obengenannte Widerspruch nicht auftritt, darf F insbesondere nicht die Menge
A1 enthalten. Mit der in Abschnitt 2.4.2 angegebenen σ-Algebra F = σ(F∗ ), wobei F∗ in (2.14)
definiert ist, ist eine geeignete σ-Algebra gefunden.
2.107
Im allgemeinen Fall wird als Regularität“ die Meßbarkeit der Abbildung f : (Rd , B(Rd ))
”
→ ([0, ∞), B([0, ∞))) benötigt, vgl. (3.1). Die Meßbarkeit ist der in der Stochastik übliche Regularitätsbegriff für Funktionen oder Zufallsvariablen. Borelsche σ-Algebren wie hier B(Rd ), bzw.
B([0, ∞)) werden in den Abschnitten 2.4.1 und 2.4.3 vorgestellt.
2.108Nun wird ausgehend von einer Wahrscheinlichkeitsdichte f gemäß der in Abschnitt 2.4
beschriebenen Vorgehensweise ein Wahrscheinlichkeitsmaß konstruiert.
2.109F∗ ist die Menge der Rechtecke in Ω = Rd .
2.110Vgl. Fußnote 2.107.
2.111Eine Einführung des abstrakten Lebesgue-Integrals wird in [8], § 12, gegeben. Das dort
beschriebene Verfahren entspricht der in den Abschnitten 6.1 - 6.3 vorgestellten Einführung des Erwartungswerts reellwertiger Zufallsvariablen, vgl. Kapitel
R 3. Für eine meßbare, reellwertige Funktion, vgl. Fußnote 2.107, f auf [0, 1] gilt beispielsweise 01 dx f (x) = E[f ], wobei auf der rechten
Seite f als eine Zufallsvariable auf dem in Abschnitt 2.4.1 eingeführten Wahrscheinlichkeitsraum
([0, 1], B([0, 1]), λ[0,1] ) zu betrachten ist.
2.112Die Borelsche σ-Algebra B(Rd ) ist die kleinste σ-Algebra, die F∗ enthält, vgl. Abschnitt 2.4.3.
2.113Wie in den Ausführungen am Anfang von Abschnitt 2.4 angedeutet, wird in dieser
Vorlesung im wesentlichen nur mit P∗ , d.h. mit (2.19) gearbeitet, wenn Wahrscheinlichkeitsmaße
mit einer Dichte betrachtet werden. Darüberhinaus sind alle Wahrscheinlichkeitsdichten stetig,
bzw. stückweise stetig.
2.114Die Begriffe Erwartungswert und Varianz wurden in Abschnitt 1.1.3 kurz angesprochen,
vgl. Beispiele 1.4 und 1.5. Detaillierte Erläuterungen folgen in Kapitel 6. Zunächst genügt es, µ
und σ2 als Parameter zu betrachten. In Beispiel 6.9 werden µ und σ2 als Erwartungswert, bzw.
Varianz identifiziert.
29. September 2009
36
Anwendung: Modellierung vom Meßfehlern, bzw. von Beobachtungen“, die
”
durch Rauschen“ gestört sind. Der Hintergrund solcher Anwendungen ist die
”
Tatsache, daß die Normalverteilung die Asymptotik beim Zentralen Grenzwertsatz 2.115 beschreibt.
Exponentialverteilung mit Parameter λ > 0:
(
λ exp(−λx), x ≥ 0,
fλ (x) =
0,
x < 0.
Anwendung: Modellierung von Wartezeiten 2.116. Der Hintergrund solcher
Anwendungen ist die Gedächtnislosigkeit der Exponentialverteilung 2.117 2.118.
Gleichverteilung 2.119 auf einem beschränkten Gebiet 2.120 G ⊆ Rd :
(
1/Vol(G) 2.121, x ∈ G,
fG (x) =
0,
x 6∈ G.
Anwendung: Modellierung einer zufälligen Position in einem beschränkten
Bereich des Rd , wenn z. B. aufgrund eingeschränkter Vorkenntnisse kein Teilbereich als bevorzugt erscheint.
Cauchy-Verteilung mit Parameter a > 0 2.122:
a
fa (x) =
, x ∈ R.
π(a2 + x2 )
Gamma-Verteilung mit Parametern α, r > 0 2.123:
 r
 α xr−1 exp(−αx),
Γ(r)
fα,r (x) = 2.124

0,
x ≥ 0,
x < 0.
Für n ∈ N heißt die Gamma-Verteilung mit den Parametern 1/2 und n/2
auch χ2 -Verteilung mit n Freiheitsgraden oder auch kurz χ2n -Verteilung.
Anwendung: Die χ2n -Verteilungen werden bei statistischen Untersuchungen
von normalverteilten Daten benötigt 2.125.
2.115Vgl. Beispiel 1.7 und insbesondere Abschnitt 9.3.
2.116Man nehme an, daß ein Anfangszeitpunkt festgelegt wird. Nun eignet sich die Exponen-
tialverteilung mit einem jeweils geeignet zu wählenden λ > 0, um die Wartezeit bis zum ersten
Telefonanruf, zum Eingang der ersten E-Mail, zum ersten Vulkanausbruch, zum ersten Einschlag
eines Asteroiden, . . . zu modellieren.
2.117
Vgl. Beispiel 8.3. Die Gedächtnislosigkeit einer Wartezeit besagt, daß die Wahrschein”
lichkeitsverteilung“ der verbleibenden Wartezeit nicht davon abhängt, wie lang man schon wartet.
Mit anderen Worten, die Chancen beim Zahlenlotto werden nicht größer, wenn man jahrelang
keinen Gewinn erzielt hat.
2.118
Die Exponentialverteilung ist ein kontinuierliches“ Analogon zur geometrischen Vertei”
lung, die zur Modellierung von Wartezeiten in diskreter Zeit geeignet ist, vgl. Abschnitt 2.2.
2.119
Ein Spezialfall der nun beschriebenen Wahrscheinlichkeitsmaße mit G = [0, 1] wird in
Abschnitt 2.4.1 betrachtet. Diskrete Gleichverteilungen werden in Abschnitt 2.2 vorgestellt.
2.120
Ein Gebiet ist eine einfach zusammenhängende Teilmenge des Rd mit einem glatten“
”
Rand.
2.121Vol(G) bezeichnet das Volumen von G.
2.122Die Cauchy-Verteilung zeichnet sich dadurch aus, daß Zufallsvariablen mit dieser Verteilung keinen Erwartungswert besitzen, vgl. Beispiel 6.8. Die Graphen der Dichten der Normalverteilung und der Cauchy-Verteilung haben beide eine glockenförmige“ Gestalt. Jedoch fällt der
”
Graph der Dichte der Cauchy-Verteilung im Unendlichen wesentlich langsamer ab als der Graph
der Dichte der Normalverteilung.
2.123Offensichtlich sind die Gamma-Verteilungen mit r = 1 Exponentialverteilungen.
2.124Γ : (0, ∞) → (0, ∞) mit Γ(r) = R ∞ ds sr−1 exp(−s), r > 0, ist die Eulersche Gamma0
Funktion.
2.125Vgl. z.B. [10], Abschnitt 14.3.
29. September 2009
37
2.6.1. Anwendung“ der Gleichverteilung. 2.126 Es ist die Wahrschein”
lichkeit pM zu bestimmen, daß der nächste Meteorit mit einem Durchmesser größer
als 100 m, der auf Deutschland stürzt, Baden-Württemberg trifft.
Eine Standardvorgehensweise zur Lösung wäre:
Modellierung des Einschlagspunktes des Meteoriten durch die Gleichverteilung auf
Deutschland 2.127.
Lösung:
pM =
35.752 km2
Fläche von Baden-Württemberg
=
= 0,1
Fläche von Deutschland
357.050 km2
Bei einer Diskussion der Fragestellung und ihrer Lösung ergeben sich folgende
Aspekte 2.128.
• Meteorite mit einem Durchmesser größer als 100 m schlagen sehr selten in Deutschland ein. Mit dem nächsten Einschlag ist im Mittel“ erst
”
in mehreren Millionen Jahren zu rechnen 2.129. Es kann nicht angenommen werden, daß nach Ablauf dieser Zeit Baden-Württemberg oder auch
Deutschland noch existieren, bzw. überhaupt noch bekannt sind.
• Jeder Einschlag eines Meteoriten mit einem Durchmesser größer als 100 m
hat katastrophale Auswirkungen, die i. allg. weit über Deutschlands Grenzen hinaus reichen 2.130. Allerdings hängt das Ausmaß der Katastrophe
stark von der Zusammensetzung und nicht nur von der Größe des Meteoriten ab.
2.126Die Anführungszeichen deuten an, daß der Sinn dieser zunächst vernünftig erscheinenden
Anwendung letztendlich fraglich ist.
2.127Kleine Meteorite haben in dichter besiedelten Gegenden eine größere Chance, entdeckt
zu werden. Wenn also nur Objekte berücksichtigt werden sollen, die auch beobachtet werden, wäre
die Gleichverteilung für kleine Meteorite keine gute Wahl. Hingegen werden Meteorite mit einem
Durchmesser größer als 100 m immer bemerkt.
2.128Die folgenden Überlegungen basieren auf teilweise unsicheren Schätzungen, die aus dem
Internet entnommen wurden.
2.129Beispielsweise wird die durchschnittliche Zeit bis zum nächsten Einschlag eines Meteoriten mit einem Durchmesser größer als 75 m auf der Erdoberfläche auf 1000 Jahre geschätzt. Da
die Fläche Deutschlands nur 0, 07 % der Erdoberfläche beträgt, ergeben sich 1428571 Jahre für
die mittlere Zeit bis zum nächsten Einschlag eines solchen Meteoriten in Deutschland. Meteorite
mit einem Durchmesser größer als 100 m kommen natürlich noch seltener vor.
2.130Einige Beispiele derartiger Einschläge von Meteoriten:
– Tunguska-Einschlag (1908, westl. Sibirien). Durchmesser des Meteoriten ca. 60 m, lose zusammengepreßtes Material; Zerstörung des Objekts in ca. 8 km Höhe; kein Krater; 10 - 15
Megatonnen TNT Sprengkraft; massive Verwüstungen im Umkreis von 30 km; Lärm der
Explosion war in London zu hören.
– Barringer-Krater (vor ca. 50000 Jahren, Arizona). 50 m Durchmesser, 300000 t Gewicht,
im wesentlichen aus Eisen; Krater ursprünglich mit 1200 m Durchmesser und 170 m Tiefe;
Feuerball bis 10 km Entfernung, Schockwelle mit 2000 km/h bis 40 km Entfernung.
– Chiemgau-Impakt (vor ca. 2500 Jahren, Chiemgau). Ca. 1 km Durchmesser, geringe Dichte; Explosion in 70 km Höhe, Zerfall in kleinere Objekte; viele Krater mit bis zu 370 m
Durchmesser in einem Bereich von 27 km Breite und 70 km Länge. Wahrscheinlich seit
dem Einschlag dieses Meteoriten hatten die sonst furchtlosen Kelten Angst, daß Ihnen der
”
Himmel auf den Kopf fällt“ (Bericht eines Chronisten Alexanders des Großen).
– Nördlinger Ries (vor 15 Millionen Jahren, Bayern). Ca. 1 km Durchmesser, 70000 km/h Einschlagsgeschwindigkeit; Krater mit 25 km Durchmesser und 4 km Tiefe; 140000 Megatonnen
TNT Sprengkraft; Auslöschung allen Lebens im Umkreis von 100 km.
– Chicxulub-Impakt (vor 65 Millionen Jahren, Yukatán-Halbinsel in Mexiko). 10 - 15 km Durchmesser; Krater mit 190 km Durchmesser; 100 Millionen Megatonnen TNT Sprengkraft; vermutl. weltweite Auslöschung der Dinosaurier.
Zur besseren Einschätzung der Sprengkraft jener Meteoriten sei erwähnt, daß die stärkste jemals
gezündete Wasserstoffbombe ein Sprengkraft von ca. 57 Megatonnen TNT hatte.
29. September 2009
38
Die Größe der Wahrscheinlichkeit pM wird dann interessant, wenn das Ereignis
E, daß ein Meteorit mit einem Durchmesser größer als 100 m auf Deutschland
stürzt, eintritt. Mit dem Eintreten von E in nächster Zeit sollte man aber nicht
rechnen 2.131. Wenn allerdings E wirklich eingetreten sein wird, wird das Wissen
um den Wert von pM relativ nutzlos sein, da es dann für die meisten Bewohner
Deutschlands, wenn es überhaupt noch exisitieren sollte, keine Rolle spielen wird,
wo genau der Meteorit aufgetroffen ist.
Die Berechnung von pM beantwortet eine oberflächlich vielleicht interessant“
”
erscheinende Frage, ist aber genaugenommen völlig nutzlos und gleicht hierin vielen
anderen Modellen“ und Studien“, die durch die Medien geistern 2.132.
”
”
2.7. Poissonapproximation der Binomialverteilung
In diesem Abschnitt 2.7 wird nachgewiesen, daß unter gewissen Voraussetzungen die für explizite Berechnungen schwer zugängliche Binomialverteilung durch
die leichter handhabbare Poissonverteilung 2.133 approximiert werden kann. Diese
Approximation ist der Hintergrund der vielfältigen Anwendungsmöglichkeiten der
Poissonverteilung.
Satz 2.5. Sei pn , n ∈ N, eine Folge in (0, 1) mit
lim npn = λ ∈ (0, ∞).
(2.20)
n→∞
Dann gilt:
λk
lim B(n, pn )[{k}] =
exp(−λ) ,
n→∞ |
{z
}
|k! {z
}
n k
n−k
=
P
(λ)[{k}]
=
p (1 − pn )
k n
(2.21)
k = 0, 1, 2, . . .
Beweis. Sei k = 0, 1, 2, . . . fest. Dann ist zunächst
n(n − 1) · · · (n − k + 1)
n −k
1
n = lim
(2.22)
lim
=
k
n→∞
n→∞ k
k! n
k!
und weiterhin
(2.23)
npn
lim (1 − pn )n = lim (1 − pn )1/pn
=
n→∞ |
{z
}
→ 2.134 exp(−1)
n→∞
Somit folgt:
2.135
exp(−λ).
lim B(n, pn )[{k}]
n→∞
→ 2.138 exp(−λ)
z }| {
n −k
(npn )k (1 − pn )n (1 − pn )−k
= lim
n
n→∞ k
| {z }
| {z }
| {z }
2.137 k
→ 2.139 1
→
λ
→ 2.136 1/k!
=
λk
exp(−λ).
k!
2.131Man hätte dann viele schlaflose Nächte vor sich, da die mittlere Zeit“ bis zum nächsten
”
Einschlag recht groß ist.
2.132Oft wird wahrscheinlich der Wert einer solchen Studie“ aber erst durch ihre ober”
flächliche Darstellung in den Medien gemindert.
2.133Die Poissonverteilung wurde in Abschnitt 2.2 vorgestellt.
2.134Aufgrund der Definition der Zahl e. Man beachte, daß p → 0 bei n → ∞.
n
2.135
Da npn → λ bei n → ∞, vgl. (2.20).
29. September 2009
39
2.7.1. Anwendung der Poissonapproximation. 2.140 In einer Steppe 2.141
sei eine rechteckige Versuchsfläche A betrachtet. Gesucht ist ein mathematisches
Modell für die Anzahl der Bäume in A. Zu diesem Zweck ist das folgende Vorgehen
naheliegend:
• In einem Diskretisierungsschritt wird für jedes n ∈ N die Versuchsfläche
A in kleine Rechtecke Rkn , k = 1, . . . , n, mit der Fläche αn 2.142 aufgeteilt,
d.h.,
nαn = |A| = Fläche von A.
αn sei so klein, daß unter den gegebenen Bedingungen (Bodenbeschaffenheit, Klima, . . . ) in jedem Rechteck Rkn , k = 1, . . . , n, i. allg. höchstens
ein Baum steht.
• In einem vorläufigen Modell 2.143 sei
– für k = 1, . . . , n die Wahrscheinlichkeit für einen Baum in Rkn proportional zur Fläche |Rkn | = αn , d.h.,
P[ein Baum in Rkn ] = µαn ,
P[kein Baum in Rkn ] = 1 − µαn ,
k = 1, . . . , n,
für ein µ > 0 2.144.
– Die Baumbestände in den verschiedenen Rechtecken Rkn , k = 1, . . . , n,
seien stochastisch unabhängig.
Als Konsequenz besitzt in diesem vorläufigen Modell die Anzahl der Bäume in A eine Binomialverteilung B(n, µαn ) 2.145.
• Wenn die Diskretisierung von A immer feiner wird, d.h. bei n → ∞, folgt:
n
P[k Bäume in A] =
(µαn )k (1 − µαn )n−k = B(n, µαn )[{k}]
k
n→∞ 2.146
≈
P (µ|A|)[{k}] =
(µ|A|)k
exp(−µ|A|),
k!
k = 0, 1, 2, . . .
• Obige Überlegungen führen zu einem endgültigen Modell und zeigen, daß
die Wahl der Poissonverteilung P (µ|A|) zur Modellierung der Anzahl der
in A wachsenden Bäume sinnvoll ist 2.147.
2.136Wegen (2.22).
2.137Wegen (2.20).
2.138Wegen (2.23).
2.139Da p → 0 bei n → ∞.
n
2.140
In diesem Abschnitt 2.7.1 wird für eine realistische“ Situation eine typische Anwendung
”
der Poissonverteilung bei der mathematischen Modellierung beschrieben.
2.141
Eine Steppe ist durch eine spärliche Vegetation charakterisiert. Insbesondere wachsen
dort nur sehr wenige, vereinzelt zu findende Bäume.
2.142Alle kleinen Rechtecke sollen die gleiche Fläche α haben. Da letztendlich sehr große n
n
betrachtet werden, ist αn im Verhältnis zur Gesamtfläche |A| sehr klein.
2.143In den später folgenden Überlegungen wird aus diesem vorläufigen Modell ein end”
gültiges“ Modell hergeleitet.
2.144Da α = |A|/n, ist µα < 1, wenn n hinreichend groß ist.
n
n
2.145Die Anzahl der Bäume in A bestimmt sich im vorliegenden Modell genauso wie die
Anzahl der Erfolge bei einem n-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit
µαn , vgl. Abschnitt 2.2 und insbesondere auch die Herleitung von (1.5) in Abschnitt 1.1.2.
2.146Mit der Poissonapproximation der Binomialverteilung, vgl. (2.19). Man beachte hierbei,
daß nµαn = µ|A| für alle n ∈ N.
2.147In diesem endgültigen Modell ist die zwar hilfreiche, aber dennoch künstliche Einteilung
der Fläche A in kleine Rechtecke nicht mehr vorhanden.
29. September 2009
40
Das soeben beschriebene Verfahren ist auch in vielen ähnlichen Situationen anwendbar. Sich hieraus ergebende Beispiele für Anwendungen der Poissonverteilung
sind:
• Modellierung der Anzahl der Zerfälle eines radioaktiven Präparats in einem festen Zeitintervall [0, t] durch eine Poissonverteilung mit einem Parameter µt.
• Modellierung der Anzahl der Anfragen an einen Mail-Server 2.148 in einem
vorgegebenen Zeitintervall [s, t] durch eine Poissonverteilung mit einem
Parameter µ(t − s) 2.149.
• Modellierung der Anzahl der Sterne in einem hinreichend großen Bereich
A des Weltalls 2.150 durch eine Poissonverteilung mit einem Parameter
µ|A| 2.151.
In diesen verschiedenen Situationen ist jeweils ein geeigneter Parameter µ > 0 zu
verwenden 2.152.
Allgemein findet die Poissonverteilung Anwendungen bei der Modellierung der
Anzahl von zufälligen, sich gegenseitig nicht beeinflußenden Punkten“ in einem
”
festen Bereich von Raum oder Zeit 2.153 2.154.
2.148Ein Mail-Server ist ein Rechner, der E-Mails verwaltet, d.h. entgegennimmt, speichert,
verschickt, weiterleitet, usw. Anfragen“ beziehen sich auf das Verschicken oder Entgegenneh”
men von Mails durch einzelne User, oder auch auf Aktionen zur Verwaltung des jeweiligen MailAccounts.
2.149In einem präziseren Modell sollte µ abhängig von der Tageszeit sein. Evtl. sollte auch ein
deterministischer Beitrag in das Modell hinzugenommen werden, um regelmäßige, automatische
Anfragen zu modellieren.
2.150Damit in dem Bereich A räumlich homogene Bedingungen“ vorliegen, sollte
”
Durchmesser eines Sonnensystems ≪ Durchmesser von A ≪ Durchmesser einer Galaxie
angenommen werden.
2.151Hier bezeichnet |A| das Volumen von A.
2.152Gegebenenfalls kann µ ausgehend von einigen Beobachtungen geschätzt werden, vgl.
Beispiel 4.2.
2.153
Die Modellierung der genauen Lage dieser Punkte“ steht hier nicht zur Debatte. Hierzu
”
werden sog. Poissonprozesse verwendet. Ein Teilproblem in diesem Zusammenhang (Lage des
ersten Punktes“) wird in Beispiel 8.3 angesprochen.
”
2.154
Aufgrund ihrer breiten Anwendungspalette ist die Poissonverteilung eine der wichtigsten
Wahrscheinlichkeitsverteilungen.
29. September 2009
KAPITEL 3
Zufallsvariablen
Mit Zufallsvariablen können Beobachtungsgrößen“, die zufällige Werte anneh”
men, modelliert werden. Der für die Modellierung benötigte Zufall“ wird durch
”
einen Wahrscheinlichkeitsraum, auf dem diese Zufallsvariablen als Funktionen 3.1
3.2
definiert sind, erzeugt“ .
”
Zunächst seien (Ω, F) und (Ω′ , F′ ) meßbare Räume 3.3. Weiterhin sei 3.4 X :
′
(Ω, F) → (Ω , F′ ) eine Funktion. X wird meßbar genannt, wenn
(3.1)
X −1 (A′ ) :=
3.5
{ω ∈ Ω : X(ω) ∈ A′ } =:
3.6
{X ∈ A′ } ∈ F,
A′ ∈ F′ .
Wenn P ein Wahrscheinlichkeitsmaß auf dem Definitionsbereich (Ω, F) von X ist,
schreibt man X : (Ω, F, P) → (Ω′ , F′ ) und bezeichnet X als (Ω′ - oder auch (Ω′ , F′ )wertige) Zufallsvariable, wenn (3.1) gilt 3.7 3.8 3.9.
3.1
Funktionen, die eine Zufallsvariable darstellen, müssen mit der Meßbarkeit, vgl. (3.1), eine
spezielle Eigenschaft besitzen.
3.2
Jener Wahrscheinlichkeitsraum dient als Zufallsgenerator“.
”
3.3Vgl. (2.1).
3.4Die Schreibweise X : (Ω, F) → (Ω′ , F′ ) ist im Vergleich zu X : Ω → Ω′ vorzuziehen, da die
für das folgende wesentlichen σ-Algebren F und F′ hervorgehoben werden.
3.5X −1 (A′ ) ist das Urbild von A′ unter X. X muß keine invertierbare Funktion sein.
3.6
Diese Abkürzung wird im folgenden häufig verwendet werden.
3.7In der Definition des Begriffs Zufallsvariable ist das Wahrscheinlichkeitsmaß P noch bedeutungslos. Es wird allerdings wesentlich, wenn mit X gearbeitet wird.
3.8
Bei den in dieser Vorlesung in Erscheinung tretenden Zufallsvariablen X ist oft
• der Definitionsbereich (Ω, F, P) ein anonymer Zufallsgenerator“, der im Hintergrund
”
bleibt, während
′
′
• der Wertebereich (Ω , F ), bzw. die Verteilung PX von X, vgl. Abschnitt 3.1, im Zentrum des Interesses steht. PX ist ein Wahrscheinlichkeitsmaß auf (Ω′ , F′ ), welches
angibt, mit welchen Wahrscheinlichkeiten die Zufallsvariable X ihre verschiedenen
”
Werte annimmt“.
• In den allermeisten konkreten Fällen ist (Ω′ , F′ ) = (G, B(G)) oder (Ω′ , F′ ) =
(M, Pot(M )), wobei G ein Gebiet in einem Rd , d = 1, 2, . . . , und M höchstens abzählbar
unendlich ist.
3.9
Die Begriffe meßbarer Raum und Zufallsvariable, die fundamental für die Stochastik sind,
erinnern an die ähnlich erscheinenden Begriffe topologischer Raum, bzw. stetige Funktion, die
grundlegend für viele mathematische Disziplinen sind.
Ein topologischer Raum (M, O) besteht aus einer Menge M und einer Topologie O auf M .
Hierbei ist O eine Familie von Teilmengen von M , die die Bedingungen
∅, M ∈ O,
Oi ∈ O, i ∈ I
O1 , . . . , On ∈ O
=⇒
=⇒
[
Oi ∈ O,
i∈I
n
\
i=1
Oi ∈ O
mit jeder beliebigen Menge I und n ∈ N erfüllt. Die Mengen O ∈ O werden offene Mengen
genannt.
41
42
Wenn Ω höchstens abzählbar unendlich und F = Pot(Ω) ist, gilt die Meßbarkeitsbedingung (3.1) immer 3.10.
Wenn andererseits Ω′ höchstens abzählbar unendlich ist, ist eine Funktion X :
(Ω, F) → (Ω′ , Pot(Ω′ )) genau dann meßbar, wenn 3.11
(3.2)
X −1 ({ω ′ }) = {ω ∈ Ω : X(ω) = ω ′ } = {X = ω ′ } ∈ F,
ω ′ ∈ Ω′ .
In diesem Fall ist X eine diskrete meßbare Funktion.
Beispiel 3.1. Um den Begriff der Meßbarkeit näher zu beleuchten, werden nun
nicht-meßbare Funktionen vorgestellt 3.12.
Seien (Ω, F) und (Ω′ , F′ ) meßbare Räume. Weiterhin sei X : (Ω, F) → (Ω′ , F′ )
eine Funktion. Offensichtlich kann die Meßbarkeit (3.1) von X verloren gehen, wenn
F zu klein ist.
In einem ersten Beispiel sei Ω = {0, 1} und F = {∅, Ω} 3.13. Weiterhin sei
′
Ω = {0, 1} = Ω, F′ = Pot(Ω′ ) und X : Ω → Ω′ die Identität, d.h., X(ω) = ω,
ω ∈ Ω. Da {1} ∈ F′ und X −1 ({1}) = {1} ∈
/ F, ist Xnicht meßbar.
In einem zweiten Beispiel sei Ω = [0, 1] und F = ∅, Ω, [0, 1/2], (1/2, 1] 3.14. Sei
außerdem Ω′ = R, F′ = B(R) 3.15 und X wiederum die Identität, d.h., X(ω) = ω,
ω ∈ Ω. Da [1/4, 3/4] ∈ F′ und X −1 ([1/4, 3/4]) = [1/4, 3/4] ∈
/ F, ist auch in diesem
Fall X nicht meßbar.
Hätte man in den beiden Situationen in Ω die jeweils übliche σ-Algebra, d.h.,
F = Pot({0, 1}), bzw. F = B([0, 1]), gewählt, wären die Funktionen X natürlich
meßbar gewesen.
3.1. Verteilung von Zufallsvariablen
Sei X : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable 3.16. Die Meßbarkeitsbedingung
(3.1) besagt, daß die X zugeordneten Mengen X −1 (A′ ), A′ ∈ F′ , Elemente von F
sind, d.h. Ereignisse 3.17, die jeweils eine durch P bestimmte Wahrscheinlichkeit
Während σ-Algebren abzählbare Durchschnitte (abzählbare Vereinigungen) ihrer Elementen
enthalten, sind in Topologien nur endliche Durchschnitte (aber beliebige Vereinigungen) von Elementen enthalten. Die zur Meßbarkeit (3.1) analoge Bedingung
f −1 (O ′ ) = {m ∈ M : f (m) ∈ O ′ } ∈ O,
O ′ ∈ O′ ,
zeichnet stetige Funktionen f : (M, O) → (M ′ , O′ ) eines topologischen Raums (M, O) in einen
weiteren topologischen Raum (M ′ , O′ ) aus.
3.10Zur Begründung beachte man, daß für alle Mengen Ω′ , alle A′ ⊆ Ω′ und alle Funktionen
X : Ω → Ω′ immer X −1 (A′ ) ∈ Pot(Ω) = F gilt.
3.11Offensichtlich folgt aus (2.1c), (3.2) und der Tatsache, daß A′ ⊆ Ω′ höchstens abzählbar
unendlich ist, insbesondere
[
X −1 (A′ ) = {ω ∈ Ω : X(ω) ∈ A′ } =
{ω ∈ Ω : X(ω) = ω ′ } ∈ F, A′ ∈ F′ .
{z
}
|
′
′
ω ∈A
= X −1 ({ω ′ }) ∈ F (vgl. (3.2))
3.12In der Mathematik sollte man immer auch versuchen, die Bedeutung neu eingeführter
Begriffe durch Gegenbeispiele zu erhellen.
3.13Für dieses triviale Mengensystem sind die Eigenschaften einer σ-Algebra, vgl. (2.1), offensichtlich erfüllt.
3.14Diese σ-Algebra in [0, 1] wird üblicherweise natürlich nicht betrachtet.
3.15Die Wahl der Borelschen σ-Algebra, d.h. der kleinsten σ-Algebra, die alle Intervalle
enthält, ist für R üblich.
3.16In den nun folgenden Überlegungen wird insbesondere das Wahrscheinlichkeitsmaß P eine
entscheidende Rolle spielen.
3.17Diese Ereignisse beschreiben das Verhalten der Zufallsvariable X.
29. September 2009
43
besitzen. Man faßt diese Wahrscheinlichkeiten in der Verteilung PX von X mit
PX [A′ ] := P[{ω ∈ Ω : X(ω) ∈ A′ }]
{z
}
|
−1
′
3.18
= X (A ) ∈
F
(3.3)
=:
3.19
P[X ∈ A′ ],
A′ ∈ F′ ,
zusammen. PX ist ein Wahrscheinlichkeitsmaß auf (Ω′ , F′ ) 3.20, d.h., (Ω′ , F′ , PX ) ist
ein Wahrscheinlichkeitsraum. Dieses Wahrscheinlichkeitsmaß PX beschreibt, mit
”
welchen Wahrscheinlichkeiten die Zufallsvariable X ihre verschiedenen möglichen
′
Werte in Ω annimmt“.
Bemerkung. Sei X : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable, wobei Ω′
abzählbar und F′ = Pot(Ω′ ) ist 3.21. Die Verteilung PX ist dann eindeutig bestimmt durch 3.22
PX [{η}] = P[{ω ∈ Ω : X(ω) = η}] = P[X = η],
Insbesondere gilt:
′
PX [A ] = PX
"•
[
η∈A′
#
3.23
{η} =
X
PX [{η}],
η∈A′
η ∈ Ω′ .
A′ ∈ F′ .
Beispiel 3.2. Zur Modellierung des ∞-fachen, unabhängigen Münzwurfs mit
Erfolgswahrscheinlichkeit p ∈ (0, 1) wird der in Abschnitt 2.4.2 eingeführte Wahrscheinlichkeitsraum (Ω, F, P) benutzt. Insbesondere ist Ω = {0, 1}N und 3.24 F =
σ(F∗ ). Außerdem ist das Wahrscheinlichkeitsmaß P durch seine durch (2.15) beschriebene Einschränkung auf F∗ bestimmt.
3.18Da X meßbar ist, vgl. (3.1).
3.19
P[X ∈ A′ ] ist eine Abkürzung für P[{ω ∈ Ω : X(ω) ∈ A′ }].
3.20Zur Begründung ist zu zeigen, daß P
X die Eigenschaften (2.2) erfüllt. Zunächst folgt
(2.2a) aus
PX [Ω′ ] = P[{ω ∈ Ω : X(ω) ∈ Ω′ }]
|
{z
}
=Ω
= 1 (da (2.2a) für P gilt).
Zum Nachweis von (2.2b) seien A′1 , A′2 , · · · ∈ F′ mit A′k ∩ A′l = ∅, k, l ∈ N, k 6= l. Dann gilt:
"•∞
#
[
•∞
A′k (die Notation ∪k=1 . . . bezeichnet eine disjunkte Vereinigung)
PX
k=1
"(
=P
|
=
=
=
∞
X
k=1
∞
X
ω ∈ Ω : X(ω) ∈
• ∞
[
k=1
{z
• ∞
[
k=1
A′k
)#
}
{ω ∈ Ω : X(ω) ∈ A′k }
(da für k 6= l und ω ∈ Ω nicht gleichzeitig X(ω) ∈ A′k und X(ω) ∈ A′l )
P[{ω ∈ Ω : X(ω) ∈ A′k }] (wegen (2.2b) für P)
PX [A′k ] (wegen (3.3)).
k=1
3.21X ist somit eine diskrete Zufallsvariable.
3.22P ist in diesem Fall durch seine Einschränkung auf die einpunktigen Teilmengen von
X
Ω′ bestimmt.
3.23Wegen der σ-Additivität von P .
X
3.24Ω ist der Raum der {0, 1}-wertigen Folgen und F die kleinste σ-Algebra, die die Menge
F∗ jener Ereignisse, die durch endlich viele Würfe der Münze bestimmt sind, vgl. (2.14), enthält.
29. September 2009
44
Zunächst sind Xk : (Ω, F, P) → ({0, 1}, Pot({0, 1})), k ∈ N, mit 3.25 Xk (ω) =
ωk , ω ∈ Ω, k ∈ N, Zufallsvariablen. Offensichtlich modelliert für k ∈ N die Zufallsvariable Xk das Ergebnis des k-ten Wurfs der Münze 3.26.
Durch T (ω) := inf{k ∈ N : Xk (ω) = 1}, ω ∈ Ω, wird nun eine (N, Pot(N))wertige Funktion T auf (Ω, F, P) definiert. Da
(3.4)
{T = n} = {ω ∈ Ω : T (ω) = n}
= {ω ∈ Ω : X1 (ω) = · · · = Xn−1 (ω) = 0, Xn (ω) = 1}
= {ω ∈ Ω : ω1 = · · · = ωn−1 = 0, ωn = 1} ∈ F∗ ⊂ F,
n ∈ N,
ist T eine diskrete Zufallsvariable 3.27. Diese Zufallsvariable modelliert den Zeitpunkt des ersten Wurfs von Zahl“. Ihre Verteilung PT ist eindeutig bestimmt
”
durch 3.28 P[T = n], n ∈ N. Weil
P[T = n] =
3.29
=
3.30
P[{ω ∈ Ω : ω1 = · · · = ωn−1 = 0, ωn = 1}]
(1 − p)n−1 p,
n ∈ N,
ist T geometrisch verteilt mit Parameter p 3.31.
Auch bei anderen, beliebig oft unabhängig wiederholten, identischen Experi”
menten“ mit zwei möglichen Ausgängen Erfolg“, bzw. Mißerfolg“ ist der Zeit” 3.32
”
punkt des ersten Erfolgs geometrisch verteilt
.
3.1.1. Konstruktion und Simulation diskreter Zufallsvariablen. 3.33
Auf 3.34 N sei ein Wahrscheinlichkeitsmaß 3.35 µ = (µn )n∈N gegeben. Gesucht ist eine
N-wertige Zufallsvariable mit der Verteilung µ. Damit ist insbesondere ein Wahrscheinlichkeitsraum (Ω, F, P) und eine meßbare 3.36 (N, Pot(N))-wertige Funktion
X auf (Ω, F, P) anzugeben, d.h. zu konstruieren 3.37, so daß
PX [{n}] = P[X = n] = µn ,
n ∈ N.
3.25Beachte, daß ω = (ω , ω , . . . ), ω ∈ Ω. X ist somit die Projektion auf die k-te Koordinate
1
2
k
von Ω.
3.26Wenn die Familie der Zufallsvariablen X , k ∈ N, zu einem Objekt (X )
k
k k∈N zusammengefaßt wird, ergibt sich ein einfaches Beispiel eines stochastischen Prozesses. Insbesondere
liegt hier ein Bernoulli-Prozeß vor. Allgemein sind bei einem Bernoulli-Prozeß Y = (Yk )k∈N die
Zufallsvariablen Yk , k ∈ N, unabhängig und identisch verteilt.
3.27Man beachte, daß die Funktion T die Bedingung (3.2) erfüllt.
3.28Vgl. die diesem Beispiel 3.2 unmittelbar vorangehenden Ausführungen.
3.29Wegen (3.4).
3.30Aufgrund von (2.15).
3.31Mit den hier durchgeführten Überlegungen sind die eher formal einzuschätzenden
Ausführungen in Fußnote 2.34 auf eine mathematisch korrekte Basis gestellt.
3.32Der Parameter dieser geometrischen Verteilung stimmt mit der Erfolgswahrscheinlichkeit
bei der einmaligen Durchführung des Experiments überein. Beispielsweise ist beim ∞-fachen, unabhängigen Wurf eines Würfels der Zeitpunkt des ersten Wurfs einer 5 geometrisch mit Parameter
1/6 verteilt.
3.33
Zum besseren Verständnis mathematischer Objekte ist es hilfreich, wenn geklärt wird,
wie derartige Strukturen konkret erzeugt“, bzw. konstruiert werden können. Hierbei kann die”
se Konstruktion rein abstrakt in einem mathematischen Umfeld oder auch real“ mit Hilfe eines
”
Computers vorgenommen werden. In diesem Abschnitt 3.1.1 sollen auf diese Weise speziell diskrete
Zufallsvariablen, d.h. Zufallsvariablen, deren Wertebereich höchstens abzählbar ist, erzeugt“ wer”
den. Als Ausgangspunkt ist die Verteilung der zu konstruierenden Zufallsvariable fest vorgegeben.
3.34
Die folgenden Überlegungen lassen sich leicht modifizieren, wenn N durch eine beliebige,
höchstens abzählbare Mange Ω′ ersetzt wird.
3.35Insbesondere ist µ ≥ 0, n ∈ N, und P
n
n∈N µn = 1.
3.36Auf der abzählbaren Menge N wird üblicherweise die σ-Algebra Pot(N) verwendet.
3.37A priori ist nicht klar, ob es zu jedem Wahrscheinlichkeitsmaß µ auch eine Zufallsvariable
X gibt, deren Verteilung PX gleich µ ist.
29. September 2009
45
Eine erste Möglichkeit besteht darin, zunächst Ω = N, F = Pot(N) und P = µ
zu wählen und anschließend X : (Ω, F, P) → (N, Pot(N)) durch 3.38 X(ω) = ω,
ω ∈ Ω, zu definieren. Da
PX [{n}] =
3.39
=
3.40
P[{ω ∈ Ω : X(ω) = n}]
P[{ω ∈ Ω : ω = n}] = P[{n}] =
3.41
µn ,
n ∈ N,
wird damit das Konstruktionsproblem gelöst.
Es 3.42 wäre auch möglich, 3.43 (Ω, F, P) = ([0, 1], B([0, 1]), λ[0,1] ) zu wählen und
X1 durch 3.44
Pn−1
Pn
(3.5)
X1 (ω) = n, ω ∈
k=1 µk , n ∈ N,
k=1 µk ,
zu definieren. Da
(3.6)
PX1 [{n}] =
3.45
=
3.46
=
3.47
λ[0,1] [{ω ∈ [0, 1] : X1 (ω) = n}]
Pn−1
Pn
λ[0,1] ω ∈ [0, 1] : k=1 µk ≤ ω < k=1 µk
P
Pn−1
| nk=1 µk − k=1
µk | = µn , n ∈ N,
löst auch dieser Ansatz mit der Zufallsvariablen X1 das vorgegebene Konstruktionsproblem.
Beispiel 3.3 (Simulation einer Folge unabhängiger 3.48, N-wertiger Zufallsvariablen mit einer vorgegebenen Verteilung). Als Basis zur Verwendung von Statistik-Software erzeugen Computer, bzw. sog. Zufallsgeneratoren, die auf diesen Computern implementiert sind, üblicherweise unabhängige“ Folgen von Zufallszahlen
”
x1 , x2 , . . . , die in [0, 1] gleichverteilt“ sind, d.h., mit den Zahlen x1 , x2 , . . . wird
”
3.49
eine
Realisierung einer Folge unabhängiger, in [0, 1] gleichverteilter 3.50 Zufallsvariablen simuliert. Genaugenommen sind diese Zahlen aber in keiner Weise
3.38X ist die Identität auf Ω = N.
3.39Aufgrund der Definition (3.3) der Verteilung P einer Zufallsvariable X.
X
3.40
Wegen der speziellen Definition der Zufallsvariable X als Identität auf Ω = N.
Da P = µ gewählt wird.
3.42
Es folgt nun eine zweite Konstruktion einer N-wertigen Zufallsvariable mit der vorgegebenen Verteilung µ. Diese zweite Konstruktion wird sich in Beispiel 3.3 als nützlich herausstellen,
wenn diese Zufallsvariable mit Hilfe eines Computers simuliert werden soll.
3.43
Vgl. Abschnitt 2.4.1
3.44Der Funktion X sollte auch ein Wert X (ω) für ω = 1 zugewiesen werden. Da
1
1
λ[0,1] [{1}] = 0, ist der genaue Wert X1 (1) allerdings irrelevant. Allgemein werden zwei auf einem
Wahrscheinlichkeitsraum (Ω, F, P) definierte Zufallsvariablen X und Y als identisch betrachtet,
d.h. miteinander identifiziert, wenn
3.41
P[{ω ∈ Ω : X(ω) = Y (ω)}] = P[X = Y ] = 1.
In diesem Fall schreibt man X = Y , f.s. (fast-sicher). Verschiedene Gleichheitsbegriffe für Zufallsvariablen werden in Abschnitt 3.2.5 diskutiert.
3.45Weil die Zufallsvariable X auf dem Wahrscheinlichkeitsraum ([0, 1], B([0, 1]), λ
1
[0,1] ) definiert ist.
3.46
Aufgrund von (3.5).
3.47
Da das Lebesguemaß eines Intervalls dessen Länge ist, vgl. Abschnitt 2.4.1
3.48Der Begriff der Unabhängigkeit von Zufallsvariablen wird erst in Abschnitt 3.2 eingeführt
werden, vgl. (3.8). Zum Verständnis der Überlegungen in diesem Beispiel sollte allerdings ein
intuitives Verständnis der Unabhängigkeit ausreichen.
3.49Eine Realisierung einer Familie X , X , . . . von Zufallsvariablen, die auf einem Wahr1
2
scheinlichkeitsraum (Ω, F, P) definiert sind, ergibt sich, wenn eine Folge X1 (ω), X2 (ω), . . . für ein
festes, aber beliebiges ω ∈ Ω betrachtet wird.
3.50Die Gleichverteilung in [0, 1] wird in Abschnitt 2.4.1 eingeführt.
29. September 2009
46
unabhängig oder zufällig, da sie durch spezielle, i. allg. rekursive Algorithmen berechnet werden und somit völlig deterministisch sind. Nur aufgrund ihrer Komplexität scheinen sie jene Eigenschaften zu besitzen. Sie werden daher auch als
Pseudozufallszahlen bezeichnet 3.51.
Die Überlegungen in (3.6) demonstrieren, daß durch die transformierten Zufallszahlen 3.52 X1 (x1 ), X1 (x2 ), . . . unabhängige Zufallsvariablen mit der Verteilung
µ simuliert werden können.
3.2. Familien von Zufallsvariablen und deren gemeinsame Verteilung
In diesem Abschnitt 3.2 wird insbesondere dargelegt, wie sich Zusammen”
hänge“ 3.53 zwischen mehreren Zufallsvariablen und auch deren Unabhängigkeit 3.54
mathematisch beschreiben lassen.
Beispiel 3.4 (Abhängige Zufallsvariablen). Für k = 1, 2, . . . sei Tk der Tip
eines Lottospielers 3.55 in der k-ten Woche. Insbesondere seien Tk , k = 1, 2, . . . ,
auf einem Wahrscheinlichkeitsraum (Ω, F, P) definierte Zufallsvariablen mit Werten
in 3.56 Ω′ = {M ⊂ {1, . . . , 49} : |M | = 6}. Wie es für einen endlichen Stichprobenraum üblich ist, wird Ω′ mit der σ-Algebra F′ = Pot(Ω′ ) versehen 3.57.
Für ein p ∈ [0, 1] habe der Lottospieler folgendes spezielle Tip-Verfahren:
• T1 sei gleichverteilt auf Ω′ , d.h., P[T1 = ν] = 1/|Ω′ |, ν ∈ Ω′ 3.58.
• Die Tips Tk für k = 2, 3, . . . werden sukzessive folgendermaßen bestimmt:
– Sei Tk−1 = µ für ein µ ∈ Ω′ .
3.51
Ein bekanntes Verfahren zur Erzeugung von Pseudozufallszahlen ist die lineare Kongruenzmethode, vgl. z.B. [7], Abschnitt 10.2. Zu vorgegebenen Parametern m ∈ N, a = 1, . . . , m − 1,
c = 0, 1, . . . , m − 1 und einem Startwert y0 = 0, 1, . . . , m − 1 betrachtet man zunächst die Folge
yn , n ∈ N0 , mit
(∗)
yn+1 = (ayn + c)
mod m,
n = 0, 1, 2, . . . ,
und bildet diese anschließend mit xn = yn /m, n = 0, 1, 2, . . . , in das Intervall [0, 1] ab. Wenn m,
a, c und y0 geschickt“ gewählt werden, hat die Folge xn , n = 0, 1, 2, . . . , ein Erscheinungsbild wie
”
eine typische“ Realisierung einer Folge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen.
”
Bei einer unglücklichen Wahl der Parameter erhält man aber u.U. eine sehr regelmäßige Folge
y0 , y1 , y2 , . . . . Beispielsweise ergibt sich 5, 0, 5, 0, . . . für a = c = y0 = 5, m = 10. Allgemein
besitzt eine durch eine Relation wie (∗) bestimmte Zahlenfolge immer eine endliche Periode, die
höchstens gleich m ist.
Etliche klassische, ältere Zufallsgeneratoren basieren auf der linearen Kongruenzmethode.
Oft hat sich allerdings im Lauf der Zeit herausgestellt, daß jene oft benutzten Zufallsgeneratoren,
deren Perioden zwischen 230 und 248 liegen, eine nur geringe Qualität besitzen. Hingegen gibt es
mit dem Mersenne Twister einen modernen Zufallsgenerator, der in einer gut bewährten Variante
mit 219937 − 1 eine extrem große Mersennesche Primzahl als Periode besitzt, vgl. z.B. [11].
Auf den üblichen Computern sind Zufallsgeneratoren und auch Befehle zur Simulation von
unabhängigen Zufallsvariablen mit einer vorgegebenen Verteilung meistens verfügbar, evtl. als
Teil des Betriebssystems oder im Rahmen von Softwarepaketen wie Maple, Mathematica oder R.
Weiterhin enthalten wissenschaftliche Software-Bibliotheken, wie z.B. die GNU Scientific Library
(GSL), vgl. http://www.gnu.org/software/gsl/, derartige Software.
3.52
Die Funktion X1 wird in (3.5) definiert.
3.53Dieser vage Begriff wird durch das Konzept der gemeinsamen Verteilung von Zufallsvariablen präzisiert.
3.54Unabhängigkeit liegt vor, wenn sich Zufallsvariablen nicht gegenseitig beeinflussen“. Der
”
bisher verwendete intuitive Zugang zu diesem Begriff muß nun in eine mathematisch korrekte
Form gebracht werden.
3.55Es sei das Spiel 6 aus 49“ gemeint.
”
3.56|A| bezeichnet die
Mächtigkeit einer Menge A.
3.57(Ω′ , F′ ) ist somit ein meßbarer Raum. In dieser Situation ist es bemerkenswert, daß Ω′
eine Menge von Mengen und daher Pot(Ω′ ) die Menge aller Teilmengen einer Menge von Mengen
ist.
3.58|Ω′ | ist die Anzahl der Möglichkeiten, aus einer Menge mit 49 Elementen eine 6-elementige
` ´
, vgl. Abschnitt 5.1.
Teilmenge auszuwählen, d.h., |Ω′ | = 49
6
29. September 2009
47
– Mit Wahrscheinlichkeit 1 − p sei Tk = µ.
– Mit Wahrscheinlichkeit p werde ein
· l ∈ µ 3.59 gemäß der Gleichverteilung auf 3.60 µ und ein
· l′ ∈ {1, . . . , 49} \ µ gemäß der Gleichverteilung auf 3.61 {1, . . . ,
49} \ µ ausgewählt 3.62.
– Nun sei Tk = (µ \ {l}) ∪ {l′ } 3.63.
Man beobachtet, daß
−1
• P[Tk = ν] = 1/|Ω′ | = 3.64 49
, ν ∈ Ω′ , für alle k = 1, 2, . . . . Die
6
Zufallsvariablen Tk , k = 1, 2, . . . , besitzen daher die gleiche Verteilung 3.65.
• Wenn p = 0 3.66, so ist Tk = T1 für alle k = 2, 3, . . . , d.h., die Zufallsvariablen Tk , k = 1, 2, . . . , sind stark voneinander abhängig“. Diese
”
Abhängigkeit sinkt“ mit wachsendem p 3.67.
”
Die Basis einer quantitativen Beschreibung der Abhängigkeit von Zufallsvariablen
ist deren gemeinsame Verteilung 3.68.
Es wäre übrigens zweckmäßig die Familie der Zufallsvariablen Tk , k = 1, 2, . . . ,
zusammenzufassen und als als einen stochastischen Prozeß 3.69 (Tk )k∈N zu betrachten 3.70.
Sei nun (Ω, F, P) ein Wahrscheinlichkeitsraum und (Ω′λ , Fλ′ ), λ ∈ Λ, eine Familie meßbarer Räume 3.71. Außerdem seien Xλ : (Ω, F, P) → (Ω′λ , Fλ′ ), λ ∈ Λ,
Zufallsvariablen 3.72. Die gemeinsame Verteilung der Zufallsvariablen Xλ , λ ∈ Λ,
3.59Man beachte, daß µ als Element von Ω′ eine Teilmenge von {1, . . . , 49} ist.
3.60
An diese Stelle wird mit dem Wahrscheinlichkeitsraum (µ, Pot(µ), Pµ ) gearbeitet, wobei
Pµ die Gleichverteilung auf der Menge µ ist.
3.61An diese Stelle wird mit dem Wahrscheinlichkeitsraum ({1, . . . , 49} \ µ, Pot({1, . . . , 49} \
µ), P{1,...,49}\µ ) gearbeitet, wobei P{1,...,49}\µ die Gleichverteilung auf der Menge {1, . . . , 49} \ µ
ist.
3.62Die Wahrscheinlichkeitsräume (µ, Pot(µ), P ) und ({1, . . . , 49} \ µ, Pot({1, . . . , 49} \ µ),
µ
P{1,...,49}\µ ), die bei der Wahl von l und l′ verwendet werden, sind nur Hilfsmittel bei der Beschreibung der Zufallsvariablen Tk , k = 1, 2, . . . . Der eigentliche“ Wahrscheinlichkeitsraum, auf
”
dem die Zufallsvariablen Tk , k = 1, 2, . . . , definiert sind, ist der eingangs genannte (Ω, F, P), der
nicht näher spezifiziert wird, allerdings groß genug“ sein muß, damit die beschriebene Konstruk”
tion der Zufallsvariablen Tk , k = 1, 2, . . . , durchführbar wird.
3.63Mit Wahrscheinlichkeit p wird also bei der Bestimmung des zukünftigen Tips eine Zahl
des aktuellen Tips zufällig ausgewählt und durch eine aktuell nicht getippte Zahl ersetzt. Hierbei
werden die zu ersetzende und die neue Zahl jeweils gemäß einer Gleichverteilung ausgewählt.
3.64Vgl. Fußnote 3.58.
3.65Die Zufallsvariablen T , k = 1, 2, . . . , sind somit identisch verteilt.
k
3.66In diesem Fall wird zu keinem Zeitpunkt eine der aktuell getippten Zahlen modifiziert.
3.67Mit wachsendem p steigt die Wahrscheinlichkeit, daß eine der getippten Zahlen ausgetauscht wird. Da niemals alle Zahlen des aktuellen Tips ausgetauscht werden, besteht allerdings
auch für p = 1, wenn mit Sicherheit genau eine der Zahlen des aktuellen Tips geändert wird, eine
gewisse Abhängigkeit zwischen aufeinanderfolgenden Tips Tk und Tk+1 .
3.68
Der Begriff der gemeinsamen Verteilung einer Familie von Zufallsvariablen wird in diesem
Abschnitt 3.2 eingeführt, vgl. (3.7).
3.69Vgl. Abschnitt 3.4. Ein stochastischer Prozeß ist eine durch Zeitpunkte“ indizierte Fa”
milie von Zufallsvariablen.
3.70Offensichtlich ist bei Kenntnis des gegenwärtigen Tips T die Kenntnis der Tips T
k
k−1 ,
Tk−2 , . . . in der Vergangenheit nicht notwendig, um den zukünftigen Tip Tk+1 zu beschreiben.
Daher ist (Tk )k∈N sogar ein Markovprozeß, vgl. Abschnitt 8.2.
3.71Λ ist eine beliebige Menge, die auch überabzählbar sein kann. Die meßbaren Räume
′ ), λ ∈ Λ, können durchaus verschieden sein.
(Ω′λ , Fλ
3.72Um die nun folgenden Erläuterungen der Begriffe gemeinsame Verteilung und Unabhängigkeit in (3.7), bzw. in (3.8) besser zu verstehen, kann man zuerst |Λ| = 2, 3, . . . und
′ ) = (R, B(R)), λ ∈ Λ, annehmen. Insbesondere sollte man auch den folgenden Ab(Ω′λ , Fλ
schnitt 3.2.1, in dem eine endliche Menge diskreter Zufallsvariablen betrachtet wird, beachten.
29. September 2009
48
ist charakterisiert durch die Größen 3.73 3.74
(3.7)
P Xλ1 ∈ A′λ1 , Xλ2 ∈ A′λ2 , . . . , Xλm ∈ A′λm
= P ω ∈ Ω : Xλ1 (ω) ∈ A′λ1 , . . . , Xλm (ω) ∈ A′λm ,
{λ1 , . . . , λm } ⊆ Λ, A′λ1 ∈ Fλ′ 1 , . . . , A′λm ∈ Fλ′ m , m ∈ N.
Falls die gemeinsame Verteilung der Zufallsvariablen Xλ , λ ∈ Λ, faktorisiert, d.h.,
wenn 3.75
(3.8)
P Xλ1 ∈ A′λ1 , Xλ2 ∈ A′λ2 , . . . , Xλm ∈ A′λm
= P[Xλ1 ∈ A′λ1 ] P[Xλ2 ∈ A′λ2 ] . . . P[Xλm ∈ A′λm ]
{λ1 , . . . , λm } ⊆ Λ, A′λ1 ∈ Fλ′ 1 , . . . , A′λm ∈ Fλ′ m , m ∈ N,
werden diese Zufallsvariablen unabhängig genannt 3.76.
In den einfachsten Varianten vieler klassischer Resultate der Wahrscheinlichkeitstheorie, z.B. dem Gesetz der großen Zahlen oder dem Zentralen Grenzwertsatz 3.77, wird mit Familien 3.78 Xk , k ∈ N, unabhängiger, identisch verteilter
Zufallsvariablen gearbeitet. Hierbei sind Zufallsvariablen Xλ , λ ∈ Λ, identisch
verteilt, wenn sie die gleiche Verteilung besitzen, d.h., wenn 3.79 PXλ1 = PXλ2 ,
λ1 , λ2 ∈ Λ 3.80.
Als Abkürzung für unabhängig, identisch verteilt benutzt man häufig auch
i.i.d. 3.81. Mit i.i.d. Zufallenvariablen kann ein mehrmals, unabhängig unter gleichbleibenden Bedingungen wiederholtes Experiment modelliert werden 3.82.
3.2.1. Gemeinsame Verteilung endlich vieler diskreter Zufallsvariablen. 3.83 Seien Xk : (Ω, F, P) → (Mk , Pot(Mk )), k = 1, . . . , n, Zufallsvariablen,
3.73Für alle endlichen Teilmengen Λ = {λ , . . . , λ } ⊆ Λ wird festgehalten, mit welchen
e
m
1
Q
′
Wahrscheinlichkeiten die m
k=1 Ωλ -wertigen Zufallsvariablen (Xλ1 , . . . , Xλm ) ihre Werte in den
k
′
′ , . . . , A′
Mengen A′λ1 × · · · × A′λm , A′λ1 ∈ Fλ
λm ∈ Fλm , annehmen.
1
3.74
Charakterisiert durch . . . “ heißt nicht definiert durch . . . “. Die vollständige Definition
”
”
der gemeinsamen Verteilung
der Zufallsvariablen Xλ , λ ∈ Λ, als ein Wahrscheinlichkeitsmaß auf
Q
′
dem Produktraum λ∈Λ Ωλ wird in weiterführenden Vorlesungen angegeben.
Es sei nur erwähnt, daß für ein beliebiges Λ die gemeinsame Verteilung der Zufallsvaria′ ), λ ∈ Λ, ein Wahrscheinlichkeitsmaß auf dem meßbaren Raum
blen Xλ : (Ω, F, P) → (Ω′λ , Fλ
´
`Q
N
′ , dem Produkt der meßbaren Räume (Ω′ , F′ ), λ ∈ Λ, ist. Die Produkt′ ,
F
Ω
λ∈Λ λ N λ∈Λ λ
λ
λ
′
σ-Algebra
λ∈Λ Fλ ist hierbei die kleinste σ-Algebra, die die endlich-dimensionalen Rechtecke
′
′ , . . . , A′
{ω = (ωλ )λ∈Λ : ωλ1 ∈ A′λ1 , . . . , ωλm ∈ A′λm }, {λ1 , . . . , λm } ⊆ Λ, A′λ1 ∈ Fλ
λm ∈ Fλm ,
1
m ∈ N, enthält.
3.75Genaugenommen wird in (3.8) verlangt, daß alle gemeinsamen Verteilungen von jeweils
endlich vielen der Zufallsvariablen Xλ , λ ∈ Λ, faktorisieren.
3.76Um den Unterschied zur linearen Unabhängigkeit zu betonen, bezeichnet man die Zufallsvariablen Xλ , λ ∈ Λ, auch als stochastisch unabhängig.
3.77
Diese beiden Resultate werden in den Beispielen 1.6 und 1.7 vorgestellt. Ausführlichere
Diskussionen folgen in den Kapiteln 7 und 9.
3.78
Somit ist Λ = N.
3.79P bezeichnet die Verteilung einer Zufallsvariablen X, vgl. (3.3).
X
3.80Man beachte: Zufallsvariablen, die die gleiche Verteilung besitzen, müssen nicht, aber
können gleichverteilt sein! Zufallenvariablen X werden gleichverteilt genannt, wenn ihre Verteilung
PX die Gleichverteilung auf einer endlichen Menge, vgl. Abschnitt 2.2, oder die Gleichverteilung
in einem beschränkten Gebiet eines Rd , vgl. Abschnitt 2.6, ist.
3.81
i.i.d. bedeutet independent, identically distributed“.
”
Ein Beispiel ist der ∞-fache, unabhängige Münzwurf mit einer festen Erfolgswahrscheinlichkeit.
3.83
Zur Illustration der allgemeinen in (3.7), bzw. (3.8) betrachteten Situation wird nun ein
übersichtlicher“ Spezialfall vorgestellt.
”
3.82
29. September 2009
49
wobei Mk , k = 1, . . . , n, höchstens abzählbare Mengen sind. Die gemeinsame Verteilung der Zufallsvariablen X1 , . . . , Xn wird eindeutig charakterisiert durch 3.84
(3.9)
P {ω ∈ Ω : X1 (ω) = m1 , . . . , Xn (ω) = mn }
= P[X1 = m1 , . . . , Xn = mn ],
Durch Addition solcher Terme, d.h., mit
(3.10) PX1 ,...,Xn [A] := P[(X1 , . . . , Xn ) ∈ A]
X
P[X1 = m1 , . . . , Xn = mn ],
= 3.85
(m1 ,...,mn )∈A
m 1 ∈ M 1 , . . . , mn ∈ M n .
A ∈ Pot(M1 ×. . .×Mn ),
erhält man ein Wahrscheinlichkeitsmaß 3.86 PX1 ,...,Xn auf (M1 × · · ·× Mn , Pot(M1 ×
· · · × Mn )). Dieses Wahrscheinlichkeitsmaß PX1 ,...,Xn ist die (gemeinsame) Verteilung von X1 , . . . , Xn 3.87.
Faßt man übrigens die Zufallsvariablen X1 , . . . , Xn zu einer einzigen n-dimensionalen Zufallsvariablen X = (X1 , . . . , Xn ) zusammen, so ist
PX1 ,...,Xn = PX ,
wobei PX die in Abschnitt 3.1 eingeführte Verteilung von X ist.
Die Zufallsvariablen X1 , . . . , Xn sind unabhängig, wenn die Terme in (3.9) faktorisieren 3.88, d.h., wenn
(3.11)
P[X1 = m1 , . . . , Xn = mn ]
= P[X1 = m1 ] · · · P[Xn = mn ],
m 1 ∈ M 1 , . . . , mn ∈ M n .
Beispiel 3.5 (Gemeinsame Verteilung von zwei Zufallsvariablen). Wie in Abschnitt 2.1.6 wird der N -fache, unabhängige Wurf einer Münze mit der Wahrscheinlichkeit p für den Wurf von Zahl“ , 1 betrachtet.
”
Gesucht ist die gemeinsame Verteilung der Zufallsvariablen Z und T mit 3.89
Z(ω) = ω1 + · · · + ωN , bzw.
(
inf{i ∈ {1, . . . , N } : ωi = 1}, falls Z(ω) > 0,
T (ω) =
N + 1,
falls Z(ω) = 0,
für ω = (ω1 , . . . , ωN ) ∈ Ω = {0, 1}N . Dazu ist
P[Z = k, T = n],
zu bestimmen
(3.12)
3.90
k = 0, 1, . . . , N, n = 1, . . . , N + 1,
. Zunächst gilt:
P[Z = 0, T = N + 1] =
3.91
P[Z = 0, T = n] =
3.92
(1 − p)N ,
0,
n = 1, . . . , N,
3.84Vgl. (3.7). Dort werden in einer allgemeinen Situation analoge Wahrscheinlichkeiten
betrachtet.
•
3.85Beachte die Tatsache, daß {(X , . . . , X ) ∈ A} = S
n
1
(m1 ,...,mn )∈A {X1 = m1 , . . . , Xn =
mn }, und die σ-Additivität von P.
3.86
Wie in den Überlegungen nach (3.3) beim Nachweis, daß die Verteilung PX einer einzelnen
Zufallsvariablen X ein Wahrscheinlichkeitsmaß ist, kann gezeigt werden, daß die Eigenschaften
(2.2) für PX1 ,...,Xn gelten.
3.87Zumindest für eine endliche Menge diskreter Zufallsvariablen X , . . . , X wird erst hier
n
1
die gemeinsame Verteilung PX1 ,...,Xn definiert. In (3.7) wird diese gemeinsame Verteilung nur
charakterisiert. Vgl. hierzu Fußnote 3.74.
3.88Vgl. (3.8).
3.89Z beschreibt die Anzahl der Würfe von Zahl“, während T den Zeitpunkt des ersten
”
Wurfs von Zahl“ modelliert.
”
3.90Nach
(3.9) und (3.10) ist die gemeinsame Verteilung von T und Z durch diese Größen
eindeutig bestimmt.
29. September 2009
50
P[Z = k, T = N + 1] =
3.93
0,
k = 1, . . . , N,
P[Z = k, T = n] =
3.94
0,
n = 1, . . . , N, k = N − n + 2, . . . , N.
Wenn für ein ω ∈ Ω weiterhin T (ω) = n und Z(ω) = k für n = 1, . . . , N und
k = 1, . . . , N − n + 1 ist, so folgt
• ωi = 0, i = 1, . . . , n − 1,
• ωn = 1,
• ωl = 1 für genau k − 1 verschiedene l ∈ {n + 1, . . . , N }.
−n
Es gibt 3.95 Nk−1
derartige ω ∈ Ω, wobei jedes die Wahrscheinlichkeit pk (1−p)N −k
besitzt. Somit ist
N −n k
P[Z = k, T = n] =
(3.13)
p (1 − p)N −k ,
k−1
n = 1, . . . , N, k = 1, . . . , N − n + 1.
Durch (3.12) - (3.13) ist die gemeinsame Verteilung der Zufallsvariablen Z und T
bestimmt 3.96.
3.2.2. Unabhängige Zufallsvariablen mit einer Dichte. Für ein N ∈ N
seien X1 , . . . , XN unabhängige 3.97, reellwertige Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F, P). Für k = 1, . . . , N habe die Verteilung PXk von Xk
die Dichte 3.98 fk bzgl. des Lebesguemaßes auf (R, B(R)).
Dann hat die gemeinsame Verteilung PX1 ,...,XN von X1 , . . . , XN die Dichte
Q
N
RN ∋ (y1 , . . . , yN ) → N
k=1 fk (yk ) ∈ [0, ∞) bzgl. des Lebesguemaßes auf (R ,
3.99
N
B(R ))
.
Zur Begründung dieser Behauptung beachte man, daß
(3.14)
P[(X1 , . . . , XN ) ∈ A1 × · · · × AN ] =
=
3.101
=
3.102
=
Z
3.100
P[X1 ∈ A1 , . . . , XN ∈ AN ]
P[X1 ∈ A1 ] · · · P[XN ∈ AN ]
Z
Z
dyN fN (yN )
dy1 f1 (y1 ) · · ·
A1
A1 ×···×AN
AN
dy1 · · · dyN f1 (y1 ) · · · fN (yN ),
A1 , . . . , AN ∈ B(R).
3.91Hier wird nach der Wahrscheinlichkeit für N Würfe von Kopf“ gefragt.
”
Wenn Z = 0 ist, so kann nicht T ≤ N sein.
Wenn Z > 0 ist, so ist T ≤ N .
3.94
Wenn T = n, können in den nachfolgenden Zeitpunkten n, n+1, . . . , N höchstens N −n+1
Würfe von Zahl“ auftreten.
3.95Die” Anzahl dieser ω’s ist gleich der Anzahl der Möglichkeiten aus einer Menge mit N − n
Elementen eine Teilmenge mit k − 1 Elementen auszuwählen, vgl. Abschnitt 5.1, insbesondere
(5.4).
3.96Zur Kontrolle der obigen Ausführungen kann nachgewiesen werden, daß die berechneten Koeffizienten νk,n = P[Z = k, T = n], k = 0, 1, . . . , N , n = 1, . . . , N + 1, in der Tat in
Übereinstimmung mit den zu (3.9) und (3.10) führenden Überlegungen ein Wahrscheinlichkeitsmaß auf {0, 1, . . . , N } × {1, . . . , N + 1} beschreiben. Offensichtlich ist νk,n ≥ 0, k = 0, 1, . . . , N ,
P
PN+1
n = 1, . . . , N + 1. Weiterhin zeigt sich, daß N
k=0
n=1 νk,n = 1.
3.97Vgl. (3.8).
3.98Für alle k = 1, . . . , N sei P
Xk ein Wahrscheinlichkeitsmaß auf (R, B(R)) mit der Dichte
fk , vgl. Abschnitt 2.6.
3.99Somit hat die gemeinsame Verteilung endlich vieler, unabhängiger Zufallsvariablen mit
einer Dichte ebenfalls eine Dichte. Jene gemeinsame Dichte ist das Produkt der einzelnen Dichten.
3.92
3.93
29. September 2009
51
Da in einem weiteren Schritt gefolgert werden kann 3.103, daß (3.14) nicht nur für
Rechtecke“ A1 × · · · × AN = {y = (y1 , . . . , yN ) ∈ RN : y1 ∈ A1 , . . . , yN ∈ AN } ∈
” N
B(R ), sondern für beliebige A ∈ B(RN ) gilt, ist die Behauptung bewiesen.
Beispiel 3.6 (Unabhängige, normalverteilte Zufallsvariablen). Seien X1 , . . . ,
XN unabhängige, normalverteilte Zufallsvariablen mit den Dichten 3.104
1
(x − µk )2
fk (x) = p
, x ∈ R, k = 1, . . . , N,
exp
−
2σk2
2πσk2
2
wobei µ1 , . . . , µN ∈ R und σ12 , . . . , σN
> 0. Um die Dichte f : RN → [0, ∞) mit
f (x) = f (x1 , . . . , xN ) =
N
Y
fk (xk )
k=1
=
(x − µk )2
1
p
,
exp
−
2σk2
2πσk2
k=1
N
Y
x = (x1 , . . . , xN ) ∈ RN ,
der gemeinsamen Verteilung PX1 ,...,XN von X1 , . . . , XN in einer kompakten“ Form
”
darstellen zu können, wird der Vektor µ = (µ1 , . . . , µN ) ∈ RN und die N ×N -Matrix
σ 2 = (σk2 δk,l )k,l=1,...,N 3.105 eingeführt. Nun ist die Dichte von PX1 ,...,XN darstellbar
in der Form 3.106 3.107
1
1
2 −1
T
(3.15)
f (x) = p
exp − (x − µ)(σ ) (x − µ) , x ∈ RN ,
2
(2π)N det(σ 2 )
d.h., die Zufallsvariablen X1 , . . . , XN sind gemeinsam normalverteilt mit Erwartungswert µ und Kovarianzmatrix σ 2 3.108. Man schreibt PX1 ,...,XN = N(µ, σ 2 ).
3.100Hier wird nur die Schreibweise geändert.
3.101Da die Zufallsvariablen X , . . . , X unabhängig sind, vgl. (3.8).
1
N
3.102
Da für k = 1, . . . , N die Verteilung der Zufallsvariable Xk die Dichte fk besitzt.
Hierzu kann Satz (1.12) in [5] benutzt werden.
3.104Vgl. Abschnitt 2.6.
3.103
3.105
δk,l
(
1,
=
0,
falls k = l,
falls k =
6 l,
ist das Kronecker-Symbol. Somit ist σ2 eine Diagonalmatrix, deren Diagonalelemente durch die
Varianzen σk2 , k = 1, . . . , N , der Zufallsvariablen X1 , . . . , XN gegeben sind.
QN
3.106Da (σ2 )−1 = ((σ2 )−1 δ )
2
2
k,l k,l=1,...,N und weil det(σ ) =
k=1 σk .
k
3.107
N
T
Zu y ∈ R bezeichnet y den zu y transponierten Vektor. Für einen Zeilenvektor y ist
y T der entsprechende Spaltenvektor.
3.108Wenn eine allgemeine N -dimensionale Normalverteilung eine Dichte f besitzt, so hat
diese die Gestalt
„
«
1
1
exp − (x − ν)(A)−1 (x − ν)T , x ∈ RN ,
(∗)
f (x) = p
2
(2π)N det(A)
wobei ν ∈ RN der Erwartungswert und A die Kovarianzmatrix ist. A ist eine positiv-definite,
symmetrische N × N -Matrix.
Es gibt zu jedem ν ∈ RN und jeder positiv-semidefiniten, symmetrischen N × N -Matrix A
eine Normalverteilung N(ν, A) auf RN mit dem Erwartungswert ν und der Kovarianzmatrix A.
Diese besitzt genau dann eine Dichte fµ,A : RN → [0, ∞), die in diesem Fall durch (∗) gegeben
ist, wenn A positiv-definit ist.
Wenn eine Normalverteilung im RN eine nur positiv-semidefinite, nicht aber positiv-definite
Kovarianzmatrix besitzt, ist sie auf einer niederdimensionalen, linearen Untermannigfaltigkeit des
RN konzentriert“ und besitzt somit keine Dichte.
”
29. September 2009
52
3.2.3. Unabhängigkeit von Ereignissen. 3.109 Mit (Ω, F, P) sei ein Wahrscheinlichkeitsraum und mit Aλ , λ ∈ Λ, eine Menge von Ereignissen gegeben. Diese
heißen unabhängig, wenn 3.110
"
#
Y
\
(3.16)
P
P[Aλ ], ∆ ⊆ Λ, |∆| < ∞.
Aλ =
λ∈∆
λ∈∆
Wenn Ereignisse A und B unabhängig sind, so sind auch A und Ω \ B, bzw. Ω \ A
und B, bzw. Ω \ A und Ω \ B unabhängig 3.111. Daher folgt insbesondere, daß die
Unabhängigkeit der Ereignisse Aλ , λ ∈ Λ, gleichbedeutend mit der Unabhängigkeit
der ({0, 1}, Pot({0, 1}))-wertigen Zufallsvariablen 3.112 IAλ , λ ∈ Λ ist.
Beispiel 3.7 (Paarweise Unabhängigkeit von Ereignissen). Sei (Ω, F, P) ein
Wahrscheinlichkeitsraum. Ereignisse A1 , A2 , . . . ∈ F sind paarweise (stochastisch)
unabhängig, wenn
(3.17)
P[Ak1 ∩ Ak2 ] = P[Ak1 ] · P[Ak2 ],
1 ≤ k1 < k2 < ∞.
Offensichtlich impliziert die Unabhängigkeit von Ereignissen ihre paarweise Unabhängigkeit. Wie nun gezeigt wird, gilt der umgekehrte Schluß nicht 3.113.
Wir betrachten den 2-fachen, unabhängigen Wurf einer fairen Münze, d.h., wir
arbeiten mit dem Wahrscheinlichkeitsraum (Ω, F, P) mit 3.114
Ω = {0, 1}2 ,
1
P[{ω}] = ,
4
F = Pot(Ω),
ω ∈ Ω.
Für die Ereignisse
A=
3.115
B=
3.116
C=
3.117
{(1, 0), (1, 1)},
{(0, 1), (1, 1)},
{(0, 0), (1, 1)}
gilt
(3.18a)
P[A] = P[B] = P[C] =
1
,
2
3.109Die Unabhängigkeit von Ereignissen, mit der auf eine formale Weise schon mehrfach
gearbeitet wurde, z.B. in den Fußnoten 1.29 und 2.34, ist ein Spezialfall der Unabhängigkeit von
Zufallsvariablen, vgl. (3.8).
3.110T
λ∈∆ Aλ , Aλ1 oder . . . oder Aλm , falls ∆ = {λ1 , . . . , λm }. Die Faktorisierungseigenschaft (3.16) muß für alle endlichen Teilmengen ∆ der beliebigen Menge Λ gelten.
3.111Beispielsweise gilt
P[A ∩ (Ω \ B) ] = P[A] − P[A ∩ B] (Additivität von P)
= P[A](1 − P[B]).
|
{z
}
| {z }
| {z }
= A \ (A ∩ B)
= P[A] · P[B] (Unabhängigkeit von A und B)
= P[Ω \ B]
3.112Für A ⊆ Ω bezeichnet I mit
A
IA (ω) =
(
1,
0,
ω ∈ A,
ω ∈ Ω \ A,
die Indikatorfunktion von A.
3.113Beachte, daß die Ereignisse A , A , . . . unabhängig sind, wenn die in (3.17) beschriebene
1
2
Faktorisierungseigenschaft nicht nur für zwei sondern für jeweils endlich viele A... ’s gilt, vgl. (3.16).
3.114Vgl. Abschnitt 2.1.5
3.115A beschreibt das Ereignis, daß der erste Wurf Zahl“ , 1 ergibt.
”
3.116
B beschreibt das Ereignis, daß der zweite Wurf Zahl“ ergibt.
”
3.117
C beschreibt das Ereignis, daß die Ergebnisse der beiden Würfe übereinstimmen.
29. September 2009
53
1
= P[A] · P[B],
4
1
(3.18c)
P[A ∩ C] = P[{(1, 1)}] = = P[A] · P[C],
4
1
(3.18d)
P[B ∩ C] = P[{(1, 1)}] = = P[B] · P[C],
4
1
1
(3.18e)
P[A ∩ B ∩ C] = P[{(1, 1)}] = 6= = P[A] · P[B] · P[C].
4
8
Die Beziehungen (3.18b) - (3.18d) zeigen, daß die Ereignisse A, B und C paarweise unabhängig sind. Aufgrund von (3.18e) sind sie allerdings nicht unabhängig.
Die Unabhängigkeit zweier Ereignisse bedeutet nicht, daß sie nichts miteinan”
der zu tun haben“. So sind wegen (3.18c) die Ereignisse A und C zwar unabhängig,
allerdings kann, wenn bekannt ist, daß A geschieht, das Ereignis C nur eintreten,
wenn der zweite Wurf Zahl“ , 1 ergibt 3.118.
”
3.2.4. Verteilung von Summen unabhängiger Zufallsvariablen. 3.119
Für unabhängige, reellwertige Zufallsvariablen X und Y ist die Verteilung der Summe X + Y zu bestimmen 3.120. Zur Vereinfachung der Berechnungen werden im folgenden zwei Spezialfälle betrachtet, wobei sowohl X als auch Y Zufallsvariablen mit
Werten in Z 3.121, bzw. Zufallsvariablen mit einer Dichte bzgl. des Lebesguemaßes
auf R sind.
Falls die unabhängigen Zufallsvariablen X und Y Werte in Z annehmen, gilt:
"•∞
#
[
3.122
P[X + Y = m] =
P
(3.19)
{X = n, Y = m − n}
(3.18b)
P[A ∩ B] = P[{(1, 1)}] =
n=−∞
=
=
∞
X
3.123
3.124
n=−∞
∞
X
n=−∞
P[X = n, Y = m − n]
P[X = n]P[Y = m − n],
m ∈ Z.
Die Faltung p ∗ q zweier reellwertiger Sequenzen p = (pn )n∈Z und q = (qn )n∈Z
ist durch
∞
X
(3.20)
(p ∗ q)m :=
pn qm−n
n=−∞
3.118Von einem intuitiven Standpunkt aus sind zwei Ereignisse D und E stochastisch unabhängig, wenn das Wissen über das Eintreten von D (bzw. E) die Wahrscheinlichkeit für das
Eintreten von E (bzw. D) nicht ändert. Mathematisch rigoros bedeutet dies, daß
P[E|D] = P[E]
(bzw. P[D|E] = P[D]),
wobei P[E|D] die bedingte Wahrscheinlichkeit des Ereignisses E unter der Bedingung D bezeichnet, vgl. Abschnitt 8.1.
3.119
In vielen Anwendungen ist eine zufällige Beobachtungsgröße, d.h. eine Zufallsvariable X,
eine Summe von mehreren unabhängigen, kleineren Beiträgen X1 , . . . , Xn . Oft treten diese nicht
als individuelle Größen, sondern nur als Bestandteil von X in Erscheinung. Beispielsweise kann X
ein Gesamtertrag (eine Gesamtwartezeit) sein, der (die) als Summe X = X1 + · · · + Xn einzelner
Erträge (Wartezeiten) darstellbar ist. In diesem Abschnitt 3.2.4 soll geklärt werden, wie aus den
Verteilungen von X1 , . . . , Xn die Verteilung von X berechnet werden kann.
3.120Die Verteilung beliebiger endlicher Summen unabhängiger, reellwertiger Zufallsvariablen
kann anschließend mit einem Iterationsverfahren bestimmt werden.
3.121Somit sind in diesem Fall X und Y diskrete Zufallsvariablen.
•∞
3.122S
n=−∞ {X = n, Y = m − n} ist eine disjunkte Zerlegung des Ereignisses {X + Y = m}.
3.123
Wegen der σ-Additivität von P.
3.124
Da X und Y unabhängig sind.
29. September 2009
54
=
3.125
∞
X
pm−l ql =
3.126
l=−∞
(q ∗ p)m ,
m ∈ Z,
definiert. Daher zeigt (3.19), daß die Verteilung PX+Y zweier unabhängiger, Zwertiger Zufallsvariablen X und Y die Faltung von PX und PY ist.
3.127
Beispiel 3.8. Wenn Folgen
den, führt (3.20) zu
(3.21)
(p ∗ q)m =
∞
X
n=−∞
p = (pn )n∈N0 und q = (qn )n∈N0 gefaltet wer-
pn qm−n IN0 (n)IN0 (m − n) =
m
X
pn qm−n ,
n=0
m ∈ N0 .
Für die Verteilung der Summe X + Y zweier unabhängiger, geometrisch 3.128
mit Parameter p ∈ (0, 1) verteilter Zufallsvariablen X und Y ergibt sich daher
insbesondere
P[X + Y = m] =
3.129
m
X
n=0
P[X = n] P[Y = m − n]
| {z }
= 3.130 (1 − p)n p
= (m + 1) p2 (1 − p)m ,
| {z }
m+1
=
m
m ∈ N0 .
Somit ist die Verteilung von X + Y eine negative Binomialverteilung
Parametern r = 2 und p.
3.131
mit den
Falls die Verteilungen unabhängiger, reellwertiger Zufallsvariablen X und Y
Dichten f , bzw. g bzgl. des Lebesguemaßes besitzen, so ist
Z ∞
Z ∞
P[X + Y ≤ z] = 3.132
(3.22)
dx
dy I(−∞,z] (x + y)f (x)g(y)
−∞
−∞
Z z
Z ∞
= 3.133
du
dv f (v)g(u − v)
−∞
−∞
Z z
=
du (f ∗ g)(u), z ∈ R,
−∞
wobei
(3.23)
(f ∗ g)(u) =
Z
∞
−∞
dv f (v)g(u − v),
u ∈ R,
die Faltung der Wahrscheinlichkeitsdichten f und g bezeichnet.
3.125Mit der Substitution l = m − n.
3.126
Die Faltung ist somit kommutativ, d.h., p ∗ q = q ∗ p.
3.127Durch solche Folgen sind z.B. die Verteilungen N -wertiger Zufallsvariablen bestimmt.
0
3.128Hier ist die in Fußnote 2.33 beschriebene Variante der geometrischen Verteilung gemeint.
3.129Vgl. (3.19) und (3.21).
3.130Vgl. Fußnote 2.33.
3.131Vgl. Abschnitt 2.2.
3.132Da die gemeinsame Verteilung von X und Y die Dichte f · g hat, vgl. Abschnitt 3.2.2.
3.133
Mit der Substitution u = x + y, v = x.
29. September 2009
55
Aus (3.22) und (3.23) kann geschlossen werden, daß die Summe X + Y zweier unabhängiger, reellwertiger Zufallsvariablen X und Y mit Dichten f , bzw. g
ebenfalls eine Dichte besitzt, nämlich f ∗ g 3.134 3.135 3.136.
Beispiel 3.9. Die Zufallsvariablen X1 und X2 seien unabhängig mit den Verteilungen 3.137 N(µi , σi2 ), i = 1, 2. Dann besitzt X +Y die Verteilung N(µ1 +µ2 , σ12 +
σ22 ) 3.138.
3.2.5. Gleichheitsbegriffe für Zufallsvariablen. 3.139 In diesem Abschnitt
werden zwei verschiedene Gleichheitsbegriffe für Zufallsvariablen vorgestellt.
Gleichheit in Verteilung. Seien X : (Ω, F, P) → (Ω′ , F′ ) und Y : (Ω1 , F1 , P1 ) →
(Ω′ , F′ ) Zufallsvariablen 3.140. Wenn X und Y die gleiche Verteilung besitzen,
d.h., wenn 3.141 PX = PY , bzw.
PX [A′ ] = P[X ∈ A′ ] =
3.142
P1 [Y ∈ A′ ] = PY [A′ ],
A′ ∈ F′ ,
so bezeichnet man X und Y als gleich in Verteilung oder identisch verteilt.
Man schreibt 3.143
L
d
X = Y oder X = Y.
3.134In (3.22) wird die Verteilungsfunktion F
X+Y der Zufallsvariable X + Y berechnet. All-
gemein ist die Verteilungsfunktion FZ : R → [0, 1] einer reellwertigen Zufallsvariable Z durch
FZ (ζ) = P[Z ≤ ζ] = PZ [(−∞, ζ]], ζ ∈ R, definiert, vgl. Abschnitt 3.3. Durch FZ ist die Verteilung PZ von Z eindeutig bestimmt.
3.135
Die in (3.20), (3.21) oder (3.23) beschriebenen Faltungen sind Spezialfälle der Faltung
von Wahrscheinlichkeitsmaßen auf R, die durch
Z
P(dx)Q(A − x), A ∈ B(R), P, Q Wahrscheinlichkeitsmaße auf (R, B(R)),
(P ∗ Q)(A) =
R
mit A − x = {y ∈ R : y = a − x für ein a ∈ A} definiert ist.
Allgemein ist die Verteilung PX+Y einer Summe X + Y unabhängiger, reellwertiger Zufallsvariablen X und Y mit den Verteilungen PX , bzw. PY durch deren Faltung gegeben, d.h.,
PX+Y = PX ∗ PY .
3.136
Die Berechnung von Faltungen wie in (3.20), (3.21), (3.23) oder auch im allgemeinen,
in Fußnote 3.135 betrachteten Fall kann wesentlich vereinfacht werden, wenn erzeugende bzw.
charakteristische Funktionen verwendet werden, vgl. z.B. (9.3).
Insbesondere ist die charakteristische Funktion ψZ : R → C einer reellwertigen Zufallsvariable Z durch ψZ (λ) = E[exp(iλZ)], λ ∈ R, definiert. Durch ψZ ist die Verteilung PZ von
Z eindeutig bestimmt. Für unabhängige Zufallsvariablen X und Y gilt außerdem die Faktorisierungseigenschaft ψX+Y (λ) = ψX (λ) · ψY (λ), λ ∈ R. Somit brauchen in einem solchen Fall
zur Identifizierung der Verteilung von PX+Y nur die charakteristischen Funktionen ψX und ψY
multipliziert werden.
3.137N(µ, σ2 ) ist die Normalverteilung mit Erwartungswert µ ∈ R und Varianz σ2 > 0, vgl.
Abschnitt 2.6.
3.138Ein Beweis dieser Aussage mit der Berechnung eines Integrals wie in (3.23) findet sich
in [10], Satz 11.9.
Wenn allerdings charakteristische Funktionen, vgl. Fußnote 3.136, benutzt werden, wird die
Folgerung dieses Beispiels 3.9 trivial“. Da eine Zufallsvariable Z mit PZ = N(µ, σ2 ) die charak”
teristische Funktion ψZ (λ) = exp(iλµ − λ2 σ2 /2), λ ∈ R, besitzt, folgt mit der Unabhängigkeit
von X1 und X2 die Beziehung ψX1 +X2 (λ) = ψX1 (λ)ψX2 (λ) = exp(iλ(µ1 + µ2 ) − λ2 (σ12 + σ22 )/2),
λ ∈ R, d.h., PX1 +X2 = N(µ1 + µ2 , σ12 + σ22 ).
3.139
Die Zufallsvariablen Tk , k = 1, 2, . . . , in Beispiel 3.4 sind identisch verteilt, d.h., sie
besitzen die gleiche Verteilung und sind daher in einem speziellen Sinn gleich“. Andererseits
”
sind sie natürlich unterschiedliche Zufallsvariablen. Somit gibt es verschiedene Möglichkeiten, die
Gleichheit zwischen zwei Zufallsvariablen zu definieren.
3.140Die Definitionsbereiche (Ω, F, P), bzw. (Ω , F , P ) der Zufallsvariablen X und Y
1
1
1
können verschieden sein. Allerdings besitzen X und Y den gleichen Wertebereich (Ω′ , F′ ).
3.141Die Verteilung P einer Zufallsvariable X wird in (3.3) definiert.
X
3.142Es ist hier zu beachten, daß die Zufallsvariable Y eine Funktion auf dem Wahrscheinlichkeitsraum (Ω1 , F1 , P1 ) ist.
L
d
3.143Die Notationen =
und = erinnern an die englischen Bezeichnungen law und distribution
für Verteilung.
29. September 2009
56
Fast-sichere Gleichheit. Seien X, Y : (Ω, F, P) → (Ω′ , F′ ) Zufallsvariablen
Man bezeichnet X und Y als fast-sicher gleich und schreibt
3.144
.
X = Y, f.s.,
wenn
3.145 3.146
P[X = Y ] = P[{ω ∈ Ω : X(ω) = Y (ω)}] = 1.
Zwei Zufallsvariablen, die auf dem gleichen Wahrscheinlichkeitsraum definiert sind und fast-sicher gleich sind, werden üblicherweise miteinander identifiziert, d.h. als identisch betrachtet.
d
d
Bemerkung. (i) Wenn X = Y , f.s., so folgt X = Y . Wenn umgekehrt X = Y ,
so braucht X = Y , f.s., nicht zu gelten 3.147.
(ii) Die unterschiedlichen Gleichheitsbegriffe deuten an, daß es auch verschiedene
Konvergenzbegriffe für Zufallsvariablen gibt 3.148.
3.3. Verteilungsfunktionen reellwertiger Zufallsvariablen
Die Verteilung 3.149 einer Zufallsvariable X : (Ω, F, P) → (R, B(R)) ist eindeutig
bestimmt durch die Größen 3.150
PX [A′ ] = P[X ∈ A′ ],
A′ ⊆ R, A′ Intervall
3.151
.
Insbesondere ist es ausreichend, die Intervalle (−∞, y], y ∈ R, zu betrachten.
Dementsprechend bezeichnet man für eine (R, B(R))-wertige Zufallsvariable X
die Funktion FX : R → [0, 1] mit
(3.24)
FX (y) = PX [(−∞, y]] = P[X ≤ y],
y ∈ R,
als Verteilungsfunktion von X.
3.3.1. Eigenschaften von Verteilungsfunktionen. Die Verteilungsfunktion FX einer reellwertigen Zufallsvariable X zeichnet sich durch die folgenden Eigenschaften aus:
(i) Es gilt
(3.25)
PX [(a, b]] =
3.152
=
3.153
P[X ∈ (a, b]]
P[X ≤ b] − P[X ≤ a]
= FX (b) − FX (a),
−∞ < a < b < ∞.
3.144Nun sind X und Y auf dem gleichen Wahrscheinlichkeitsraum (Ω, F, P) definiert.
3.145Die Menge A = {ω ∈ Ω : X(ω) 6= Y (ω)} braucht nicht leer zu sein. Allerdings muß
P[A] = 0 sein, wenn X = Y , f.s.
3.146
Auf eine analoge Weise ist die Bedeutung von Ausdrücken wie X 6= Y , f.s., oder X ≤ Y ,
f.s., definiert.
3.147Diese Aussage kann z.B. mit Hilfe der Zufallsvariablen T , k = 1, 2, . . . , in Beispiel 3.4
k
begründet werden. Wenn X und Y auf verschiedenen Wahrscheinlichkeitsräumen definiert sind,
so macht es sowieso überhaupt keinen Sinn zu fragen, ob X = Y , f.s.
3.148
Beim schwachen Gesetz der großen Zahlen, beim starken Gesetz der großen Zahlen und
beim Zentralen Grenzwertsatz, drei Hauptresultaten der Wahrscheinlichkeitstheorie, werden in
der Tat die unterschiedlichen Konvergenzbegriffe der stochastischen Konvergenz, der fast-sicheren
Konvergenz, bzw. der Konvergenz in Verteilung verwendet, vgl. Beispiel 1.6 und 1.7 und insbesondere Satz 7.1, die Bemerkung in Abschnitt 7.1 und Satz 9.2.
3.149
Vgl. (3.3).
3.150Vgl. [5], Satz (1.12). Man beachte, daß die Menge der offenen (oder abgeschlossenen
oder . . . ) Intervalle durchschnittsstabil ist.
3.151Es reicht, offene, bzw. abgeschlossene, bzw. halboffene Intervalle zu betrachten.
29. September 2009
57
3.154
(ii) FX ist monoton wachsend, d.h.,
FX (a) ≤ FX (b),
(3.26)
−∞ < a < b < ∞.
(iii) Das Verhalten von FX an den Rändern des Definitionsbereichs R wird
durch 3.155
(3.27)
lim FX (y) = 0,
y→−∞
beschrieben.
(iv) FX ist rechtsstetig, d.h.,
3.156
lim FX (y)
(3.28)
lim FX (y) = 1,
y→∞
3.157
yցy0
= FX (y0 ),
(v) FX besitzt linksseitige Grenzwerte, d.h.,
(3.29)
y0 ∈ R.
3.158
−
lim FX (y) = P[X < y0 ] =: FX
(y0 ),
yրy0
y0 ∈ R.
Es gilt:
(3.30)
FX (y0 ) −
−
FX
(y0 ) ≤ FX (y0 ),
−
FX
(y0 )
y0 ∈ R,
= P[X = y0 ] = PX [{y0 }],
y0 ∈ R.
Somit ist FX in y0 ∈ R genau dann stetig, wenn y0 kein Atom 3.159 von PX ist 3.160.
(vi) Besitzt PX eine stetige Dichte 3.161 f bzgl. des Lebesguemaßes auf R, so
folgt
Z y
(3.31)
FX (y) = PX [(−∞, y]] =
dx f (x), y ∈ R,
−∞
′
d.h., 3.162 f = FX
. Wenn umgekehrt FX eine stetige Ableitung f besitzt, so hat
PX die Dichte f bzgl. des Lebesguemaßes 3.163.
3.152Es werden hier spezielle, halboffene Intervalle betrachtet.
3.153Da sich aus der Additivität von P, vgl. (2.9),
P[X ≤ a] + P[X ∈ (a, b]] = P[X ≤ b]
ergibt.
3.154Zur Begründung beachte man, daß die linke Seite von (3.25) immer ≥ 0 ist.
3.155Die Eigenschaften (3.27), (3.28) und (3.29) von Verteilungsfunktionen können aus
gewissen Stetigkeitseigenschaften von Wahrscheinlichkeitsmaßen abgeleitet werden, vgl. [5],
Satz (1.11)(e).
3.156Vgl. Fußnote 3.155.
3.157Mit lim
yցy0 . . .“ wird der Grenzwert bei monoton gegen y0 fallenden y beschrieben.
3.158Vgl. ”Fußnote 3.155.
3.159Der Begriff Atom wird in Bemerkung (ii) in Abschnitt 2.2 eingeführt.
3.160M.a.W., F hat genau in den Atomen von P Sprungstellen. Die Wahrscheinlichkeiten
X
X
der jeweiligen Atome geben die Größe des entsprechenden Sprungs von FX an.
3.161Vgl. Abschnitt 2.6.
3.162Nach dem Hauptsatz der Differential- und Integralrechnung.
3.163Man beachte, daß f = F ′ ≥ 0 wegen der Monotonie von F , vgl. (3.26), und daß
X
X
Z ∞
Z y
dx f (x) = lim
dx f (x) = lim FX (y) = 1,
−∞
y→∞
−∞
y→∞
′ eine Wahrscheinlichkeitsdichte.
vgl. (3.27). Somit ist in der Tat f = FX
29. September 2009
58
3.3.2. Beispiele für Verteilungsfunktionen. Die Struktur und die Anwendungsmöglichkeiten von Verteilungsfunktionen reellwertiger Zufallsvariablen werden in diesem Abschnitt 3.3.2 anhand einiger Beispiele erläutert.
Beispiel 3.10. Sei X eine in [a, b] gleichverteilte Zufallsvariable 3.164. PX besitzt somit die Dichte f (y) = (b − a)−1 I[a,b] (y), y ∈ R. In diesem Fall ist
FX (y) = 3.165 PX (−∞, y]


0,
y < a,

Z y
y − a
3.166
3.167
=
dz f (z) =
, y ∈ [a, b),

b−a
−∞


1,
y ≥ b.
Beispiel 3.11. Sei
PA eine höchstens abzählbare Teilmenge von R und seien
pa ∈ (0, 1], a ∈ A, mit a∈A pa = 1. Sei außerdem X eine A-wertige Zufallsvariable
mit 3.168 3.169
(3.32)
P[X = a] =
Es folgt nun
3.172
3.170
PX [{a}] =
3.171
pa ,
a ∈ A.
X
pa ,
:
FX (y) = PX (−∞, y]
X
= 3.173
PX [{a}] =
a∈A∩(−∞,y]
a∈A∩(−∞,y]
y ∈ R.
Beispiel 3.12. Sei zunächst X eine reellwertige Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F, P). Die Verteilung von X habe eine stetige Dichte ψ. Nun
ist Z = X 2 eine positive reellwertige Zufallsvariable auf (Ω, F, P) 3.174. Es zeigt sich,
daß
FZ (y) = 0,
y ≤ 0,
3.164D.h., P ist die Gleichverteilung auf [a, b], vgl. Abschnitte 2.4.1 und 2.6.
X
3.165Nach der Definition der Verteilungsfunktion F einer reellwertigen Zufallsvariable X.
X
3.166
3.167
an.
Da PX die Dichte f besitzt.
Links von a ist FX ≡ 0, während FX ≡ 1 rechts von b. Zwischen a und b steigt FX linear
3.168X ist eine diskrete, reellwertige Zufallsvariable. Ihre Verteilung P ist auf der Menge
X
A ihrer Atome konzentriert, vgl. Bemerkung (ii) in Abschnitt 2.2.
3.169
Man könnte sich hier wie in Abschnitt 3.1.1 die Frage stellen, ob eine derartige Zufallsvariable X überhaupt existiert. Um diese Frage mit ja“ beantworten zu können, kann man
”
beispielsweise folgendermaßen eine solche Zufallsvariable konstruieren:
den disP Man betrachtet
′
kreten Wahrscheinlichkeitsraum (A, Pot(A), P1 ), wobei P1 [A′ ] =
a∈A′ pa , A ∈ Pot(A), und
definiert X durch X(ω) = ω, ω ∈ A.
3.170Aufgrund der Definition (3.3) der Verteilung P von X.
X
3.171
Dies ist eine Annahme, die in diesem Beispiel gemacht wird.
3.172
Wenn beispielsweise A = {ak : k ∈ N} mit −∞ < a1 < a2 < · · · < ∞, kann FX auch in
der Form
8
y < a1 ,
>
<0,
P
FX (y) =
,
y
∈ [am−1 , am ), m = 2, 3, . . . ,
p
a
k
k≤m−1
>
:
1,
y ≥ sup{ak : k ∈ N},
geschrieben werden.
Eine derart übersichtliche Struktur hat die Verteilungsfunktion FX natürlich nicht für jede
diskrete reellwertige Zufallsvariable X. Wenn z.B. X eine Q-wertige Zufallsvariable ist und wenn
P[X = q] > 0 für alle q ∈ Q, liegen die Sprungstellen von FX dicht in R und es gibt kein nichtleeres
offenes Intervall, in dem FX konstant ist.
3.173Vgl. Bemerkung (i) in Abschnitt 2.2.
3.174Die Meßbarkeitsbedingung (3.1) läßt sich für die reellwertige Funktion Z auf (Ω, F, P)
leicht nachprüfen.
29. September 2009
59
FZ (y) = P[Z ≤ y] = P X 2 ∈ [0, y]
Z √y
√ √ = P X ∈ [− y, y] = √ dζ ψ(ζ),
y > 0.
− y
Insbesondere besitzt auch die Verteilung PZ von Z eine Dichte, nämlich ϕ mit

0,
y≤0
1
ϕ(y) = 3.175
√ √
′
FZ (y) = √ ψ(− y) + ψ( y) , y > 0.
2 y
Beispiel 3.13 (Dichtetransformation 3.176). Sei X eine reellwertige Zufallsvariable, deren Verteilung eine stetige Dichte ψ hat. Weiterhin sei H : R → R
stetig differenzierbar und streng monoton steigend mit limx→−∞ H(x) = −∞ und
limx→∞ H(x) = ∞. Somit ist H ′ stetig mit H ′ (x) > 0, x ∈ R. Außerdem besitzt
die Funktion H eine stetig differenzierbare Inverse H −1 : R → R mit 3.177
1
, x ∈ R.
(3.33)
(H −1 )′ (x) = ′ −1
H (H (x))
Die Verteilungsfunktion FZ der Zufallsvariable
die Darstellung
FZ (y) = P[H(X) ≤ y]
= P[X ≤ H
−1
(y)] =
Z
3.178
H −1 (y)
y ∈ R.
dx ψ(x),
−∞
Da
FZ′ (y) = ψ(H −1 (y))(H −1 )′ (y) =
3.179
ψ(H −1 (y))
besitzt die Verteilung PZ von Z die Dichte ψH mit
(3.34)
Z = H(X) hat in diesem Fall
ψH (y) =
ψ(H −1 (y))
,
H ′ (H −1 (y))
Für a > 0 und b ∈ R ist insbesondere 3.181
y−b
1
,
(3.35)
ψH (y) = ψ
a
a
1
H ′ (H −1 (y))
,
y ∈ R,
3.180
y ∈ R.
y ∈ R,
3.175Vgl. Abschnitt 3.3.1(f). Die Tatsache, daß F ′ (y) für y = 0 nicht existiert, ist letztZ
endlich nicht problematisch, da die Funktion FZ absolutstetig ist und daher dem Hauptsatz der
Differential- und Integralrechnung genügt. Hierbei heißt eine Funktion h : R → R absolutstetig,
Pn
wenn zu ε > 0 ein δ > 0 existiert, so daß
− h(ck )| < ε für jede endliche Menge
k=1 |h(dk )
Pn
(ck , dk ), k = 1, . . . , n, disjunkter, offener Intervalle mit
k=1 |dk − ck | < δ. Der Hauptsatz der
Differential- und Integralrechnung besagt, daß zu jeder absolutstetigen Funktion h : R → R eine
R
R
Funktion h′ : R → R mit ab dx |h′ (x)| < ∞ und h(b) = h(a) + ab dx h′ (x), −∞ < a < b < ∞,
existiert. Für weitere Informationen zu absolutstetigen Funktionen sei auf [8], § 18, verwiesen.
3.176
In diesem Beispiel wird erläutert, wie die Dichte einer Zufallsvariable X transformiert
wird, wenn X durch H(X) ersetzt wird, wobei H eine glatte“, evtl. nichtlineare Abbildung ist.
3.177Wenn die Identität H(H −1 (x)) = x, x ∈ R, ”auf beiden Seiten differenziert wird, folgt
′
H (H −1 (x))(H −1 )′ (x) = 1, x ∈ R, woraus (3.33) geschlossen werden kann.
3.178Wenn X : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable und ϕ : (Ω′ , F′ ) → (Ω′′ , F′′ ) meßbar
ist, so ist auch ϕ ◦ X = ϕ(X) : (Ω, F, P) → (Ω′′ , F′′ ) eine Zufallsvariable.
3.179Wegen (3.33).
3.180Vgl. Abschnitt 3.3.1(f). Wenn nur |H ′ (x)| 6= 0, x ∈ R, verlangt wird, ergibt sich
ψH (y) =
ψ(H −1 (y))
,
|H ′ (H −1 (y))|
y ∈ R,
als Dichte der Verteilung der Zufallsvariable Z = H(X).
3.181Nun ist H(x) = ax + b, x ∈ R, bzw. H −1 (y) = (y − b)/a, y ∈ R.
29. September 2009
60
die Dichte der Zufallsvariable H(X) = aX + b.
Die in Abschnitt 3.3.1 aufgeführten Eigenschaften einer Verteilungsfunktion
lassen sich in den in den Beispielen 3.10 - 3.13 vorgestellten Fällen leicht nachprüfen. Insbesondere ist in Beispiel 3.11 die Verteilungsfunktion FX rechtsstetig
und besitzt linksseitige Grenzwerte, ist aber nicht stetig 3.182. Hingegen sind die
Verteilungsfunktionen FX und FZ in den Beispielen 3.10, 3.12 und 3.13 stetig 3.183.
3.3.3. Simulation einer Folge von i.i.d. Zufallsvariablen mit einer
Dichte. 3.184 Es sei mit Hilfe eines Computers eine Folge X1 , X2 , . . . von unabhängigen, reellwertigen Zufallsvariablen, die die Verteilung µ = PX1 = PX2 =
. . . besitzen, zu simulieren. Hierbei sei angenommen, daß µ eine Dichte f > 0
besitzt. Damit ist die Verteilungsfunktion 3.185 3.186 Fµ : R → (0, 1) von µ stetig
und streng monoton steigend. Als Konsequenz besitzt Fµ eine stetige und streng
monoton steigende Umkehrfunktion Fµ−1 : (0, 1) → R.
Seien nun U1 , U2 , . . . unabhängige, [0, 1]-wertige, gleichverteilte 3.187 Zufallsvariablen. Dann sind Fµ−1 (U1 ), Fµ−1 (U2 ), . . . unabhängige, identisch verteilte Zufallsvariablen. Da
(3.36)
P[Fµ−1 (Uk ) ≤ y] =
3.188
=
3.189
P[Uk ≤ Fµ (y)]
Z Fµ (y)
dx = Fµ (y),
0
y ∈ R, k = 1, 2, . . . ,
besitzen diese Zufallsvariablen die Verteilungsfunktion Fµ und somit die Verteilung
µ 3.190 3.191 3.192.
3.182In jedem a ∈ A besitzt F einen Sprung der Größe p .
a
X
3.183Allgemein ist F immer stetig, wenn P eine Dichte bzgl. des Lebesguemaßes auf R
X
X
hat. Umgekehrt gibt es allerdings auch Zufallsvariablen X mit einer stetigen Verteilungsfunktion
FX , deren Verteilung PX weder eine Dichte besitzt noch diskret ist.
3.184
Zufallsvariablen X1 , X2 , . . . , die alle die gleiche Verteilung besitzen, werden als identisch
verteilt bezeichnet. Wenn solche Zufallsvariablen auch unabhängig sind, wird die Notation i.i.d.
benutzt, vgl. Fußnote 3.81. Während die Simulation von diskreten i.i.d. Zufallsvariablen in Beispiel 3.3 diskutiert wird, sollen nun die zu simulierenden Zufallsvariablen eine Dichte bzgl. des
Lebesguemaßes auf R besitzen, vgl. Abschnitt 2.6.
3.185Die Verteilungsfunktion eines Wahrscheinlichkeitsmaßes ist analalog zur Verteilungsfunktion einer Zufallsvariablen zu definieren. Insbesondere ist unter der Verteilungsfunktion Fµ
eines Wahrscheinlichkeitsmaßes µ die Verteilungsfunktion einer Zufallsvariablen X mit der Verteilung PX = µ zu verstehen.
Rx
3.186
dy f (y) = Fµ (x) < 1, x ∈ R, vgl. Abschnitt 3.3.1(f).
Da f (y) > 0, y ∈ R, ist 0 < −∞
Die Werte 0 und 1 werden durch Fµ asymptotisch bei x → ±∞ angenommen, vgl. Abschnitt
3.3.1(c).
3.187Die Zufallsvariablen U , U , . . . sind somit i.i.d. und in [0, 1] gleichverteilt.
1
2
3.188Da F streng monoton steigend ist.
µ
3.189
Vgl. Abschnitt 3.3.1(f). Hier wird benutzt, daß die Gleichverteilung auf [0, 1] die Dichte
I[0,1] (.) hat.
3.190Da die Verteilung einer reellwertigen Zufallsvariablen durch ihre Verteilungsfunktion
eindeutig bestimmt ist.
3.191Die bisher in diesem Abschnitt 3.3.3 präsentierten Überlegungen zeigen, wie eine i.i.d.
Folge von Zufallsvariablen mit einer vorgegebenen, strikt positiven Dichte mit Hilfe einer i.i.d.
Folge von in [0, 1] gleichverteilten Zufallsvariablen konstruiert werden kann.
3.192
(3.36) zeigt, daß die Zufallsvariablen Fµ−1 (Uk ), k = 1, 2, . . . , die Verteilung µ und daher
die Dichte f haben. Dieses Resultat kann auch mit Hilfe von Beispiel 3.13 begründet werden.
Allerdings ist diese Begründung nur formal, da die in Beispiel 3.13 angegebenen Voraussetzungen
nicht erfüllt sind.
Zu dieser Begründung von (3.36) sei H = Fµ−1 und U eine in [0, 1] gleichverteilte Zufallsvariable. U hat somit die Dichte ψ = I[0,1] . Da nun H −1 = Fµ und
H ′ (x) = (Fµ−1 )′ (x) =
1
(Fµ )′ (Fµ−1 (x))
(vgl. (3.33))
29. September 2009
61
Wie in Beispiel 3.3 sei jetzt x1 , x2 , . . . eine durch einen Computer erzeugte
unabhängige Folge in [0, 1] gleichverteilter“ Pseudozufallszahlen. Die Überlegungen
”
in (3.36) deuten an, daß durch die transformierten Zufallszahlen Fµ−1 (x1 ), Fµ−1 (x2 ),
. . . unabhängige Zufallsvariablen mit der Verteilung µ simuliert werden können.
Die vorgestellte Simulationsmethode wird aufgrund der Verwendung der Inversen der Verteilungsfunktion als Inversionsmethode bezeichnet 3.193.
3.3.4. Quantile reellwertiger Zufallsvariablen. 3.194 Sei X eine (R, B(R))wertige Zufallsvariable 3.195 und α ∈ (0, 1). Ein qα ∈ R mit
P[X ≤ qα ] ≥ α
| {z }
= FX (qα )
(3.37)
und P[X ≥ qα ] ≥ 1 − α
wird als α-Quantil von X bezeichnet 3.196. Ein 1/2-Quantil wird auch Median genannt.
Ein α-Quantil qα einer Zufallsvariable X ist dadurch gekennzeichnet, daß X mit
mindestens der Wahrscheinlichkeit α (1 − α) einen Wert ≤ qα (≥ qα ) annimmt 3.197.
Quantile sind i. allg. nicht eindeutig. Wenn z.B. P[X ≤ a] = α′ und P[X ∈
(a, b]] = 0 für −∞ < a < b < ∞, so sind alle q ∈ [a, b] offensichtlich α′ -Quantile von
X. Andererseits, wenn die Verteilungsfunktion FX von X streng monoton wachsend
ist 3.198, so sind alle Quantile eindeutig bestimmt.
Beispiel 3.14. Sei X eine exponentiell mit Parameter λ > 0 verteilte Zufallsvariable 3.199, d.h.,

0,
y ≤ 0,
Z y
FX (y) =
λ
dx exp(−λx) = 1 − exp(−λy), y > 0.
0
Da FX in [0, ∞) streng monoton von 0 nach 1 anwächst, ist für jedes α ∈ (0, 1) das
α-Quantil qα von X eindeutig bestimmt und erfüllt α = 1 − exp(−λqα ), d.h.,
1 1
1
, α ∈ (0, 1).
qα = − log(1 − α) = log
λ
λ
1−α
Beispiel 3.15. Sei X eine reellwertige Zufallsvariable und α ∈ (0, 1). Dann ist
(3.38)
qf
α := inf y ∈ R : P[X ≤ y] = FX (y) ≥ α
=
1
f (Fµ−1 (x))
,
x ∈ [0, 1],
(da (Fµ )′ = f )
führen (3.34), Fµ−1 (Fµ (y)) = y, y ∈ R, und Fµ (.) ∈ [0, 1] zu
ψH (y) =
I[0,1] (Fµ (y))
ψ(H −1 (y))
=
= f (Fµ−1 (Fµ (y))) = f (y),
H ′ (H −1 (y))
(Fµ−1 )′ (Fµ (y))
y ∈ R,
d.h., H(U ) = Fµ−1 (U ) hat die Dichte f .
3.193Eine Diskussion dieser und anderer Verfahren zur Simulation von Zufallsvariablen findet
sich in [7], Abschnitt 10.2. Dort wird insbesondere auch eine allgemeinere Form der Inversionsmethode betrachtet, mit welcher die Simulation von reellwertigen Zufallsvariablen mit beliebiger
Verteilung möglich ist. Die in Beispiel 3.3 vorgestellte Methode zur Simulation diskreter, reellwertiger Zufallsvariablen ist übrigens auch eine Variante jener allgemeinen Inversionsmethode.
3.194Quantile werden in der Statistik, insbesondere auch zur Bestimmung von Konfidenzintervallen benötigt.
3.195Wie häufig in der Wahrscheinlichkeitstheorie findet der Wahrscheinlichkeitsraum (Ω, F,
P), auf dem eine Zufallsvariable X definiert ist, keine Beachtung.
3.196Auf eine analoge Weise definiert man α-Quantile von Wahrscheinlichkeitsmaßen..
3.197Ein Median wird von X mit mindestens der Wahrscheinlichkeit 1/2 unter-, bzw. überschritten.
3.198Dies ist z.B. der Fall, wenn X eine strikt positive Dichte hat.
3.199Vgl. Abschnitt 2.6.
29. September 2009
62
das kleinste α-Quantil von X
3.200 3.201
.
Beispiel 3.16 (Quantile einer diskreten Gleichverteilung 3.202). Für L ∈ Z
und M ∈ N sei PL,M die Gleichverteilung auf {L, L + 1, . . . , L + M } 3.203. Zur
Bestimmung der α-Quantile von PL,M reicht es, den Fall L = 0 zu behandeln,
denn qα ist genau dann ein α-Quantil von P0,M auf {0, 1, . . . , M }, wenn qα + L ein
α-Quantil von PL,M ist.
Zunächst ist

0,
x < 0,

(3.39)
P0,M (−∞, x] = k/(M + 1), x ∈ [k − 1, k), k = 1, 2, . . . , M,


1,
x ≥ M,
und
(3.40) P0,M

1,
x ≤ 0,

[x, ∞) = (M +1−k)/(M +1), x ∈ (k − 1, k], k = 1, 2, . . . , M,


0,
x > M.
Bei der Bestimmung der α-Quantile qα , α ∈ (0, 1), von P0,M müssen im folgenden je
nachdem, ob α ein Vielfaches von 1/(M + 1) ist oder nicht, zwei Fälle unterschieden
werden.
(a) Sei α = m/(M + 1) für ein m = 1, . . . , M . In dieser Situation gilt
(3.41a)
P0,M (−∞, q] ≥ α ⇐⇒ 3.204 q ≥ m − 1
und
M +1−m
P0,M [q, ∞) ≥ 1 − α =
M +1
(3.41b)
⇐⇒
3.205
q ≤ m.
3.200Zur Begründung betrachte man zunächst y > y > · · · > qf mit lim
f
α
n→∞ yn = q
α.
1
2
Dann gilt:
(∗1 )
P[X ≤ qf
α]
{z
}
|
= FX (f
qα )
= lim P[X ≤ yn ] (da FX rechtsstetig ist, vgl. Abschnitt 3.3.1(d))
n→∞ |
{z
}
= FX (yn ) ≥ α
≥ α.
(da yn > qf
α und weil FX monoton steigend ist, vgl. Abschnitt 3.3.1(b))
Nun sei y1 < y2 < · · · < qf
f
α mit limn→∞ yn = q
α . Es ergibt sich zuerst
−
P[X < qf
qα ) = lim P[X ≤ yn ] (vgl. Abschnitt 3.3.1(e))
α ] = FX (f
n→∞ |
{z
}
< α (da yn < qf
α und wegen (3.38))
≤α
und anschließend
(∗2 )
P[X ≥ qf
f
α ] = 1 − P[X < q
α ] ≥ 1 − α.
f
Wegen (∗1 ) und (∗2 ) ist (3.37) für qf
α erfüllt, d.h., q
α ist in der Tat ein α-Quantil. Aufgrund von
(3.38) ist es jetzt offensichtlich, daß qf
α das kleinste α-Quantil ist.
3.201
Da limy→−∞ FX (y) = 0, bzw. limy→∞ FX (y) = 1, vgl. Abschnitt 3.3.1(b), ist nun
insbesondere auch die Existenz eines α-Quantils für alle α ∈ (0, 1) bewiesen.
3.202
In einer anderen Formulierung sind die Quantile einer Zufallsvariablen, die auf einer
diskreten Menge gleichverteilt ist, zu berechnen.
3.203Vgl. Abschnitt 2.2. Jeder der M + 1 Punkte in {L, L + 1, . . . , L + M } hat die gleiche
Wahrscheinlichkeit 1/(M + 1).
29. September 2009
63
Als Konsequenz von (3.41) zeigt sich, daß für α = m/(M + 1) jedes q ∈ [m − 1, m]
ein α-Quantil von P0,M ist 3.206.
(b) Sei 3.207 α(M + 1) ∈
/ {1, . . . , M } und seien 3.208 m′ = ⌈α(M + 1)⌉, bzw.
′
′
α = m /(M + 1). In diesem Fall ist
P0,M (−∞, q] ≥ α ⇐⇒ 3.209 P0,M (−∞, q] ≥ α′ ⇐⇒ 3.210 q ≥ m′ − 1
und
P0,M [q, ∞) ≥ 1 − α
⇐⇒
3.211
⇐⇒
3.213
⌈(1 − α)(M + 1)⌉
P0,M [q, ∞) ≥
=
M +1
q ≤ m′ − 1.
3.212
M + 2 − m′
M +1
Nun kann gefolgert werden, daß das α-Quantil eindeutig bestimmt und durch
m′ − 1 = ⌈α(M + 1)⌉ − 1 = ⌊α(M + 1)⌋ gegeben ist.
3.214
3.4. Stochastische Prozesse
Mit stochastischen oder zufälligen Prozessen können zeitliche Entwicklungen
modelliert werden, die vom Zufall beeinflußt sind“.
”
Sei (Ω, F, P) ein Wahrscheinlichkeitsraum, (Ω′ , F′ ) ein meßbarer Raum und
T ⊆ R. Für alle t ∈ T sei Xt : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable. Ein
stochastischer Prozeß X = (Xt )t∈T ergibt sich, wenn die Familie {Xt : t ∈ T}
dieser Zufallsvariablen zu einem Objekt zusammengefaßt wird. Der gemeinsame
Wertebereich (Ω′ , F′ ) der Zufallsvariablen Xt , t ∈ T, wird auch als Zustandsraum
von X bezeichnet.
Unter der Verteilung eines stochastischen Prozesses X = (Xt )t∈T versteht man
die gemeinsame Verteilung der Zufallsvariablen {Xt : t ∈ T} 3.215 3.216.
Beispiel 3.17 (Bernoulli-Prozeß 3.217). Zu p ∈ [0, 1] seien Yn , n ∈ N, unabhängige, {−1, 1}-wertige Zufallsvariablen mit
P[Yn = 1] = p = 1 − P[Yn = −1],
(3.42)
n ∈ N.
Der stochastische Prozeß Y = (Yn )n∈N wird als Bernoulli-Prozeß (mit Parameter p) bezeichnet. Mit einem derartigen Prozeß kann z.B. der zeitliche Verlauf eines beliebig oft wiederholten Münzwurfs mit Erfolgswahrscheinlichkeit p modelliert
3.204Wegen (3.39).
3.205Wegen (3.40).
3.206Vgl. die Definition der Quantile in (3.37).
3.207α hat nicht die Gestalt α = m/(M + 1) für ein m = 1, . . . , M .
3.208⌈x⌉ = inf{n ∈ Z : n ≥ x}, x ∈ R. Für x ∈ R ist ⌈x⌉ die kleinste ganze Zahl, die ≥ x ist.
3.209Da P
[ . ] nur Werte der Form k/(M +1), k = 0, 1, . . . , M +1, annehmen kann, gilt für
0,M
ein A ∈ B(R) und y > 0 genau dann P0,M [A] ≥ y, wenn P0,M [A] ≥ ⌈y(M + 1)⌉/(M + 1). Hierbei
ist zu beachten, daß ⌈y(M +1)⌉/(M +1) die kleinste Zahl der Form k/(M +1), k = 0, 1, . . . , M +1,
ist, welche größer oder gleich y ist.
3.210
Aufgrund der Überlegungen in (3.41a).
3.211Vgl. Fußnote 3.209.
3.212Da α(M + 1) ∈
/ {1, . . . , M }, gilt
⌈(1 − α)(M + 1)⌉
⌈M + 1 − α(M + 1)⌉
M + 1 − ⌈α(M + 1)⌉ + 1
M + 2 − m′
=
=
=
.
M +1
M +1
M +1
M +1
3.213
Aufgrund der Überlegungen in (3.41b).
3.214⌊x⌋ = sup{n ∈ Z : n ≤ x}, x ∈ R. Für x ∈ R ist ⌊x⌋ die größte ganze Zahl, die ≤ x ist.
3.215Die gemeinsame Verteilung einer Familie von Zufallsvariablen ist durch Terme wie in
(3.7) charakterisiert.
3.216In den konkreten Beispielen dieser Vorlesung ist üblicherweise T = N oder N oder Z.
0
3.217
Dieser stochastische Prozeß wurde bereits in Fußnote 3.26 angesprochen.
29. September 2009
64
werden
3.218
. Die Verteilung von Y wird durch die Größen
(3.43) P[Yk1 = ηk1 , . . . , Ykn = ηkn ] =
3.220
n
Y
3.219
P[Ykl = ηkl ]
l=1
=
3.221
=
3.222
n
Y
p(1+ηkl )/2 (1 − p)(1−ηkl )/2
l=1
Pn
p
l=1 (1+ηkl )/2
Pn
(1 − p)
l=1 (1−ηkl )/2
,
k1 , . . . , kn ∈ N, 1 ≤ k1 < . . . < kn , ηk1 , . . . , ηkn ∈ {−1, 1}, n ∈ N.
charakterisiert 3.223.
Beispiel 3.18 (Irrfahrt). Sei Y = (Yn )n∈N der Bernoulli-Prozeß zum Parameter p ∈ [0, 1] aus Beispiel 3.17. Weiterhin sei
(
0,
k = 0,
(3.44)
Xk =
P
Xk−1 + Yk = kl=1 Yl , k = 1, 2, . . . .
Der stochastische Prozeß X = (Xk )k∈N0 wird als Irrfahrt (auf Z) bezeichnet. Für
p = 1/2 ergibt sich die symmetrische Irrfahrt.
Auf eine anschauliche Weise läßt sich die Irrfahrt X folgendermaßen beschreiben:
• X startet im Ursprung 0 zum Zeitpunkt 0.
• Zu jedem späteren Zeitpunkt k = 1, 2, . . . springt X mit Wahrscheinlichkeit p nach rechts, bzw. mit mit Wahrscheinlichkeit 1 − p nach links 3.224.
• Zwischen zwei aufeinanderfolgenden Zeitpunkten in N0 bewegt sich X
nicht.
Für p ∈ (0, 1) kann die Irrfahrt als ein einfaches Modell für ein eindimensiona”
les diffundierendes Teilchen“ betrachtet werden. In den Fällen p 6= 1/2 hat dieses
Teilchen eine Drift“.
”
3.4.1. Stationäre stochastische Prozesse. 3.225 Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und (Ω′ , F′ ) ein meßbarer Raum. Weiterhin sei Xn : (Ω, F, P) →
(Ω′ , F′ ), n ∈ N0 , eine Familie von Zufallsvariablen. Der stochastische Prozeß X =
(Xn )n∈N0 heißt stationär, wenn für alle m ∈ N und alle k1 , . . . , km ∈ N0 mit
3.218Vgl. hierzu Abschnitt 2.4.2. Im hier beschriebenen Modellierungsansatz sollte −1 mit
Mißerfolg“ und 1 mit Erfolg“ identifiziert werden.
”
3.219(3.43) ergibt ”
sich aus (2.15), wenn berücksüchtigt wird, daß {−1, 1} der Wertebereich
der Zufallsvariablen Yn , n ∈ N, ist.
3.220Da die Zufallsvariablen Y , n ∈ N, unabhängig sind.
n
3.221
Man beachte, daß (1 + η)/2 = 1, falls η = 1, und (1 + η)/2 = 0, falls η = −1, bzw.
(1 − η)/2 P
= 0, falls η = 1, und (1 − η)/2 = 1, falls η = −1.
Pn
n
3.222
l=1 (1−
l=1 (1+ηkl )/2 ist die Anzahl der l’s mit ηkl = 1, d.h. die Anzahl der Erfolge;
ηkl )/2 ist die Anzahl der l’s mit ηkl = −1, d.h. die Anzahl der Mißerfolge.
3.223
Allgemein wird ein (Ω′ , F′ )-wertiger stochastischer Prozeß ζ = (ζt )t∈T als BernoulliProzeß bezeichnet, wenn die Zufallsvariablen ζt , t ∈ T, i.i.d. sind.
3.224Die Bernoulli-verteilte Zufallsvariable Y
n+1 beschreibt, wie die weitere Bewegung
verläuft.
3.225Stationäre stochastische Prozesse bilden eine spezielle Klasse stochastischer Prozesse.
Andere solche Klassen sind Markovprozesse, Diffusionsprozesse, . . . . Markovprozesse in diskreter
Zeit mit diskretem Zustandsraum werden in den Abschnitten 8.2 und 8.3 etwas ausführlicher
behandelt.
29. September 2009
65
0 ≤ k1 < · · · < km < ∞ die gemeinsame Verteilung von Xk+k1 , . . . , Xk+km unabhängig von k ∈ N0 ist 3.226, d.h., wenn
(3.45) P Xk+k1 ∈ A′k1 , . . . , Xk+km ∈ A′km = P Xk1 ∈ A′k1 , . . . , Xkm ∈ A′km ,
0 ≤ k1 < · · · < km < ∞, A′k1 , . . . , A′km ∈ F′ , m ∈ N, k ∈ N0 .
Ein stochastischer Prozeß ist somit stationär, wenn sein Verhalten in einem end”
lichen Zeitintervall“ 3.227 nicht von der genauen Lage dieses Zeitintervalls auf der
Zeitachse abhängt.
Beispiel 3.19. Der in Beispiel 3.17 vorgestellte Bernoulli-Prozess Y = (Yn )n∈N
mit Parameter p ∈ [0, 1] ist stationär. In der Tat sind die endlich-dimensionalen
Verteilungen
P Yk+k1 = ηk1 , . . . , Yk+km = ηkm
=
3.228
p
Pm
r=1 (1+ηkr )/2
Pm
(1 − p)
r=1 (1−ηkr )/2
,
1 ≤ k1 < · · · < km < ∞, ηk1 , . . . , ηkm ∈ {−1, 1}, m ∈ N, k ∈ N0 ,
von k unabhängig.
Beispiel 3.20. Die in Beispiel 3.18 beschriebene Irrfahrt X = (Xn )n∈N0 ist
nicht stationär, da z.B.
P[X0 = 0] = 1 6= 0 = P[X1 = 0]
gilt.
Beispiel 3.21. An einem festen äquatornahen Ort werde an jedem Tag k =
1, 2, . . . zur Mittagszeit die Temperatur und die Luftfeuchtigkeit gemessen. In einem vernünftigen Modell der Meßreihe scheint die Verwendung eines stationären
Prozesses Y = (Yn )n∈N sinnvoll zu sein 3.229.
3.5. Wahrscheinlichkeitsräume und Zufallsvariablen in der
Modellbildung
In Anwendungen der Wahrscheinlichkeitstheorie bei der Bildung von Modellen
für vom Zufall beeinflußte Phänomene dient typischerweise ein allgemeiner Wahrscheinlichkeitsraum (Ω, F, P) als ein Zufallsgenerator“, während Zufallsvariable
”
Messungen oder Beobachtungen mit zufälligem Ausgang modellieren. (Ω, F, P) muß
so groß“ sein, daß alle benötigten Zufallsvariablen mit den von ihnen erwarteten
”
Eigenschaften konstruiert werden können. Insbesondere muß die gemeinsame Verteilung dieser Zufallsvariablen 3.230 den Wünschen und Vorstellungen des modellbildenden Mathematikers gerecht werden.
Beim Entwurf eines mathematischen Modells für einen physikalischen oder
technischen Vorgang ist nur die realistische Nachbildung“ der möglichen Beob”
achtungsergebnisse wesentlich. Dies bedeutet, daß der zugrundeliegende allgemeine
3.226Auf die gleiche Weise lassen sich natürlich auch stationäre stochastische Prozesse wie
(Xn )n∈N oder (Xn )n∈Z mit N oder Z als Indexmenge charakterisieren.
3.227Dies ist in einem speziellen wahrscheinlichkeitstheoretischen Sinn gemeint. Insbesondere wird die Invarianz des Verhaltens des Prozesses“ mit Hilfe des Begriffs der Verteilung von
”
Zufallsvariablen formuliert.
3.228Vgl. (3.43).
3.229Der in Beispiel 3.4 betrachtete Prozeß T = (T )
k k∈N , der eine spezielle Strategie eines
Lotto-Spielers beschreibt, ist auch ein Beispiel eines stationären Prozesses.
3.230Vgl. (3.7). Durch ihre gemeinsame Verteilung werden die Abhängigkeiten“ zwischen
”
verschiedenen Zufallsvariablen Xλ , λ ∈ Λ, ausgedrückt.
29. September 2009
66
Wahrscheinlichkeitsraum (Ω, F, P) in den Hintergrund tritt 3.231, d.h. sein detaillierter Aufbau irrelevant bleibt, solange nur die für die Modellbildung benutzten
Zufallsvariablen die richtige Verteilung besitzen.
Beispiel 3.22. Zur Modellierung des N -fachen unabhängigen Wurfs einer fairen Münze könnte anstelle des in Abschnitt 2.1.5 vorgestellten Wahrscheinlichkeitsraums (Ω, F, P) mit
Ω = {0, 1}N ,
e P)
e F,
e mit
ebenso (Ω,
F = Pot(Ω),
P[{ω}] = 2−N , ω ∈ Ω,
e = Pot(Ω),
e
F
e ω}] = 2−N , ω
e 3.232
P[{e
e ∈ Ω,
ei , i = 1, . . . , N ,
benutzt werden. Nun sind z.B. die {0, 1}-wertigen Zufallsvariablen X
mit 3.233
ω
e
ei (e
e i = 1, . . . , N,
X
ω ) = i−1 mod 2, ω
e ∈ Ω,
2
unabhängig 3.234 mit der Verteilung
eX
ei = 1] = P e [{1}], i = 1, . . . , N,
eX
ei = 0] = 1 = P[
PXei [{0}] = P[
Xi
2
ei das Ergebnis des i-ten Wurfs der Münze.
d.h., für i = 1, . . . , N modelliert X
e = {0, 1, . . . , 2N − 1},
Ω
Bei Anwendungen der Wahrscheinlichkeitstheorie treten spezielle Wahrscheinlichkeitsräume meistens dann in Erscheinung, wenn letztendlich die Verteilungen
von Zufallsvariablen untersucht werden sollen 3.235. Wenn diese beispielsweise nur
endlich viele Werte annehmen können und wenn außerdem diese Werte alle die
gleiche Wahrscheinlichkeit besitzen 3.236, kann man mit den Laplaceschen Wahrscheinlichkeitsräumen 3.237 arbeiten 3.238 3.239.
3.231Diese Tatsache äußert sich u.a. durch die übliche Verwendung der Phrase Sei (Ω, F, P)
”
ein Wahrscheinlichkeitsraum . . . “ am Anfang vieler mathematischer Beiträge zur wahrscheinlichkeitstheoretischen Modellbildung. Auf die genaue Struktur von (Ω, F, P) wird dann in keiner Weise
eingegangen.
3.232Für beliebige A
e folgt P[
e∈F
e A]
e = |A|2
e −N aus der σ-Additivität von Wahrscheinlichkeitsmaßen, vgl. (2.2b).
3.233⌊x⌋ = sup{n ∈ Z : n ≤ x}, x ∈ R. Damit gibt X
ei (e
ω ) die i-te Stelle in der Entwicklung
von ω
e im Dualsystem an.
3.234Vgl. (3.8).
3.235Für eine Zufallsvariable X : (Ω, F, P) → (Ω′ , F′ ) ist die Verteilung P ein WahrscheinX
lichkeitsmaß auf dem meßbaren Raum (Ω′ , F′ ), vgl. Abschnitt 3.1. Damit ist (Ω′ , F′ , PX ) ein
Wahrscheinlichkeitsraum.
3.236
Man denke z.B. an den Wurf einer fairen Münze oder eines fairen Würfels.
3.237
Vgl. Abschnitt 2.2.
3.238
Insbesondere in der Statistik wird mit speziellen Wahrscheinlichkeitsräumen gearbeitet.
In klassischen Anwendungen ist dann
• Ω = M , wobei M höchstens abzählbar ist, und F = Pot(M ), bzw.
• Ω ∈ B(Rn ) für ein n ∈ N und F = B(Ω) = {A ∩ Ω : A ∈ B(Rn )}.
In (Ω, F) ist weiterhin eine Familie Pλ , λ ∈ Λ, von Wahrscheinlichkeitsmaßen, die geeignet sind, ein
zu untersuchendes zufallsbeeinflußtes Phänomen zu charakterisieren, gegeben. Mit der Struktur
(Ω, F; (Pλ )λ∈Λ ) liegt ein statistisches Modell, vgl. Abschnitte 1.1.4 und 4.1, vor. Ziel statistischer
Überlegungen könnte nun die Identifizierung eines wahren“ Wahrscheinlichkeitsmaßes Pλw sein.
”
3.239
Gelegentlich wird in der Wahrscheinlichkeitstheorie eine spezielle Wahl eines Wahrscheinlichkeitsraums auch durch dessen Brauchbarkeit für die mathematischen Überlegungen oder die
Beweise der Resultate bestimmt. Es ist dann zu prüfen, ob die Zufallsvariablen, mit denen gearbeitet werden muß, auf diesem Wahrscheinlichkeitsraums auch wirklich konstruiert werden können.
29. September 2009
KAPITEL 4
Schätztheorie
4.1
Bei vielen zufallsbeeinflußten Phänomenen im menschlichen Umfeld 4.2 wird
aufgrund von logischen Überlegungen schnell deutlich, daß ein gewisser Typ wahrscheinlichkeitstheoretischer Modelle, z.B. eine besondere Klasse von Zufallsvariablen oder stochastischen Prozessen, zu einer mathematischen Beschreibung, d.h.
Modellierung, jenes Phänomens in Frage kommt. Allerdings ist oft der genaue Wert
gewisser Parameter, die innerhalb der möglichen Klasse von Modellen das am besten geeignete charakterisieren, unklar.
Beispiel 4.1. Eine Reihe gleichartiger Produktionsstücke, die mit einer Wahrscheinlichkeit p ∈ (0, 1) defekt sind, wird solange geprüft, bis zu einem Zeitpunkt
n ∈ N das erste fehlerhafte Produktionsstück beobachtet wird. Ausgehend von dem
beobachteten Zeitpunkt n ist die Fehlerwahrscheinlichkeit p zu bestimmen, d.h. zu
schätzen.
Aufgrund der Analogie zum ∞-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p ∈ (0, 1) 4.3 ist die Annahme, daß die zufällige Größe n durch
eine geometrisch mit Parameter p verteilte Zufallsvariable modelliert werden kann,
naheliegend.
Das ursprüngliche Problem kann nun folgendermaßen umformuliert werden:
Eine geometrisch mit Parameter p ∈ (0, 1) verteilte Zufallsvariable X ist zu beobachten. Basierend auf dieser Beobachtung 4.4 ist anschließend p zu schätzen.
Die Statistik stellt vernünftige“ Methoden zur Lösung solcher Schätzprobleme
”
zur Verfügung, z.B. das Maximum-Likelihood-Prinzip 4.5 oder die Methode der Kon4.6
fidenzbereiche .
4.1. Statistische Modelle
Wenn ein Statistiker mathematische Schlüsse aus vorliegenden Daten 4.7 zieht,
arbeitet er üblicherweise im Rahmen eines statistischen Modells 4.8. Ein derartiges
statistische Modell ist ein Tripel (X, G, (Pλ )λ∈Λ ), wobei (X, G) ein meßbarer Raum
und (Pλ )λ∈Λ eine Familie von Wahrscheinlichkeitsmaßen auf (X, G) ist. Für Λ ⊆ Rd ,
d = 1, 2, . . . , liegt ein parametrisches Modell vor 4.9. In dieser Vorlesung wird speziell
mit zwei Standardmodellen gearbeitet, d.h. mit
• diskreten Modellen, wenn X diskret und G = Pot(X) ist, bzw. mit
4.1
Dieses Kapitel ist ein Abstecher in die mathematische Statistik. Als Vorbereitung können
die Abschnitte 1.1.4 und 1.1.5 betrachtet werden.
4.2
Es könnte ein technisches Phänomen, ein Geschehnis in der Natur oder auch der
Wirtschafts- oder Arbeitswelt sein.
4.3Vgl. Beispiel 3.2.
4.4Insbesondere sollen und werden keine weiteren Informationen eingeholt.
4.5Vgl. Beispiel 1.8 und Abschnitt 4.2.
4.6Vgl. Beispiel 1.9 und Abschnitt 4.3.
4.7Diese Daten können beispielsweise Meßwerte oder Umfrageergebnisse sein.
4.8Ein einfaches statistisches Modell wurde in Abschnitt 1.1.4 vorgestellt.
4.9Für d = 1 ergeben sich eindimensionale Modelle.
67
68
• kontinuierlichen Modellen, wenn X eine Borelsche Teilmenge eines Rn ist
und alle Wahrscheinlichkeitsmaße Pλ , λ ∈ Λ, eine Dichte bzgl. des Lebesguemaßes auf X besitzen.
Entscheidungsschemata eines Statistikers, der mit einem statistischen Modell
(X, G, (Pλ )λ∈Λ ) arbeitet, werden durch Statistiken beschrieben. Hierbei wird als
Statistik jede meßbare Funktion S : (X, G) → (Σ, S) mit einem geeigneten meßbaren
Raum (Σ, S) bezeichnet.
Der Aufbau von wahrscheinlichkeitstheoretischen und statistischen Modellen
und weiterhin deren Interpretation und auch die Arbeit mit ihnen kann nun folgendermaßen zusammengefaßt werden:
Wahrscheinlichkeitstheoretische Modelle. Als ein Zufallsmechanismus im Hinter”
grund“ dient ein Wahrscheinlichkeitsraum (Ω, F, P) 4.10. Durch Zufallsvariablen X auf (Ω, F, P) werden zufällige, gemäß PX verteilte Beobachtungswerte modelliert.
Statistische Modelle. Eine Menge X beschreibt die möglichen Beobachtungswerte eines Experiments“ und eine σ-Algebra G in X die Menge der Ereig”
nisse, die mit diesen Beobachtungswerten verbunden sind 4.11. I. allg. gibt
es viele mögliche Wahrscheinlichkeitsmaße Pλ , λ ∈ Λ, auf (X, G), die zur
Beschreibung der Verteilung der Beobachtungswerte in Frage kommen 4.12.
Auf Beobachtungsdaten basierende Schlüsse 4.13 werden durch Statistiken auf
(X, G) repräsentiert. Beim Entwurf seiner Statistiken, d.h. seiner Entscheidungsschemata, nutzt ein Statistiker aus, daß unter verschiedenen Pλ ’s die
”
möglichen Beobachtungswerte unterschiedlich häufig“ 4.14 auftreten 4.15.
4.2. Maximum-Likelihood-Schätzer
Sei zunächst (X, G, (Pλ )λ∈Λ ) ein diskretes statistisches Modell. Nach einer Beb für den wahren“ Parameter λw das plausibelste“ λ
obachtung ist als Schätzer λ
”
b ∈ Λ” als Maximumeine sinnvolle Möglichkeit. Insbesondere wird für x ∈ X ein λ
Likelihood-Schätzer (zum Beobachtungswert x) bezeichnet, wenn
(4.1)
Pλb [{x}] = sup Pλ [{x}]
λ∈Λ
gilt 4.16. Die in (4.1) zu maximierende Funktion Λ ∋ λ → Pλ [{x}] =: Lx (λ) wird
Likelihood-Funktion (zum Beobachtungswert x) genannt.
Beispiel 4.2. Die Anzahl der Anfragen an einer Telefonhotline innerhalb eines
Tages besitze eine Poissonverteilung mit einem Parameter λ > 0 4.17. Aus der
Anzahl k der eingegangenen Anrufe ist λ zu schätzen.
4.10Vgl. Abschnitt 3.5 zur Wahl von (Ω, F, P). Im Prinzip könnte (Ω, F, P) so groß sein, daß
aller Zufall dieser Welt erzeugt wird“.
”
4.11Auf den Beobachtungswerten, bzw. den zugehörigen Ereignissen sollte ein Statistiker seine
Entscheidungen, d.h., seine Schätzungen, Vorhersagen, . . . aufbauen.
4.12Durch logische Überlegungen mit wahrscheinlichkeitstheoretischen Methoden kann evtl.
gefolgert werden, daß die Pλ , λ ∈ Λ, zu einer speziellen Klasse von Wahrscheinlichkeitsmaßen,
z.B. Normalverteilungen, geometrischen Verteilungen, . . . gehören.
4.13
Z.B. Schätzungen für den wahren“ Parameter λw ∈ Λ.
4.14D.h. mit unterschiedlichen”Wahrscheinlichkeiten.
4.15Beim Maximum-Likelihood-Schätzer, vgl. Abschnitt 4.2 wird z.B. das wahre“ λ durch
w
b geschätzt, das sich unter allen λ ∈ Λ dadurch auszeichnet, daß unter”dem zugehörigen
ein λ
Wahrscheinlichkeitsmaß Pλ
b der vorliegende Beobachtungswert am wahrscheinlichsten“ ist.
”
4.16λ
b zeichnet sich dadurch aus, daß unter Pb der Beobachtungswert x maximale Wahrλ
scheinlichkeit hat.
4.17Aufgrund von Überlegungen wie sie in Abschnitt 2.7.1 vorgestellt werden, ist diese Annahme gerechtfertigt, falls angenommen werden kann, daß die Telefonanrufe gleichmäßig über den
Tag verteilt eingehen.
29. September 2009
69
Es sei k > 0 angenommen 4.18. Die zu maximierende Likelihood-Funktion 4.19
b genau dann
ist (0, ∞) ∋ λ → λk exp(−λ)/k! = Lk (λ). Offensichtlich wird Lk in λ
maximal, wenn die Funktion (0, ∞) ∋ λ → log Lk (λ) = k log λ − λ − log k! =: ℓk (λ)
dort maximal wird. Da
k
ℓ′k (λ) = − 1 = 0 ⇐⇒ λ = k,
λ
k
ℓ′′k (λ) = − 2 < 0, λ > 0,
λ
und
lim ℓk (λ) = lim ℓk (λ) = −∞,
λց0
λր∞
b = k der Maximum-Likelihood-Schätzer für λ.
ist λ
Wie in diesem Beispiel 4.2 ist es zur Bestimmung eines Maximum-LikelihoodSchätzers häufig zweckmäßig, anstelle der Likelihood-Funktion Lx ( . ) mit der LogLikelihood-Funktion ℓx ( . ) = log Lx ( . ) (zum Beobachtungswert x) zu arbeiten 4.20.
Für alle x ∈ X werden beide Funktionen für die gleichen Parameter maximal.
Sei nun (X, G, (Pλ )λ∈Λ ) ein kontinuierliches statistisches Modell 4.21. Somit ist
X ∈ B(Rn ) für ein n = 1, 2, . . . . Außerdem besitzt Pλ für alle λ ∈ Λ eine Dichte
ρλ bzgl. des Lebesguemaßes auf X 4.22. In diesem Fall ist ein Maximum-Likelihoodb zum Beobachtungswert x ∈ X durch
Schätzer λ
(4.2)
ρλb (x) = sup ρλ (x)
λ∈Λ
definiert. Analog zum diskreten Fall bezeichnet man nun für x ∈ X die Funktion Λ ∋
λ → ρλ (x) =: Lx (λ) als Likelihood-Funktion (zum Beobachtungswert x). Weiterhin
ist ℓx ( . ) = log Lx ( . ) die Log-Likelihood-Funktion (zum Beobachtungswert x).
Beispiel 4.3. Die Zufallsvariablen X1 , . . . , Xn seien unabhängig und exponentiell mit Parameter λ > 0 verteilt 4.23. Ausgehend von einer Beobachtung
(x1 , . . . , xn ) ∈ (0, ∞)n dieser Zufallsvariablen ist λ zu schätzen.
Als statistisches Modell kann man (X, G, (Pλ )λ>0 ) wählen, wobei X = [0, ∞)n ,
G = B([0, ∞)n ) und Pλ das Wahrscheinlichkeitsmaß
auf ([0, ∞)n , B([0, ∞)n )) mit
Qn
n
der Dichte [0, ∞) ∋ (y1 , . . . , yn ) → k=1 (λ exp(−λyk )) = λn exp(−λ(y1 +· · ·+yn ))
ist 4.24.
Die Likelihood-Funktion zum Beobachtungswert (x1 , . . . , xn ) ∈ (0, ∞)n ist daher (0, ∞) ∋ λ → λn exp(−λ(x1 + · · · + xn )). Für die Log-Likelihood-Funktion
(0, ∞) ∋ λ → n log λ − λ(x1 + · · · + xn ) = ℓx1 ,...,xn (λ) gilt nun 4.25:
n
n
,
ℓ′x1 ,...,xn (λ) = − (x1 + · · · + xn ) = 0 ⇐⇒ λ =
λ
x1 + · · · + xn
4.18Aus wirtschaftlichen Gründen wird eine Telefonhotline, bei der es möglich ist, daß
während eines ganzen Tages niemand anruft, nicht existieren.
4.19Zum Beobachtungswert k.
4.20In vielen Fällen ist L ( . ) ein Produkt relativ komplizierter Funktionen, während ℓ ( . )
x
x
eine Summe einfacherer Terme ist.
4.21Vgl. Abschnitt 4.1. Bisher wurden in diesem Abschnitt 4.2 nur diskrete statistische Modelle betrachtet.
4.22D.h., P [A] = R dx ρ (x), A ∈ B(Rn ), A ⊆ X.
λ
λ
A
4.23Die Zufallsvariablen X , . . . , X könnten bei einer Modellierung unabhängiger Wartezein
1
ten auftauchen, vgl. Abschnitt 2.6 und insbesondere Fußnote 2.116.
4.24Nach Abschnitt 3.2.2 ist die Dichte der gemeinsamen Verteilung von unabhängigen Zufallsvariablen mit einer Dichte bzgl. des Lebesguemaßes das Produkt der jeweiligen Dichten.
4.25Da exponentiell verteilte Zufallsvariablen f.s. strikt positiv sind, kann x + · · · + x > 0
n
1
angenommen werden.
29. September 2009
70
n
< 0, λ ∈ (0, ∞),
λ2
lim ℓx1 ,...,xn (λ) = lim ℓx1 ,...,xn (λ) = −∞.
ℓ′′x1 ,...,xn (λ) = −
λ→∞
λց0
b = n/(x1 + · · · + xn ) der gesuchte Maximum-Likelihood-Schätzer für λ.
Somit ist λ
Beispiel 4.4 (Regressionsgerade). Der Ausgabewert y einer Meßapparatur sei
linear abhängig von der Eingabe x und zusätzlich durch einen additiven Rauschterm
gestört 4.26. Um das System quantitativ genau zu charakterisieren 4.27, wird für n
Eingaben x1 , . . . , xn , von denen zumindest zwei verschieden sein sollen 4.28, der zugehörige Ausgabewert y1 , . . . , yn gemessen. Wenn der jeweilige Wert des Rauschens
durch z1 , . . . , zn beschrieben wird, ist 4.29
(4.3)
yk = α + βxk + zk ,
k = 1, . . . , n.
Die Systemparameter α, β ∈ R sind zu schätzen 4.30.
Im folgenden sei angenommen, daß für ein festes σ 2 > 0 die Rauschterme zk ,
k = 1, . . . , n, Realisierungen 4.31 von unabhängigen, N(0, σ 2 )-verteilten Zufallsvariablen Zk , k = 1, . . . , n, sind 4.32 4.33. Dann besitzt für k = 1, . . . , n die Zufallsvariable 4.34 Yk = α + βxk + Zk bzgl. des Lebesguemaßes auf R die Dichte 4.35
fk : R → [0, ∞) mit fk (y) = (2πσ 2 )−1/2 exp(−(y − α − βxk )2 /2σ 2 ), y ∈ R, und
somit die Verteilung N(α + βxk , σ 2 ). Aus der Unabhängigkeit der Zk , k = 1, . . . , n,
folgt die Unabhängigkeit der Zufallsvariablen Yk , k = 1, . . . , n. Daher besitzt deren
gemeinsame Verteilung die Dichte 4.36
n
Y
(4.4) fα,β (y) = fα,β (y1 , . . . , yn ) =
fk (yk )
k=1
1
(yk − α − βxk )2
√
=
exp −
2σ 2
2πσ 2
k=1
n
1
1 X
2
=
exp
−
,
(y
−α−βx
)
k
k
2σ 2
(2πσ 2 )n/2
n
Y
k=1
y = (y1 , . . . , yn ) ∈ Rn ,
4.26Unter Rauschen versteht man eine zufällige Größe Z, die symmetrisch um 0 verteilt ist
und somit keinen systematischen Anteil mehr enthält. Mathematisch präziser charakterisieren
kann man Z als eine Zufallsvariable mit Erwartungswert E[Z] = 0. Eine kurze Beschreibung des
Erwartungswerts einer Zufallsvariable findet sich in Beispiel 1.4. Detailliert wird dieser Begriff in
den Abschnitten 6.1 bis 6.3 eingeführt.
4.27
D.h. zur Bestimmung der Koeffizienten, die die lineare Abhängigkeit bestimmen. Damit
sind α und β in (4.3) gemeint.
4.28Durch diese Forderung wird letztendlich sichergestelt, daß (4.7) eine eindeutige Lösung
b
(b
α, β) hat. Hierzu beachte man insbesondere auch Fußnote 4.41.
4.29In (4.3) könnte x beispielsweise auch die Menge des auf einer landwirtschaftlich genutzk
ten Fläche Ak verteilten Düngers und yk der Ernteertrag sein. zk kann eine Schwankung des Ernteertrags repräsentieren, der auf unvorhersehbare Witterungs- oder Bodeneinflüsse zurückzuführen
ist. Damit die Ergebnisse vergleichbar sind, sollten die Größen |Ak |, k = 1, . . . , n, der verschiedenen
Flächen alle gleich groß sein.
4.30Nur wenn die Rauschterme z , . . . , z verschwinden, können α und β exakt berechnet
n
1
werden.
4.31Vgl. Fußnote 1.60.
4.32Es stellt sich heraus, vgl. (4.6), daß der genaue Wert von σ2 die Schätzung von α und β
nicht beeinflußt. Daher wird hier auch nicht versucht, ein unbekanntes σ2 zu schätzen.
4.33
Die Annahme, daß das Rauschen normalverteilt ist, kann in vielen Anwendungen mit dem
Zentralen Grenzwertsatz, vgl. Abschnitt 9.3, begründet werden.
4.34α, β und x , k = 1, . . . , n, sind nicht zufällig. Allerdings sind α und β unbekannt.
k
4.35Zur Bestimmung der Dichte von Y = α + βx + Z kann zurückgegriffen werden auf
k
k
k
(3.35), wobei a = 1, b = α + βxk und X = Zk zu wählen ist.
4.36Vgl. Beispiel 3.6.
29. September 2009
71
bzgl. des Lebesguemaßes auf Rn . fα,β ist die Dichte der n-dimensionalen Normalverteilung 4.37 N(µα,β , σ 2 ) mit dem Erwartungswert µα,β = (α + βx1 , . . . , α + βxn )
und der Kovarianzmatrix σ 2 = (σ 2 δk,l )k,l=1,...,n .
Somit kann als Basis der sich anschließenden Überlegungen das kontinuierliche
statistische Modell (Rn , B(Rn ), (N(µα,β , σ 2 ))α,β∈R ) betrachtet werden.
Aus (4.4) ergibt sich zum Beobachtungswert y = (y1 , . . . , yn ) ∈ Rn die LogLikelihood-Funktion
(4.5)
ℓy (α, β) = −
n
1 X
n
(yk − α − βxk )2 − log(2πσ 2 ),
2σ 2
2
k=1
α, β ∈ R.
b für (α, β) folgt
Bei der Bestimmung eines Maximum-Likelihood-Schätzers 4.38 (b
α, β)
aus (4.5) zunächst
σ2
(4.6)
σ2
n
X
∂
ℓy (α, β) =
(yk − α − βxk ) = 0,
∂α
∂
ℓy (α, β) =
∂β
k=1
n
X
k=1
xk (yk − α − βxk ) = 0.
Wenn P
für v, w ∈ Rn die Bezeichnungen 4.39 M (v) = (1/n)
n
(1/n) k=1 vk wk eingeführt werden, führt (4.6) zu 4.40
Pn
k=1
vk und M (vw) =
M (y) − α − βM (x) = 0,
(4.7)
M (xy) − αM (x) − βM (xx) = 0.
Da
4.41
(4.8)
b mit
M (xx) − M (x)2 > 0 hat (4.7) eine eindeutige Lösung (b
α, β)
α
b=
M (xx)M (y) − M (xy)M (x)
,
M (xx) − M (x)2
M (xy) − M (x)M (y)
βb =
.
M (xx) − M (x)2
Als Konsequenz hat die in (4.5) angegebene quadratische Log-Likelihood-Funktion
b ein eindeutig bestimmtes Maximum. Somit ist (b
b in der
ℓy an der Stelle (b
α, β)
α, β)
Tat ein Maximum-Likelihood-Schätzer für (α, β).
b nennt man Regressionsgerade 4.42. βb wird auch
Die Gerade R ∋ x → y = α
b + βx
als empirischer Regressionskoeffizient bezeichnet. Dieser Koeffizient gibt an, ob die
4.37Die Notation N(ν, A) für ν ∈ Rn und eine symmetrische, positiv-semidefinite n×n-Matrix
A wird in Fußnote 3.108 erläutert.
4.38Es ist zu beachten, daß der zu schätzende Parameter (α, β) in diesem Beispiel 4.4 in R2
variiert. Daher wird in (4.6) mit partiellen Ableitungen gearbeitet.
4.39M (v) ist der Mittelwert der Komponenten v , . . . , v von v.
n
1
4.40Wenn die beiden Gleichungen in (4.6) durch n dividiert und anschließend die Summationen ausgeführt werden, folgt (4.7).
4.41Man kann zeigen, daß
!2
n
n
n
1 X
1 X
1 X 2
xk −
xk
=
(xk − M (x))2 .
M (xx) − M (x)2 =
n k=1
n k=1
n k=1
Wenn mindestens zwei der xi , i = 1, . . . , n, verschieden sind, ist (xk − M (x))2 > 0 für zumindest
ein k = 1, . . . , n. Somit ist M (xx) − M (x)2 > 0.
4.42Diese Regressionsgerade ergibt sich offensichtlich auch, wenn mit der Methode der kleinsten Quadrate die Meßpunkte“ (xk , yk ), k = 1, . . . , n, durch eine
werden.
P Gerade approximiert
”
2
In diesem Fall ist (α, β) ∈ R2 so zu bestimmen, daß Q(α, β) = n
k=1 (yk − α − βxk ) minimiert
wird. Die quadratische Funktion Q besitzt ein eindeutig bestimmtes Minimum, das ebenfalls als
die eindeutige Lösung von (4.6) bestimmt ist.
29. September 2009
72
Ausgabewerte y typischerweise“ ansteigen oder abnehmen, wenn die Eingabewerte
”
x erhöht werden 4.43.
In dem nächsten Beispiel wird sich der Maximum-Likelihood-Schätzer als unbefriedigend herausstellen. Allerdings bieten sich sinnvolle Alternativen an.
Beispiel 4.5 (Taxiproblem). In einer Stadt gebe es N Taxis mit den vom
Straßenrand aus lesbaren Nummern 1, . . . , N . Ein Passant stehe eine gewisse Zeit
lang an einer viel befahrenen Straße und notiere sich die Nummern x1 , . . . , xk der
vorbeifahrenden Taxis. Es sei angenommen, daß 4.44 x1 < · · · < xk und daß der
Passant ein mehrmals vorbeifahrendes Taxi nur einmal zählt. Unter der Annahme,
daß im Beobachtungszeitraum alle Taxis in Betrieb sind, ist die Anzahl N aller
Taxis der Stadt zu schätzen.
Als statistisches Modell kann 4.45 (Xk , Gk , (Pk;N )N ∈N, N ≥k ) mit
Xk = Menge der k-elementigen Teilmengen von N
4.46
,
Gk = Pot(Xk ),
Pk;N = Gleichverteilung auf der Menge der k-elementigen
Teilmengen von {1, . . . , N },
N ∈ N, N ≥ k
4.47
,
gewählt werden. Dieser Ansatz führt zur Likelihood-Funktion
(
4.48 N −1
, falls xk ≤ N,
k
L(k;x1 ,...,xk ) (N ) = 4.49
0,
falls xk > N,
zur Beobachtung von k Taxis mit den Nummern x1 < x2 < · · · < xk . Da für jedes
−1
k die Funktion {k, k + 1, . . . } ∋ N → N
monoton fällt, ist 4.50
k
S1 = xk
der Maximum-Likelihood-Schätzer für die Gesamtzahl N der Taxis.
Der Maximum-Likelihood-Schätzer S1 ist in der vorliegenden Situation unbefriedigend, da offensichtlich immer S1 ≤ N gilt, d.h., die wahre Anzahl aller Taxis
4.43Da der Nenner M (xx) − M (x)2 > 0 ist, vgl. Fußnote 4.41, wird das Vorzeichen von β
b
durch den Zähler M (xy) − M (x)M (y) bestimmt. Weil
(∗)
n
1 X
M (xy) − M (x)M (y) =
x k yk −
n k=1
=
n
1 X
xk
n k=1
!
n
1X
yl
n l=1
n
1 X
(xk − M (x))(yk − M (y)),
n k=1
!
besitzen die Fluktuationen xk − M (x) der Eingabe und die Fluktuationen yk − M (y) der Ausgabe um den jeweiligen Mittelwert M (x), bzw. M (y) typischerweise“ genau dann das gleiche
”
Vorzeichen, wenn βb > 0 ist. Aufgrund von (∗) kann man M (xy) − M (x)M (y) auch als empirische Kovarianz der Datensequenzen x1 , . . . , xn und y1 , . . . , yn bezeichnen. Die Kovarianz
Cov(X,Y) = E[(X − E[X])(Y − E[Y ])] von zwei Zufallsvariablen X und Y wird in (6.22) eingeführt.
4.44Die Nummern der vorbeifahrenden Taxis werden in aufsteigender Reihenfolge notiert.
4.45Die Anzahl k der beobachteten Taxis wird nicht als eine Beobachtungsgröße, die zu den
statistischen Schlußfolgerungen herangezogen wird, betrachtet. Nach dem Ende der Beobachtungen steht k fest und wird dann vor dem eigentlichen Beginn der statistischen Überlegungen als
eine deterministische, d.h. nicht zufällige Zahl festgehalten.
4.46Beachte, daß X abzählbar ist.
k
4.47
Hier geht die Annahme ein, daß alle Taxis gleichmäßig im Stadtgebiet im Einsatz sind.
4.48In der Menge {1, . . . , N } existieren `N ´ Teilmengen mit k Elementen.
k
4.49
Offensichtlich muß die Anzahl N aller Taxis ≥ der höchsten beobachteten Nummer xk
sein.
4.50Der Maximum-Likelihood-Schätzer für die Gesamtzahl aller Taxis ist somit die größte
der beobachteten Nummern.
29. September 2009
73
wird systematisch unterschätzt. Mit heuristischen Argumenten können jedoch zwei
weitere, evtl. 4.51 plausiblere Schätzer vorgeschlagen werden.
• Aus Symmetriegründen“ sollte 4.52 x1 − 1 ≈ N − xk gelten. Als Schätzer
”
für N ergibt sich dann:
S2 = xk + x1 − 1.
• Es wäre auch sinnvoll, den Ansatz
N − xk ≈
4.53
k
1X
1
(xr − xr−1 − 1) = (xk − k),
k r=1
k
zu wählen. Diese Überlegung führt nun zu
S3 = xk +
4.55
als Schätzer für N
4.54
xk − k
k
.
4.3. Konfidenzbereiche
b eines Parameters λ gibt nur einen ersten Anhaltspunkt für den
Der Schätzwert λ
wahren“ Wert λw . Eine Präzisierung ergibt sich aus den Angabe eines möglichst
”
b ⊆ Λ, innerhalb dessen λw mit einer hinreichend großen Sicherkleinen Bereichs Λ
”
heit“ erwartet werden kann 4.56.
4.51Dies ist natürlich Ansichtssache.
4.52Die Lücke bis zur kleinsten beobachteten Nummer x , bzw. die Lücke nach der größten
1
beobachteten Nummer xk sollten in etwa gleich sein. Diese Vermutung sollte zumindest im Mittel
”
bei vielen Beobachtungsreihen“ gelten.
4.53In der Summe ist x = 0 zu setzen. Die Größe der Lücke nach der größten beobachteten
0
Nummer xk wird nun durch die mittlere Größe aller anderen Lücken“ geschätzt. Auch diese
”
Vermutung sollte im Mittel bei vielen Beobachtungsreihen“ gelten.
”
4.54In der Praxis
kann S3 durch die am nächsten an xk + (xk − k)/k liegende ganze Zahl S3′
ersetzt werden.
4.55Die drei Schätzer S , S und S für die Gesamtzahl N der Taxis besitzen unterschiedliche
1
2
3
Eigenschaften, vgl. [10], Abschnitte 4.2 - 4.4. Zunächst kann nachgewiesen werden, daß S2 und
S3 erwartungstreue Schätzer sind, d.h., für i = 2, 3 gilt:
(∗)
Ek;N [Si ] :=
∞
X
l=k
l · Pk;N [Si = l] = N,
N ∈ N, N ≥ k.
Andererseits ist S1 nicht erwartungstreu, d.h., S1 erfüllt (∗) nicht. Im Mittel“ wird daher durch
”
die Schätzer S2 und S3 der wahre Wert von N gefunden. Hingegen wird durch S1 im Mittel“ ein
”
falscher Wert geschätzt.
Beim Vergleich von S2 und S3 zeigt sich, daß der mittlere quadratische Fehler für S3 kleiner
als für S2 ist, d.h.,
∞
X
ˆ
˜
Ek;N (S3 − Ek;N [S3 ])2 =
(l − Ek;N [S3 ])2 · Pk;N [S3 = l]
| {z }
l=k
=N
ˆ
˜
< Ek;N (S2 − Ek;N [S2 ])2 , N ∈ N, N ≥ k.
Der Schätzer S3 schwankt daher im quadratischen Mittel“ weniger als S2 um den wahren Wert
”
von N .
Zusammenfassend ist also der Schätzer S3 gegenüber den beiden anderen Schätzern zu bevorzugen.
Erwartungstreue und die Größe des mittleren quadratischen Fehlers sind spezielle Kriterien,
mit der die Qualitäten verschiedener Schätzer verglichen werden können. Auf diese Begriffe wird
in den Abschnitten 6.6 und 6.6.1 eingegangen werden.
4.56Durch die Angabe von Λ
b der i. allg. innerhalb von Λ
b gewinnt der Schätzer λ,
b liegt, an
Vertrauenswürdigkeit“. Die englische Bezeichnung hierfür ist confidence.
”
29. September 2009
74
Sei (X, G, (Pλ )λ∈Λ ) ein statistisches Modell und α ∈ (0, 1). Eine Abbildung
X ∋ x → C(x) ⊆ Λ heißt Konfidenzbereich zum Irrtumsniveau α, wenn 4.57
sup Pλ [{x ∈ X : C(x) 6∋ λ}] ≤ α.
(4.9)
λ∈Λ
Die Bedingung (4.9) bedeutet, daß unabhängig vom real vorliegenden Wert
von λ die Wahrscheinlichkeit unter Pλ , daß die Menge 4.58 C( . ) jenes λ nicht
enthält 4.59, höchstens gleich α ist. Man kann sagen: Mit einer Sicherheit 4.60 von
”
mindestens (1 − α) · 100% liegt (der wahre Parameter) λw in C( . )“.
Beispiel 4.6. Für C(x) = Λ, x ∈ X, gilt offensichtlich (4.9) für alle α ∈ (0, 1).
Zu einem Erkenntnisgewinn führt diese Wahl eines Konfidenzbereichs allerdings
nicht. Man sollte daher C( . ) immer möglichst klein“ wählen 4.61.
”
Beispiel 4.7. Eine exponentiell mit einem zu schätzenden Parameter λ > 0
verteilte Zufallsvariable 4.62 X werde beobachtet. Anschließend sei zu α ∈ (0, 1) ein
Konfidenzbereichs zum Irrtumsniveau α zu bestimmen 4.63.
Als statistisches Modell kann ((0, ∞), B((0, ∞)), (Pλ )λ>0 ), gewählt werden, wobei Pλ die Exponentialverteilung zum Parameter λ ist.
Beim Entwurf eines Konfidenzbereichs soll zunächst gefordert werden, daß
große Parameter λ erkannt werden 4.64. Somit sollte ein Konfidenzintervall der
Gestalt X = (0, ∞) ∋ x → [k(x), ∞) = C(x) mit einer geeigneten Funktion
k : (0, ∞) → (0, ∞) bestimmt werden.
Sei qα (λ) das α-Quantil von Pλ , d.h. 4.65,
(4.10)
qα (λ) = inf y ∈ (0, ∞) : Pλ [[0, y]] ≥ α
1
= − log(1 − α), α ∈ (0, 1), λ ∈ (0, ∞).
λ
Für festes α ∈ (0, 1) ist die Funktion qα : (0, ∞) → (0, ∞) stetig und streng monoton
fallend und hat somit eine stetige und streng monoton fallende Umkehrfunktion
κα : (0, ∞) → (0, ∞) mit
(4.11)
κα (q) = inf λ ∈ (0, ∞) : qα (λ) ≤ q
1
= − log(1 − α), α ∈ (0, 1), q ∈ (0, ∞).
q
Zu einer Beobachtung 4.66 x ∈ (0, ∞) und α ∈ (0, 1) sei nun C α (x) = [κα (x), ∞).
Aus (4.10) und (4.11) folgt
λ ∈ C α (x)
⇐⇒
λ ≥ κα (x)
⇐⇒
qα (λ) ≤ x,
α ∈ (0, 1), λ ∈ (0, ∞),
4.57Die Meßbarkeit von {x ∈ X : C(x) 6∋ λ}, d.h. die Zugehörigkeit zu G sei stillschweigend
vorausgesetzt.
4.58Der Bereich C(x) hängt vom Beobachtungswert x ab, ist also zufällig.
4.59D.h., daß ein Irrtum geschieht.
4.60Die Verwendung von Wahrscheinlichkeit“ anstelle von Sicherheit“ wäre irreführend, da
”
”
λ nicht zufällig, sondern fest aber unbekannt ist.
4.61Mit möglichst klein“ können unterschiedliche Bedeutungen verbunden sein, je nachdem
”
welche Prioritäten bei der Suche nach dem wahren λ gesetzt werden. Man könnte einerseits an einer
objektiven“ Bestimmung von λ interessiert sein. Andererseits sind z.B. Situationen vorstellbar,
”
in denen ein Überschätzen des wahren λ weitestgehend vermieden werden sollte.
4.62Vgl. Abschnitt 2.6. X könnte beispielsweise eine Wartezeit modellieren.
4.63Die Bestimmung eines Maximum-Likelihood-Schätzers für λ wird in Beispiel 4.3 diskutiert.
4.64Kleine λ’s dürfen mit einer Fehlerquote von höchsten α · 100% übersehen werden
4.65Vgl. Beispiele 3.14 und 3.15. Im vorliegenden Fall ist insbesondere für alle α ∈ (0, 1) und
alle λ > 0 das α-Quantil qα (λ) von Pλ eindeutig bestimmt.
4.66x ergibt sich als beobachtete Realisierung der Zufallsvariable X.
29. September 2009
75
bzw.
(4.12) λ 6∈ C α (x)
⇐⇒
⇐⇒
λ < κα (x)
qα (λ) > x,
α ∈ (0, 1), λ ∈ (0, ∞).
Daher gilt
Pλ [{x ∈ (0, ∞) : C α (x) 6∋ λ}] =
4.67
=
4.68
=
4.69
Pλ [{x ∈ (0, ∞) : x < qα (λ)}]
Pλ [{x ∈ (0, ∞) : x ≤ qα (λ)}]
α,
α ∈ (0, 1), λ ∈ (0, ∞),
d.h., für α ∈ (0, 1) ist durch [0, ∞) ∋ x → C α (x) = [κα (x), ∞) ein Konfidenzintervall zum Irrtumsniveau α gegeben.
Wenn der Parameter λ zuverlässig sowohl nach oben als auch nach unten abgegrenzt werden soll, ist es naheliegend, Konfidenzintervalle der Gestalt X = (0, ∞) ∋
x → [k(x), k(x)] = C ′ (x) mit geeigneten Funktionen k, k : (0, ∞) → (0, ∞) zu suchen. Als Konfidenzintervall zum Irrtumsniveau α kann in diesem Fall beispielsweise
C ′ (x) = [κα/2 (x), κ1−(α/2) (x)],
x ∈ (0, ∞),
gewählt werden 4.70.
Da die Funktionen qα und κα streng monoton sind, können die in diesem Beispiel bestimmten Konfidenzintervalle C( . ), bzw. C ′ ( . ) nicht durch kleinere Konfidenzbereiche 4.71 in (0, ∞) ersetzt werden, d.h., diese Konfidenzbereiche können
als optimal bezeichnet werden.
Im nächsten Beispiel 4.8 wird gezeigt, wie auf eine zwar einfache, allerdings
nicht optimale Weise Konfidenzintervalle bestimmt werden können.
Beispiel 4.8. Ein zu einem Erfolg oder zu einem Mißerfolg führendes Experiment wird unter gleichbleibenden Bedingungen N mal unabhängig wiederholt 4.72.
Es ist ein Konfidenzbereich für die Erfolgswahrscheinlichkeit p ∈ [0, 1] zu bestimmen.
Sei Z die Anzahl der Erfolge in den N Experimenten. Z ist binomialverteilt
mit den Parametern N und p 4.73. Man kann daher mit dem statistischen Modell
(X, Pot(X), (Pp )p∈[0,1] ), wobei X = {0, 1, . . . , N } und Pp = B(N, p), p ∈ [0, 1],
arbeiten. In dieser Situation ist Z die durch Z(x) = x, x ∈ X, gegebene Statistik.
4.67Vgl. (4.12).
4.68Da P eine Dichte bzgl. des Lebesguemaßes hat.
λ
4.69
Da qα (λ) ein α-Quantil von Pλ ist.
4.70Weil die Funktionen q , κ : (0, ∞) → (0, ∞), α ∈ (0, 1), stetig und streng monoton
α
α
fallend sind und weil qα (κα (x)) = x, x ∈ (0, ∞), α ∈ (0, 1), gilt:
ˆ
˜
Pλ {x ∈ (0, ∞) : [κα/2 (x), κ1−(α/2) (x)] 6∋ λ}
ˆ
˜
= Pλ {x ∈ (0, ∞) : κα/2 (x) > λ oder κ1−(α/2) (x) < λ}
ˆ
˜
= Pλ {x ∈ (0, ∞) : x < qα/2 (λ) oder x > q1−(α/2) (λ)}
= Pλ [(0, qα/2 (λ))] + Pλ [(q1−(α/2) (λ), ∞)]
{z
} |
{z
}
|
= α/2
= 1 − Pλ [(0, q1−(α/2) (λ)]]
|
{z
}
= 1 − (α/2)
= α,
λ > 0.
4.71Seien D( . ) und D ′ ( . ) Konfigurationsbereiche zum Irrtumsniveau α. Wenn D(x) $ D ′ (x)
für alle x ∈ (0, ∞) ist, kann man sagen, daß D( . ) kleiner als D ′ ( . ) ist.
4.72M.a.W., man betrachtet den N -fachen, unabhängigen Münzwurf mit einer Erfolgswahrscheinlichkeit p ∈ [0, 1].
4.73Vgl. Abschnitt 1.1.2.
29. September 2009
76
Ausgangspunkt der folgenden Überlegungen ist die sich als Konsequenz der
Čebyšev’schen Ungleichung 4.74 ergebende Abschätzung
Z
1
1
(4.13) Pp − p ≥ ǫ ≤ 4.75 2 p(1 − p) ≤ 4.76
, ǫ > 0, p ∈ [0, 1].
N
ǫ N
4N ǫ2
Setzt man
"
x
C(x) =
−
N
r
1
x
,
+
4N α N
r
#
1
∩
4N α
4.77
[0, 1],
x ∈ X,
so folgt
Pp [{x ∈ X : C(x) 6∋ p}]
"(
)#
r
r
x
1
1
x
+
oder p <
−
= Pp x ∈ X : p >
N
4N α
N
4N α
"(
)#
r
x
1
= Pp x ∈ X : − p >
N
4N α
#
"
r
Z
1
≤ 4.78 α, p ∈ [0, 1],
= Pp − p >
N
4N α
d.h., {0, 1, . . . , N } = X ∋ x → C(x) ist ein Konfidenzintervall zum Irrtumsniveau α 4.79.
4.74Vgl. (1.10) und Satz 6.15.
4.75Vgl. (1.11).
4.76Da p(1 − q) ≤ 1/4, q ∈ [0, 1].
4.77Es sollte C(x) ⊆ [0, 1] sein.
√
4.78Zum Nachweis dieser Ungleichung setze ǫ = 1/ 4N α in (4.13).
4.79Zum Beobachtungswert x ist x/N der Maximum-Likelihood-Schätzer für p, vgl. Bei-
spiel 1.8. Im vorliegenden Fall ist daher C(x) symmetrisch bzgl. des Maximum-LikelihoodSchätzers.
29. September 2009
KAPITEL 5
Laplacesche Wahrscheinlichkeitsräume und
Kombinatorik
Sei (Ω, F, P) ein Laplacescher Wahrscheinlichkeitsraum 5.1, d.h.,
1
|Ω| < ∞, F = Pot(Ω), P[{ω}] =
, ω ∈ Ω.
|Ω|
Zur genauen Bestimmung von
5.2
(5.1)
P[A] =
|A|
,
|Ω|
A ∈ F,
sind durch kombinatorische Überlegungen Abzählmethoden zu entwickeln.
Beispiel 5.1. 5.3 Es sei angenommen, daß vier faire Würfel unabhängig voneinander geworfen werden. Zur Modellierung dieses Geschehens kann mit dem Wahrscheinlichkeitsraum (Ω, F, P), wobei Ω = {1, . . . , 6}4 5.4, F = Pot(Ω) und P die
Gleichverteilung auf (Ω, F) ist, gearbeitet werden.
Zu beantworten sei zunächst die Frage nach der Wahrscheinlichkeit p1 , daß alle
vier Augenzahlen verschieden sind. Aufgrund von (5.1) ist
|{ω ∈ Ω : ωi 6= ωj , falls i 6= j}|
|Ω|
Anzahl der Wurfsequenzen mit vier verschiedenen Augenzahlen
=
Anzahl aller Wurfsequenzen
6
·
5
·
4
·
3
5
= 5.5
=
.
64
18
p1 =
Die Würfel seien nun durchnumeriert 5.6. Bei der Klärung der Frage nach der
Wahrscheinlichkeit p2 , daß die geworfenen Augenzahlen streng monoton steigend
sind 5.7, führt (5.1) zu
|{ω ∈ Ω : ω1 < ω2 < ω3 < ω4 }|
|Ω|
Anzahl der 4-elementigen Teilmengen von {1, . . . , 6}
= 5.8
|Ω|
p2 =
5.1Vgl. Abschnitt 2.2.
5.2Für Terme wie auf der rechten Seite von (5.1) muß die Anzahl der Elemente in Ω, bzw. in
A bestimmt werden.
5.3Auf die Fragestellungen dieses Beispiels wird unter leicht veränderten Blickwinkeln auch
in den folgenden Beispielen 5.2, 5.3 und 5.7 eingegangen.
5.4Ω = {1, . . . , 6}4 = {(ω , . . . , ω ) : ω , . . . , ω = 1, 2, . . . , 6}. Für i = 1, . . . , 4 beschreibt ω
1
4
1
4
i
die Augenzahl des i-ten Würfels.
5.5Der Zähler ergibt sich folgendermaßen: Für den ersten Wurf gibt es 6 Möglichkeiten, dannach verbleiben für den zweiten Wurf noch 5 Möglichkeiten. Für den dritten und den vierten Wurf
gibt es schließlich noch 4, bzw. 3 Möglichkeiten.
5.6Bei der Lösung der ersten Frage war auch implizit angenommen worden, daß die Würfel
numeriert sind.
5.7D.h., daß ω < ω < ω < ω .
1
2
3
4
77
78
=
5.9
6
1
6!
5
4
= 4·
=
.
4
6
6 4! · 2!
432
Die Lösungen der Abzählprobleme in diesen und vielen anderen Beispielen der
elementaren Wahrscheinlichkeitstheorie 5.10 können häufig mit Hilfe der im folgenden Abschnitt 5.1 eingeführten sog. Urnenmodelle bestimmt werden.
5.1. Urnenmodelle
Einige Klassen von Abzählproblemen können gelöst werden durch die Bestimmung der Anzahl der Möglichkeiten, aus einer Urne, die N unterscheidbare Kugeln
enthält, n Kugeln zu ziehen. Hierbei entsprechen die unterschiedlichen Klassen der
Abzählprobleme verschiedenen Ziehungsstrategien. Es gibt:
• zwei
• zwei
-
Auswahlverfahren zum Ziehen der Kugeln:
gezogene Kugeln werden nach ihrer Ziehung zurückgelegt,
gezogene Kugeln werden nach ihrer Ziehung nicht zurückgelegt.
Anordnungsverfahren für die gezogenen Kugeln:
der Reihenfolge der gezogenen Kugeln wird Beachtung geschenkt 5.11,
der Reihenfolge der gezogenen Kugeln wird keine Beachtung geschenkt 5.12.
Damit ergeben sich vier verschiedene Ziehungsstrategien oder Urnenmodelle:
(U1 ) Ziehung mit Zurücklegen und mit Berücksichtigung der Reihenfolge der
gezogenen Kugeln,
(U2 ) Ziehung ohne Zurücklegen und mit Berücksichtigung der Reihenfolge der
gezogenen Kugeln,
(U3 ) Ziehung mit Zurücklegen und ohne Berücksichtigung der Reihenfolge der
gezogenen Kugeln,
(U4 ) Ziehung ohne Zurücklegen und ohne Berücksichtigung der Reihenfolge der
gezogenen Kugeln.
Für k = 1, 2, 3, 4 sei Wk (N, n) die Menge der für (Uk ) möglichen Ziehungsresultate 5.13. Während W1 (N, n) und W3 (N, n) für alle N, n ∈ N definiert sind, muß für
W2 (N, n) und W4 (N, n) die Einschränkung n ≤ N berücksichtigt werden 5.14.
5.1.1. Darstellung der Mengen Wk (N, n), k = 1, . . . , 4. Die Elemente
von Wk (N, n), k = 1 . . . , 4, besitzen die Darstellung w = (w1 , . . . , wn ), wobei
5.8Die Augenzahl des ersten Wurfs wird identifiziert mit dem kleinsten Element einer 4elementigen Teilmenge von {1, . . . , 6}, die Augenzahl des zweiten Wurfs mit dem zweitkleinsten
Element . . . .
5.9
Details zur Berechnung der `Anzahl
r-elementiger Teilmengen einer N -elementigen Menge
´
mit Hilfe des Binomialkoeffizienten N
folgen in Abschnitt 5.1.2. Insbesondere wird in Beispiel 5.3
r
ein weiteres Mal auf die Bestimmung von p2 eingegangen.
5.10
Ein solches Beispiel wäre die Frage nach der Wahrscheinlichkeit, daß in einer Gruppe von
100 Personen zwei am gleichen Tag Geburtstag haben, vgl. Beispiel 5.5.
5.11Beispielsweise wird die Ziehung der Kugeln 1, 4, 2, 7, . . . (in dieser Reihenfolge) von der
Ziehung der Kugeln 1, 2, 7, 4, . . . (in dieser Reihenfolge) unterschieden.
5.12Beispielsweise wird die Ziehungssequenz 1, 4, 2, 7, . . . (in dieser Reihenfolge) mit der
Ziehungssequenz 1, 2, 7, 4, . . . (in dieser Reihenfolge) identifiziert.
5.13In Abschnitt 5.1.2 wird |W (N, n)|, k = 1, 2, 3, 4, N, n ∈ N, d.h., die Anzahl der jeweils
k
unterschiedlichen Ziehungsresultate berechnet.
5.14Offensichtlich können mit den Ziehungsstrategien (U ) und (U ) höchstens N Kugeln der
2
4
Urne entnommen werden.
29. September 2009
79
wl ∈ {1, . . . , N } 5.15. Allerdings sind für die verschiedenen Urnenmodelle 5.16 evtl.
nicht alle w’s möglich 5.17, bzw. sind unterschiedliche w’s miteinander zu identifizieren 5.18. Insbesondere ergeben sich die folgenden Darstellungen:
• W1 (N, n) = (w1 , . . . , wn ) : wl ∈ {1, . . . , N }, l = 1, . . . , n 5.19.
• W2 (N, n) = (w1 , . . . , wn ) ∈ W1 (N, n) : wi 6= wj für i 6= j 5.20.
• W3 (N, n) = (w1 , . . . , wn ) ∈ W1 (N, n) : 1 ≤ w1 ≤ w2 ≤ · · · ≤ wn ≤ N . Da
die Reihenfolge der gezogenen Kugeln keine Rolle spielt, können o.E.d.A.
die Ziehungszeitpunkte“ 5.21 so umgeordnet werden, daß die wl ’s monoton
”
ansteigend sind.
• W4 (N, n) = (w1 , . . . , wn ) ∈ W1 (N, n) : 1 ≤ w1 < w2 < . . . < wn ≤ N .
Nach einer Umordnung der Ziehungszeitpunkte“ sind die wl ’s streng mo”
noton ansteigend 5.22.
5.1.2. Berechnung von |Wk (N, n)|, k = 1, . . . , 4.
5.23
Zu |W1 (N, n)|: Es gibt
• N Möglichkeiten für die Wahl der 1. Kugel,
• N Möglichkeiten für die Wahl der 2. Kugel 5.24,
• ...
• N Möglichkeiten für die Wahl der n. Kugel.
Somit ist
(5.2)
|W1 (N, n)| = N n ,
N, n ∈ N.
Zu |W2 (N, n)|: Es gibt
• N Möglichkeiten für die Wahl der 1. Kugel,
• N − 1 Möglichkeiten für die Wahl der 2. Kugel 5.25,
• ...
• N − (n − 1) Möglichkeiten für die Wahl der n. Kugel 5.26.
Somit ist
N!
, N, n ∈ N, n ≤ N.
(5.3) |W2 (N, n)| = N (N − 1) · · · (N − (n − 1)) =
(N − n)!
Beispiel 5.2 (Rückblick auf Beispiel 5.1). Die Würfe des Würfels können modelliert werden, als Ziehungen aus einer Urne mit 6 Kugeln, wobei nach jeder Ziehung die gezogene Kugel wieder zurückgelegt wird. Damit folgt
p1 =
|W2 (6, 4)|
|W1 (6, 4)|
5.27
5.28
=
6! 1
5
· 4 =
.
2! 6
18
5.15w gibt die Nummer der im l-ten Zeitpunkt gezogenen Kugel an. Offensichtlich kann in
l
den hier vorgestellten Überlegungen angenommen werden, daß die Kugeln in aufeinanderfolgenden
Zeitpunkten gezogen werden.
5.16
Damit sind die in Abschnitt 5.1 unter (U1 ) - (U4 ) aufgeführten Ziehungsvarianten gemeint.
5.17Beispielsweise, wenn die Kugeln nicht mehr zurückgelegt werden.
5.18Beispielsweise, wenn es auf die Reihenfolge der gezogenen Kugeln nicht ankommt.
5.19Für k 6= l kann w = w sein, da die Kugeln zurückgelegt werden.
k
l
5.20Man beachte, daß die Kugeln nicht zurückgelegt werden, und daher alle w ’s verschieden
l
sind.
5.21D.h. die Koordinaten von w = (w , . . . , w ).
n
1
5.22Da die Kugeln nicht zurückgelegt werden, ist Gleichkeit zwischen zwei w ’s ausgeschlossen.
l
5.23Nach der Bestimmung von |W (N, n)|, k = 1, . . . , 4, sind Lösungen für Abzählprobleme,
k
wie sie beispielsweise in Beispiel 5.1 angesprochen wurden, möglich.
5.24Man beachte, daß die 1. Kugel wieder zurückgelegt wird.
5.25Nach der Entnahme der 1. Kugel verbleiben noch N − 1 Kugeln in der Urne.
5.26Nach dem Ziehen von n − 1 Kugeln sind noch N − (n − 1) Kugeln in der Urne.
29. September 2009
80
Zu |W4 (N, n)| 5.29 : Jedes w = (w1 , . . . , wn ) ∈ W4 (N, n) repräsentiert alle w′ =
(w1′ , . . . , wn′ ) ∈ W2 (N, n), deren Komponenten w1′ , . . . , wn′ sich durch eine
Permutation, d.h. Umordnung aus den Komponenten w1 , . . . , wn von w ergeben 5.30. Für alle w ∈ W4 (N, n) gibt es n! derartige Permutationen 5.31 5.32.
Andererseits ergibt sich jedes w′ ∈ W2 (N, n) aus genau einem w ∈ W4 (N, n)
durch eine Permutation 5.33.
Folglich zerfällt W2 (N, n) in disjunkte Klassen mit jeweils n! Elementen.
Jede Klasse entspricht genau einem Element in W4 (N, n). Daher ist
|W2 (N, n)|
(5.4) |W4 (N, n)| =
=
n!
5.34
N!
1
·
=:
(N −n)! n!
N
,
n
N, n ∈ N, n ≤ N.
Beispiel 5.3 (Weiterer Rückblick auf Beispiel 5.1 5.35). Eine streng monoton ansteigende Folge von Augenzahlen bei 4 Würfen eines Würfels entspricht genau einer in aufsteigender Reihenfolge angeordneten, 4-elementigen Teilmenge von
{1, . . . , 6}. Daher ist
p2 =
|W4 (6, 4)|
|W1 (6, 4)|
5.36
5.37
=
1
6
5
· 4 =
.
4
6
432
Zu |W3 (N, n)|: Wenn die in Abschnitt 5.1.1 angegebenen Darstellungen der Mengen W3 (. . . ) und W4 (. . . ) benutzt werden, wird deutlich, daß die Abbildung
W3 (N, n) ∋ (w1 , w2 , . . . , wn )
τ (N,n)
→
(w1 , w2 + 1, . . . , wn + n − 1) ∈ W4 (N + n − 1, n)
5.27Eine Wurfsequenz mit verschiedenen Augenzahlen entspricht einer Ziehungssequenz mit
verschiedenen gezogenen Kugeln.
5.28Jede Wurfsequenz entspricht genau einer Ziehungssequenz.
5.29Die etwas schwierigere Berechnung von |W (N, n)| wird zurückgestellt.
3
5.30In W (N, n) und W (N, n) werden Ziehungen ohne Zurücklegen betrachtet. In W (N, n)
2
4
4
wird allerdings die Reihenfolge nicht berücksichtigt, d.h., unterschiedliche Ziehungssequenzen aus
W2 (N, n) können in W4 (N, n) zusammenfallen.
5.31w kann an n Stellen in w ′ eingeordnet werden. Anschließend kann w noch an n − 1
1
2
Positionen gebracht werden. . . .
5.32
Jede Permutation entspricht einer Möglichkeit, aus n Objekten (Kugeln) ohne Zurücklegen n Objekte (Kugeln) mit Berücksichtigung der Reihenfolge auszuwählen. Folglich ist
Anzahl der Permutationen = |W2 (n, n)| =
n!
= n!,
0!
vgl. (5.3).
5.33Jenes w ∈ W (N, n) entsteht durch Anordnung von w ′ , . . . , w ′ in aufsteigender Reihen4
n
1
folge.
5.34Vgl. (5.3).
5.35Vgl. auch Beispiel 5.2.
5.36|W (6, 4)| ist die Anzahl aller 4-elementigen Teilmengen von {1, . . . , 6}, d.h. aller Wurf4
sequenzen der Länge 4 mit streng monoton ansteigenden Augenzahlen.
5.37
|W1 (6, 4)| ist die Anzahl aller Wurfsequenzen der Länge 4.
29. September 2009
81
bijektiv ist
5.38
. Diese Beobachtung führt zu
N +n−1
,
|W3 (N, n)| = |W4 (N + n − 1, n)| = 5.39
n
(5.5)
N, n ∈ N.
5.2. Anwendungen von Urnenmodellen
Vor allem in Beispielen der elementaren Wahrscheinlichkeitstheorie, wenn mit
Laplaceschen Wahrscheinlichkeitsräumen gearbeitet wird, finden die verschiedenen
Urnenmodelle Anwendungen, um mit Hilfe von (5.1) Wahrscheinlichkeiten zu berechnen.
Beispiel 5.4 (Ein Problem zum Skatspiel 5.40). Beim Skatspiel kann es für
den Spieler, der das Spiel macht“ ein großer Vorteil sein, wenn zwei Buben im
”
Skat sind. Es ist die Frage nach der Wahrscheinlichkeit p3 dieses Ereignisses zu
beantworten 5.41.
Bei der Berechnung von p3 ist zu beachten, daß
• der Skat sich durch Auswahl von 2 aus 32 Karten ergibt und daß es somit |W4 (32, 2)| Möglichkeiten für seine Zusammensetzung gibt. Da alle
Möglichkeiten die gleiche Wahrscheinlichkeit besitzen, kann mit einem Laplaceschen Wahrscheinlichkeitsraum mit |W4 (32, 2)| Elementen gearbeitet
werden.
• Da 4 Buben im Spiel enthalten sind, gibt es weiterhin |W4 (4, 2)| Möglichkeiten, einen Skat mit zwei Buben zusammenzustellen.
Folglich ist
4
3
|W4 (4, 2)|
2
p3 =
= =
≈ 0, 012.
32
|W4 (32, 2)|
248
2
Beispiel 5.5 (Zusammenfallen zweier Geburtstage). Es ist die Frage nach der
Wahrscheinlichkeit p4,M , daß in einer Gruppe von M Personen mindestens zwei am
gleichen Tag des Jahres Geburtstag haben, zu beantworten 5.42.
Der Fall M > 365 ist trivial. Dann ist p4,M = 1. Für M ≤ 365 gilt:
p4,M = 1 − P[alle M Personen haben an verschiedenen Tagen Geburtstag]
=
5.43
1−
Anzahl der Möglichkeiten für M verschiedene Geburtstage 5.44
Anzahl aller Möglichkeiten für die Geburtstage von M Personen 5.45
5.38Wenn w ≤ w
l
l+1 für ein Element w ∈ W3 (N, n), so gilt wl +l−1 < wl +l ≤ wl+1 +l. Durch
die Abbildung τ (N, n) wird Luft“ in die Sequenz (w1 , . . . , wn ) hineingeblasen“. Eine monoton
”
”
ansteigende Folge mit Werten in {1, . . . , N } wird daher in eine streng monoton ansteigende Folge
mit Werten in {1, . . . , N + n − 1} abgebildet. Die Umkehrabbildung von τ (N, n) ist durch
′
W4 (N + n − 1, n) ∋ (w1′ , w2′ , . . . , wn
)
τ (N,n)−1
→
′
(w1′ , w2′ − 1, . . . , wn
− n + 1) ∈ W3 (N, n)
gegeben.
5.39Vgl. (5.4).
5.40Es sei daran erinnert, daß 32 Karten (4 Asse, 4 Könige, . . . , 4 Buben,. . . , 4 Siebener)
im Spiel sind. Diese werden gut gemischt. 3 Spieler erhalten dann jeweils 10 Karten. 2 Karten
verbleiben im Skat und werden später demjenigen Spieler, der das Spiel macht“ zugeteilt.
”
5.41p ist unter der Voraussetzung, daß die Spieler die ihnen
jeweils zugeteilten Karten noch
3
nicht kennen, zu bestimmen.
5.42Es sei angenommen, daß für einen Geburtstag jeder Tag des Jahres gleichwahrscheinlich
ist, d.h., ein Phänomen wie die Häufung von Geburtstagen im November im Rheinland als Folge
des Karnevals sei nicht berücksichtigt. Außerdem seien Schaltjahre vernachlässigt.
29. September 2009
82
|W2 (365, M )|
|W1 (365, M )|
365!
= 1−
365M · (365 − M )!
365 − M + 1
365 365 − 1 365 − 2
·
·
···
= 1−
.
365
365
365
365
|
{z
}
1 2 M − 1
=1· 1−
· 1−
··· 1 −
365
365
365
= 1−
Da
1 − x ≤ exp(−x),
ergibt sich
x ≥ 0,
k exp −
365
k=1
M−1 M (M − 1)
1 X
.
k = 5.46 1 − exp −
= 1 − exp −
365
730
p4,M ≥ 1 −
M−1
Y
k=1
Speziell für M = 100 ist somit p4,100 ≥ 0.9999987.
Beispiel 5.6 (Gewinnchancen beim Zahlenlotto). Beim Zahlenlotto 6 aus
”
49“ werden aus 49 numerierten Kugeln mit gleicher Wahrscheinlichkeit 6 Kugeln
5.47
ausgewählt
. Für r = 1, . . . , 6, ist die Wahrscheinlichkeit p5,r , daß ein Tip mit 6
Zahlen genau r Richtige“ enthält, zu berechnen 5.48.
”
Ein Tip mit genau r Richtigen“ enthält auch 6 − r falsch getippte Zahlen.
”
Daher gilt:
p5,r = (Anzahl aller Ziehungsmöglichkeiten)−1
×(Anzahl aller Möglichkeiten, r der 6 gezogenen Zahlen zu tippen)
×(Anzahl aller Möglichkeiten, 6−r der 43 nicht gezogenen Zahlen zu tippen)
5.43Es wird nun so getan, als würden die M Personen in einer festen Reihenfolge nach Ihrem Geburtstag gefragt. Diese Reihenfolge wird im folgenden berücksichtigt. Da es insbesondere
|W1 (365, M )| Möglichkeiten gibt, die Geburtstage der M Personen festzulegen, wird letztendlich
in einem Laplaceschen Wahrscheinlichkeitsraum mit |W1 (365, M )| Elementen gearbeitet.
Wenn man sich auf den Standpunkt stellt, daß die Reihenfolge der Personen keine Rolle spielt,
könnte man versucht sein, mit einem Wahrscheinlichkeitsraum mit |W3 (365, M )| Elementen zu arbeiten. Allerdings haben dann die 1-elementigen Ereignisse unterschiedliche Wahrscheinlichkeiten,
d.h., die Arbeit mit einem Laplaceschen Wahrscheinlichkeitsraum wäre nun nicht möglich.
Beispielsweise haben für M = 2 die Ereignisse E1 = {(w1 , w1 )} und E2 = {(w1 , w2 )} mit
w1 < w2 die Wahrscheinlichkeiten P[E1 ] = 365−2 , bzw. P[E2 ] = 2 · 365−2 . Es ist zu beachten,
daß E1 eintritt, wenn beide Personen am Tag w1 Geburtstag haben und daß E2 eintritt, wenn
Person 1 am Tag w1 und Person 2 am Tag w2 oder wenn Person 1 am Tag w2 und Person 2 am
Tag w1 Geburtstag haben.
Die in dieser Fußnote 5.43 angesprochene Problematik wird im Rahmen einer Diskussion von
Beispiel 5.1 ausführlicher in Beispiel 5.7 diskutiert.
5.44
Dies ist die Anzahl der Möglichkeiten, unter Berücksichtigung der Reihenfolge aus einer
Menge von 365 Objekten (Tagen) M verschiedene auszuwählen.
5.45
Dies ist die Anzahl der Möglichkeiten, unter Berücksichtigung der Reihenfolge M mal
eines (einen) von 365 Objekten (Tagen) auszuwählen.
5.46Da PL l = L(L + 1)/2.
l=1
5.47Die Ziehung einer weiteren Kugel mit der Zusatzzahl bleibt hier unberücksichtigt.
5.48Da es insgesamt |W (49, 6)| gleichwahrscheinliche Möglichkeiten gibt, aus 49 Kugeln
4
6 auszuwählen, kann mit einem Laplaceschen Wahrscheinlichkeitsraum mit |W4 (49, 6)| Elementen
gearbeitet werden.
29. September 2009
83
6
43
·
|W4 (6, r)| · |W4 (43, 6 − r)|
r
6−r
=
=
.
49
|W4 (49, 6)|
6
Insbesondere ist
p5,3
p5,5
p5,6
6
43
·
3
3
≈ 1, 77 · 10−2 ,
=
49
6
6
43
·
5
1
=
≈ 1, 845 · 10−5 ,
49
6
6
43
·
1
6
0
=
= ≈ 7, 15 · 10−8 .
49
49
6
6
Das nächste Beispiel demonstriert insbesondere, daß auch bei elementaren Fragen, die auf Abzählprobleme reduziert und üblicherweise mit kombinatorischen Methoden behandelt werden, Sorgfalt geboten ist, und daß eine leichtfertige Argumentation schnell zu falschen Resultaten führt.
Beispiel 5.7 (Noch ein Rückblick auf Beispiel 5.1). Bei der Untersuchung
des unabhängigen Wurfs von 4 Würfeln in Beispiel 5.1, bzw. in Beispiel 5.2 ergab
sich 5.49
(5.6)
|W2 (6, 4)|
p1 = P1 alle Augenzahlen sind verschieden =
|W1 (6, 4)|
5.50
5.51
=
5
.
18
Bei den Berechnungen in (5.6) wird in dem Wahrscheinlichkeitsraum (W1 (6, 4),
Pot(W1 (6, 4)), P1 ) gearbeitet, wobei P1 die Gleichverteilung auf W1 (6, 4) ist 5.52.
Durch die Verwendung von W1 (. . . ) wird stillschweigend für die Würfe eine Reihenfolge festgelegt, die zunächst eigentlich nicht vorgegeben ist.
Es wäre daher naheliegend, wenn auf die Festlegung der Reihenfolge der Würfe
verzichtet werden soll, die Menge der möglichen Wurfkombinationen durch den
Stichprobenraum Ω = W3 (6, 4) 5.53 zu beschreiben. Wie die folgenden Überlegungen
zeigen, kann dieser Stichprobenraum zur Bestimmung von p1 in der Tat zwar verwendet, dann allerdings nicht mehr mit der Struktur eines Laplaceschen Wahrscheinlichkeitsraums versehen werden 5.54.
5.49Bei der Argumentation wurde der Wurf eines Würfels mit dem Ziehen einer Kugel aus
einer Urne mit 6 unterscheidbaren Kugeln identifiziert.
5.50Anzahl der Wurfsequenzen mit 4 verschiedenen Augenzahlen.
5.51Anzahl aller Wurfsequenzen.
5.52Damit ist (W (6, 4), Pot(W (6, 4)), P ) ein Laplacescher Wahrscheinlichkeitsraum.
1
1
1
5.53W (6, 4) ist die Menge der möglichen Resultate bei 4 Ziehungen aus einer Urne mit 6
3
Kugeln mit Zurücklegen (4 Würfe eines Würfels) ohne Berücksichtigung der Reihenfolge, vgl.
Abschnitt 5.1.
5.54Die einzelnen Elemente ω ∈ Ω = W (6, 4) sind dann nicht gleichwahrscheinlich.
3
29. September 2009
84
Wenn zunächst auf Ω = W3 (6, 4) die Gleichverteilung P3 betrachtet werden
würde, ergäbe sich die (5.6) widersprechende Beziehung 5.55
6
|W4 (6, 4)| 5.56
5
4
(5.7)
p1 =
= 5.57 =
.
9
|W3 (6, 4)|
42
4
Zur Korrektur von (5.7) kann folgendermaßen vorgegangen werden.
(a) Es sei angenommen, daß irgendeine Möglichkeit einer Unterscheidung der
vier Würfel
besteht 5.58.
6
(b) Die 4 in Ω = W3 (6, 4) paarweise verschiedenen Zustände ((1, 2, 3, 4)),
((1, 2, 3, 5)), ((1, 2, 3, 6)), . . . 5.59, die vier Würfe mit unterschiedlichen Augenzahlen beschreiben, sind Makrozustände 5.60, die jeweils 4! verschiedene Mikrozustände aus W1 (6, 4) 5.61 zusammenfassen. Diese Mikrozustände
werden nur dann unterscheidbar, wenn die in (a) genannten feinen Unterschiede zwischen den Würfeln sichtbar werden 5.62.
Beispielsweise faßt der Makrozustand ((1, 2, 3, 5)) solche Mikrozustände wie (1, 2, 3, 5), (1, 2, 5, 3), (1, 5, 2, 3), . . . zusammen, die im mit der
Gleichverteilung P1 versehenen Raum W1 (6, 4) jeweils die Wahrscheinlichkeit 6−4 besitzen 5.63.
(c) Einem Makrozustand wie ((1, 2, 3, 5)) muß damit in Ω = W3 (6, 4) die
Wahrscheinlichkeit 5.64 P2 [{((1, 2, 3, 5))}] = 4! · 6−4 = 1/54 zugewiesen
werden 5.65.
(d) Alternativ kann nun p1 gemäß
X
p1 = 5.66
(5.8)
P2 [{((ω1 , . . . , ω4 ))}]
((w1 ,...,w4 ))∈W3 (6,4),
1≤w1 <w2 <w3 <w4 ≤6
=
5
6·5·4·3
6
=
· 4! · 6−4 =
4
6
18
4
5.55Es ist leicht einzusehen, daß die Annahme der Gleichverteilung auf W (6, 4) nicht
3
vernünftig ist. Beispielsweise ist es offensichtlich schwieriger“, d.h. unwahrscheinlicher“, vier
”
”
mal eine 1 zu werfen als je zwei mal eine 1, bzw. eine 2 zu erhalten. Im zweiten Fall gibt es mehr
Möglichkeiten, das beschriebene Resultat zu erzielen. Ein ähnliches Argument wird in Fußnote 5.43
vorgebracht.
5.56W (6, 4) ist die Teilmenge jener Elemente von W (6, 4), die 4 verschiedenen Augenzahlen
4
3
darstellen.
5.57
Vgl. Abschnitt 5.1.2.
5.58
Beispielsweise bestehen die Würfel vermutlich aus unterschiedlich vielen Atomen.
5.59Die Notation ω = ((w , w , w , w )) für Elemente in Ω = W (6, 4) soll daraufhinweisen,
1
2
3
4
3
daß die Reihenfolge der Würfe nicht berücksichtigt zu werden braucht, d.h., daß o.E.d.A. 1 ≤
w1 ≤ w2 ≤ w3 ≤ w4 ≤ 6 angenommen werden kann, vgl. Abschnitt 5.1.1.
5.60
In den Makrozuständen ist keine Reihenfolge der Würfel ausgezeichnet.
5.61In den Mikrozuständen ist eine Reihenfolge der Würfel ausgezeichnet. Die Menge aller
Mikrozustände wird durch W1 (6, 4) repräsentiert.
5.62
Makro- und Mikrozustände sind bildliche Begriffsbildungen zur Erleichterung der mathematischen Argumentation.
5.63Offensichtlich sind alle Mikrozustände gleichwahrscheinlich.
5.64Die Wahrscheinlichkeit eines Makrozustandes ist die Summe der Wahrscheinlichkeiten
der durch ihn zusammengefaßten, sich gegenseitig ausschließenden Mikrozustände.
5.65Das Wahrscheinlichkeitsmaß P unterscheidet sich von der Gleichverteilung P auf
2
3
` ´−1
= 1/126, ω ∈ W3 (6, 4).
(W3 (6, 4), Pot(W3 (6, 4))). Z.B. gilt P3 [{ω}] = |W3 (6, 4)|−1 = 94
29. September 2009
85
berechnet werden, d.h., (5.6) wird bestätigt.
Solche ω ∈ W3 (6, 4), über die in (5.8) nicht summiert wird, besitzen i. allg.
verschiedene andere Wahrscheinlichkeiten unter P2 . Beispielsweise gilt:
P2 [{((1, 1, 1, 1))}] =
5.67
6−4 = 1/1296,
P2 [{((1, 2, 2, 4))}] =
5.68
4 · 3 · 6−4 = 1/108.
Die Überlegungen dieses Beispiels verdeutlichen, daß in konkreten Anwendungen immer unterschiedliche Wahrscheinlichkeitsräume benutzt werden können 5.69.
Die Kunst besteht dann darin, einen für das jeweilige mathematische Vorhaben
optimal geeigneten Wahrscheinlichkeitsraum herauszufinden 5.70.
5.3. Eine Alternative zu den Urnenmodellen
Die Urnenmodelle (U1 ) - (U4 ) 5.71 repräsentieren mathematische Modelle zur
Lösung gewisser Abzählprobleme. Diese Lösungen können auch mit Hilfe der in
diesem Abschnitt 5.3 vorgestellten und zu den Urnenmodellen äquivalenten Verteilungsmodelle gewonnen werden.
Gegeben seien N unterscheidbare Zellen, auf welche n Murmeln 5.72 verteilt
werden. Hierbei können die Zellen und die Murmeln folgende unterschiedliche physikalische Eigenschaften besitzen:
• Die Zellen erlauben nur Einfach-, bzw. auch Mehrfachbesetzungen.
• Die Murmeln sind unterscheidbar, bzw. nicht unterscheidbar.
Entsprechend den vier Urnenmodellen gibt es nun vier Verteilungsvarianten:
(V1 ) Für unterscheidbare Murmeln ist eine Mehrfachbelegung der Zellen erlaubt.
(V2 ) Für unterscheidbare Murmeln ist eine Mehrfachbelegung der Zellen nicht
erlaubt.
(V3 ) Für nicht unterscheidbare Murmeln ist eine Mehrfachbelegung der Zellen
erlaubt.
(V4 ) Für nicht unterscheidbare Murmeln ist eine Mehrfachbelegung der Zellen
nicht erlaubt.
fk (N, n) der Verteilungsmöglichkeiten
Für k = 1, . . . , 4 entspricht die Menge W
unter (Vk ) genau der Menge Wk (N, n) der Ziehungsmöglichkeiten unter (Uk ). Dazu
muß
• jede der N Kugeln in den Urnenmodellen mit einer der N Zellen und
5.66Die Summation erstreckt sich über die Menge der `6´ unterschiedlichen Elemente ω von
4
W3 (6, 4), deren Komponenten paarweise verschieden sind, und die damit durch W4 (6, 4) beschrieben werden können. Im Gegensatz zu den zu (5.7) führenden Überlegungen haben diese ω’s allerdings nicht mehr die Wahrscheinlichkeit |Ω3 (6, 4)|−1 sondern 4! · 6−4 .
5.67Dem Makrozustand ((1, 1, 1, 1)) entspricht nur der eine Mikrozustand (1, 1, 1, 1) in
W1 (6, 4), der die Wahrscheinlichkeit 6−4 besitzt.
5.68
Dem Makrozustand ((1, 2, 2, 4)) entsprechen 4 · 3 verschiedene Mikrozustände (1, 2, 2, 4),
(1, 2, 4, 2), (1, 4, 2, 2), . . . . Diese werden durch Wahl eines von 4 · 3 möglichen geordneten
Würfelpaaren für die Augenzahlen 1 und 4 bestimmt. Die zwei restlichen Würfel zeigen dann
automatisch 2.
5.69
Diese Beobachtung konnte auch in Beispiel 3.22 gemacht werden.
5.70
Zur Bestimmung von p1 ist offensichtlich die in Beispiel 5.1 vorgestellte Argumentation
leichter nachvollziehbar und daher besser geeignet als die zu (5.8) führenden Überlegungen (a) - (d)
dieses Beispiels.
5.71Vgl. Abschnitt 5.1
5.72Der Name Kugeln“ wird hier nicht gewählt, weil die nun benutzten Murmeln eine andere
”
mathematische Bedeutung als die Kugeln in den Urnenmodellen haben.
29. September 2009
86
• jede der n Ziehungen in den Urnenmodellen mit der Einordnung einer der
n Murmeln identifiziert werden 5.73.
Beispielsweise entspricht nun
• das Ziehen der r-ten Kugel bei der k-ten Ziehung dem Einlegen der k-ten
Murmel in die r-te Zelle,
• das k-fache Ziehen einer bestimmten Kugel dem Einlegen von k Murmeln
in die der Kugel zugeordnete Zelle,
• das Nichtberücksichtigen der Reihenfolge der gezogenen Kugeln der Verwendung ununterscheidbarer Murmeln,
• ...
Beispiel 5.8. Das Zahlenlotto 6 aus 49 läßt sich auch darstellen als die Verteilung von 6 ununterscheidbaren Murmeln auf 49 Zellen, wobei eine Mehrfachbelegung der Zellen verboten ist.
5.4. Multinomialverteilung und hypergeometrische Verteilung
Die in diesem Abschnitt 5.4 vorgestellten Wahrscheinlichkeitsmaße sind auf gewissen endlichen Teilmengen von Zn , n ∈ N, konzentriert. In ihren klassischen Anwendungen 5.74 dienen sie der Modellierung der Resultate von Ziehungen aus einer
Urne, die Gruppen von Kugeln verschiedener Farben enthält. Je nachdem, ob man
gezogene Kugeln wieder zurücklegt oder nicht, beschreibt die Multinomialverteilung,
bzw. die hypergeometrische Verteilung das Gesamtresultat aller Ziehungen 5.75.
Die Multinomialverteilung
Pn Mn (N, q1 , . . . , qn ) ist durch Parameter n, N ∈ N
und q1 , . . . , qn ∈ [0, 1] mit k=1 qk = 1 gekennzeichnet. Mn (N, q1 , . . . , qn ) ist ein
diskretes Wahrscheinlichkeitsmaß 5.76 auf
n
X
(5.9) Ωn,N = ω = (ω1 , . . . , ωn ) : ωk ∈ {0, 1, ..., N }, k = 1, . . . , n;
ωk = N
k=1
mit
5.77
(5.10)
Mn (N, q1 , . . . , qn )[{ω}] =
Die Größen
N
N!
,
(5.11)
:=
l1 ! . . . ln !
l 1 , . . . , ln
N!
q ω1 . . . qnωn ,
ω1 ! . . . ωn ! 1
l1 , . . . , ln = 0, 1, . . . , N,
n
X
k=1
ω ∈ Ωn,N .
lk = N, n, N ∈ N,
werden als Multinomialkoeffizienten bezeichnet.
5.73Insbesondere haben die Murmeln in den Verteilungsmodellen die Bedeutung der Ziehungszeitpunkte in den Urnenmodellen.
5.74Auf diese klassischen“ Anwendungen wird in den Beispielen 5.10 und 5.12 eingegangen.
”
5.75Dieses Gesamtresultat
gibt für alle Farben die jeweilige Anzahl gezogener Kugeln an.
Auf die Reihenfolge, in der die Kugeln mit den verschiedenen Farben gezogen werden, wird nicht
eingegangen.
5.76Vgl. Abschnitt 2.2.
5.77Da
N!
ωn
≥ 0, ω ∈ Ωn,N ,
q ω1 . . . q n
ω1 ! . . . ω n ! 1
und weil
X
N!
ωn
q1ω1 . . . qn
= (q1 + · · · + qn )N = 1,
ω
!
.
.
.
ω
!
n
1
ω∈Ω
n,N
ist durch (5.10) in der Tat ein Wahrscheinlichkeitsmaß definiert.
29. September 2009
87
Beispiel 5.9. Sei n = 2, q1 = q und q2 = 1 − q für ein q ∈ [0, 1]. Dann ist
N!
q k q N −k
k!(N −k)! 1 2
N k
=
q (1−q)N −k = B(N, q)[{k}],
k
5.78
Mn (N, q1 , q2 )[{(k, N −k)}] =
k = 0, 1, . . . , N.
Daher entspricht die Multinomialverteilung M2 (N, q, 1 − q) der Binomialverteilung
B(N, q) 5.79. I. allg. ist die Multinomialverteilung eine Verallgemeinerung der Binomialverteilung.
Beispiel 5.10. Gegeben sei eine Urne mit Kugeln der Farben 1, . . . , n. Für
k = 1, . . . , n sei qk der Anteil der Kugeln der Farbe k 5.80. Aus der Urne wird N
mal eine Kugel gezogen und anschließend wieder zurückgelegt. Es gilt
wobei
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen] 5.81
! n
Y
N
N − l1
N − l1 − · · · − ln−2
lk
,
···
=
qk
l1
l2
ln−1
k=1
|
|
|
{z
}
{z
}
{z
}
| {z }
...
(∗2 ) = (∗3 )
= (∗1 ) =
{z
}
|
= (∗)
• (∗1 ) die Wahrscheinlichkeit, in einer fest vorgegebenen Reihenfolge für
k = 1, . . . , n jeweils lk Kugeln der Farbe k zu ziehen 5.82,
• (∗2 ) die Anzahl der Möglichkeiten, l1 Zeitpunkte für das Ziehen einer
Kugel der Farbe 1 aus der Menge aller N Ziehungszeitpunkte auszuwählen,
• (∗3 ) die Anzahl der Möglichkeiten, l2 Zeitpunkte für das Ziehen einer
Kugel der Farbe 2 aus der Menge der verbliebenen N − l1 Ziehungszeitpunkte 5.83 auszuwählen, . . . , ist 5.84.
Da
N!
(N − l1 )!
(N − l1 − · · · − ln−2 )!
·
···
l1 !(N − l1 )! l2 !(N − l1 − l2 )!
ln−1 !(N − (l1 + · · · + ln−1 ))!
|
{z
}
= ln
N!
=
,
l1 ! . . . ln !
(∗) =
ist
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen]
= Mn (N, q1 , . . . , qn )[{(l1 , . . . , ln )}],
l1 , . . . , ln = 0, 1, . . . , N,
n
X
lk = N,
k=1
5.78Offensichtlich ist Ω
2,N = {(k, N − k) : k = 0, 1, . . . , N }, N ∈ N.
5.79Sicherlich wäre die Folgerung M (N, q, 1 − q) = B(N, q) falsch, da M (N, q, 1 − q) auf
2
2
einer Teilmenge von Z2 und B(N, q) auf einer Teilmenge von Z konzentriert ist.
5.80Für die hier behandelte Fragestellung ist die Zahl der Kugeln in der Urne irrelevant.
Die Struktur des Urneninhalts wird durch die Anteile q1 , . . . , qn beschrieben. Für k = 1, . . . n
entspricht qk der Wahrscheinlichkeit, beim einmaligen Ziehen einer Kugel die Farbe k zu erhalten.
5.81Die Reihenfolge, in der die Kugeln gezogen werden, spielt keine Rolle.
5.82P[Farbe der 1. Kugel = α, Farbe der 2. Kugel = β, . . . ] = q q . . . .
α β
5.83In l Zeitpunkten war schon vorher die Farbe 1 gewählt worden.
1
5.84
Bei der Bestimmung der Anzahl der Möglichkeiten für die Wahl der Zeitpunkte zum Ziehen von Kugeln der verschiedenen Farben 1, 2, . . . wird iterativ das Urnenmodell (U4 ) angewandt.
29. September 2009
88
d.h., die Farbverteilung“ der gezogenen Kugeln ist durch die Multinomialverteilung
”
Mn (N, q1 , . . . , qn ) gegeben.
Die hypergeometrische Verteilung Hn,M (N, m1 , . . . , mn ) P
mit den Parametern n,
n
M, N ∈ N, m1 , . . . , mn ∈ {1, . . . , M } mit n, N ≤ M und k=1 mk = M ist ein
5.85
Wahrscheinlichkeitsmaß auf
(
1 ,...,mn
(5.12) Ωm
=
n,N
ω = (ω1 , . . . , ωn ) :
ωk ∈ {0, 1, . . . , mk }, k = 1, . . . , n;
mit
(5.13)
Hn,M (N, m1 , . . . , mn )[{(ω1 , . . . , ωn )}]
mn
m2
m1
...
ωn
ω2
ω1
=
,
M
N
Beispiel 5.11. Beim Zahlenlotto 6 aus 49“ ist
” 6
43
r
6
−r
P[r Richtige] = 5.86
49
6
=
5.87
H2,49 (6, 6, 43)[{(r, 6 − r)}],
n
X
)
ωk = N ,
k=1
1 ,...,mn
.
ω ∈ Ωm
n,N
r = 0, 1, . . . , 6.
Beispiel 5.12. Eine naheliegende Modifikation von Beispiel 5.10 ergibt sich
nach der Forderung, die gezogenen Kugeln nicht wieder zurückzulegen 5.88.
Gegeben sei daher eine Urne mit M Kugeln der Farben 1, . . . , n. Für k =
1, . . . , n sei mk die Anzahl der Kugeln der Farbe k 5.89. Aus der Urne wird N mal
eine Kugel gezogen und anschließend nicht wieder zurückgelegt. Es gilt 5.90
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen]
5.91
= Hn,M (N, m1 , . . . , mn )[{(l1 , . . . , ln )}],
m1 ,...,mn
5.85Wenn die Stichprobenräume Ω
der Multinomialvertein,N , vgl. (5.9), und Ωn,N
lung Mn (N, q1 , . . . , qn ), bzw. der hypergeometrischen Verteilung Hn,M (N, m1 , . . . , mn ) verglichen werden, fällt auf, daß ω = (ω1 , . . . , ωn ) ∈ Ωn,N durch ωk ∈ {0, 1, ..., N }, k = 1, . . . , n, aber
1 ,...,mn
durch ωk ∈ {0, 1, . . . , mk }, k = 1, . . . , n, eingeschränkt werden.
ω ∈ Ωm
n,N
5.86Vgl. Beispiel 5.6.
5.87Vgl. (5.12) und (5.13).
5.88Anders als in Beispiel 5.10 ist es nun unerläßlich, für die verschiedenen Farben die Anzahl
der Kugeln mit dieser Farbe festzulegen.
5.89Offensichtlich muß M = Pn
k=1 mk gelten.
5.90Wenn die Kugeln nach dem Ziehen zurückgelegt werden würden, könnte
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen]
“
m1
mn ”
= Mn N,
[{(l1 , . . . , ln )}],
,...,
M
M
n
X
l1 , . . . , ln ∈ {0, 1, . . . , N },
lk = N,
k=1
aus Beispiel 5.10 geschlossen werden. Es ist hierbei zu beachten, daß für alle k = 1, . . . , n durch
qk = mk /M der Anteil der Kugeln der Farbe k gegeben ist.
29. September 2009
89
lk ∈ {0, 1, . . . , mk }, k = 1, . . . , n,
n
X
lk = N.
k=1
Beispiel 5.13 (Multinomialapproximation der hypergeometrischen Verteilung).
Wenn von jeder Farbe, verglichen mit der Anzahl der Ziehungen sehr viele“ Ku”
geln in der Urne sind, spielt es keine wesentliche Rolle, ob nach ihrem Ziehen die
5.92
Kugeln wieder zurückgelegt werden oder nicht
. Daher wird in diesem Grenzfall
die hypergeometrische Verteilung durch die Multinomialverteilung approximiert.
Sei n, N ∈ N. Für α ∈ N sei außerdem
N ≤ M α ∈ N,
und
α
α
mα
1 , . . . , mn ∈ {0, 1, . . . , M } mit
Es gelte
5.93
n
X
α
mα
k = M .
k=1
lim M α = ∞
α→∞
und
lim mα
l = ∞,
l = 1, . . . , n,
mα
l
= ql ,
α→∞ M α
l = 1, . . . , n.
α→∞
wobei
5.94
lim
Dann folgt
α
lim Hn,M α (N, mα
1 , . . . , mn )[{(l1 , . . . , ln )}]
α→∞
= Mn (N, q1 , . . . , qn )[{(l1 , . . . , ln )}],
l1 , . . . , ln ∈ {0, 1, . . . , N },
n
X
lk = N.
k=1
5.91Wie in Beispiel 5.10 spielt die Reihenfolge, in der die Kugeln gezogen werden, keine Rolle.
5.92Beispielsweise ist es eine vernachlässigbare Änderung, wenn in einer Urne mit 106 Kugeln
nach dem Ziehen einer Kugel nicht mehr 105 von 106 Kugeln sondern nur noch 105 − 1 von
106 − 1 Kugeln eine gegebene Farbe f besitzen. Da 105 /106 ≈ (105 − 1)/(106 − 1) ändert sich die
Wahrscheinlichkeit eine Kugel mit der Farbe f zu ziehen, nicht merklich.
5.93Man betrachtet eine Folge (Uα )
α∈N von Urnen, die asymptotisch bei α → ∞ für jede
Farbe eine unbeschränkt wachsende Anzahl von Kugeln enthalten.
5.94Wenn α → ∞, stabilisiert“ sich für alle Farben l = 1, . . . , n der Anteil der Kugeln der
”
Farbe l bei ql .
29. September 2009
KAPITEL 6
Erwartungswert und Varianz
Beim üblichen Arbeiten mit zufälligen Meßwerten oder sonstigen, durch reelle
Zahlen beschriebenen Beobachtungen werden Mittelwerte“ zur Beschreibung ty”
”
pischer Beobachtungswerte“ verwendet. Dem Mittelwert“ entspricht in der Wahr”
scheinlichkeitstheorie der Erwartungswert. Die Genauigkeit der Approximation eines zufälligen Werts durch seinen Mittelwert kann durch seine mittlere quadrierte
”
Abweichung“ 6.1 von diesem Mittelwert charakterisiert werden. Diese Größe ent6.2
spricht der Varianz .
In den folgenden Abschnitten 6.1 - 6.5 sei (Ω, F, P) ein gegebener Wahrscheinlichkeitsraum, auf dem alle Zufallsvariablen, mit denen gearbeitet wird, definiert
sind. Diese Zufallsvariablen seien reellwertig 6.3.
6.1. Erwartungswert für diskrete Zufallsvariablen
Sei X eine diskrete Zufallsvariable, d.h., X(Ω) = {X(ω) : ω ∈ Ω} sei eine
höchstens abzählbare Teilmenge von R 6.4. Dann besitzt X einen (endlichen) Erwartungswert, wenn 6.5
X
|x| P[X = x] < ∞.
(6.1)
x∈X(Ω)
Wenn (6.1) gilt, nennt man X auch integrabel. Man definiert nun den Erwartungswert von X durch
X
X
x PX [{x}].
x P[X = x] = 6.7
(6.2)
E[X] := 6.6
x∈X(Ω)
x∈X(Ω)
Der Erwartungswert E[X] ist damit eine gewichtete Summe über den Wertebereich
X(Ω) von X, wobei die möglichen Werte von X mit den Wahrscheinlichkeiten, mit
denen sie angenommen werden, gewichtet werden 6.8.
6.1Man betrachtet quadrierte Abweichungen, damit nicht beispielsweise große negative und
große positive Abweichungen nach ihrer Mittelung ein geringe Ungenauigkeit bei der Approximation durch den Mittelwert vortäuschen.
6.2Erwartungswert und Varianz einer reellwertigen Zufallsvariable X wurden erstmals in den
Beispielen 1.4 und 1.5 vorgestellt.
6.3D.h., ihr Wertebereich ist (R, B(R)).
6.4In diesem Abschnitt 6.1 wird der Erwartungswert nur für diskrete Zufallsvariablen definiert. Zur Erweiterung auf beliebige (R, B(R))-wertige Zufallsvariablen vgl. Abschnitt 6.3.
6.5In (6.1) muß P[X = x] wohldefiniert sein, d.h., {X = x} ∈ F, x ∈ X(Ω). Diese Eigenschaft
folgt aus der Meßbarkeit von X : (Ω, F) → (R, B(R)), vgl. (3.1), und aus {x} = [x, x] ∈ B(R),
x ∈ R, vgl. Abschnitt 2.4.3.
6.6Wenn (6.1) gilt, konvergiert diese Reihe absolut, d.h., E[X] ist wohldefiniert.
6.7
Die Verteilung PX einer Zufallsvariable X wird in Abschnitt 3.1 beschrieben.
6.8Offensichtlich hängt der Erwartungswert E[X] nur von der Verteilung P ab. Der WahrX
scheinlichkeitsraum (Ω, F, P), auf dem die Zufallsvariable X definiert ist, tritt, wie insbesondere
die zweite Summe in (6.2) andeutet, nur indirekt in Erscheinung. Allgemeinere Überlegungen
in Abschnitt 3.5 zur Bedeutung von Wahrscheinlichkeitsräumen, auf denen zur Modellbildung
benutzte Zufallsvariablen X definiert sind, und deren Verteilung PX werden somit hier bestätigt.
91
92
Bemerkungen. (i) Für A ∈ F ist
(6.3)
E[IA ]
6.9
= 1 · P[IA = 1] + 0 · P[IA = 0] =
6.10
P[A].
(ii) Wenn 6.11 X ≥ 0, f.s., so ist die rechte Seite von (6.2) immer eindeutig
definiert 6.12, d.h., für positive, diskrete Zufallsvariablen X kann immer durch (6.2)
der Erwartungswert E[X] definiert werden. Allerdings kann in einem solchen Fall
E[X] = ∞ sein.
(iii) Da
X
X
(6.4)
y (P[X = −y] + P[X = y])
|x| P[X = x] = 6.13
y∈|X|(Ω)
x∈X(Ω)
=
6.14
=
6.15
X
y P[X ∈ {−y, y}]
|
{z
}
y∈|X|(Ω)
= P[|X| = y]
E[|X|],
ist eine Zufallsvariable X genau dann integrabel, wenn
6.16
E[|X|] < ∞ ist.
Beispiel 6.1. Die Zufallsvariable X habe eine Poissonverteilung mit Parameter
λ > 0. Dann folgt 6.17:
E[X] =
6.18
∞
X
k=0
k P[X = k] =
∞
X
k=0
k·
λk
exp(−λ)
k!
∞
X
λ(k−1)
= λ exp(−λ)
= λ.
(k − 1)!
k=1
|
{z
}
∞
X
λn
=
= exp(λ)
n!
n=0
6.19
6.2. Eigenschaften der Abbildung X → E[X]
Seien X, Y , X1 , X2 , . . . , Y1 , Y2 , . . . diskrete, integrable, reellwertige Zufallsvariablen.
6.9I
A ist die Indikatorfunktion von A.
Man beachte, daß {IA = 1} = A.
6.11
Vgl. Abschnitt 3.2.5, insbesondere Fußnote 3.146.
6.12Höchstens abzählbare Summen positiver Zahlen sind immer wohldefiniert.
6.13|X|(Ω) ist der Wertebereich der Zufallsvariable |X|.
6.14
Für y ∈ |X|(Ω) mit y 6= 0 ist offensichtlich {|X| = y} = {X ∈ {−y, y}} = {X =
.
−y} ∪ {X = y}.
6.15
Vgl. die Definition des Erwartungswerts in (6.2).
6.16Da |X| eine positive Zufallsvariable ist, ist E[|X|] immer wohldefiniert, vgl. Bemerkung (ii).
6.17Da X ≥ 0, f.s., ist E[X] wohldefiniert, vgl. Bemerkung (ii).
6.18Vgl. (6.2).
6.19Die Abbildung X → E[X] ist auf einer Teilmenge A der Menge aller reellwertigen Zufallsvariablen auf dem Wahrscheinlichkeitsraum (Ω, F, P) definiert. A enthält zumindest die diskreten,
integrablen und die diskreten, positiven Zufallsvariablen, vgl. Abschnitt 6.1 und dort insbesondere
Bemerkung (ii). Weitere Zufallsvariablen in A werden in Abschnitt 6.3 vorgestellt.
6.10
29. September 2009
93
Monotonie des Erwartungswerts. Ist X ≤ Y , f.s.
6.20
, so folgt
6.21
:
E[X] ≤ E[Y ].
(6.5)
Linearität des Erwartungswerts. Die Zufallsvariablen 6.22 X+Y , bzw. cX mit c ∈ R
sind integrabel. Es gilt:
E[cX] =
6.23
cE[X],
E[X + Y ] =
6.24
E[X] + E[Y ].
(6.6a)
(6.6b)
6.20D.h., P[{ω ∈ Ω : X(ω) ≤ Y (ω)}] = 1.
6.21
Es gilt:
X
E[X] =
x∈X(Ω)
»[
•
= P[X = x, Y ∈ Y (Ω)] = P
X
=
(∗)
x P[X = x]
| {z }
X
x∈X(Ω) y∈Y (Ω)
X
≤
X
x P[X = x, Y = y]
|
{z
}
(
= 0, wenn x > y,
≥ 0,
wenn x ≤ y,
y∈Y (Ω)
–
{X = x, Y = y}
(σ-Additivität von P)
(da X ≤ Y , f.s.)
y P[X = x, Y = y]
x∈X(Ω) y∈Y (Ω)
= E[Y ].
Im letzten Schritt wird hier die zu (∗) führende Argumentation in umgekehrter Reihenfolge wiederholt. Da die Zufallsvariablen X und Y integrabel sind, konvergieren alle Reihen absolut, d.h.,
es ist gerechtfertigt, die Summationsreihenfolge zu vertauschen.
6.22Die Zufallsvariable X + Y ist durch (X + Y )(ω) = X(ω) + Y (ω), ω ∈ Ω, definiert.
6.23O.E.d.A. sei c 6= 0. Da
X
X
|z| P[cX = z] =
|cx| P[cX = cx] (man setze z = cx)
(∗1 )
|
{z
}
z∈(cX)(Ω)
x∈X(Ω)
= P[X = x]
X
= |c|
|x| P[X = x],
x∈X(Ω)
folgt nun die Integrabilität von cX aus der Integrabilität von X. Wenn anschließend in (∗1 ) die
Betragsstriche weggelassen werden, ergibt sich (6.6a).
6.24
Wie X und Y ist auch X + Y eine Zufallsvariable. Diese ist diskret, da (X + Y )(Ω) =
X(Ω) + Y (Ω) = {z ∈ R : z = x + y, x ∈ X(Ω), y ∈ Y (Ω)}. Weiterhin ist
X
E[|X + Y |] =
|z| P[X + Y = z] (vgl. (6.4))
z∈(X+Y )(Ω)
X
=
|z| P[X = x, Y = z −x]
z∈(X+Y )(Ω),x∈X(Ω)
(∗2 ) ≤
X
`
da {X +Y = z} =
(|x| + |z − x|) P[X = x, Y = z − x]
z∈(X+Y )(Ω),x∈X(Ω)
X
=
z∈(X+Y )(Ω),x∈X(Ω)
|
X
+
|x| P[X = x, Y = z − x]
{z
...
z∈(X+Y )(Ω),x∈X(Ω)
|
=
X
x∈X(Ω),y∈Y (Ω)
|
=
X
y∈Y (Ω)
|y|
}
|z − x| P[X = x, Y = z − x]
{z
|y| P[X = x, Y = y]
{z
X
x∈X(Ω)
}
(mit y = z − x)
}
P[X = x, Y = y]
{z
}
|
= P[X ∈ X(Ω), Y = y] = P[Y = y]
29. September 2009
•
S
x∈X(Ω) {X = x, Y
´
= z −x}
94
σ-Additivität des Erwartungswerts, bzw. Satz
von der monotonen Konvergenz. Sei
P∞
Xk ≥ 0, f.s., k ∈ N, und sei 6.25 X = n=1 Xn , f.s. In diesem Fall ist
(6.7)
E[X] =
∞
X
E[Xk ].
k=1
Wenn Yk ր Y , f.s., d.h., Y1 ≤ Y2 ≤ . . . , f.s., und
so folgt 6.27
(6.8)
6.26
limk→∞ Yk = Y , f.s.,
lim E[Yk ] = E[Y ].
k→∞
Die beiden Beziehungen (6.7) und (6.8) gehören zu jener Klasse mathematischer Resultate, die die Vertauschbarkeit von Limiten, unendlichen Summen
und Integralen beschreiben.
Produktregel für unabhängige Zufallsvariablen. Die Zufallsvariablen X und Y seien
unabhängig 6.28. Dann ist X · Y integrabel 6.29 mit
6.30
E[X · Y ] =
(6.9)
=
X
x∈X(Ω)
|x| P[X = x] +
X
y∈Y (Ω)
E[X] · E[Y ].
|y| P[Y = y] < ∞
(da X und Y integrabel sind),
d.h., die Zufallsvariable X + Y ist integrabel.
In den obigen Berechnungen gilt weiterhin überall Gleichheit, insbesondere auch in (∗2 ), wenn
die Betragsstriche weggelassen werden. Damit ist (6.6b) nachgewiesen.
6.25Diese Annahmen bedeuten, daß es ein Ω ∈ F mit P[Ω ] = 1 gibt, so daß X (ω) ≥ 0,
1
1
k
P
k ∈ N, und ∞
n=1 Xn (ω) = X(ω) für alle ω ∈ Ω1 .
6.26Die fast-sichere Konvergenz wird in Abschnitt 6.8(b) genau beschrieben.
6.27Zum Beweis von (6.8) mit Hilfe von (6.7) definiere man X := Y und X := Y − Y
n
n
1
1
n−1 ,
n = 2, 3, . . . . Bei den nun folgenden Argumenten spielt es keine Rolle, daß Y1 = X1 nicht unbedingt
P
f.s. nichtnegativ ist. Da Xk ≥ 0, f.s., k = 2, 3, . . . , und Yn = n
k=1 Xk , f.s., n ∈ N, gilt zunächst
(∗)
Y = lim
n→∞
n
X
k=1
Xk =
∞
X
Xk , f.s.
k=1
Mit
E[Y ] =
∞
X
E[Xk ]
(vgl. (∗) und (6.7))
k=1
= lim
n→∞
n
X
E[Xk ]
k=1
= lim E[Yn ]
n→∞
(da E[Xk ] ≥ 0, k = 2, 3, . . . )
(wegen (6.6b) und da Yn =
Pn
k=1
Xk )
ist dann (6.8) bewiesen.
6.28Vgl. (3.8).
6.29Die Integrabilität von X und Y war vorausgesetzt worden. Falls X und Y nicht unabhängig sind, braucht übrigens X · Y nicht integrabel zu sein. Wenn beispielsweise X integrabel
mit E[X 2 ] = ∞ ist, so ist X · Y mit Y = X nicht integrabel.
29. September 2009
95
Normierung des Erwartungswerts. Die Zufallsvariable X mit X = 1, f.s., ist integrabel mit
(6.10)
E[X] =
6.31
1.
6.3. Erwartungswert für allgemeine, reellwertige Zufallsvariablen
Zur Berechnung von E[X] wird eine allgemeine, nicht notwendigerweise diskrete, reellwertige Zufallsvariable X hinreichend fein diskretisiert“ und anschließend
”
die Asymptotik für die Erwartungswerte der Diskretisierungen untersucht.
Zu m ∈ N sei eine diskrete Zufallsvariable X(m) : (Ω, F, P) → (R, B(R))
gemäß 6.32
1
(6.11)
X(m) (ω) = ⌊mX(ω)⌋, ω ∈ Ω,
m
definiert. X(m) ist die größte diskrete Zufallsvariable, die Werte k/m, k ∈ Z, annimmt und kleiner oder höchstens gleich X ist.
Satz 6.2. (a) Bei n → ∞ konvergiert X(n) gegen die Zufallsvariable X. Insbesondere ist
1
(6.12)
X(n) ≤ X ≤ X(n) + , n ∈ N.
n
(b) Wenn X(n0 ) für ein n0 ∈ N integrabel 6.33 ist, so sind alle Zufallsvariablen
X(n) , n ∈ N, integrabel. In diesem Fall ist E[X(n) ], n ∈ N, eine Cauchy-Folge 6.34.
Satz 6.2 legt nahe, die Zufallsvariable X als integrabel zu bezeichnen, wenn für
ein n0 ∈ N ihre diskrete Approximation X(n0 ) integrabel ist. In diesem Fall kann
(6.13)
E[X] := lim E[X(n) ].
n→∞
definiert werden.
6.30Zunächst ist es offensichtlich, daß mit X und Y auch XY eine diskrete Zufallsvariable
ist. Da
X
X
X
|z| P[XY = z] =
|z|
P[X = x, Y = y]
z∈(XY )(Ω)
z∈(XY )(Ω)
x∈X(Ω),y∈Y (Ω)
xy=z
•
S
(da {XY = z} = x∈X(Ω),y∈Y (Ω),xy=z {X = x, Y = y})
X
=
|xy| P[X = x, Y = y]
{z
}
|
x∈X(Ω),y∈Y (Ω)
= P[X = x]P[Y = y] (X, Y unabhängig)
!
!
X
X
=
|x| P[X = x]
|y| P[Y = y]
x∈X(Ω)
= E[|X|] · E[|Y |]
y∈Y (Ω)
(vgl. (6.4)),
folgt die Integrabilität von XY aus der Integrabilität von X und Y . (6.9) ergibt sich nun, wenn
in diesen Berechnungen auf die Betragsstriche verzichtet wird.
6.31Man beachte, daß
E[|X|] = E[X] = 1 · P[X = 1] = 1.
| {z }
= P[Ω] = 1
6.32Für z ∈ R ist ⌊z⌋ = sup{n ∈ Z : n ≤ z}. ⌊z⌋ ist die größte ganze Zahl, die kleiner oder
höchstens gleich z ist.
6.33Vgl. (6.1) zur Definition der Integrabilität einer diskreten Zufallsvariable.
6.34Damit existiert lim
n→∞ E[X(n) ].
29. September 2009
96
Beweis (von Satz 6.2). (a) Die Abschätzungen (6.12) folgen aus
nX(n) (ω) =
6.35
⌊nX(ω)⌋ ≤ nX(ω)
≤ ⌊nX(ω)⌋ + 1 =
6.35
ω ∈ Ω,
nX(n) (ω) + 1,
nach Division durch n.
(b) Es sei nun angenommen, daß X(n0 ) integrabel ist, d.h., daß E[|X(n0 ) |] <
∞ 6.36. Aus (6.12) folgt für alle n ∈ N weiterhin
(6.14)
1
1
≤ |X(n0 ) | +
,
n0
n0
1
1
1
≤ −X + ≤ −X(n0 ) + ≤ |X(n0 ) | + ,
n
n
n
X(n) ≤ X ≤ X(n0 ) +
−X(n)
d.h.,
1 o
, n ∈ N.
n n0
Wegen der Monotonie des Erwartungswerts für diskrete Zufallsvariablen
somit
E[|X(n) |] ≤ E[|X(n0 ) |] + 1, n ∈ N.
|X(n) | ≤ |X(n0 ) | + max
n1
,
Daher sind alle Zufallsvariablen X(n) , n ∈ N, integrabel 6.38.
Wenn n0 in (6.14) durch m ∈ N ersetzt wird, ergibt sich
1
,
m
1
−E[X(n) ] ≤ − E[X(m) ] + ,
n
6.37
ist
6.39
E[X(n) ] ≤ E[X(m) ] +
n, m ∈ N,
woraus
n1 1 o
, n, m ∈ N,
|E[X(n) ] − E[X(m) ]| ≤ max ,
n m
folgt. Somit ist gezeigt, daß E[X(n) ], n ∈ N, eine Cauchy-Folge ist.
Bemerkungen. (i) Die in Abschnitt 6.2 für diskrete Zufallsvariablen vorgestellten Eigenschaften des Erwartungswerts gelten auch für allgemeine, integrable
Zufallsvariablen mit Werten in (R, B(R)) 6.40.
(ii) Den durch (6.5), (6.6) und (6.8) repräsentierten Eigenschaften 6.41 des Erwartungswerts, d.h., der reellwertigen Abbildung Y → E[Y ] auf dem Raum der reellwertigen, integrablen Zufallsvariablen auf dem Wahrscheinlichkeitsraum (Ω, F, P)
d
entsprechen völlig
R analoge Eigenschaften des Integrals auf R , d.h., der reellwertigen
Abbildung f → Rd dx f (x) auf dem Raum der integrablen, reellwertigen Funktionen auf Rd 6.42. Insbesondere definiert die Zuordnung Y → E[Y ] ein abstraktes
6.35Vgl. (6.11).
6.36Vgl. Bemerkung (iii) in Abschnitt 6.1.
6.37Vgl. (6.5). Hier wird außerdem noch max{1/n, 1/n } ≤ 1 und die Normierung des Er0
wartungswerts, vgl. (6.10), berücksichtigt.
6.38Vgl. Bemerkung (iii) in Abschnitt 6.1.
6.39Insbesondere müssen hier noch die Monotonie, die Linearität und die Normierung des
Erwartungswerts für diskrete Zufallsvariablen, vgl. (6.5), (6.6) und (6.10), benutzt werden.
6.40Zum Beweis vgl. [5], Satz (4.11).
6.41Damit sind die Monotonie, die Linearität und die Gültigkeit des Satzes von der monotonen Konvergenz gemeint.
6.42Die durch (6.9) beschriebene Faktorisierungseigenschaft des Erwartungswerts eines
R R
Produkts
unabhängiger
Zufallsvariablen entspricht der Beziehung Rd Rd dx dy f (x)g(y) =
R
R
Rd dx f (x) · Rd dy g(y).
Die Normierungseigenschaft (6.10) spiegelt die Tatsache wider, daß das zugrundeliegende
Maß P, bzgl. dessen auf (Ω, F) integriert“ wird, ein Wahrscheinlichkeitsmaß ist.
”
29. September 2009
97
Integral 6.43. Wenn in der Stochastik in komplexen Situationen Erwartungswerte
zu bearbeiten sind, wird somit die allgemeine Integrationstheorie oder Maßtheorie
benötigt.
(iii) Um die in (ii) genannte Integraleigenschaft des Erwartungswerts zu betonen, schreibt man für den Erwartungswert E[X] einer (R, B(R))-wertigen Zufallsvariablen X auf einem Wahrscheinlichkeitsraum (Ω, F, P) auch
Z
Z
X dP.
X(ω) P(dω) =
E[X] =
Ω
Ω
Beispiel 6.3 (Erwartungswert für eine reellwertige Zufallsvariable mit Dichte).
Die Verteilung PX einer reellwertigen Zufallsvariable X habe eine Dichte f bzgl.
des Lebesguemaßes 6.44, d.h.,
Z
dx f (x), A ∈ B(R).
(6.15)
PX [A] = P[X ∈ A] =
A
Es sei vorausgesetzt, daß X integrabel ist. Dies ist genau dann der Fall, wenn
Z ∞
dx |x|f (x) < ∞.
(6.16)
6.45
−∞
Nun folgt
E[X] =
6.46
=
6.47
=
6.48
=
6.49
=
6.50
lim E[X(2n ) ]
n→∞
k
k
lim
P X(2n ) = n
n→∞
2n
2
k=−∞
{z
}
|
−n
= PX [k2 , (k + 1)2−n )
Z (k+1)2−n
∞
X
k
lim
dx f (x)
n→∞
2n k2−n
k=−∞
Z ∞
1
lim
dx n ⌊x2n ⌋f (x)
n→∞ −∞
2
| {z }
ր x, falls n → ∞
Z ∞
dx xf (x).
∞
X
−∞
6.43Ein abstraktes Integral ist eine monotone, lineare Abbildung auf einem Stoneschen Vek-
torverband, für die eine geeignete Variante des Satzes von der monotonen Konvergenz gilt, vgl.
[2], §39.
6.44Vgl. Abschnitt 2.6.
6.45Nach (6.1) und Satz 6.2 ist zu prüfen, ob
∞>
»
»
–
«–
∞ ˛
∞
˛ »
X
X
k k+1
k
|k|
˛ k ˛
P X∈
,
=
˛ ˛P X(n0 ) =
n0
n0
n
n0 n0
k=−∞
k=−∞ 0
Z ∞
Z
∞
X |k| (k+1)/n0
|⌊xn0 ⌋|
dx
dx f (x) =
f (x)
=
n
n0
0
−∞
k/n0
k=−∞
für ein n0 ∈ N. Da
|x| −
1
|⌊xn⌋|
1
≤
≤ |x| + ,
n
n
n
ist X genau dann integrabel, wenn (6.16) gilt.
29. September 2009
x ∈ R, n ∈ N,
98
Beispiel 6.4. Für eine Rd -wertige Zufallsvariable X mit Dichte f und eine
meßbare Funktion H : (Rd , B(Rd )) → (R, B(R)) ist die Zufallsvariable H(X) integrabel, wenn
Z
E[|H(X)|] =
dx |H(x)|f (x) < ∞.
Rd
In diesem Fall ist
E[H(X)] =
Z
dx H(x)f (x).
Rd
Für eine beliebige 6.51, positive Zufallsvariable kann man die Definition E[X] :=
∞ einführen, wenn E[X(n0 ) ] = ∞ 6.52 für ein n0 ∈ N 6.53.
Für eine beliebige reellwertige Zufallsvariable X gibt es die Zerlegung X =
X+ −X− , wobei X+ = max{X, 0} und X− = max{−X, 0} 6.54. Der Erwartungswert
E[X] ist nun auf eine eindeutige Weise durch 6.55
E[X] = E[X+ ] − E[X− ]
(6.17)
definierbar
6.56
, wenn nicht
E[X+ ] = E[X− ] = ∞.
(6.18)
Wenn (6.18) zutrifft, existiert der Erwartungswert von X nicht 6.57.
Eine Zufallsvariable X besitzt genau dann einen endlichen Erwartungswert
E[X], wenn E[X+ ] + E[X− ] = E[|X|] < ∞, d.h., wenn X integrabel ist 6.58.
6.46Vgl. (6.13). Die Folge X , k ∈ N, diskreter Approximationen für die Zufallsvariable X
(k)
wird in (6.11) beschrieben.
6.47
Hier wird die Definition des Erwartungswerts für diskrete Zufallsvariablen benutzt, vgl.
(6.2). Außerdem findet die Tatsache Verwendung, daß X(2n ) die Werte k2−n , k ∈ Z, jeweils
annimmt, wenn X ∈ [k2−n , (k + 1)2−n ), d.h. mit der Wahrscheinlichkeit P[X ∈ [k2−n , (k +
1)2−n )] = PX [[k2−n , (k + 1)2−n )].
6.48
Vgl. (6.15).
6.49
Beachte, daß k2−n = ⌊x2n ⌋/2n , falls x ∈ [k2−n , (k + 1)2−n ).
6.50
Nach dem Satz von der monotonen Konvergenz, vgl. (6.8). Beachte, daß dieser Satz auch
für allgemeine, reellwertige Zufallsvariablen gilt, vgl. obige Bemerkung (i). Er wird hier angewandt
auf die reellwertigen Zufallsvariablen Yn , n ∈ N, und Y auf (R, B(R), PX ) mit Yn (y) = ⌊y2n ⌋/2n ,
y ∈ R, n ∈ N, und Y (y) = y, y ∈ R.
Um die Anwendung des Satzes von der monotonen Konvergenz zu ermöglichen, wurde
übrigens die Folge (X(2n ) )n∈N zur Approximation von X benutzt. Bei Verwendung von (X(n) )n∈N
hätte sich die Tatsache, daß die Funktionen Yen , n ∈ N, mit Yen (y) = ⌊yn⌋/n, y ∈ R, nicht monoton
steigend gegen Y konvergieren, als Problem erwiesen.
6.51D.h. nicht notwendigerweise diskrete Zufallsvariable.
6.52In diesem Fall sollte also P
x∈X
(Ω) x P[X(n0 ) = x] = ∞ sein, vgl. Bemerkung (ii) in
(n0 )
Abschnitt 6.1. Diese Summe ist wohldefiniert, weil X(n) (Ω) ⊂ [0, ∞), n ∈ N.
P
6.53Nach Satz 6.2(b) ist dann E[X
(n) ] =
x∈X
(Ω) x P[X(n) = x] = ∞ für alle n ∈ N.
6.54X
(n)
und X− sind positive Zufallsvariablen.
6.55Bei der Definition (6.17) wird die allgemeine Gültigkeit der Linearität des Erwartungswerts, vgl. Bemerkung (i) und (6.6), zugrundegelegt.
6.56Die Werte ∞ oder −∞ für E[X] sind nun möglich.
6.57(6.18) kann beispielsweise nachgewiesen werden für eine Zufallsvariable X mit einer
Cauchy-Verteilung, vgl. Abschnitt 2.6, d.h. mit einer Dichte f (x) = a/(π(a2 + x2 )), x ∈ R,
für ein a > 0.
6.58Angeregt durch Satz 6.2 wurde eine Zufallsvariable X als integrabel bezeichnet, wenn eine
diskrete Approximation X(n0 ) integrabel ist, d.h., wenn E[|X(n0 ) |] < ∞. Nun impliziert (6.12),
daß |X(n0 ) | − 1/n0 ≤ |X| ≤ |X(n0 ) | + 1/n0 , d.h., es gilt E[|X(n0 ) |] < ∞, genau dann, wenn
E[|X|] < ∞.
+
29. September 2009
99
6.4. Varianz und verwandte Begriffe
Neben dem Erwartungswert gibt es weitere Kenngrößen, die reellwertigen Zufallsvariablen, bzw. einer endlichen Menge X1 , . . . , Xn solcher Zufallsvariablen zu
deren Charakterisierung zugeordnet werden können 6.59.
Wenn für eine reellwertige Zufallsvariable X und ein r ∈ [1, ∞) die Zufallsvariable |X|r integrabel 6.60 ist, d.h., wenn E[|X|r ] < ∞ ist, so bezeichnet man E[X r ]
als das r-te Moment von X.
Bemerkungen. (i) Wenn eine Zufallsvariable X für ein r ∈ [1, ∞) ein (endliches) r-tes Moment besitzt, so besitzt X auch für alle s ∈ [1, r) ein (endliches) s-tes
Moment 6.61.
(ii) Für einen Wahrscheinlichkeitsraum (Ω, F, P) und p ∈ [1, ∞) ist Lp (Ω, F, P)
die Menge der reellwertigen Zufallsvariablen mit E[|X|p ] < ∞. Hierbei werden zwei
Zufallsvariablen X und X ′ mit X = X ′ , f.s., als identisch betrachtet. Ausgestattet
mit der Norm kXkp := E[|X|p ]1/p bildet Lp (Ω, F, P) einen Banachraum 6.62.
Der Raum L2 (Ω, F, P) ist sogar ein Hilbertraum, wenn durch hX, Y i := E[XY ],
X, Y ∈ L2 (Ω, F, P) ein Skalarprodukt definiert wird 6.63.
Für X ∈ L2 (Ω, F, P) bezeichnet
(6.19)
Var(X) := E[(X − E[X])2 ] =
dieVarianz von X.
(6.20)
σX :=
6.64
E[X 2 ] − E[X]2
p
Var(X)
heißt Standardabweichung oder Streuung von X.
Sowohl Var(X) als auch σX charakterisieren die Größe der Abweichungen“ der
”
Zufallsvariablen X von ihrem Erwartungswert E[X] 6.65. Im Gegensatz zu Var(X)
ist σX von der “gleichen Größenordnung“ wie X. Allerdings ist Var(X) in mathematischen Berechnungen leichter als σX zu bearbeiten.
Aufgrund von (6.19) ist Var(X) ≥ 0, X ∈ L2 (Ω, F, P). Insbesondere folgt die
Cauchysche Ungleichung
(6.21)
E[X]2 ≤ E[X 2 ],
X ∈ L2 (Ω, F, P).
Offensichtlich ist Var(X) = 0, genau dann, wenn X = E[X], f.s., d.h., wenn X
deterministisch ist.
Für X, Y ∈ L2 (Ω, F, P) bezeichnet
(6.22)
Cov(X, Y ) := E[(X − E[X])(Y − E[Y ])] =
6.66
E[XY ] − E[X]E[Y ]
6.59Eine eindeutige Charakterisierung von X , . . . , X ist mit diese Kenngrößen nicht
n
1
möglich. Allerdings können sie über gewisse Eigenschaften jener Zufallsvariablen informieren.
6.60Die Integrabilität einer Zufallsvariable wird am Anfang von Abschnitt 6.1, unmittelbar
nach Satz 6.2, bzw. am Ende von Abschnitt 6.3 erläutert.
6.61Es gilt |X|s ≤ 1 + |X|r , 1 ≤ s ≤ r < ∞, d.h., die Monotonie des Erwartungswerts, vgl.
(6.5), die Linearität des Erwartungswerts, vgl. (6.6), und die Normierung des Erwartungswerts,
vgl. (6.10), ergeben
E[|X|s ] ≤ 1 + E[|X|r ] < ∞, 1 ≤ s ≤ r < ∞.
6.62Ein Banachraum ist ein vollständiger, normierter Vektorraum.
6.63Allgemein ist ein Hilbertraum ein mit einem Skalarprodukt versehener Banachraum.
6.64Diese Gleichheit folgt aus
E[(X − E[X])2 ] = E[X 2 − 2XE[X] + E[X]2 ]
= E[X 2 ] − 2E[X]E[X] + E[X]2
(vgl. (6.6) und (6.10))
= E[X 2 ] − E[X]2 .
6.65Der Erwartungswert E[X] beschreibt einen typischen“ Wert von X.
”
29. September 2009
100
die Kovarianz von X und Y .
(6.23)
ρX,Y :=
6.67
Cov(X, Y )
σX · σY
heißt Korrelation von X und Y .
Zufallsvariablen X, Y ∈ L2 (Ω, F, P) mit Cov(X, Y ) = ρX,Y = 0 sind unkorreliert. Andererseits sind X und Y positiv korreliert, wenn 6.68 ρX,Y > 0, d.h., wenn
typischerweise“ X und Y gleichzeitig größer, bzw. kleiner als ihre Erwartungswerte
”
E[X] und E[Y ] sind. Negative Korrelation ρX,Y < 0 bedeutet, daß typischerweise“
”
X genau dann größer als E[X] ist, wenn Y kleiner als E[Y ] ist 6.69.
In (6.23) werden durch die Division durch σX und σY die Abweichungen X −
E[X], bzw. Y −E[Y ] der Zufallsvariablen X und Y von ihrem jeweiligen Erwartungswert normiert 6.70. Als Folge ist ρX,Y unabhängig“ 6.71 von den Größenordnungen
”
von X − E[X] und Y − E[Y ] und damit gut zu einer quantitativen Charakterisierung der Abhängigkeiten zwischen diesen Fluktuationen von X und Y geeignet 6.72.
Andererseits ist in mathematischen Berechnungen mit Cov(X, Y ) wesentlich besser
zu arbeiten.
Um Zusammenhänge“ in einer endlichen Menge X1 , . . . , Xn reellwertiger Zu”
fallsvariablen darzustellen, können die Kovarianzen für Paare von Zufallsvariablen
zu einer Kovarianzmatrix
Cov(X1 , . . . , Xn ) := Cov(Xk , Xl ) k,l=1,...,n
zusammengefaßt werden.
Beispiel 6.5 (Unkorreliertheit und Unabhängigkeit). Unkorreliertheit, bzw.
Unabhängigkeit haben in anwendungsorientierten Überlegungen eine ähnliche Bedeutung. Als mathematische Begriffe betrachtet, sind sie sehr unterschiedlich.
Seien zunächst X und Y zwei unabhängige, reellwertige Zufallsvariablen mit
E[X 2 ], E[Y 2 ] < ∞. Dann ist ρX,Y = 0, d.h., X und Y sind unkorreliert 6.73.
Wie das folgende Beispiel zeigt, folgt umgekehrt aus der Unkorreliertheit nicht die
Unabhängigkeit.
Sei Ω = {1, 2, 3}, F = Pot(Ω) und P die Gleichverteilung auf (Ω, F). Die
reellwertigen Zufallsvariablen X und Y auf (Ω, F, P) seien durch
X(1) = 1,
X(2) = 0,
Y (1) = 0,
Y (2) = 1,
X(3) = −1,
Y (3) = 0,
6.66Diese Gleichheit folgt aus
E[(X − E[X])(Y − E[Y ])] = E[XY − XE[Y ] − E[X]Y + E[X]E[Y ]]
= E[XY ] − 2E[X]E[Y ] + E[X]E[Y ]
(vgl. (6.6) und (6.10))
= E[XY ] − E[X]E[Y ].
6.67Die Streuung σ einer Zufallsvariable X ∈ L2 (Ω, F, P) wird in (6.20) definiert.
X
6.68Aus (6.23) und der Positivität von σ und σ folgt, daß ρ
X
Y
X,Y > 0 genau dann, wenn
Cov(X, Y ) > 0.
6.69Die hier beschriebene Interpretation der Korrelation zweier Zufallsvariablen wird in Beispiel 6.6 verdeutlicht werden.
6.70Insbesondere ist (X−E[X])/σ ∼ 1, gleichgültig ob (X−E[X]) ∼ 1010 oder (X−E[X]) ∼
X
10−10 .
6.71 Unabhängigkeit“ ist hier in einem umgangssprachlichen und nicht mathematisch rigo”
rosen Sinn gemeint.
6.72Mit ρ
X,Y können Zusammenhänge zwischen X und Y verdeutlicht werden, auch wenn die
Werte jener Zufallsvariablen völlig unterschiedliche Größenordnungen besitzen, vgl. Fußnote 6.70.
6.73Nach der Produktregel für unabhängige Zufallsvariablen, vgl. (6.9), ist E[XY ] =
E[X]E[Y ]. Somit ist Cov(X, Y ) = E[XY ] − E[X]E[Y ] = 0, vgl. (6.22).
29. September 2009
101
gegeben. Diese Zufallsvariablen sind unkorreliert, da
E[XY ] = 0 = E[X] = E[X] · E[Y ],
aber nicht unabhängig, denn
P[X = 1, Y = 1] = 0 6=
1
= P[X = 1] · P[Y = 1].
9
Beispiel 6.6 (Korrelationen in einem Populationsmodell). 6.74 Ein Modell für
die zeitliche Entwicklung einer Population pflanzenfressender Tiere in einem abgeschlossenen Areal 6.75 ist zu entwerfen 6.76. Als Modell sei ein stochastischer Prozeß X = (Xn )n∈N0 mit Xn = (Pn , Nn , Vn , νn ), n ∈ N0 , zu bestimmen, wobei Pn
die Populationsgröße, Nn das Nahrungsangebot, Vn der Nahrungsverbrauch und
νn (≈ Nn /Pn ) das durchschnittliche Nahrungsangebot zur Zeit n ∈ N0 ist.
Auf eine konkrete Beschreibung eines geeigneten Prozesses X soll hier nicht
eingegangen werden. Allerdings sollen Eigenschaften festgehalten werden, die ein
vernünftiges“, die Realität widerspiegelndes Modell evtl. besitzen könnte. Insbe”
sondere sollen einige Korrelationen zwischen den einzelnen Zufallsvariablen Pn , Nn ,
Vn , νn , n ∈ N0 , diskutiert werden.
1. Fall. Für spezielle Populationen kann beispielsweise erwartet werden, daß 6.77
• ρPn ,Nn = 0 6.78 (Alternative: ρPn ,Nn+1 < 0 6.79),
• ρPn ,Vn > 0 6.80,
• ρPn ,νn < 0 6.81,
• ρNn ,νn ≥ 0 6.82, . . .
Wenn in einem vorgeschlagenen Modell eine dieser Beziehungen verletzt ist,
könnte dies ein Grund sein, jenes Modell zu überdenken und evtl. zu modifizieren.
2. Fall. In anderen Situationen könnte die Populationsgröße aufgrund externer Einflüsse 6.83 ständig auf einem relativ niedrigen Niveau bleiben. Dann sollten
die zeitlichen Entwicklungen der Tierpopulation und des Nahrungsangebots
unabhängig werden und somit Korrelationen wie ρPn ,Nk oder ρPn ,νk für alle n, k ∈ N0 verschwinden. Es könnte nun ausreichen, ein Modell für die
Dynamik von (Pn )n∈N0 allein zu entwerfen 6.84.
6.74In diesem Beispiel soll erläutert werden, wie in einer konkreten Anwendung heuristische
Überlegungen Eigenschaften von Korrelationen aufdecken können. Jene Eigenschaften können bei
der Überprüfung eines mathematischen Modells nützlich sein.
6.75Z.B. eine Insel.
6.76Es sollen hier nur einige Gedankengänge vorgestellt werden, die bei der Entwicklung und
der Überprüfung eines Modells brauchbar sein können.
6.77Diese Beziehungen sollten zumindest dann gelten, wenn sich ein gewisses Gleichgewicht“
”
in dem betrachteten System eingestellt hat, also für große Zeiten n.
6.78Die Anzahl der Tiere hat keinen Einfluß auf das Wachstum der Pflanzen.
6.79Ein negativer Einfluß einer großen Tierpopulation auf das zukünftige Nahrungsangebot
kann dann eintreten, wenn die Tiere die Wurzeln der Pflanzen zerstören oder die jungen Triebe
wegfressen.
6.80Viele Tiere fressen viel.
6.81In einer größeren Population steht den einzelnen Tieren ein kleinerer Anteil des gesamten
Nahrungsangebots zur Verfügung.
6.82Wenn ein größeres Nahrungsangebot zur Verfügung steht, fällt für jedes einzelne Tier
mehr ab.
6.83Beispielsweise als Resultat der Verfolgung durch Raubtiere oder durch Stress, bzw.
Anfälligkeit gegenüber Krankheiten bei größeren Populationsdichten.
6.84In einer derartigen Situation wird die zeitliche Entwicklung von (P )
n n∈N0 nicht durch
die durch das Nahrungsangebot bestimmte Umwelt beeinflußt.
29. September 2009
102
6.4.1. Rechenregeln für Varianz und Kovarianz. X, Y, X1 , . . . , Xn : (Ω,
F, P) → (R, B(R)) seien Zufallsvariablen in L2 (Ω, F, P) 6.85.
(a) Für a, b, c, d ∈ R gilt
(6.24)
Cov(aX + b, cY + d) = ac Cov(X, Y ).
Insbesondere ist
Var(aX + b) = a2 Var(X).
(6.25)
Varianz und Kovarianz sind daher invariant unter der Addition von Konstanten 6.86.
Beweis. Offensichtlich ist
Cov(aX + b, cY + d) = E (aX + b − E[aX + b])(cY + d − E[cY + d])
= 6.87 E (aX − E[aX])(cY − E[cY ])
= 6.87 ac E (X − E[X])(Y − E[Y ])
= ac Cov(X, Y ).
(b) Es gilt
(6.26)
Var(X1 + · · · + Xn ) =
n
X
Var(Xk ) +
k=1
X
Cov(Xk , Xl ).
k,l=1,...,n
k6=l
Insbesondere addieren sich für unkorrelierte Zufallsvariablen X1 , . . . , Xn ihre Varianzen, d.h.,
(6.27)
Var(X1 + · · · + Xn ) =
n
X
Var(Xk ).
k=1
Beweis. Einfache Überlegungen zeigen, daß
2 Var(X1 + · · · + Xn ) = E X1 + · · · + Xn − E[X1 + · · · + Xn ]
|
{z
}
= E[X1 ] + · · · + E[Xn ]
n
X
= 6.88
E (Xk − E[Xk ])(Xl − E[Xl ])
k,l=1
=
n
X
Var(Xk ) +
k=1
X
Cov(Xk , Xl ).
k,l=1,...,n
k6=l
(c) Als Verallgemeinerung der Cauchyschen Ungleichung
(6.28)
6.89
gilt
2
Cov(X, Y ) ≤ Var(X) Var(Y ).
6.85Vgl. Bemerkung (ii).
6.86Da Varianz und Kovarianz die Fluktuationen von Zufallsvariablen um ihren Erwartungs-
wert beschreiben, ist dieses Verhalten auch zu erwarten.
6.87Wegen der Linearität des Erwartungswerts, vgl. (6.6), und der Normierung des Erwartungswerts, vgl. (6.10).
6.88Aufgrund der Linearität des Erwartungswerts, vgl. (6.6).
6.89Vgl. (6.21).
29. September 2009
103
e = X − E[X] und Ye = Y − E[Y ] ergibt sich
Beweis. Für X
Cov(X, Y )2 =
6.90
≤
6.93
e Ye )2 =
Cov(X,
6.91
e Ye ]2 =
E[X
6.92
e Ye i2
hX,
e 2 ]E[Ye 2 ] = Var(X) Var(Y ).
e 2 kYe k2 = E[X
kXk
2
2
(d) Als Anwendung von (6.28) folgt
6.94
|Cov(X, Y )|
p
|ρX,Y | ≤ p
≤ 1,
Var(X) Var(Y )
(6.29)
d.h., für alle Zufallsvariablen X, Y mit E[X 2 ], E[Y 2 ] < ∞ ist ρX,Y ∈ [−1, 1].
6.5. Beispiele zum Erwartungswert und zur Varianz
Beispiel 6.7 (Exponentialverteilung). Sei X eine exponentiell verteilte Zufallsvariable 6.95, d.h., für ein λ > 0 besitze PX die Dichte
f (x) = I[0,∞) (x)λ exp(−λx),
Dann gilt
6.96
:
E[X] =
2
6.97
=
6.98
=
1
,
λ
E[X ] =
6.99
λ
Z
x ∈ R.
∞
dx x exp(−λx)
∞
Z ∞
+
dx exp(−λx)
−y exp(−λy)
0
y=0
|
{z
}
{z
}
|
=
1/λ
=0
λ
Z
0
∞
dx x2 exp(−λx)
0
6.90Wegen (6.24).
6.91Da E[X]
e = E[Ye ] = 0.
6.92
Hier wird mit dem Skalarprodukt h., .i in L2 (Ω, F, P) gearbeitet, vgl. Bemerkung (ii).
k.k2 bezeichnet die Norm in dem Hilbertraum L2 (Ω, F, P). Hier findet die CauchySchwarzsche Ungleichung, d.h.,
6.93
|hU, V i| ≤ kU k2 kV k2 ,
U, V ∈ L2 (Ω, F, P),
Verwendung. Diese folgt aus
s
‚ s
‚2
‚
kV k2
kU k2 ‚
‚
‚
0 ≤ ‚U
±V
‚
‚
kU k2
kV k2 ‚
2
s
s
s
* s
+
kV k2
kU k2
kV k2
kU k2
±V
,U
±V
= U
kU k2
kV k2
kU k2
kV k2
kU k2
kV k2
+ kV k22
± 2hU, V i
kU k2
kV k2
= 2kU k2 kV k2 ± 2hU, V i.
= kU k22
6.94
Die Korrelation ρX,Y zweier Zufallsvariablen X, Y ∈ L2 (Ω, F, P) ist in (6.23) definiert.
6.95Vgl. Abschnitt 2.6. Solche Zufallsvariablen können z.B. zur Modellierung des Zeitpunktes
eines ersten Telefonanrufs verwendet werden.
6.96Als positive Zufallsvariable besitzt X auf jeden Fall einen Erwartungswert, der zunächst
allerdings gleich ∞ sein könnte, vgl. die Erläuterungen am Ende von Abschnitt 6.3.
6.97Vgl. Beispiel 6.3.
6.98Mit Hilfe partieller Integration.
29. September 2009
104
=
6.100
=
2
.
λ2
∞
Z ∞
−y exp(−λy)
+2
dx x exp(−λx)
0
y=0
|
{z
}
|
{z
}
2
=0
= E[X]/λ = 1/λ
2
Folglich ist
Var(X) = E[X 2 ] − E[X]2 =
1
.
λ2
Beispiel 6.8 (Cauchy-Verteilung 6.101). Die Verteilung PX einer Zufallsvariable X besitze für ein a > 0 die Dichte 6.102
a
, x ∈ R.
f (x) =
π(a2 + x2 )
Da
Z
∞
dx xf (x) =
0
a
π
Z
∞
0
dx
x
= ∞,
a2 + x2
ist 6.103 E[X+ ] = ∞. Ebenso ist E[X− ] = ∞. Folglich besitzt X keinen Erwartungswert.
Zur Beschreibung eines typischen, mittleren Werts“ bietet sich für Cauchy”
verteilte Zufallsvariablen der Median 6.104 m = 0 an.
Beispiel 6.9 (Normalverteilung 6.105). Die Verteilung PX der Zufallsvariablen
X besitze die Dichte
(x − µ)2 1
, x ∈ R,
f (x) = √
exp −
2σ 2
2πσ 2
wobei µ ∈ R und σ 2 > 0.
Existenz der Momente der Normalverteilung. Für alle r ≥ 1 gilt:
xµ x2 |x|r f (x) ≤ C|x|r exp − 2 exp 2
2σ | {zσ }
1 x2
+ µ2
≤ 6.106 C1 exp 2
σ
4
x2 x2 ≤ C2 |x|r exp − 2 exp − 2
8σ
{z 8σ }
|
≤ C3 , gleichmäßig in x ∈ R
x2 ≤ C4 exp − 2 , x ∈ R,
8σ
6.99Nach Beispiel 6.4. Im hier betrachteten Fall wird H(x) = x2 benutzt.
6.100
Mit Hilfe partieller Integration.
6.101Vgl. Abschnitt 2.6.
6.102Es wird hier nicht bewiesen, daß diese Funktion f eine Wahrscheinlichkeitsdichte auf R
R∞
ist, d.h., daß −∞
dx f (x) = 1.
6.103X = max{X, 0}, bzw. X = max{−X, 0}, ist der Positivteil, bzw. der Negativteil,
+
−
einer Zufallsvariablen X. Da X+ und X− nichtnegative Zufallsvariablen sind, sind E[X+ ] und
E[X− ] wohldefiniert, vgl. die Erläuterungen am Ende von Abschnitt 6.3.
6.104Vgl. Abschnitt 3.3.4. Im vorliegenden Fall ist der Median m eindeutig durch
Z ∞
Z m
1
dx f (x) = .
dx f (x) =
2
m
−∞
bestimmt. Wegen der Symmetrie von f gilt m = 0.
6.105Vgl. Abschnitt 2.6.
29. September 2009
105
2
wobei
R ∞ C, C1 , . . . 2von r, µ und σ abhängige positive Konstanten sind. Da
−∞ dx exp(−βx ) < ∞ für alle β > 0, existieren alle Momente der Normalverteilung.
Erwartungswert der Normalverteilung.
Z ∞
(6.30)
E[X] =
dx xf (x)
−∞
Z
(x − µ)2 dx (x − µ) exp −
2σ 2
{z
}
| −∞
= 6.107 0
Z ∞
(x − µ)2 1
+µ √
dx exp −
2σ 2
2πσ 2 −∞
{z
}
|
6.108
=
1
= µ.
1
= √
2πσ 2
∞
Varianz der Normalverteilung.
(6.31) Var(X) = E (X − E[X])2
Z ∞
(x − µ)2 1
= 6.109 √
dx (x − µ)2 exp −
2σ 2
2πσ 2 −∞
Z
∞
z2 σ2
= 6.110 √
dz z 2 exp −
2
2π −∞
Z ∞
z2 2
2 ∞
σ
1
y 2
√
= 6.111 − √ y exp −
+σ
dz
exp
−
2 y=−∞
2
2π
2π −∞
|
{z
}
|
{z
}
6.112
=0
=
1
= σ2 .
Die Parameter µ und σ 2 der Normalverteilung sind nun als Erwartungswert,
bzw. Varianz identifiziert worden.
Weiterhin ist das zweite Moment der Normalverteilung durch 6.113
E[X 2 ] = Var(X) + E[X]2 = σ 2 + µ2
gegeben.
6.106Beachte, daß
|ab| ≤
”
1 “ a2
+ αb2 ,
2 α
a, b ∈ R, α > 0,
was aus der Beziehung
«2
„
√
a2
|a|
=
+ αb2 − 2|ab|,
0 ≤ √ − α|b|
α
α
a, b ∈ R, α > 0,
folgt. Hier wird a = x, b = µ und α = 2 benutzt.
6.107Da der Integrand antisymmetrisch bzgl. µ ist.
6.108
Hier wird eine Wahrscheinlichkeitsdichte über den ganzen Raum R integriert.
6.109Wegen (6.30) und Beispiel 6.4. Hier wird H mit H(x) = (x − µ)2 benutzt.
√
6.110
Mit der Substitution z = (x − µ)/ σ2 .
6.111
Mit partieller Integration
Z b
˛b Z b
˛
f ′ g = f g˛ −
f g′ .
a
a
a
Hier wird f (x) = − exp(−x2 /2) und g(x) = x benutzt.
6.112
Hier wird eine Wahrscheinlichkeitsdichte über den ganzen Raum integriert.
6.113Vgl. (6.19).
29. September 2009
106
6.6. Erwartungstreue Schätzer
Sei (X, G, (Pλ )λ∈Λ ) ein statistisches Modell 6.114, wobei Λ ⊆ R 6.115. Sei außerdem T : (X, G) → (R, B(R)) eine Statistik 6.116, die zur Schätzung von λ dient 6.117.
Z
6.118
(6.32)
Eλ [T ] − λ =
Pλ (dx) T (x) − λ =: bλ (T ), λ ∈ Λ,
X
6.119
wird als Bias
0, λ ∈ Λ 6.120.
des Schätzers T bezeichnet. T heißt erwartungstreu, wenn bλ (T ) =
Beispiel 6.10. Für N ∈ N 6.121 sei X = {0, 1, . . . , N } und G = Pot(X). Für
q ∈ [0, 1] sei außerdem Pq die Binomialverteilung B(N, q) mit Parametern N und
q 6.122. T : X → [0, 1] mit T (x) = x/N , x ∈ X, ist der Maximum-Likelihood-Schätzer
für q 6.123. Da
N
X
l N l
Eq [T ] =
q (1 − q)N −l =
N l
l=0
6.124
q,
q ∈ [0, 1],
ist T erwartungstreu.
Beispiel 6.11. Sei X = N und G = Pot(X). Für M ∈ N sei PM die Gleichverteilung auf {1, . . . , M } 6.125. Durch T : X → N mit T (x) = x, x ∈ X, ist der
Maximum-Likelihood-Schätzer für M bestimmt 6.126. Da
EM [T ] =
M
M
1 X
M +1
1 X
1 M (M + 1)
=
,
T (l) =
l=
M
M
M
2
2
l=0
l=0
ist T nicht erwartungstreu.
6.114Vgl. Abschnitt 4.1.
6.115Insbesondere liegt ein eindimensionales parametrisches statistisches Modell vor.
6.116Vgl. Abschnitt 4.1.
6.117T könnte z.B. ein Maximum-Likelihood-Schätzer, vgl. Abschnitt 4.2, sein.
6.118Diese Notation wird in Bemerkung (iii) in Abschnitt 6.3 eingeführt.
6.119Der Bias b (T ) ist der mittlere oder auch systematische Fehler des Schätzers T , wenn
λ
Pλ die zugrundeliegende Wahrscheinlichkeitsverteilung ist.
6.120Für einen erwartungstreuen Schätzer verschwindet für alle möglichen Parameter λ der
mittlere Fehler.
6.121N wird in diesem Beispiel als fest betrachtet.
6.122In diesem Beispiel wird daher mit dem statistischen Modell (X, G, (P )
q q∈[0,1] ) gearbeitet.
6.123Vgl. Beispiel 1.8.
6.124Vgl. Beispiel 1.4.
6.125Da {1, . . . , M } ⊆ X kann P
M als ein Wahrscheinlichkeitsmaß auf (X, G) betrachtet
werden. Demenstprechend wird in diesem Beispiel mit dem statistischen Modell (X, G, (PM )M ∈N )
gearbeitet.
6.126Wenn P
M als ein Wahrscheinlichkeitsmaß auf X betrachtet wird, ist
(
1/M, falls y = 1, . . . , M,
PM [{y}] =
0,
falls y = M + 1, M + 2, . . . .
Die Likelihood-Funktion zum Beobachtungswert x ist daher
(
0,
falls M = 1, . . . , x − 1,
Lx (M ) = PM [{x}] =
1/M, falls M = x, x + 1, . . . .
c für M zu gegebenem Beobachtungswert x durch
Somit ist der Maximum-Likelihood-Schätzer M
c
M = x gegeben.
29. September 2009
107
Verwendet man andererseits T1 : X → N mit T1 (x) = 2x−1, x ∈ X, als Schätzer
für M 6.127, so beobachtet man
EM [T1 ] =
M
M
1 X
2 M (M + 1)
1 X
− 1 = M.
T1 (l) =
(2l − 1) =
M
M
M
2
l=0
l=0
T1 ist daher ein erwartungstreuer Schätzer für M .
Beispiel 6.12. Nicht für alle Schätzprobleme existiert ein erwartungstreuer
Schätzer. Beispielsweise ist für das statistische Modell (X, G, (Pq )q∈[0,1] ), wobei 6.128
X = {0, 1, . . . , N }, G = Pot(X) und Pq die Binomialverteilung B(N, q) mit Parametern N ∈ N und q ist, für jeden Schätzer 6.129 T : X → R der Erwartungswert
P
N l
N −l
Eq [T ] = N
l=0 T (l) l q (1 − q) p ein Polynom in q ∈ [0, 1]. Da andererseits die
6.130
Standardabweichung
σq = q(1 − q) kein Polynom in q ∈ [0, 1] ist, existiert
für sie kein erwartungstreuer Schätzer 6.131.
Beispiel 6.13 (Erwartungstreue Schätzung von Erwartungswert und Varianz von i.i.d. Zufallsvariablen). Eine zufällige reelle Größe G werde N mal unabhängig gemessen 6.132. Zu einer quantitativen Beurteilung von G ist es naheliegend, zunächst den Mittelwert“ und die Größe der Schwankungen“ der Messungen
”
”
von G zu schätzen 6.133.
In einer mathematisch präziseren Formulierung seien X1 , . . . , XN i.i.d. Zufallsvariablen mit Erwartungswert µ und Varianz σ 2 6.134. Die Verteilung der Zufallsvariablen X1 , . . . , XN sei unbekannt, zu schätzen seien µ und σ 2 6.135.
6.127Dieser Schätzer ergibt sich aus der Vermutung, daß im Fall der Beobachtung von x die
Lücke“ x − 1 zum kleinsten Element 1 ähnlich groß ist, wie die Lücke“ M − x zum größten
”
”
c = 2x − 1
Element M , d.h., daß x − 1 ≈ M − x, Damit ergibt sich M
als Schätzer.
6.128N ∈ N sei fest.
6.129D.h., für jede Statistik.
6.130Vgl. Beispiel 1.5 und (6.20).
p
6.131In diesem Beispiel wird nicht direkt der Parameter q sondern mit
q(1 − q) eine Funktion dieses Parameters geschätzt. Damit liegt eine Verallgemeinerung der bisher behandelten
Schätzprobleme vor.
6.132In einer konkreten Anwendung könnte G die Lebensdauer eines speziellen Gebrauchsgegenstandes, z.B. eines Autoreifens oder einer Kinderschaukel, oder die Hitzebeständigkeit einer
Keramik sein.
6.133Dieses umgangssprachlich beschriebene Ziel muß jetzt mathematisch formuliert werden.
6.134Insbesondere sei angenommen, daß E[X 2 ] < ∞.
1
6.135Als statistisches Modell könnte hier (RN , B(RN ), (P )
λRλ∈Λ ) benutzt werden, wobei Λ
die Menge aller Wahrscheinlichkeitsmaße λ auf (R, B(R)) mit R λ(dx) |x|2 < ∞ und Pλ die
gemeinsame Verteilung von unabhängigen, reellwertigen Zufallsvariablen Y1 , . . . , YN , deren Verteilungen PY1 , . . . , PYN alle gleich λ ∈ Λ sind, ist. Zu schätzen ist nicht, wie dies in den
meisten bisher behandelten Schätzproblemen üblich war, der wahre Parameter“ λw und da”
mit ein Wahrscheinlichkeitsmaß
auf (R, B(R)). Hingegen sind mit dem
R ”wahren Erwartungswert“
R
2
µ = Eλw = R λw (dx) x, bzw. der wahren Varianz“ σ = Vλw = R λw (dx) (x − Eλw )2 zwei
”
spezielle Funktionale von λw zu bestimmen. Eine einfachere Variante eines solchen verallgemeinerten Schätzproblems wird auch in Beispiel 6.12 diskutiert. Man vergleiche hierzu insbesondere
auch Fußnote 6.131.
Um die im vorangehenden Absatz angedeutete komplizierte Formulierung des Schätzproblems
dieses Beispiels zu umgehen, wird einfach das Ziel verfolgt, als Schätzer von µ und σ2 geeignete Funktionen T = T (X1 , . . . , XN ) (der beobachteten Realisierungen) der Zufallsvariablen
X1 , . . . , XN zu suchen, bzw. zu untersuchen.
29. September 2009
108
Als Schätzer von µ und σ 2 seien
(6.33)
definiert. Da
µ
e :=
N
1 X
Xk
N
N
f2 :=
und σ
k=1
E[e
µ] =
6.136
6.137
1 X
(Xk − µ
e)2
N −1
k=1
N
N
1 X
1 X
E[Xk ] =
µ=µ
N
N
k=1
und
k=1
N
1 X
E[Xk2 ] − 2E[Xk µ
e] + E[e
µ2 ]
N −1
k=1
N σ2
X
1
6.138
+ µ2 +
(σ 2 + µ2 ) − 6.139 2
=
N −1
N
f2 ] =
E[σ
6.137
6.140
N
k=1
=
σ2
N
1 2
1 X
σ = σ2 ,
1−
N −1
N
+ µ2
k=1
f2 erwartungstreue Schätzer
sind µ
e und σ
6.141
.
6.6.1. Mittlerer quadratischer Fehler eines Schätzers. Ein statistisches
Modell (X, G, (Pλ )λ∈Λ ) mit Λ ⊆ R sei gegeben. Außerdem sei T : (X, G) → (R, B(R))
eine Statistik, die zur Schätzung von λ dient. Die Genauigkeit dieses Schätzers kann
durch den mittleren quadratischen Fehler
Z
Pλ (dx) (T (x) − λ)2 =: Rλ (T ), λ ∈ Λ,
(6.34)
Eλ (T − λ)2 =
X
6.136Als empirischer Mittelwert ist µ
e ein naheliegender Schätzer für µ. Ebenso ist der Mittel-
wert der quadrierten Schwankungen der Zufallsvariablen X1 , . . . , XN um den geschätzten ErwarP
P
tungswert µ
e ein erster Kandidat als Schätzer für σ2 . Da aber N
µ) = N
e = 0,
k=1 (Xk −e
k=1 Xk −N µ
sind die Zufallsvariablen X1 − µ
e, . . . , XN − µ
e nicht unabhängig. Beispielsweise ist X1 − µ
e eine LineP
arkombination von Xk − µ
e, k = 2, . . . , N . Somit besitzt N
e)2 nur N − 1 Freiheitsgrade.
k=1 (Xk − µ
−1
−1
Dadurch wird die Normierung mit (N − 1)
anstelle von N
verständlich.
6.137Wegen der Linearität des Erwartungswerts, vgl. (6.6).
6.138Da σ2 = Var(X ) = E[X 2 ] − E[X ]2 = E[X 2 ] − µ2 , k = 1, . . . , N .
k
k
k
k
6.139
Da
E[Xk µ
e] =
=
N
1 X
1
1
E[Xk Xl ] =
E[Xk2 ] +
N l=1
N
N
X
E[Xk ]E[Xl ]
l=1,...,N
l6=k
N −1 2
1 2
1
(Var(Xk ) + E[Xk ]2 ) +
µ =
σ + µ2 ,
N
N
N
k = 1, . . . , N,
wobei die Überlegung in Fußnote 6.138 und die Unabhängigkeit der Zufallsvariablen X1 , . . . , XN
benutzt wurden. Insbesondere findet die Produktregel für unabhängige Zufallsvariablen, vgl. (6.9),
Verwendung.
6.140
Aus Fußnote 6.138 und mit der Unabhängigkeit der Zufallsvariablen X1 , . . . , XN ergibt
sich
!
N
N
X
X
1 X
1
2
2
E[e
µ ]= 2
E[Xk ]E[Xl ]
E[Xk Xl ] = 2
E[Xk ] +
N k,l=1
N
k,l=1,...,N
k=1
l6=k
´
1` 2
1 2
=
σ + µ2 + (N − 1)µ2 =
σ + µ2 .
N
N
6.141Durch die Überlegungen in diesem Beispiel werden letztendlich die Definitionen (A.1)
und (A.2) von Mittelwert, bzw. Varianz empirischer reller Daten begründet.
29. September 2009
109
ausgedrückt werden. Offensichtlich sollte von zwei Schätzern derjenige mit kleinerem mittleren quadratischen Fehler als der bessere bewertet werden. Da
2 Rλ (T ) = Eλ (T − Eλ [T ]) + ( Eλ [T ] − λ )
(6.35)
| {z }
= 6.142 bλ (T )
= Eλ (T − Eλ [T ])2 + 2bλ (T ) Eλ T − Eλ [T ] +bλ (T )2 ,
|
{z
}
= 6.143 0
= Varλ (T ) + bλ (T )2 , λ ∈ Λ,
fallen für erwartungstreue Schätzer mittlerer quadratischer Fehler und Varianz zusammen 6.144.
Beispiel 6.14 (Untere Abschätzung des mittleren quadratischen Fehlers bei
erwartungstreuen Schätzern 6.145). Sei (X, G, (Pλ )λ∈Λ ) ein diskretes statistisches
Modell 6.146. Weiterhin sei Λ ein Intervall in R und T : X → Λ sei ein erwartungstreuer Schätzer für λ, d.h.,
X
Eλ [T ] =
T (x)Pλ [{x}] = λ, λ ∈ Λ.
x∈X
Zum Beobachtungswert x ∈ X ist die Likelihood-Funktion Lx durch Λ ∋ λ →
Pλ [{x}] = Lx (λ) und weiterhin die Log-Likelihood-Funktion ℓx ( . ) = log Lx ( . )
gegeben 6.147. Betrachtet man nun für festes λ ∈ Λ die Log-Likelihood-Funktion ℓ
und auch deren Ableitung ℓ′ 6.148 als Funktionen von x ∈ X, so läßt sich mit
X
I(λ) = Eλ [ℓ′ (λ)2 ] =
ℓ′x (λ)2 Pλ [{x}], λ ∈ Λ,
x∈X
die Fisher-Information einführen. Ist
I(λ) ∈ (0, ∞),
λ ∈ Λ,
so gilt für jeden erwartungstreuen Schätzer T von λ die sog. Informationsungleichung
1
, λ ∈ Λ.
(6.36)
Varλ (T ) ≥
I(λ)
Die Varianz und damit der mittlere quadratische Fehler eines erwartungstreuen
Schätzers 6.149 des Parameters λ kann daher niemals kleiner als das Inverse der
Fisher-Information sein.
Die Informationsungleichung ist optimal, d.h., es gibt es Fälle mit Gleichheit.
I. allg. kann daher die Abschätzung (6.36) nicht durch die Angabe einer größeren
rechten Seite präzisiert werden.
6.142b (T ) ist der Bias des Schätzers T , vgl. (6.32).
λ
6.143
Aufgrund der Linearität des Erwartungswerts, vgl. (6.6), und der Normierung des Erwartungswerts, vgl. (6.10).
6.144
Man beachte, daß erwartungstreue Schätzer T durch bλ (T ) = 0, λ ∈ Λ, charakterisiert
sind.
6.145
In diesem Beispiel soll erläutert werden, wie gut“ ein erwartungstreuer Schätzer sein
”
kann. M.a.W., es soll untersucht werden, wie klein der mittlere quadratische Fehler eines solchen
Schätzers werden kann. Eine detailliertere Darstellung findet sich in [10], Abschnitt 4.5.
6.146Vgl. Abschnitt 4.1. Diese Annahme wird zur Vereinfachung der Notation gemacht.
6.147Beim Bestimmen eines Maximum-Likelihood-Schätzers für λ betrachtet man L, bzw. ℓ
zu einem festen x ∈ X als Funktion von λ ∈ Λ, vgl. Abschnitt 4.2.
6.148ℓ′ bezeichnet die Ableitung der Funktionen Λ ∋ λ → ℓ (λ), x ∈ X, nach λ. In den
x
folgenden Ausführungen werden ℓ und ℓ′ für festes λ als Funktionen von x ∈ X betrachtet.
6.149Mit (6.35) wurde verdeutlicht, daß bei erwartungstreuen Schätzern Varianz und mittlerer
quadratischer Fehler übereinstimmen. Für einen erwartungstreuen Schätzer T ist bλ (T ) = 0.
29. September 2009
110
6.7. Elementare Ungleichungen in der Wahrscheinlichkeitstheorie
Oft werden in wahrscheinlichkeitstheoretischen Überlegungen keine exakten
Wahrscheinlichkeiten oder Erwartungswerte benötigt, sondern nur evtl. relativ einfach zu bestimmende Abschätzungen. Zu diesem Zweck sind in der Wahrscheinlichkeitstheorie viele verschiedene Ungleichungen abgeleitet worden. In diesem Abschnitt werden mit der Markov-Ungleichung und der daraus folgenden ČebyševUngleichung zwei einfache, aber nützliche Ungleichungen eingeführt 6.150.
Satz 6.15. (a) Markov-Ungleichung. Sei X eine reellwertige Zufallsvariable
und f : [0, ∞) → [0, ∞) eine monoton wachsende Funktion mit f (x) > 0 für x > 0.
Dann gilt 6.151:
E[f (|X|)]
(6.37)
P[|X| ≥ ǫ] ≤
, ǫ > 0.
f (ǫ)
(b) Čebyšev-Ungleichung. Für jede reellwertige Zufallsvariable X gilt:
(6.38)
E[X 2 ]
,
ǫ2
P[|X| ≥ ǫ] ≤
ǫ > 0.
Beweis. Offensichtlich folgt (b) aus (a), wenn f mit f (x) = x2 , x ∈ [0, ∞),
verwendet wird. (a) ergibt sich aus
f (ǫ)P[|X| ≥ ǫ] =
6.152
=
6.153
≤
6.155
f (ǫ)E[I{|X|≥ǫ} ]
E[ f (ǫ)I{|X|≥ǫ} ]
{z
}
|
≤ 6.154 f (|X|), f.s.
E[f (|X|)].
Für eine reellwertige Zufallsvariable X ∈ L2 (Ω, F, P) gibt es mit
(6.39)
P[|X − E[X]| ≥ ǫ] ≤
Var(X)
,
ǫ2
6.156
ǫ > 0,
eine Variante der Čebyšev-Ungleichung.
6.8. Konvergenzbegriffe in der Wahrscheinlichkeitstheorie
In der Wahrscheinlichkeitstheorie werden etliche unterschiedlich starke“ Kon”
vergenzbegriffe benutzt. In diesem Abschnitt 6.8 werden die wichtigsten beschrie6.157
ben
.
(a) Stochastische Konvergenz 6.158. Seien X und Xn , n ∈ N, reellwertige Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F, P). Die Folge Xn , n ∈ N,
6.150Mit der Cauchyschen Ungleichung war eine weitere Ungleichung in (6.21), bzw. in (6.28)
vorgestellt worden.
6.151Da f (|X|) ≥ 0, ist der Erwartungswert auf der rechten Seite von (6.37) immer definiert.
Wenn allerdings E[f (|X|)] = ∞, ist diese Ungleichung nutzlos.
6.152Vgl. (6.3).
6.153Wegen der Linearität des Erwartungswerts, vgl. (6.6).
6.154Da f eine monoton wachsende, positive Funktion ist.
6.155
Aufgrund der Monotonie des Erwartungswerts, vgl. (6.5).
6.156Zum Beweis ist (6.38) für die Zufallsvariable X−E[X] anzuwenden und E[(X−E[X])2 ] =
Var(X), vgl. (6.19), zu beachten.
6.157Die vorgestellten Konvergenzbegriffe sind genau diejenigen, die im schwachen Gesetz
der großen Zahlen, beim starken Gesetz der großen Zahlen, bzw. im Zentralen Grenzwertsatz
verwendet werden.
6.158Dieser Konvergenzbegriff wird z.B. beim schwachen Gesetz der großen Zahlen verwendet, vgl. Beispiel 1.6 und Abschnitt 7.1.
29. September 2009
111
konvergiert stochastisch oder in Wahrscheinlichkeit gegen X, wenn
(6.40)
lim P[|Xn − X| > ǫ] = 0,
n→∞
ǫ > 0.
P
Man schreibt dann auch 6.159 Xn → X.
(b) Fast-sichere Konvergenz 6.160. Seien X und Xn , n ∈ N, reellwertige Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F, P). Die Folge Xn , n ∈ N,
konvergiert fast sicher (f.s.) gegen X, wenn 6.161
hn
oi
(6.41)
P ω ∈ Ω : lim Xn (ω) = X(ω) = 1.
n→∞
f.s.
Man schreibt dann auch Xn → X, f.s., oder Xn → X.
Wie durch die beiden folgenden Resultate belegt wird, ist im Vergleich zum
stochastischen der fast-sichere Konvergenzbegriff der stärkere 6.162.
Beispiel 6.16. Sei (Ω, F, P) = ([0, 1), B([0, 1)), λ), wobei λ das Lebesguemaß
auf [0, 1) bezeichnet. Für k = 2n + m mit n ∈ N0 und m = 0, 1, . . . , 2n − 1 sei
Xk (ω) = I[m2−n ,(m+1)2−n ) (ω), ω ∈ [0, 1). Der Graph dieser Zufallsvariablen ist eine
Rechtecksfunktion“, die mit wachsendem n immer enger“ wird und mit steigen”
”
dem m von 0 nach rechts“ gegen 1 wandert und dann wieder nach 0 zurückspringt.
”
6.163
Die Folge Xk , k ∈ N, konvergiert stochastisch
aber nicht f.s. 6.164 gegen 0, d.h.
gegen die Zufallsvariable X mit X ≡ 0.
Satz 6.17. 6.165 Eine f.s. gegen eine Zufallsvariable X konvergente Folge von
Zufallsvariablen Xn , n ∈ N, konvergiert auch stochastisch gegen X. Umgekehrt
existiert zu einer stochastisch gegen eine Zufallsvariable X konvergierenden Folge Xn , n ∈ N, von Zufallsvariablen eine Teilfolge Xnk , k ∈ N, die f.s. gegen X
konvergiert 6.166.
(c) Konvergenz in Verteilung 6.167. Die in (a) und (b) vorgestellten Konvergenzbegriffe beziehen sich auf Zufallsvariablen Xn , n ∈ N, die alle auf dem gleichen
Wahrscheinlichkeitsraum (Ω, F, P) definiert sind. Wenn die Zufallsvariablen Xn ,
n ∈ N, verschiedene Wahrscheinlichkeitsräume als Definitionsbereiche besitzen, ist
das Konzept der Konvergenz in Verteilung nützlich.
Für n ∈ N sei Xn eine reellwertige Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ωn , Fn , Pn ). Die Folge Xn , n ∈ N, konvergiert in Verteilung gegen eine
6.159Diese Notation erinnert an die englische Bezeichnung Convergence in Probability“.
”
6.160Dieser Konvergenzbegriff tritt u.a. beim starken Gesetz
der großen Zahlen in Erschei-
nung, vgl. die Bemerkung in Abschnitt 7.1.
6.161Es kann nachgewiesen werden, daß die Menge {ω ∈ Ω : lim
ˆ˘
¯˜ n→∞ Xn (ω) = X(ω)} meßbar
ist. Damit ist insbesondere P ω ∈ Ω : limn→∞ Xn (ω) = X(ω) wohldefiniert.
6.162Damit sind die Bezeichnungen schwaches, bzw. starkes Gesetz der großen Zahlen gerechtfertigt, vgl. Fußnoten 6.158 und 6.160.
6.163λ[{ω ∈ [0, 1) : |X (ω)| > ǫ}] = 2−n , falls k = 2n + m mit m = 0, 1, . . . , 2n − 1 und
k
ǫ ∈ (0, 1).
6.164
Zu einem festen ω ∈ [0, 1) gibt es beliebig große k, so daß Xk (ω) = 1, nämlich k =
2n + ⌊ω2n ⌋, n ∈ N. Ebenso ist Xk (ω) = 0 für beliebig große k. Die Existenz von limk→∞ Xk bzgl.
der fast-sicheren Konvergenz ist daher ausgeschlossen.
6.165Vgl. [9], Lemma 4.2.
6.166Für die in Beispiel 6.16 diskutierte Folge X , n ∈ N von Zufallsvariablen, erhält man
n
mit nk = 2k , k ∈ N, eine f.s. gegen X ≡ 0 konvergente Teilfolge Xnk = I[0,2−k ) , k ∈ N.
6.167
Dieser Konvergenzbegriff findet z.B. beim Zentralen Grenzwertsatz Verwendung, vgl.
Beispiel 1.7 und Abschnitt 9.3.
29. September 2009
112
Zufallsvariable X, wenn
(6.42)
6.168 6.169
h ∈ Cb (R).
lim E[h(Xn )] = E[h(X)],
n→∞
d
Man schreibt dann auch 6.170 Xn → X.
Zur Verifizierung der Konvergenz in Verteilung kann in speziellen Fällen der
folgende Satz 6.18 verwendet werden. In jenem Resultat werden insbesondere auch
charakteristische Funktionen benutzt, wobei für eine reellwertige Zufallsvariable Y
deren charakteristische Funktion ψY : R → C durch 6.171 6.172
(6.43)
definiert ist
z ∈ R,
ψY (z) = E[exp(izY )],
6.173
.
6.174
Satz 6.18.
Für reellwertige Zufallsvariablen X, Xn , n ∈ N, sind die folgenden Aussagen äquivalent:
d
(1) Xn → X.
(2) limn→∞ FXn (y) = FX (y), y ∈ R, FX stetig in y
(3) limn→∞ ψXn (y) = ψX (y), y ∈ R.
6.175
.
Das nächste Resultat verdeutlicht den Zusammenhang zwischen stochastischer
Konvergenz und Konvergenz in Verteilung.
Satz 6.19. 6.176. Eine stochastisch gegen eine Zufallsvariable X konvergente
Folge von Zufallsvariablen Xn , n ∈ N, konvergiert auch in Verteilung gegen X.
Satz 6.17 und Satz 6.19 lassen sich zusammenfassen in
(6.44)
f.s.
Xn → X
P
Xn → X
=⇒
=⇒
d
Xn → X.
6.168Mit C (R) wird der Raum der stetigen, beschränkten, reellwertigen Funktionen auf R
b
bezeichnet.
6.169
Für eine nicht-stetige Funktion h braucht (6.42) nicht zu gelten.
6.170Diese Notation erinnert an Convergence in Distribution“.
6.171Offensichtlich ist exp(izY ) ”= cos(zY ) + i sin(zY ) eine beschränkte, C-wertige Zufallsvariable. Für eine beliebige integrable, C-wertige Zufallsvariable Z = Z1 + iZ2 mit dem Realteil
Z1 und dem Imaginärteil Z2 definiert man unter Verwendung der Linearität des Erwartungswerts
E[Z] := E[Z1 ] + iE[Z2 ].
6.172
Wenn die Verteilung PY der Zufallsvariable Y eine Dichte f bzgl. des Lebesguemaßes
besitzt, so folgt aus Beispiel 6.4 die Darstellung
Z
dx exp(izx)f (x), z ∈ R,
ψY (z) =
R
von ψY . Die charakteristische Funktion der Zufallsvariable Y entspricht somit der Fouriertransformierten der Dichte ihrer Verteilung.
6.173In Abschnitt 9.3 werden charakteristische Funktionen als wesentliches Hilfsmittel beim
Beweis des Zentralen Grenzwertsatzes in Erscheinung treten. Insbesondere wird die Äquivalenz
zwischen (1) und (3) in Satz 6.18 verwendet werden.
6.174Vgl. [9], Theorem 4.25, und [6], Section 5.9, Theorem (5).
6.175F ist die Verteilungsfunktion der Zufallsvariable Y , vgl. Abschnitt 3.3. Die hier beY
schriebene Konvergenz muß nur in den Stetigkeitspunkten von FX gelten.
6.176Vgl. [9], Lemma 4.7.
29. September 2009
KAPITEL 7
Gesetz der großen Zahlen
Ein Hauptthema der Wahrscheinlichkeitstheorie ist die zusammenfassende Beschreibung einer großen Menge von Zufallsvariablen 7.1. In diesem Zusammenhang
wird in diesem Kapitel mit einem schwachen Gesetz der großen Zahlen ein erstes
Resultat vorgestellt 7.2.
7.1. Ein schwaches Gesetz der großen Zahlen
Unter dem Begriff schwaches Gesetz der großen Zahlen“ kann man eine ganze
”
Klasse von Resultaten zusammenfassen. In diesen Resultaten wird für eine Folge Xn , n ∈ N, von Zufallsvariablen die Asymptotik der empirischen Mittelwerte
PN
(1/N ) k=1 Xk bzgl. der stochastischen Konvergenz 7.3 bei N → ∞ untersucht.
Daher sollte das nun vorgestellte Resultat nur als eine Variante des schwachen Gesetzes der großen Zahlen verstanden werden 7.4.
Satz 7.1. 7.5 Seien X1 , X2 , . . . reellwertige, paarweise unkorrelierte 7.6 Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F, P) mit E[Xk2 ] < ∞, k ∈ N.
Sei 7.7
v := sup Var(Xn ) < ∞.
(7.1)
n∈N
Dann gilt
(7.2)
7.8
:
"
#
N
1 X
v
P Xk − E[Xk ] ≥ ǫ ≤
N
N ǫ2
k=1
N →∞
→ 0,
ǫ > 0.
Wenn E[Xk ] = µ, k ∈ N, für ein µ ∈ R, so folgt insbesondere 7.9:
"
#
N
1 X
v N →∞
(7.3)
P → 0, ǫ > 0.
Xk − µ ≥ ǫ ≤
N
N ǫ2
k=1
7.1Das Ziel ist die Komprimierung von Informationen und damit auch die Herausarbeitung
der wesentlichen Details.
7.2Vgl. Satz 7.1. Weitere Beiträge sind z.B. das starke Gesetz der großen Zahlen, vgl. (7.4),
und der Zentrale Grenzwertsatz, vgl. Satz 9.2.
7.3Vgl. Abschnitt 6.8(a).
7.4Schon in Beispiel 1.6 wurde für i.i.d., {0, 1}-wertige Zufallsvariablen, d.h., in einem Spezialfall, das schwache Gesetz der großen Zahlen hergeleitet. Die dort angedeutete, auf der ČebyševUngleichung, vgl. Satz 6.15 und (6.39), basierende Methode eines Beweises ist auch in allgemeineren Fällen wie dem nun folgenden Satz 7.1 anwendbar.
7.5
Vgl. [5], Satz (5.6).
7.6Vgl. Abschnitt 6.4. Es wird gefordert, daß Cov(X , X ) = 0 für k, l ∈ N mit k 6= l.
k
l
7.7Da E[X 2 ] < ∞, k ∈ N, ist Var(X ) < ∞, k ∈ N. In (7.1) wird zusätzlich gefordert, daß
k
k
die Varianzen der Zufallsvariablen Xk , k ∈ N, gleichmäßig beschränkt sind.
7.8(7.2) besagt, daß die Zufallsvariablen (1/N ) PN (X − E[X ]) bei N → ∞ stochastisch
k
k
k=1
gegen 0 konvergieren.
7.9(7.3) besagt, daß die Zufallsvariablen (1/N ) PN X bei N → ∞ stochastisch gegen µ
k=1 k
konvergieren.
113
114
PN
Beweis. Sei ZN = (1/N ) k=1 (Xk − E[Xk ]), N ∈ N. Offenbar ist
L2 (Ω, F, P), N ∈ N, mit 7.11 E[ZN ] = 0, N ∈ N, und
X
N
2
7.12 1
E[ZN ] = Var(ZN ) =
Var
Xk
N2
7.10
ZN ∈
k=1
=
7.13
N
1 X
Var(Xk ) ≤
N2
k=1
7.14
v
.
N
(7.2) folgt nun durch eine Anwendung der Čebyšev-Ungleichung (6.38) auf die Zufallsvariablen ZN , N ∈ N.
Bemerkung. Unter den Voraussetzungen von Satz 7.1 gilt sogar das starke
Gesetz der großen Zahlen, d.h., 7.15
N
1 X
Xk − E[Xk ] = 0, f.s.
N →∞ N
(7.4)
lim
k=1
7.2. Anwendungen des schwachen Gesetzes der großen Zahlen
In diesem Abschnitt werden zwei Anwendungen des Gesetzes der großen Zahlen
beschrieben. Es wird mit der Berechnung des Integrals einer meßbaren Funktion ein
Problem der Numerik und mit der Approximation einer stetigen Funktion durch
Polynome ein Problem der Analysis mit Methoden der Wahrscheinlichkeitstheorie,
genauer dem schwachen Gesetz der großen Zahlen, gelöst. Beide Probleme haben
primär nichts mit Stochastik zu tun, d.h., der Zufall“ wird als ein mathematisches
”
Hilfsmittel benutzt.
7.2.1. Monte-Carlo-Integration. Für eine meßbare Funktion 7.16 h : ([0, 1],
B([0, 1])) → ([−c, c], B([−c, c])), wobei c ∈ (0, ∞) eine Konstante ist, soll 7.17
R1
0 dx h(x) berechnet werden.
Hierzu seien Xk , k ∈ N, unabhängige, auf [0, 1] gleichverteilte Zufallsvariablen.
In diesem Fall sind die Zufallsvariablen h(Xk ), k ∈ N, unabhängig und identisch
verteilt 7.18 mit 7.19
Z 1
E[h(X1 )] = 7.20
(7.5)
dx h(x) := µh ,
0
Var(h(X1 )) = E[(h(X1 ) − µh )2 ] = E[h(X1 )2 ] − µ2h
Z 1
2
Z 1
2
7.20
=
dx h(x) −
dx h(x) ≤ c2 .
0
0
7.10Weil E[X 2 ] < ∞, k ∈ N.
k
7.11Aufgrund von (6.6) und (6.10).
7.12Wegen (6.25).
7.13Wegen (6.27). Man beachte, daß die Zufallsvariablen X , k ∈ N, unkorreliert sind.
k
7.14
Aufgrund der Annahme (7.1).
7.15Vgl. [5], Satz 5.15. Die fast-sichere Konvergenz wird in Abschnitt 6.8(b) erläutert. Da
die fast-sichere Konvergenz stärker“ als die stochastische Konvergenz ist, folgt (7.4) nicht aus
”
Satz 7.1.
7.16Die Meßbarkeit einer Funktion wird in (3.1) definiert.
7.17R 1 dx h(x) ist als Lebesgue-Integral aufzufassen. Die Annahme, daß h beschränkt ist,
0
könnte abgeschwächt werden. Ebenso könnte auch mit einem allgemeineren Integrationsbereich
gearbeitet werden.
7.18I. allg. besitzen h(X ), k ∈ N, natürlich keine Gleichverteilung.
k
7.19
Da die Zufallsvariablen h(Xk ), k ∈ N, identisch verteilt sind, reicht es, E[h(X1 )] und
Var(h(X1 )) zu untersuchen.
29. September 2009
115
Somit sind für die Zufallsvariablen h(Xk ), k ∈ N, die Voraussetzungen von Satz 7.1
erfüllt und es folgt 7.21:
#
"
Z 1
N
1 X
c2 N →∞
→ 0, ǫ > 0.
h(Xk ) −
dx h(x) ≥ ǫ ≤
(7.6)
P N
N ǫ2
0
k=1
Die zu (7.6) führenden Überlegungen können in einem Verfahren zur numeriR1
schen Bestimmung des Integrals 0 dx h(x) mit Hilfe von Simulationen zusammengefaßt werden. Dieses Verfahren wird als Monte-Carlo-Integration 7.22 bezeichnet.
(1) Bestimmung einer Folge x1 , x2 , . . . unabhängiger, in [0, 1] gleichverteilter
”
Pseudozufallszahlen“R 7.23.
PN
1
(2) Approximation von 0 dx h(x) durch (1/N ) k=1 h(xk ) mit einem hin”
reichend großen“ N ∈ N 7.24.
Bemerkungen (zur Qualität der Monte-Carlo-Integration). (i) Das MonteCarlo-Verfahren ist besser als es (7.6) erkennen läßt. Da unter den Voraussetzungen
von Satz 7.1 auch das starke Gesetz der großen Zahlen gilt 7.25, ergibt sich sogar
Z 1
N
1 X
(7.7)
lim
h(Xk ) =
dx h(x), f.s.
N →∞ N
0
k=1
(ii) Die Konvergenzgeschwindigkeit kann mit Hilfe des Zentralen Grenzwertsatzes bestimmt werden 7.26. Es gilt:
Z 1
N
1 X
(7.8)
h(Xk ) −
dx h(x) = O(N −1/2 ), N → ∞.
N
0
k=1
(iii) Das Monte-Carlo-Verfahren zur Integration ist sinnvoll, wenn h keine Regularitätseigenschaften besitzt und wenn Wert auf einfache Programmierbarkeit
gelegt wird. Für reguläre (d.h., stetige, differenzierbare, . . . ) Integranden h stellt
R1
die Numerik wesentlich bessere Methoden zu Bestimmung von 0 dx h(x) bereit.
Insbesondere sind dann höhere Konvergenzgeschwindigkeiten als in (7.8) erreichbar 7.27.
7.2.2. Bernstein-Polynome und der Approximationssatz von Weierstraß. 7.28 Eine stetige Funktion f : [0, 1] → R ist durch Polynome gleichmäßig in
7.20Vgl. Beispiel 6.4. Es ist zu beachten, daß die Gleichverteilung auf [0, 1] die Dichte f = I
[0,1]
besitzt.
7.21(7.6) ist eine Konsequenz von (7.3).
7.22Dieser Name verweist auf Monte Carlo mit seinem Casino. Dort werden am Roulette-
Tisch insbesondere auch Zufallszahlen erzeugt.
7.23Vgl. Fußnote 3.51.
7.24Zur Wahl von N in einer konkreten Anwendung muß die Konvergenzgeschwindigkeit
der Monte-Carlo-Integration bestimmt werden. Für eine vorgegebene Approximationsgenauigkeit
kann dann N bestimmt werden. Vgl. hierzu (7.8).
7.25
Vgl. (7.4).
7.26Vgl. Beispiel 9.5.
7.27Die Theorie hinter diesen Methoden aus der Numerik ist allerdings ebenso wie der Programmieraufwand zu ihrer Implementierung i. allg. wesentlich aufwendiger.
7.28Der Weierstraß’sche Approximationssatz sichert zu jeder stetigen Funktion f : [0, 1] → R
und jeder vorgegebenen Approximationsgenauigkeit ǫ > 0 die Existenz eines Polynoms fP,ǫ , so
daß
sup |f (x) − fP,ǫ (x)| ≤ ǫ.
x∈[0,1]
29. September 2009
116
[0, 1] zu approximieren 7.29. Hierzu werden Methoden der Wahrscheinlichkeitstheorie und insbesondere das schwache Gesetz der großen Zahlen angewandt.
7.2.2.1. Ein wahrscheinlichkeitstheoretischer Rahmen. 7.30 Sei Ω = {0, 1}N 7.31
und sei außerdem Xn , n ∈ N, mit
Xn (ω) = ωn ,
ω = (ωk )k∈N ∈ Ω, n ∈ N,
die Familie der Projektionen von Ω auf die einzelnen Komponenten {0, 1}.
Die übliche σ-Algebra F in Ω wird durch die Funktionen Xn , n ∈ N, erzeugt.
Dies bedeutet, daß F die kleinste σ-Algebra ist, die die Mengen 7.32
e ∗ = {ω ∈ Ω : Xk (ω) = ηk , . . . , Xk (ω) = ηk } :
F
n
n
1
1
k1 , . . . , kn ∈ N, 1 ≤ k1 < . . . < kn , ηk1 , . . . , ηkn ∈ {0, 1}, n ∈ N
enthält. Insbesondere sind die Projektionen Xn , n ∈ N, meßbare, {0, 1}-wertige
Funktionen auf (Ω, F).
Auf dem meßbaren Raum (Ω, F) ist für jedes p ∈ [0, 1] ein Wahrscheinlichkeitsmaß Pp definiert, so daß der Wahrscheinlichkeitsraum (Ω, F, Pp ) den ∞-fachen,
unabhängigen Wurf einer Münze mit Erfolgswahrscheinlichkeit“ p beschreibt 7.33.
”
Die Funktionen Xn , n ∈ N, auf Ω sind von p unabhängig. Werden sie hingegen als
Zufallsvariablen auf den Wahrscheinlichkeitsräumen (Ω, F, Pp ), p ∈ [0, 1], betrachtet, so hängt ihre Verteilung natürlich von p ab. Sie modellieren dann jeweils für
die Erfolgswahrscheinlichkeit p die Ergebnisse der einzelnen Würfe der Münze 7.34.
Im folgenden sei ein bzgl. des Wahrscheinlichkeitsmaßes Pp definierter Erwartungswert mit Ep [ . ] bezeichnet.
7.2.2.2. Anmerkungen zur Funktion f und Einführung der Bernstein-Polynome.
Wenn der Wahrscheinlichkeitsraum (Ω, F, Pp ) zugrundegelegt wird, besitzt die ZuP
7.35
fallsvariable N
. Insbesondere ist
n=1 Xn die Binomialverteilung B(N, p)
X
N
N
k N X
1
Ep f
Xn
(7.9)
pk (1 − p)N −k
=
f
N n=1
N
k
k=0
= : fN (p),
p ∈ [0, 1], N ∈ N.
Die Funktionen [0, 1] ∋ p → fN (p), N ∈ N, sind Polynome. Man bezeichnet sie als
Bernstein-Polynome 7.36.
7.29Da diese Polynome explizit angegeben werden, wird im folgenden sogar eine konstruktive
Version des Weierstraß’schen Satzes behandelt.
7.30Zunächst werden für die spätere Arbeit in diesem Abschnitt 7.2.2 Wahrscheinlichkeitsräume (Ω, F, Pp ), p ∈ [0, 1], und Zufallsvariablen Xn , n ∈ N, vorgestellt. Die Wahrscheinlichkeitsräume wurden bereits in Abschnitt 2.4.2 betrachtet, um den ∞-fachen, unabhängigen
Münzwurf zu beschreiben. Die Zufallsvariablen wurden hierzu passend in Beispiel 3.2 eingeführt,
um die Ergebnisse der einzelnen Würfe der Münze zu modellieren.
7.31{0, 1}N = {(ω )
k k∈N : ωk ∈ {0, 1}, k ∈ N} ist die Menge der {0, 1}-wertigen Folgen.
7.32F
e ∗ und das in (2.14) eingeführte Mengensystem F∗ sind identisch.
7.33Die Wahrscheinlichkeitsmaße P , p ∈ [0, 1], werden in Abschnitt 2.4.2 eingeführt. Sie sind
p
e ∗ = F∗ , vgl. (2.15), eindeutig charakterisert.
durch ihre Einschränkung auf Ereignisse in F
7.34Vgl. Beispiel 3.2.
7.35Vgl. Abschnitt 1.1.2, insbesondere (1.5). Die dort bestimmte Verteilung der Anzahl defekter Produktionsstücke ist gleich der Verteilung der Anzahl der Erfolge in der hier betrachteten
Situation.
7.36Die Definition (7.9) von f läßt schon jetzt die Konvergenz von f gegen f bei N → ∞
N
N
vermuten:
P
N→∞
• (1/N ) N
n=1 Xn −−−−→ Ep [X1 ] = p aufgrund des Gesetzes der großen Zahlen (bzgl.
(Ω, F, Pp )) und daher
P
N→∞
• fN (p) = Ep [f ((1/N ) N
∼ Ep [f (p)] = f (p), p ∈ [0, 1].
n=1 Xn )]
Im folgenden werden diese formalen Argumente präzisiert.
29. September 2009
117
Auf dem kompakten Intervall [0, 1] ist die stetige Funktion f sogar gleichmäßig
stetig, d.h., zu ǫ > 0 gibt ein δ > 0, so daß
|f (x) − f (y)| ≤ ǫ,
(7.10)
Daher gilt:
falls |x − y| ≤ δ.
7.37 7.38
N
X
f 1
Xn − f (p) ≤ ǫ + 2kf k∞I{|(1/N ) PN Xn −p|≥δ} .
N
n=1
(7.11)
n=1
7.2.2.3. Anwendung des schwachen Gesetzes der großen Zahlen. Nun kann die
gleichmäßige Konvergenz der Polynome fN gegen die Funktion f bei N → ∞, d.h.,
(7.12)
lim
sup |fN (p) − f (p)| = 0
N →∞ p∈[0,1]
nachgewiesen werden. Hierzu ergibt sich zunächst
|fN (p) − f (p)| =
(7.13)
=
≤
≤
N
X
Ep f 1
− f (p)
Xn
N n=1
X
N
Ep f 1
Xn − f (p) N n=1
X
N
1
7.40
Ep f
Xn − f (p)
N n=1
i
h
7.41
ǫ + 2kf k∞ Ep I{|(1/N ) PN Xn −p|≥δ}
n=1
|
{z
}
X
1 N
Xn − p ≥ δ
= Pp N n=1
7.39
1
ǫ + 2kf k∞ Varp (X1 )
| {z } N δ 2
= p(1 − p) ≤ 1/4
kf k∞
≤ ǫ+
, p ∈ [0, 1].
2N δ 2
≤
7.42
7.37kf k
7.38
∞ = sup{|f (x)| : x ∈ [0, 1]}.
Die Beziehung (7.11) ist eine abgekürzte Version von
˛ „
˛
«
N
X
˛
˛
˛f 1
Xn (ω) − f (p)˛˛ ≤ ǫ + 2kf k∞ I{ω ′ ∈Ω:|(1/N) PN Xn (ω ′ )−p|≥δ} (ω),
˛
n=1
N
n=1
ω ∈ Ω.
P
P
Für jedes ω ∈ Ω ist entweder |(1/N ) N
− p| < δ oder |(1/N ) N
n=1 Xn (ω)
n=1 Xn (ω) − p| ≥ δ.
PN
Aufgrund von (7.10) gilt im ersten Fall |f ((1/N ) n=1 Xn (ω)) − f (p)| ≤ ǫ, während im zweiten
P
Fall |f ((1/N ) N
n=1 Xn (ω)) − f (p)| ≤ 2kf k∞ ist.
29. September 2009
118
Zu einer vorgegebenen Approximationsgenauigkeit η > 0 in (7.12) ist nun zuerst
• ǫ = η/2 zu definieren, dann zu diesem ǫ ein
• δ > 0 so zu bestimmen, daß (7.10) gilt, und letztendlich ein
• N ≥ kf k∞ /(ηδ 2 ) zu wählen.
Dann führt (7.13) zu
|fN (p) − f (p)| ≤ η, p ∈ [0, 1].
Damit ist der Approximationssatz von Weierstraß bewiesen.
(∗)
7.39Wegen (7.9).
7.40Für eine Zufallsvariable Z in L1 (Ω, F, P), d.h. mit E[|Z|] < ∞, gilt:
|E[Z]| ≤ E[|Z|].
Beweis. Da Z ≤ |Z| und −Z ≤ |Z|, folgen aus der Monotonie und der Linearität des
Erwartungswerts, vgl. (6.5), (6.6) und die Bemerkung (i) in Abschnitt 6.3, die Beziehungen E[Z] ≤
E[|Z|] und E[−Z] = −E[Z] ≤ E[|Z|]. Damit ist (∗) bewiesen.
Bemerkung. Wie die Cauchysche Ungleichung (6.21) ist (∗) ein Spezialfall der Jensenschen
Ungleichung, die besagt, daß
ϕ(E[X]) ≤ E[ϕ(X)],
falls ϕ : R → R konvex und X eine reellwertige Zufallsvariable mit E[|ϕ(X)|] < ∞ ist.
7.41
Wegen (7.11) und der Monotonie, der Linearität und der Normierung des Erwartungswerts, vgl. (6.5), (6.6) und (6.10).
7.42
Wegen des schwachen Gesetzes der großen Zahlen, vgl. (7.3). Beachte, daß auf dem Wahrscheinlichkeitsraum (Ω, F, Pp ) die Zufallsvariablen Xn , n ∈ N, unabhängig und identisch verteilt
mit Ep [X1 ] = p und Varp (X1 ) = p(1 − p) sind.
29. September 2009
KAPITEL 8
Bedingte Wahrscheinlichkeiten
I. allg. muß die Wahrscheinlichkeit eines Ereignisses A neu bewertet werden,
wenn bekannt wird, daß ein anderes Ereignis B eingetreten ist. Dies ist insbesondere
dann der Fall, wenn eine Abhängigkeit zwischen A und B besteht 8.1.
Man bezeichnet mit P[A|B] die Wahrscheinlichkeit für A unter der Bedingung,
daß B eingetreten ist 8.2.
Beispiel 8.1. Für k = 1, . . . , N beschreibe die {0, 1}-wertige Zufallsvariable
Xk das Ergebnis des k-ten Wurfs einer fairen Münze, wobei die einzelnen Würfe
unabhängig sind. Sei 8.3 A = {X1 + · · · + XN = N } und 8.4 B = {X1 = 0}.
Es gilt 8.5 P[A] = 2−N , aber 8.6 P[A|B] = 0 8.7.
Beispiel 8.2. 8.8 Den Überlegungen in Abschnitt 2.1 folgend wird zur Modellierung des 2-maligen, unabhängen Wurfs eines fairen Würfels mit dem Wahrscheinlichkeitsraum (Ω, F, P), wobei Ω = {1, . . . , 6}2 , F = Pot(Ω) und P die Gleichverteilung auf (Ω, F) ist, gearbeitet. (Ω, F, P) ist ein Laplacescher Wahrscheinlichkeitsraum, d.h.,
(8.1)
P[C] =
|C|
|C|
=
,
|Ω|
36
C ∈ F.
Sei A = {ω ∈ Ω : ω1 + ω2 = 6} und B = {ω ∈ Ω : ω1 = 3}. In diesem Beispiel
soll speziell P[A|B] und allgemeiner P[C|B], C ∈ F, bestimmt werden.
Wenn der 1. Wurf durchgeführt worden ist und 3 ergeben hat, d.h., wenn B eingetreten ist, müssen, wenn die dann gewonnene Information nicht ignoriert werden
soll, die Wahrscheinlichkeiten der Ereignisse in F neu bestimmt weden. Es ergibt
sich ein Wahrscheinlichkeitsmaß PB = P[ . |B] auf dem meßbaren Raum (Ω, F) 8.9.
Intuitiv wird beispielsweise erwartet, daß
(i) PB [{ω ∈ Ω : ω1 =
6 3}] = PB [Ω \ B] = 0 8.10,
(ii) PB [{ω ∈ Ω : ω1 = 3}] = PB [B] = 1 8.11 und
(iii) PB [{ω ∈ Ω : ω2 = k}] = 1/6, k = 1, . . . , 6 8.12.
8.1D.h., wenn A und B nicht stochastisch unabhängig sind, vgl. Abschnitt 3.2.3.
8.2Ein erstes Problem ist die Bestimmung von P[A|B], d.h. die Angabe einer Formel“.
”
8.3A , es wird N mal Zahl“ geworfen“.
”
”
beim ersten Wurf wird Kopf“ geworfen“.
”
”
(2.3).
8.6Wenn X = 0, kann niemals X + · · · + X = N sein.
1
1
N
8.7Beispiel 8.1 verdeutlicht somit, daß i. allg. P[A] und P[A|B] verschieden sind.
8.8
Mit diesem Beispiel soll die allgemeine Formel (8.4) zur Berechnung bedingter Wahrscheinlichkeiten motiviert werden.
8.9Man betrachtet hier die bedingten Wahrscheinlichkeiten P[C|B] simultan für alle C ∈ F.
8.10Die bedingte Wahrscheinlichkeit, daß B nicht eintritt unter der Bedingung, daß B eingetreten ist, sollte 0 sein.
8.11P ist daher auf B konzentriert.
B
8.12Da die beiden Würfe unabhängig sind.
8.4B ,
8.5Vgl.
119
120
Als Präzisierung von (i) - (iii) kann
PB [{ω ∈ Ω : ω1 = l, ω2 = k}] =
(8.2)
(
0,
falls l 6= 3,
k = 1, . . . , 6,
1/6, falls l = 3,
festgehalten werden.
Aus (8.2) folgt zunächst
P[A|B] = PB [A] = PB
"
k,l=1,...,6; l+k=6
X
=
[
k,l=1,...,6
l+k=6
{ω ∈ Ω : ω1 = l, ω2 = k}
#
PB [{ω ∈ Ω : ω1 = l, ω2 = k}]
= PB [{ω ∈ Ω : ω1 = 3 = ω2 }] =
1 5
6=
=
6
36
8.13
P[A] .
Weiterhin bedeutet (8.2), daß die
• ω ∈ B unter PB gleichwahrscheinlich sind, und die
• ω∈
6 B unter PB die Wahrscheinlichkeit 0 besitzen.
Somit gilt
(8.3)
P[C|B] = PB [C] =
8.14
=
8.15
|C ∩ B|/|Ω|
|C ∩ B|
=
|B|
|B|/|Ω|
P[C ∩ B]
, C ∈ F,
P[B]
für die bedingte Wahrscheinlichkeit von C ∈ F unter der Bedingung B
8.16
.
8.1. Bestimmung bedingter Wahrscheinlichkeiten
8.17
Sei (Ω, F, P) ein Wahrscheinlichkeitsraum. Allgemein ist für ein B ∈ F mit
P[B] > 0 8.18 die unter B bedingte Wahrscheinlichkeit P[ . |B] ein Wahrscheinlichkeitsmaß auf dem meßbaren Raum (Ω, F) 8.19. Für dieses Wahrscheinlichkeitsmaß
P[ . |B] sind außerdem folgende Eigenschaften zu erwarten:
(i) P[B|B] = 1
8.20
.
8.13Vgl. (8.1). Es ist zu beachten, daß |A| = 5.
8.14Nur die ω ∈ B besitzen unter P eine positive Wahrscheinlichkeit. Diese ist 1/|B|, da
B
unter PB alle solchen ω’s gleichwahrscheinlich sind. Man beachte hier auch, daß genau |C ∩ B|
Elemente von C auch in B enthalten sind.
8.15
Vgl. (8.1).
8.16Im nächsten Abschnitt 8.1 wird demonstriert, daß (8.3) allgemeingültig ist.
8.17In diesem Abschnitt werden die Überlegungen aus Beispiel 8.2 in einem allgemeinen
Rahmen wiederholt. Insbesondere wird die Allgemeingültigkeit von (8.3) nachgewiesen.
8.18Die Notwendigkeit dieser Bedingung ergibt sich aus der letztendlich P[ . |B] charakterisierenden Beziehung (8.4).
8.19Insbesondere erfüllt P[ . |B] die Beziehungen (2.2).
8.20Wenn B eingetreten ist, ist B ein sicheres Ereignis.
29. September 2009
121
(ii) Es gibt eine Konstante cB > 0, so daß P[A|B] = cB P[A], falls A ∈ F,
A ⊆ B 8.21 8.22.
Aus (i) und (ii) für A = B folgt 1 = P[B|B] = cB P[B], d.h., cB = 1/P[B].
Damit ergibt sich
(8.4)
8.23
P[A ∩ B|B] + P[A ∩ (Ω \ B)|B]
{z
}
|
8.24
=
0
= cB P[A ∩ B]
P[A|B] =
=
P[A ∩ B]
,
P[B]
A ∈ F.
Diese Überlegungen zeigen, daß für B ∈ F mit P[B] > 0 durch (i) und (ii)
ein eindeutiges Wahrscheinlichkeitsmaß P[ . |B] auf (Ω, F) bestimmt wird. Dieses
Wahrscheinlichkeitsmaß genügt der Beziehung (8.4). Es wird die unter B bedingte
Wahrscheinlichkeit genannt 8.25.
Beispiel 8.3 (Gedächtnislose Wartezeiten). Gewisse regelmäßig wiederkehrende Ereignisse können jederzeit eintreten, unabhängig davon, welche Zeitspanne seit
ihrem letzten Auftreten schon verstrichen ist 8.26. Somit ist die verbleibende Wartezeit T bis zum nächsten Eintreten eines derartigen Ereignisses gedächtnislos.
Diese Gedächtnislosigkeit bedeutet, daß
P[T > t + s|T > t] = P[T > s],
0 < s, t < ∞,
und folglich
P[T > t + s] =
8.27
P[T > t]P[T > t + s|T > t]
= P[T > t]P[T > s],
0 < s, t < ∞.
Daher ist die durch w(t) = P[T > t], t > 0, definierte Funktion w : (0, ∞) → [0, 1]
eine rechtsstetige 8.28 Lösung der Funktionalgleichung
(8.5a)
w(t + s) = w(t)w(s),
0 < s, t < ∞,
8.21Mit dem Beobachten, daß B eingetreten ist, sind keine weiteren Erkenntnisse über tiefergehende Details, d.h. Ereignisse A ⊆ B, verbunden. Für A, A′ ∈ F mit A, A′ ⊆ B sollte folglich
das Verhältnis der Wahrscheinlichkeiten vor und nach dem Gewinn des Wissens um das Eintreten
von B gleich sein, d.h.,
P[A]
P[A|B]
=
,
P[A′ ]
P[A′ |B]
A, A′ ∈ F, A, A′ ⊆ B.
Diese Relation ist gleichbedeutend mit (ii), wobei cB = P[A′ |B]/P[A′ ] für ein beliebiges, fest
gewähltes A′ ⊆ B mit P[A′ ] > 0.
8.22
Im Rahmen des Beispiel 8.2 sind die dortigen vor (8.3) aufgeführten Eigenschaften
äquivalent zu (i) und (ii).
.
8.23Wegen der Additivität des Wahrscheinlichkeitsmaßes P[ . |B] und weil A = (A ∩ B) ∪
(A ∩ (Ω \ B)).
8.24
Wegen (i) ist die gesamte Masse“ des Wahrscheinlichkeitsmaßes P[ . |B] auf B konzen”
triert, d.h., P[C|B] = 0, falls C ⊆ Ω \ B.
8.25Gelegentlich wird auch einfach (8.4) als Definition der unter B bedingten Wahrscheinlichkeit P[ . |B] benutzt.
8.26
Beispiele wären Telefonanrufe, Zerfälle in einem radioaktiven Präparat, Meteoriteneinschläge, . . .
8.27Vgl. (8.4).
8.28Da
w(t) = P[T > t] = 1 − P[T ≤ t] = 1 − FT (t), t > 0,
mit der Verteilungsfunktion FT von T , ist die Rechtsstetigkeit von w eine Konsequenz der Rechtsstetigkeit beliebiger Verteilungsfunktionen, vgl. Abschnitt 3.3.1.
29. September 2009
122
mit
8.29
(8.5b)
lim w(t) = 1 und
tց0
lim w(t) = 0.
tր∞
w hat daher notwendigerweise die Darstellung
(8.6)
8.30
w(t) = exp(−λt),
t > 0,
für ein λ > 0. Als Konsequenz hat die Verteilungsfunktion FT von T die Gestalt
FT (t) = P[T ≤ t] = 1 − P[T > t] = 1 − exp(−λt),
d.h., T ist exponentiell verteilt mit Parameter λ
8.31
t > 0,
.
8.1.1. Rechenregeln für bedingte Wahrscheinlichkeiten. Beim konkreten Arbeiten mit bedingten Wahrscheinlichkeiten muß häufig auf die im folgenden
Satz zusammengefaßten Rechenregeln zurückgegriffen werden 8.32.
•
S
Satz 8.4. Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und Ω = i∈I Bi eine
höchstens abzählbare Zerlegung von Ω in disjunkte Ereignisse Bi ∈ F mit P[Bi ] > 0,
i ∈ I. Dann gilt die Fallunterscheidungsformel, d.h. 8.33,
X
(8.7)
P[A] =
P[Bi ]P[A|Bi ], A ∈ F,
i∈I
und die Formel von Bayes (1763), d.h.,
(8.8)
P[Bk ]P[A|Bk ]
P[A]
P[Bk ]P[A|Bk ]
= P
,
i∈I P[Bi ]P[A|Bi ]
P[Bk |A] =
8.34
k ∈ I, A ∈ F, P[A] > 0.
8.29Da w(t) = P[T > t], t > 0, für die Wartezeit T auf ein sicher eintretendes Ereignis sind
diese Eigenschaften offensichtlich und auch eine Konsequenz entsprechender Eigenschaften von
Verteilungsfunktionen.
8.30Für eine Lösung w von (8.5) führt (8.5a) zunächst durch Iteration zu
(∗1 )
Insbesondere ist
w(p/q) = w(1/q) . . . w(1/q) = w(1/q)p ,
|
{z
}
p mal
w(1) = w(q/q) = w(1/q)q ,
d.h.,
(∗2 )
w(1/q) = w(1)1/q ,
p, q ∈ N.
q ∈ N,
q ∈ N.
Definiert man nun λ = − log w(1), so folgt
w(p/q) = w(1)p/q = exp(−λ)p/q = exp(−λp/q),
p, q ∈ N,
aus (∗1 ) und (∗2 ). Somit ist (8.6) für t ∈ Q ∩ (0, ∞) nachgewiesen. Die Gültigkeit dieser Beziehung
für alle t > 0 ist dann eine Konsequenz der Rechtsstetigkeit von w.
8.31In (0, ∞) ist F stetig differenzierbar mit F ′ (t) = λ exp(−λt), t > 0.
T
T
8.32
In Beispiel 8.5 werden diese Regeln benutzt werden, um aus gegebenen bedingten Wahrscheinlichkeiten andere zunächst unbekannte, nützliche Informationen liefernde bedingte Wahrscheinlichkeiten zu berechnen.
8.33Man beachte, daß zumindest ein B eintreten muß, damit das Ereignis A geschieht. Daher
i
ergibt sich P[A] durch Summation über alle i ∈ I der Wahrscheinlichkeiten P[Bi ] für das Eintreten
von Bi jeweils multipliziert mit der Wahrscheinlichkeit P[A|Bi ] für A unter der Bedingung, daß
Bi schonPeingetreten ist. M.a.W., da jeder Weg nach A genau durch ein Bi führt, ist P[A] die
”
Summe i∈I P[Bi ]P[A|Bi ] der Wahrscheinlichkeiten für die verschiedenen möglichen Wege“.
8.34Hier wird der Zusammenhang zwischen P[B |A] und P[A|B ] dargelegt.
k
k
29. September 2009
123
Beweis. (8.7) folgt aus
X
X
P[Bi ] P[A|Bi ] =
P[A ∩ Bi ]
| {z }
i∈I
i∈I
P[A ∩ Bi ]
= 8.35
P[Bi ]
" •
#
[
8.36
=
P
(A ∩ Bi ) =
| i∈I {z
}
[
•
=A∩
Bi
8.37
P[A].
i∈I
Die erste Beziehung in (8.8) ist eine Konsequenz aus
P[Bk |A] =
8.38
P[Bk ∩ A] P[Bk ∩ A] P[Bk ]
=
.
·
P[A]
P[Bk ]
P[A]
| {z }
= 8.38 P[A|Bk ]
Die zweite Identität in (8.8) ergibt sich nun mit (8.7).
Beispiel 8.5 (Verwendung eines medizinischen Diagnoseverfahrens). 8.39 Eine
spezielle Krankheit trete bei 4% der Bevölkerung auf. Ein auf diese Krankheit zugeschnittenes Diagnoseverfahren ergebe bei 90% (20%) der Erkrankten (Gesunden)
ein positives Ergebnis.
Wichtige Fragen zu diesem Verfahren sind beispielsweise:
• Was ist die Bedeutung eines positiven (negativen) Befundes für einen Patienten? 8.40
• Was kann das Diagnoseverfahren in der Praxis leisten?
Zu einer wissenschaftlich fundierten Beantwortung dieser Fragen werden die
vorliegenden Kenntnisse zunächst in ein mathematisches, d.h. wahrscheinlichkeitstheoretisches Modell übersetzt. Anschließend werden die Fragen im Rahmen dieses
Modells beantwortet.
Wenn bei der Modellbildung Einfachheit“ 8.41 angestrebt wird, bietet es sich
”
an, ein Laplacesches Modell mit der Gesamtbevölkerung als Stichprobenraum Ω zu
verwenden. In diesem Rahmen werden Personen ω ∈ Ω gemäß der Gleichverteilung
auf Ω ausgewählt und getestet.
8.35Vgl. (8.4).
8.36Da die Ereignisse B , i ∈ I, und daher auch A ∩ B , i ∈ I, disjunkt sind und aufgrund
i
i
der σ-Additivität von P.
•
S
8.37
Da i∈I Bi = Ω.
8.38Vgl. (8.4).
8.39Das hier vorgestellte Beispiel ist eine etwas ausführlichere Version von Beispiel (3.4) in
[5].
8.40Ein Arzt will wissen, was er einem Patienten bei einem positiven, bzw. einem negativen Befund mitteilen soll. Einerseits sollte er diesen Patienten beim Vorliegen einer Erkrankung
aufklären, aber andererseits sollte er ihn auch nicht unnötig verunsichern.
8.41Bei der mathematischen Modellierung realer Vorgänge sollte man immer zuerst versuchen, mit möglichst elementaren Modellen zu arbeiten. Dadurch bleiben alle mathematischen
Überlegungen und Berechnungen übersichtlicher“ und einfacher zu überprüfen. Insbesondere
”
wird es dann auch leichter, einem Anwender“ die Ergebnisse der Modellierung zu vermitteln.
”
Erst wenn ein elementares Modell nicht mehr mit der Realität in Einklang gebracht werden kann,
sollten komplexere Modelle in Betracht gezogen werden.
29. September 2009
124
In Ω können die Ereignisse
Tk =
8.43
Tg =
8.44
T+ =
8.45
8.42
{ω ∈ Ω : ω krank},
{ω ∈ Ω : ω gesund} und
{ω ∈ Ω : ω mit positivem Befund}
beschrieben werden. Aufgrund der vorliegenden Informationen sind hierzu zunächst
die folgenden bedingten, bzw. unbedingten Wahrscheinlichkeiten bekannt:
P[Tk ] = 0.04,
P[T+ |Tk ] = 0.9,
P[Tg ] = 0.96,
P[T+ |Tg ] = 0.2.
Als Konsequenzen können darüberhinaus folgende Schlüsse gezogen werden 8.46:
(8.9)
P[Tk ]P[T+ |Tk ]
P[Tk ]P[T+ |Tk ] + P[Tg ]P[T+ |Tg ]
0.04 · 0.9
=
0.04 · 0.9 + 0.96 · 0.2
≈ 0.158,
P[Tk |T+ ]
8.47
=
P[Tk |Ω \ T+ ]
8.49
=
8.48
P[Tk ]P[Ω \ T+ |Tk ]
P[Tk ]P[Ω \ T+ |Tk ] + P[Tg ]P[Ω \ T+ |Tg ]
0.04 · 0.1
=
0.04 · 0.1 + 0.96 · 0.8
≈ 0.0052.
Bei der Untersuchung beliebiger, zufällig ausgewählter Patienten bedeutet dies,
daß
• ein positiver Befund nur mit geringer Wahrscheinlichkeit 0.158 auf eine
Erkrankung hindeutet 8.50, während
• bei einem negativen Befund mit hoher Wahrscheinlichkeit 0.9948 = 1 −
0.0052 eine Erkrankung ausgeschlossen werden kann.
Folglich eignet sich das vorliegende Diagnoseverfahren, um
• bei einem negativen Befund eine Erkrankung auszuschließen, während
• bei einem positiven Befund eine weitere Beobachtung des Patienten zu
empfehlen ist.
8.42Man beachte, daß wie üblich Ereignisse mit Teilmengen des Stichprobenraums identifiziert
werden.
8.43T
k ist das Ereignis, daß eine zufällig ausgewählte Person krank ist.
Tg ist das Ereignis, daß eine zufällig ausgewählte Person gesund ist.
8.45
T+ ist das Ereignis, daß eine zufällig ausgewählte Person einen positiven Befund hat.
8.46Die nun berechneten bedingten Wahrscheinlichkeiten ergeben sich durch Anwendung der
Formel von Bayes, vgl. (8.8).
8.47Dies ist die Wahrscheinlichkeit für das Vorliegen einer Erkrankung, falls sich ein positiver
Befund ergibt.
8.48Setze hierzu B = T , B = T und A = T in (8.8).
g
1
2
+
k
8.49
Dies ist die Wahrscheinlichkeit für eine Erkrankung, falls ein negativer Befund vorliegt.
8.50Die Ursache für diese vielleicht überraschende Eigenschaft des Diagnoseverfahrens ist die
Tatsache, daß ein relativ hoher Anteil der Bevölkerung gesund ist und daß bei diesen Gesunden
mit einer nicht vernachlässigbaren Wahrscheinlichkeit sich ein positiver Befund ergibt, vgl. (8.9).
Ein positiver Befund hat somit bei diesem Diagnoseverfahrens nur eine geringe Aussagekraft.
8.44
29. September 2009
125
8.2. Markovketten
Ein stochastischer Prozeß 8.51 X = (Xt )0≤t<∞ wird Markovprozeß genannt,
wenn in jedem Zeitpunkt s ≥ 0 die zukünftige Entwicklung, d.h., Xu , u > s, bei
gegebenem gegenwärtigen Zustand Xs nicht von der Vergangenheit Xu , u < s,
abhängt. Die elementarsten Beispiele für solche Prozesse sind Markovketten, d.h.
Markovprozesse in diskreter Zeit mit Werten in einem diskreten, d.h., höchstens
abzählbaren Raum.
Ein stochastischer Prozeß 8.52 X = (Xn )n∈N0 in diskreter Zeit 8.53 mit Werten
in einem höchstens abzählbaren Zustandsraum 8.54 S heißt Markovkette, falls 8.55
(8.10)
P Xn+k = s′ | X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn
| {z } |
{z
} | {z }
Gegenwart
Zukunft
Vergangenheit
′
= P Xn+k = s |Xn = sn , n ∈ N0 , k ∈ N, s0 , s1 , . . . , sn , s′ ∈ S.
Zur Charakterisierung der zukünftigen Entwicklung einer Markovkette reicht also
die Kenntnis des gegenwärtigen Zustandes aus. Die Kenntnis der zeitlichen Entwicklung in der Vergangenheit bringt in diesem Fall keinen Informationsgewinn.
Die Größen
(8.11)
Pn (s1 , s2 ) = P Xn+1 = s2 |Xn = s1 , s1 , s2 ∈ S, n ∈ N0 ,
heißen (1-Schritt-)Übergangswahrscheinlichkeiten. Sie werden zu den (1-Schritt-)
Übergangsmatrizen Pn = (Pn (s, s′ ))s,s′ ∈S , n ∈ N0 , zusammengefaßt. Eine Markovkette besitzt stationäre Übergangswahrscheinlichkeiten, falls Pn = P unabhängig
von n ist 8.56 8.57.
Im folgenden werden nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden.
Beispiel 8.6. Zum Parameter p ∈ (0, 1) seien Yn , n ∈ N, unabhängige, Bernoulli-verteilte Zufallsvariablen in {−1, 1}, d.h. mit P[Yn = 1] = 1 − P[Yn = −1] = p,
n ∈ N. Der Bernoulli-Prozeß 8.58 Y = (Yn )n∈N (mit Parameter p) ist eine Markovkette mit Werten in S = {−1, 1}. Es gilt P (a, 1) = p, P (a, −1) = 1 − p, a ∈ S 8.59.
Pn
Beispiel 8.7. Die Irrfahrt 8.60 X = (Xn )n∈N0 , wobei Xn = k=1 Yk , n ∈ N0 ,
für die Zufallsvariablen Yn , n ∈ N, aus Beispiel 8.6, ist eine Markovkette mit Werten
8.51Vgl. Abschnitt 3.4.
8.52Die Zufallsvariablen X , n ∈ N , seien auf einem Wahrscheinlichkeitsraum (Ω, F, P)
n
0
definiert.
8.53Als Menge aller Zeitpunkte kommt oft auch N oder Z vor.
8.54
Als abzählbare Menge wird S natürlich mit der σ-Algebra Pot(S) versehen.
8.55Stillschweigend sei darüberhinweggesehen, daß aufgrund von (8.4) die linke Seite von
(8.10) nur wohldefiniert ist, wenn P[X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn ] > 0. In diesem Fall ist
auch die rechte Seite von (8.10) wohldefiniert und stimmt mit der linken Seite überein, wenn X
eine Markovkette ist.
8.56In diesem Fall besitzt die Markovkette X eine zeitlich homogene Dynamik.
8.57
Man beachte, daß eine Markovkette mit stationären Übergangswahrscheinlichkeiten kein
stationärer stochastischer Prozeß, vgl. Abschnitt 3.4.1, zu sein braucht. Für die in Beispiel 3.18
und dem folgenden Beispiel 8.7 beschriebene Irrfahrt in Z wird dies in Beispiel 3.20 demonstriert.
8.58Vgl. Beispiel 3.17.
8.59Offensichtlich sind, wenn die anschauliche Beschreibung von Markovprozessen am Anfang
dieses Abschnitts 8.2 zugrundegelegt wird, auch die in Fußnote 3.223 erwähnten verallgemeinerten
Bernoulli-Prozesse markovsch. In diesen Fällen braucht weder die Menge der Zeitpunkte noch der
Zustandsraum diskret zu sein.
8.60Vgl. Beispiel 3.18.
29. September 2009
126
in S = Z. Es gilt
8.61


falls k ∈ S, l = k + 1,
p,
P (k, l) = 1 − p, falls k ∈ S, l = k − 1,


0,
sonst.
Beispiel 8.8 (Verallgemeinerte Irrfahrt). Sei ζn , n ∈ N, eine Folge von unabhängigen, identisch verteilten Zufallsvariablen mit Werten in Z, wobei P[ζ1 =
k] = ak , k ∈ Z.
Weiterhin sei X = (Xn )n∈N0 durch
X0 = 0,
Xk =
k
X
ζl ,
k = 1, 2, . . . ,
l=1
definiert. X ist offensichtlich eine Verallgemeinerung der in Beispiel 8.7 beschriebenen Irrfahrt 8.62. Insbesondere ist X eine Markovkette mit dem Zustandsraum Z
und der Übergangsmatrix 8.63


..
..
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.



..
 . a0
a1
a2 . . . . . . . 



a1 a2 . . . 
P = . . . a−1 a0
.
. . . . . . . . . a−1 a0 a1 . . . 


. . . . . . . . . . . . . . . a−1 a0 . . . 


.. ..
.
.
....................
Die Verteilung PX einer Markovkette 8.64 X = (Xn )n∈N0 ist durch ihre Übergangsmatrix und ihre Anfangsverteilung PX0 eindeutig bestimmt. Es gilt
(8.12) P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn
= PX0 [{s0 }]P (s0 , s1 ) · · · P (sn−1 , sn ),
s0 , s1 , . . . , sn ∈ S, n ∈ N0 .
Diese Beziehung ergibt sich aus 8.65
P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn
= P X0 = s0 , . . . , Xn−1 = sn−1 P Xn = sn |X0 = s0 , . . . , Xn−1 = sn−1
= P X0 = s0 , . . . , Xn−2 = sn−2 P Xn−1 = sn−1 |X0 = s0 , . . . , Xn−2 = sn−2
P Xn = sn |Xn−1 = sn−1
8.61Die Irrfahrt springt in ihrem Zustandsraum Z in jedem Zeitpunkt jeweils mit Wahrschein-
lichkeit p um 1 nach rechts, bzw. mit Wahrscheinlichkeit 1 − p um 1 nach links. Andere Sprünge
sind nicht möglich.
8.62Wie bei der Irrfahrt ergibt sich in jedem Zeitpunkt n ∈ N der zukünftige Zustand X
0
n+1
aus dem gegenwärtigen Zustand Xn durch Addieren eines Zuwachses ζn+1 , wobei diese Zuwächse
unabhängige, identisch verteilte Zufallsvariablen sind.
8.63Da P[X
n+1 = k + l|Xn = k] = P[ζn+1 = l] = P[Xn+1 = k + 1 + l|Xn = k + 1], n ∈ N0 ,
k, l ∈ Z, entsteht die (k + 1)-te Zeile in der Matrix P aus der k-ten Zeile durch eine Verschiebung
”
um 1 nach rechts“.
8.64Mit der Verteilung P einer Markovkette oder allgemeiner der Verteilung eines stochastiX
schen Prozesses X = (Xn )n∈N0 ist die gemeinsame Verteilung der Zufallsvariablen {Xn : n ∈ N0 },
vgl. (3.7), gemeint. Für ein festes n ∈ N0 beschreiben die Größen auf der linken Seite von (8.12) die
gemeinsame Verteilung von X0 , X1 , . . . , Xn . Diese gemeinsamen Verteilungen werden als endlichdimensionale Verteilungen von X bezeichnet. Sie bestimmen eindeutig die Verteilung PX des
stochastischen Prozesses X.
8.65Hier wird insbesondere mehrmals die bedingte Wahrscheinlichkeiten charakterisierende
Relation (8.4) und die Markoveigenschaft (8.10) benutzt.
29. September 2009
127
= ...
= P[X0 = s0 ]P X1 = s1 |X0 = s0 . . . P (sn−1 , sn )
= PX0 [{s0 }]P (s0 , s1 ) · · · P (sn−1 , sn ),
s0 , s1 , . . . , sn ∈ S, n ∈ N0 .
Als Verallgemeinerung der (1-Schritt-)Übergangswahrscheinlichkeiten werden
die n-Schritt-Übergangswahrscheinlichkeiten durch 8.66
(8.13)
P n (s1 , s2 ) = P[Xn+m = s2 |Xm = s1 ],
m, n ∈ N0 , s1 , s2 ∈ S,
definiert. Für n = 0 setzt man hierbei 8.67 P 0 (s1 , s2 ) = δs1 ,s2 , s1 , s2 ∈ S. Die
n-Schritt-Übergangswahrscheinlichkeiten genügen der Chapman-Kolmogorov-Gleichung, d.h., 8.68
X
(8.14)
P k+l (s1 , s2 ) =
P k (s1 , s)P l (s, s2 ), k, l ∈ N0 , s1 , s2 ∈ S.
s∈S
Bemerkungen. (i) Die Übergangsmatrix P = (P (s, s′ ))s,s′ ∈S einer S-wertigen
Markovkette X = (Xn )n∈N0 ist eine stochastische Matrix, d.h., es gilt 8.69
′
′
(a) P
P(s, s ) ≥ 0, ′s, s ∈ S,
(b)
P
(s,
s
)
=
1, s ∈ S
s′ ∈S
8.70
.
(ii) Für n ∈ N ist die Matrix P n der n-Schritt-Übergangswahrscheinlichkeiten
das n-fache Matrixprodukt der 1-Schritt-Übergangsmatrix P 8.71.
(iii) Das zeitliche Verhalten einer S-wertigen Markovkette X = (Xn )n∈N0 wird
durch die algebraischen Eigenschaften ihrer Übergangsmatrix P = (P (s, s′ ))s,s′ ∈S
bestimmt. Sei beispielsweise µ = (µs )s∈S ein linker Eigenvektor von P mit Eigenwert 1, d.h. mit
X
(8.15)
µs P (s, s′ ) = µs′ , s′ ∈ S,
s∈S
wobei außerdem
(8.16)
8.72
µs ≥ 0, s ∈ S,
und
X
µs = 1
s∈S
8.66Da hier nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden, ist die rechte Seite von (8.13) von m unabhängig.
8.67δ bezeichnet das Kronecker-Symbol, d.h.,
.,.
(
1, falls s = s′ ,
δs,s′ =
0, sonst.
8.68Der Übergang von s nach s in k + l Schritten führt durch einen Zwischenzustand s ∈ S
1
2
nach k Schritten. Wegen der Markoveigenschaft (8.10), bzw. wegen (8.12) hat für alle m ∈ N0
k Schritte
l Schritte
bedingt unter Xm = s1 der Weg s1 −−−−−−−→ s −−−−−−→ s2 für ein festes s die Wahrscheinlichkeit
P[Xm+k = s, Xm+k+l = s2 |Xm = s1 ] = P[Xm+k = s|Xm = s1 ] · P[Xm+k+l = s2 |Xm+k = s] =
P k (s1 , s)P l (s, s2 ). Die Übergänge durch verschiedene Zwischenzustände s entsprechen disjunkten
Ereignissen, d.h., ihre jeweiligen Wahrscheinlichkeiten addieren sich zur Gesamtwahrscheinlichkeit
P k+l (s1 , s2 ).
8.69Die Komponenten von P sind nichtnegativ und ihre Zeilen addieren sich zu 1.
P
8.70Weil P
′
′
s′ ∈S P (s, s ) =
s′ ∈S P[Xn+1 = s |Xn = s] = P[Xn+1 ∈ S|Xn = s] = 1 für alle
n ∈ N0 .
8.71Dies folgt durch vollständige Induktion aus (8.14). Offensichtlich zeigt (8.14), daß die
Matrix P k+l das Produkt der Matrizen P k und P l ist.
8.72µ entspricht damit einem Wahrscheinlichkeitsmaß auf S.
29. September 2009
128
gelte. Dann beschreibt µ eine invariante Verteilung von X, d.h., PX0 [{s}] = P[X0 =
s] = µs , s ∈ S, impliziert 8.73
(8.17)
s ∈ S, n ∈ N0 .
PXn [{s}] = P[Xn = s] = µs ,
8.3. Modellbildung mit Markovketten
Anhand von drei Beispielen wird gezeigt, wie sich Markovketten bei der Bildung
einfacher Modelle für zufällige, sich zeitlich entwickelnde Phänomene anwenden
lassen.
Beispiel 8.9 (Ehrenfestsches Modell für die Diffusion durch eine Membran).
Es seien zwei durch eine durchlässige
Membran getrennte Behälter, die zuB2
B1
sammen 2N Teilchen (Moleküle) enthalten, gegeben. Diese Teilchen können
zwischen den Boxen hin und her wechseln.
Zur Modellierung der Dynamik der Teilchenzahlen in B1 und B2 kann als Zustandsraum 8.74 S = {−N, −N + 1, . . . , 0, 1, . . . , N − 1, N } gewählt werden. k ∈ S
beschreibt die Situation, in der N + k Teilchen in B1 enthalten sind 8.75.
Eine einfache Dynamik ist folgendermaßen gegeben: Zu jedem Zeitpunkt wird
aus der Menge aller Teilchen gemäß der Gleichverteilung ein Teilchen zufällig ausgewählt. Dieses Teilchen wird in den jeweils anderen Behälter gebracht 8.76. Durch
diese Beschreibung wird eine Markovkette X = (Xn )n∈N0 charakterisiert. Deren
Übergangswahrscheinlichkeiten sind:

N +i


, falls j = i − 1 8.77,


2N





N −i
P[Xn+1 = j|Xn = i] =
, falls j = i + 1 8.78,


2N






0,
sonst.
8.73(8.17) folgt zunächst für n = 1 aus
PX1 [{s}] = P[X1 = s] = P[X0 ∈ S, X1 = s] =
=
X
s′ ∈S
PX0 [{s′ }]P (s′ , s) =
X
X
P[X0 = s′ , X1 = s]
s′ ∈S
µs′ P (s′ , s) = µs ,
s′ ∈S
s ∈ S,
wobei u.a. (8.12) Verwendung findet. Durch Iteration dieser Argumente ergibt sich (8.17) schließlich für alle weiteren n = 2, 3, . . . .
8.74Da die Gesamtzahl 2N aller Teilchen fest ist, genügt es, die zeitliche Entwicklung der
(Anzahl der Teilchen in B1 ) - N zu beschreiben.
8.75In diesem Fall ist die Anzahl der Teilchen in B gleich 2N − (N + k) = N − k.
2
8.76
Die räumliche Bewegung innerhalb der Behälter wird nicht modelliert.
8.77Ein Teilchen wird von B nach B gebracht.
1
2
8.78
Ein Teilchen wird von B2 nach B1 gebracht.
29. September 2009
129
Fragen 8.79. Stellt sich für große Zeiten ein Gleichgewicht ein? Was ist überhaupt ein Gleichgewicht“? 8.80 Konvergiert die Verteilung PXn von Xn bei n →
”
∞ gegen eine Grenzverteilung? Ist diese Grenzverteilung invariant 8.81 unter der
Dynamik? Gibt es weitere invariante Verteilungen?
Beispiel 8.10 (Ein Warteschlangenmodell). Es sei angenommen, daß an einem
Servicepunkt (Postschalter, Internetserver, Telefon-Hotline, . . . )
- pro Zeiteinheit ein Kunde bedient werden kann und daß weiterhin
- ständig neue Kunden ankommen, wobei ζn die Anzahl der neuen Kunden
im Zeitintervall (n, n + 1] sei. ζn , n ∈ N0 , seien i.i.d. Zufallsvariablen 8.82.
Sei nun Xn die Größe der Warteschlange zum Zeitpunkt n, n ∈ N0 . Offensichtlich gilt 8.83 8.84:
(8.18)
Xn+1 = (Xn − 1)+ + ζn ,
n ∈ N0 .
Diese Beziehung verdeutlicht, daß X = (Xn )n∈N0 eine Markovkette mit dem Zustandsraum S = N0 ist.
Falls P[ζ1 = l] = al , l ∈ N0 , ergibt sich aus (8.18) für die Übergangswahrscheinlichkeiten:
(
al+1 8.85, falls k = 1, 2, . . . , l ∈ N0 ∪ {−1},
P[Xn+1 = k + l|Xn = k] =
al ,
falls k = 0, l ∈ N0 .
Fragen. Unter welchen Bedingungen wird die Warteschlange im Verlauf der
Zeit immer länger? Mit anderen Worten, wann gilt limn→∞ Xn = ∞? Gilt diese
Konvergenz f.s. oder nur mit positiver Wahrscheinlichkeit? In welchen Situationen
stellt sich ein Gleichgewicht“ ein?
”
Beispiel 8.11 (Ein Verzweigungsprozeß). Zur Modellierung der zeitlichen Entwicklung einer Population sei angenommen, daß
• die Menge der Zeitpunkte diskret ist, daß es
• keine Unterschiede zwischen den einzelnen Individuen gibt 8.86, daß
• die Individuen voneinander unabhängig sind und daß
8.79
Für die Beispiele dieses Abschnitts 8.3 werden jeweils Fragen formuliert, die mit Hilfe
der in weiterführenden Veranstaltungen zu entwickelnden allgemeinen wahrscheinlichkeitstheoretischen Resultate beantwortet werden können.
8.80
Offensichtlich kann dies kein fester, deterministischer Zustand sein. Vielmehr muß Gleich”
gewicht“ in einem stochastischen Sinn definiert werden, d.h., zufällige Fluktuationen sollten
möglich sein.
8.81Vgl. Bemerkung (iii) in Abschnitt 8.2.
8.82Insbesondere im Bereich der Informationstechnologie gibt es etliche Anwendungen für
Warteschlangenmodelle. Das hier vorgestellte Modell beschreibt beispielsweise eine Warteschlange
an einem Drucker, für den die Druckaufträge alle etwa gleich groß sind. Andere Modelle sind
beispielsweise für solche FTP- oder HTTP-Server notwendig, die nur eine beschränkte Anzahl
gleichzeitiger Zugriffe zulassen und darüberhinausgehende Anfragen abweisen.
8.83Beachte: Wenn kein Kunde wartet, d.h., wenn X = 0, wird auch keiner bedient. Aus
n
diesem Grund taucht der Beitrag (. . . )+ in (8.18) auf.
8.84
(8.18) kann in der Form
Xn+1 − Xn = −I{1,2,... } (Xn ) + ζn ,
n ∈ N0 ,
geschrieben werden, d.h., (8.18) ist als eine stochastische Differenzengleichung eine zeitlich diskretisierte Version einer stochastischen Differentialgleichung.
8.85Wenn die Länge der Warteschlange k = 1, 2, . . . beträgt, wird in der nächsten Zeiteinheit
ein Kunde bedient. Dieser scheidet anschließend aus der Warteschlange aus. Damit in dem betrachteten Zeitraum die Länge der Warteschlange um l anwächst, müssen daher l + 1 Neukunden
hinzukommen.
8.86Insbesondere gibt es nur ein Geschlecht.
29. September 2009
130
3000
2500
2000
1500
1000
500
0
0
20
40
60
80
100
20 Simulationen eines Verzweigungsprozesses mit b0 = 0.25, b1 = 0.5,
b2 = 0.2, b3 = 0.05 und X0 = 1. In 4 Fällen überlebt die Population
bis zum Zeitpunkt 100 und scheint exponentiell zu wachsen.
• die Lebensdauer gleich 1 ist
8.87
.
Diese Annahmen werden mathematisch dadurch realisiert, daß angenommen wird,
daß zu jedem Zeitpunkt n ∈ N0 jedes dann lebende Individuum unabhängig von den
anderen eine zufällige Anzahl von Nachkommen hat und dann stirbt. Die Anzahl
der Nachkommen eines Individuums habe die Verteilung b = (bk )k∈N0 .
Sei nun Xn die Größe der Population zum Zeitpunkt n ∈ N0 , und sei 8.88 ζnl ,
n ∈ N0 , l ∈ N, eine Familie von i.i.d. Zufallsvariablen mit der Verteilung b, d.h.,
P[ζnl = m] = bm , n, m ∈ N0 , l ∈ N. Der stochastische Prozeß X = (Xn )n∈N0 , dessen
Dynamik durch die Beziehung 8.89
(8.19)
Xn+1 =
Xn
X
l=1
ζnl ,
n ∈ N,
repräsentiert werden kann, ist eine Markovkette mit Zustandsraum S = N0 und
den Übergangswahrscheinlichkeiten
(8.20) P[Xn+1 = k|Xn = j] = P[ζn1 + · · · + ζnj = k]
8.87Der auf diesen Modellannahmen basierende, hier vorgestellte einfache Verzweigungsprozeß läßt sich auf Bemühungen im 18. und 19. Jahrhundert zurückführen, das Anwachsen und
Aussterben von Adelsfamilien zu beschreiben. In einem solchen Zusammenhang entspricht eine
Zeiteinheit einer Generation.
8.88Für n ∈ N und l ∈ N soll ζ l die Größe der Nachkommenschaft des l-ten der zur Zeit
0
n
n lebenden Individuen modellieren. Da die Größe Xn der Population zum Zeitpunkt n a priori
l für alle l ∈ N eingeführt.
jeden Wert in N0 annehmen kann, werden die Zufallsvariablen ζn
8.89(8.19) verdeutlicht, daß die Größe X
n+1 der Bevölkerung zum Zeitpunkt n+1 die Summe
l , l = 1, . . . , X , der zum Zeitpunkt n lebenden Individuen
der Größen der Nachkommenschaften ζn
n
ist. Insbesondere treten die zum Zeitpunkt n lebenden Individuen zum Zeitpunkt n+1 selbst nicht
mehr in Erscheinung.
29. September 2009
131
=

8.90





δ
X
l1 ,...,lj =0,1,...,k
l1 +···+lj =k
k,0 ,
bl1 · · · blj , j ∈ N, n, k ∈ N0 ,
j = 0, n, k ∈ N0 .
Das durch (8.19) oder (8.20) zusammengefaßte Modell wird auch Galton-Watson-Prozeß genannt.
Fragen. Unter welchen Bedingungen stirbt die Population f.s. aus, bzw., wann
stirbt sie mit positiver Wahrscheinlichkeit nicht aus? 8.91 Wie sieht unter der Bedingung, daß die Population nicht ausstirbt, das asymptotische Verhalten von Xn
bei n → ∞ aus?
8.90Die Wahrscheinlichkeit, daß das 1. Individuum l Nachkommen, das 2. Individuum l
1
2
Nachkommen, . . . und das j-te Individuum lj Nachkommen hat, ist aufgrund der Unabhängigkeit
der Individuen gleich bl1 bl2 · · · blj . Die hier betrachteten Ereignisse sind für unterschiedliche Sequenzen l1 , l2 , . . . , lj disjunkt, so daß sich ihre jeweiligen Einzelwahrscheinlichkeiten addieren.
8.91
Falls b0 > 0, hat eine vorgegebene Anzahl N von Individuen mit Wahrscheinlichkeit bN
0
keine Nachkommen. In diesem Fall stirbt die Population somit mit positiver Wahrscheinlichkeit
aus.
29. September 2009
KAPITEL 9
Zentraler Grenzwertsatz
Ein Ziel dieses Kapitels ist die Präzisierung der im Gesetz der großen Zahlen
formulierten Konvergenz. Insbesondere wird für i.i.d., reellwertige,
quadratintegra√
ble Zufallsvariablen Xn , n ∈ N, gezeigt, daß der mit N multiplizierte Abstand
P
9.1
zwischen dem empirischen Mittelwert (1/N ) N
E[X1 ]
k=1 Xk und dem Grenzwert
9.2
asymptotisch bei N → ∞ normalverteilt ist .
9.1. Konvergenzgeschwindigkeit beim Gesetz der großen Zahlen
9.3
Sei Xn , n ∈ N, eine Folge unabhängiger, {0, 1}-wertiger Zufallsvariablen mit
Bernoulli-Verteilung zum Parameter 1/2. Damit gilt insbesondere 9.4
1
1
(9.1)
E[Xn ] = , Var(Xn ) = , n ∈ N.
2
4
In diesem Fall ist nach dem schwachen Gesetz der großen Zahlen 9.5
"
#
N
1 X
1 lim P Xn − ≥ ǫ = 0, ǫ > 0.
n→∞
N
2
n=1
Eine erste Antwort zur Frage nach der Geschwindigkeit der Konvergenz von (1/N )
PN
n=1 Xn gegen 1/2 gibt das folgende Resultat.
Satz 9.1. 9.6 Sei αN , N ∈ N, eine Folge reeller Zahlen mit αN > 0, N ∈ N,
und limN →∞ αN = 0. Dann gilt:
#
(
"
√
N
1 X
1, falls 9.7 αN N → ∞,
1 N →∞
√
→
(9.2)
P Xn − ≤ αN
N
2
0, falls αN N → 0 9.8.
n=1
Bemerkung. Als Konsequenz aus (9.2) scheint es zur genaueren Untersuchung
PN
der Fluktuationen von (1/N ) n=1 Xn um den Grenzwert 1/2 bei N → ∞ sinnvoll
√
PN
zu sein, die Asymptotik von N (1/N ) n=1 Xn − (1/2) zu betrachten 9.9.
9.1E[X ] wird im Gesetz der großen Zahlen als Grenzwert von (1/N ) PN X bei N → ∞
1
k=1 k
identifiziert, vgl. Satz 7.1.
9.2Vgl. Satz 9.2. Somit wird nachgewiesen, daß für i.i.d., reellwertige, quadratintegrable ZuP
fallsvariablen Xn , n ∈ N, die Differenz zwischen dem empirischen Mittelwert (1/N ) N
k=1 Xk und
√
E[X1 ] bei N → ∞ wie 1/ N klein wird.
√
P
9.3
In diesem Abschnitt soll u.a. die Wahl von N zur Skalierung von (1/N ) N
k=1 Xk −E[X1 ]
beim Zentralen Grenzwertsatz motiviert werden.
9.4Vgl. Fußnoten 1.47(c) und 1.49(c).
9.5Vgl. Satz 7.1.
9.6Vgl. [5], Bemerkung (5.18).
√
9.7Hier wird angenommen, daß α bei N → ∞ langsamer als 1/ N gegen 0 strebt.
N
˛
˜
ˆ˛
PN
9.8
Wegen (9.2) kann P ˛(1/N ) n=1 Xn − (1/2)˛ ≤ αN nur dann einen nichttrivialen Limes
√
√
in (0, 1) bei N → ∞ haben, wenn αN N = O(1), d.h., wenn αN = O(1/ N ).
9.9Aufgrund von (9.2) kann erwartet werden, daß
!
#
"
!
#
"
N
N
√
1 X
1
1
u
1 X
N
Xn −
≤u =P
Xn −
≤ √
P
N n=1
2
N n=1
2
N
133
134
Beweis. Nach (9.1) und dem schwachen Gesetz der großen Zahlen
"
#
N
1 X
1
1 P Xn − > αN ≤
2 N,
N
2
4α
N
n=1
d.h.,
"
N
1 X
Xn −
P N
n=1
#
1
1 ≤ αN ≥ 1 − 2
2
4αN N
N →∞
→ 1,
9.10
gilt:
√
falls αN N → ∞.
Damit ist der erste Teil von (9.2) bewiesen 9.11.
P
Weil die Zufallsvariable N
n=1 Xn binomialverteilt mit den Parametern N und
1/2 9.12 ist, folgt:
#
" N
"
#
N
X
1 X
1 N P Xn − ≤ αN = P Xn − ≤ αN N
N
2
2
n=1
n=1
X
N
1 N
= 9.13
2
k
{k:|k−(N/2)|≤N αN }
N
1 N
≤ 9.14 (2N αN + 1)
⌊N/2⌋ 2
r
r
r
√
2
2
2
N →∞ 9.15
∼
(2N αN + 1)
=2
αN N +
πN
π
πN
√
N →∞
→ 0, falls αN N → 0.
Damit ist auch der zweite Teil von (9.2) verifiziert.
bei N → ∞ für alle u ∈ (−∞, ∞) einen Grenzwert in (0, 1) besitzt.
9.10
Vgl. insbesondere (7.3).
9.11Offensichtlich gilt, falls 1/2 durch E[X ] ersetzt wird, dieser Teil von (9.2) für beliebige
1
i.i.d., reellwertige, quadratintegrable Zufallsvariablen Xn , n ∈ N. Sie brauchen keine BernoulliVerteilung zu besitzen.
9.12Vgl. Abschnitt 1.1.2, insbesondere (1.5).
9.13Diese Summe enthält höchstens 2N α + 1 Summanden.
N
9.14
Weil
“N ” “ N ”
, k = 0, 1, . . . , N.
≤
(∗)
⌊N/2⌋
k
Die Abschätzung (∗) ist eine Konsequenz aus der Symmetrie der Binomialkoeffizienten um N/2,
d.h.,
”
” “
“
N
N
, α ∈ R mit (N/2) ± α ∈ N0 ,
=
(N/2) − α
(N/2) + α
` ´
und der Tatsache, daß {0, 1, . . . , ⌊n/2⌋} ∋ k → n
für alle n ∈ N monoton steigend ist. Diese
k
Behauptung folgt aus
`n´
jnk
n!
(k + 1)!(n − k − 1)!
k+1
k ´
` n
=
− 1.
·
=
≤ 1, k = 0, 1, . . . ,
k!(n
−
k)!
n!
n
−
k
2
k+1
9.15
Wegen der Stirling Formel
lim
n→∞
Insbesondere beachte man, daß
“ N ” N gerade
N!
=
⌊N/2⌋
((N/2)!)2
“ n ”n
1√
2πn
= 1.
n!
e
N→∞
∼
√
√
2 N
2πN (N/e)N
= √
p
2 ,
πN
( 2πN/2(N/(2e))N/2 )2
und daß für ungerade N analoge Überlegungen durchgeführt werden können.
29. September 2009
135
9.2. Eigenschaften charakteristischer Funktionen
In diesem Abschnitt werden einige Eigenschaften von charakteristischen Funktionen 9.16 vorgestellt, die im folgenden Abschnitt 9.3 beim Beweis des Zentralen
Grenzwertsatzes für i.i.d., reellwertige, quadratintegrable Zufallsvariablen mit positiver Varianz benötigt werden.
(i) Seien X und Y unabhängige, reellwertige Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F, P). Dann gilt 9.17
(9.3)
ψX+Y (z) = ψX (z)ψY (z),
z ∈ R.
Beweis. (9.3) folgt aus
ψX+Y (z) = E[exp(iz(X + Y ))] = E[exp(izX) exp(izY )]
=
9.18
E[exp(izX)]E[exp(izY )]
= ψX (z)ψY (z),
z ∈ R.
(ii) Sei X eine reellwertige Zufallsvariable mit E[|X|2 ] < ∞. Dann ist ψX ∈
und es gilt insbesondere
Cb2 (R)
ψX (z) = 1 + izE[X] −
(9.4)
z2
E[X 2 ] + o(|z|2 ),
2
bei |z| → 0.
Begründung. Nach einem formalen Vertauschen von Differentiation und Erwartungswert folgt 9.19
′
′′
ψX
(z) = iE[X exp(izX)], ψX
(z) = −E[X 2 exp(izX)],
z ∈ R,
d.h.,
′
′′
ψX (0) = 1, ψX
(0) = iE[X], ψX
(0) = −E[X 2 ].
(9.4) ist damit die Taylorentwicklung der Ordnung 2 von ψX in 0.
(iii) Sei X eine reellwertige Zufallsvariable. Weiterhin sei Y = aX + b für
a, b ∈ R. Dann ist
(9.5)
ψY (z) = exp(izb)ψX (az),
z ∈ R.
Beweis.
ψY (z) = E[exp(iz(aX + b))] = E[exp(izb) exp(izaX)]
= exp(izb)E[exp(izaX)] = exp(izb)ψX (az),
z ∈ R.
9.16
Charakteristische Funktionen wurden in (6.43) eingeführt. Insbesondere zeigt Satz 6.18,
daß die Konvergenz in Verteilung reellwertiger Zufallsvariablen mit Hilfe der Konvergenz ihrer
charakteristischen Funktionen nachgewiesen werden kann.
9.17(9.3) besagt, daß die charakteristische Funktion einer Summe unabhängiger Zufallsvariablen faktorisiert.
9.18Wegen der Unabhängigkeit von X und Y , vgl. (6.9) und Bemerkung (i) in Abschnitt 6.3.
Man beachte, daß für jedes feste z ∈ R mit X und Y auch die Zufallsvariablen exp(izX) und
exp(izY ) unabhängig sind.
9.19Bei einem rigorosen Beweis kann der Satz von der beschränkten Konvergenz, vgl. [3],
Appendix A.5, Theorem (5.3), herangezogen werden.
29. September 2009
136
(iv) Eine reellwertige Zufallsvariable X sei gemäß der standard Normalverteilung N(0, 1) verteilt. Dann gilt 9.20
ψX (z) = exp(−z 2 /2),
(9.6)
Begründung.
z ∈ R.
9.21
1
√
2π
Z
∞
dx exp(izx) exp(−x2 /2)
|
{z
}
2
= exp(izx − x /2) = exp((−(x − iz)2 − z 2 )/2)
Z ∞
1
dx exp(−(x − iz)2 /2) .
= exp(−z 2 /2) √
2π −∞
|
{z
}
Z ∞−iz
1
dy exp(−y 2 /2)
= 9.23 √
2π −∞−iz
|
{z
}
Z ∞
1
= 9.24 √
dy exp(−y 2 /2) = 1
2π −∞
ψX (z) =
9.22
−∞
(v) Durch die charakteristische Funktion ψX ist die Verteilung PX einer reellwertigen Zufallsvariable X eindeutig bestimmt.
Begründung. Schreibt man
(9.7)
ψX (z) = E[exp(izX)]
Z
= 9.25
PX (dx) exp(izx),
R
z ∈ R,
so wird deutlich, daß die charakteristische Funktion ψX einer Zufallsvariable X
der Fouriertransformierten ihrer Verteilung PX entspricht. Die Behauptung (v)
folgt daher aus der Tatsache, daß ein endliches Maß auf (R, B(R)) durch seine
Fouriertransformierte eindeutig charakterisiert ist.
Details zu den obigen Überlegungen und weitere Eigenschaften charakteristischer Funktionen finden sich beispielsweise in [6], Abschnitte 5.7 - 5.9.
9.20Wegen (9.6) haben für die standard Normalverteilung die Dichte und die charakteristische
Funktion die gleiche Struktur. Aufgrund von (9.5) gilt dies auch für andere Normalverteilungen.
Mit der hyperbolischen Cosinusverteilung wird in [4], Chapter XV, Section 2, ein weiteres Wahrscheinlichkeitsmaß mit dieser Eigenschaft angegeben. Es besitzt die Dichte R ∋ x → (π cosh(x))−1
und die charakteristische Funktion R ∋ z → (cosh(πz/2))−1 mit cosh(x) = (exp(x) + exp(−x))/2,
x ∈ R.
9.21Ein mathematisch korrekter Beweis von (9.6) ergibt sich z.B. aus [3], Section 2.3, Example 3.3, und Appendix A.9, Example 9.1.
9.22Diese Darstellung von ψ ergibt sich aus Beispiel 6.4. Vgl. dazu auch Fußnote 6.172.
X
9.23
Mit der Variablentransformation y = x − iz. Nach dieser Transformation ist der Integrationsbereich die Gerade {ζ = η − iz : η ∈ R} in C.
R ∞−iz
9.24
dy exp(−y 2 /2) von z ∈ R kann mit dem
Die Unabhängigkeit des Integrals −∞−iz
Cauchyschen Integralsatz, vgl. z.B. [1], Chapter 4, Section 1.4, bewiesen werden.
9.25Auf der rechten Seite von (9.7) ist der Erwartungswert E[W ] der Zufallsvariable W =
exp(izX) als ein Integral bzgl. des Wahrscheinlichkeitsmaßes PX dargestellt. Für eine diskrete
Zufallsvariable X ist diese Darstellung eine offensichtliche Verallgemeinerung von (6.2). Falls PX
eine Dichte bzgl. des Lebesguemaßes besitzt, so ist (9.7) äquivalent zu der in Fußnote 6.172
angegebenen Darstellung von ψX .
29. September 2009
137
9.3. Zentraler Grenzwertsatz für i.i.d. Zufallsvariablen
Das am Anfang dieses Kapitels 9 angekündigte Resultat wird nun präzisiert.
Satz 9.2. Seien Xn , n ∈ N, unabhängige, identisch verteilte, reellwertige Zufallsvariablen mit E[X1 ] = µ und Var(X1 ) = σ 2 ∈ (0, ∞). Sei weiter ZN =
PN
(1/N ) k=1 Xk , N ∈ N. Dann gilt
r
N
(ZN − µ) = X in Verteilung, wobei PX = N(0, 1).
(9.8)
lim
N →∞
σ2
Beweis. Im folgenden werden insbesondere verschiedene Eigenschaften von
charakteristischen Funktionen 9.26 verwendet.
Sei Yn = (Xn − µ)/σ, n ∈ N. Die Zufallsvariablen Yn , n ∈ N, sind i.i.d. und
quadratintegrabel mit E[Y1 ] = 0 und Var(Y1 ) = 1. Weiterhin gilt 9.27
! r
r
N
N
1 X
N 1 X
N
√
(9.9)
(ZN − µ), N ∈ N,
(Xk − µ) =
Yk =
2
2
σ
N
σ
N k=1
k=1
und
(9.10)
ψ(1/√N ) PN
k=1
Yk (z)
=
9.28
=
9.29
ψPN
k=1
N
Y
Yk (z/
√
N)
√
ψYk (z/ N )
k=1
|z|2 N
z2
+o
= 9.30 1 −
2N
N
N
2
z
N →∞ 9.31
1−
∼
2N
N →∞ 9.32
→
exp(−z 2 /2),
z ∈ R.
p
Mit (9.9) und (9.10) ist gezeigt, daß die charakteristische Funktion von N/σ 2 (ZN
−µ) bei N → ∞ gegen die charakteristische Funktion einer gemäß N(0, 1) verteilten
Zufallsvariablen X konvergiert 9.33, d.h., Satz 9.2 ist nun bewiesen 9.34.
9.26Die hier benutzten Eigenschaften von charakteristischen Funktionen werden in Satz 6.18
und in Abschnitt 9.2 erläutert.
9.27Zum Beweis von (9.8) muß somit die Asymptotik von (1/N ) PN Y bei N → ∞ unterk=1 k
sucht werden.
√
9.28Hier wird (9.5) mit X = PN Y , a = 1/ N und b = 0 angewandt.
k=1 k
9.29
Da ebenso wie Xn , n ∈ N, auch die Zufallsvariablen Yn , n ∈ N, unabhängig sind, vgl.
(9.3).
9.30
Aufgrund von (9.4). Hier ist zu beachten, daß E[Yn ] = 0, n ∈ N, und Var(Yn ) = E[Yn2 ] =
1, n ∈ N.
9.31
Man beachte, daß für festes z ∈ R und ǫ ∈ (0, 1) für hinreichend großes N ∈ N die
Abschätzungen
“ |z|2 ”
z 2 (1 − ǫ)
z2
z 2 (1 + ǫ)
≤1−
≤1−
+o
1−
2N
2N
N
2N
gelten. Wenn außerdem mit
“
x ”N
= exp(x), x ∈ R,
(∗)
lim 1 +
N→∞
N
eine der möglichen Definitionen der Exponentialfunktion berücksichtigt wird, wird deutlich, daß
für jedes feste z der Term o(|z|2 /N ) bei N → ∞ vernachlässigt werden kann.
9.32
Vgl. (∗) in Fußnote 9.31.
9.33Vgl. (9.6) und Abschnitt 9.2(v).
9.34Vgl. Satz 6.18.
29. September 2009
138
Bemerkungen. (i) Für eine Folge Xn , n ∈ N, paarweise unabhängiger 9.35,
identisch verteilter, reellwertiger Zufallsvariablen braucht der Zentrale Grenzwertsatz, d.h. die Beziehung (9.8), nicht zu gelten 9.36. Andererseits gibt es unzählige
Verallgemeinerungen von Satz 9.2. In jenen Resultaten wird nachgewiesen, daß gewisse Zufallsvariablen ζN , N ∈ N, die sich aus vielen kleinen Beiträgen, die hinreichend wenig voneinander abhängig sind, unter geeigneten Bedingungen bei N → ∞
in Verteilung gegen eine normalverteilte Zufallsvariable ζ konvergieren 9.37.
(ii) Der Zentrale Grenzwertsatz ist ein herausragendes Resultat in der Mathematik.
• Ausgehend von recht allgemeinen Annahmen 9.38 wird eine bemerkenswerte Konsequenz nachgewiesen 9.39.
• Nachdem eine geeignete Methode feststeht 9.40, kann in überraschend wenigen, einfachen Schritten der Beweis abgeschlossen werden 9.41.
• Der Zentrale Grenzwertsatz besitzt vielfältige Anwendungsmöglichkeiten
in zahlreichen Bereichen der menschlichen Erfahrung 9.42.
(iii) Die Konvergenz in Verteilung kann auf unterschiedliche Weise formuliert
werden 9.43. Insbesondere besagt (9.8), daß 9.44 9.45
"r
#
Z a
N
1
√
(9.11)
lim P
dx exp(−x2 /2), a ∈ R,
(Z
−
µ)
≤
a
=
N
N →∞
σ2
2π −∞
bzw.
9.46
"r
(9.12) P
#
Z b
N
1
N →∞
dx exp(−x2 /2),
(ZN −µ) ∈ (a, b)
∼ √
σ2
2π a
−∞ < a < b < ∞.
9.35Eine Folge Y , n ∈ N, von Zufallsvariablen heißt paarweise unabhängig, wenn Y und
n
k
Yl für alle k, l ∈ N mit k 6= l (stochastisch) unabhängig sind. Der Begriff der paarweisen Unabhängigkeit von Ereignissen wurde in Beispiel 3.7 eingeführt.
9.36
Ein Gegenbeispiel wird in [3], Section 2.4, Example 4.5, angegeben.
9.37Vgl. z.B. [3], Section 2.4, Theorem (4.5). In komplexeren Verallgemeinerungen des hier
vorgestellten Zentralen Grenzwertsatzes nehmen die Zufallsvariablen ζN , N ∈ N, und ζ Werte in
hochdimensionalen Räumen wie z.B. in Funktionenräumen an, vgl. z.B. [3], Section 7.6, Theorem (6.6) oder [3], Section 7.7, Theorem (7.8).
9.38Der Ausgangspunkt der Überlegungen ist eine beliebige Folge X , n ∈ N, von i.i.d.,
n
quadratintegrablen Zufallsvariablen mit positiver Varianz.
9.39
In der im Limes N → ∞ in Erscheinung tretenden Normalverteilung spielen Details der
Verteilung der Zufallsvariablen Xn , n ∈ N, keine Rolle mehr.
9.40Damit ist die Verwendung von charakteristischen Funktionen gemeint.
9.41Natürlich gibt es auch viele andere Beweise des Zentralen Grenzwertsatzes, vgl. z.B. [10],
Abschnitt 12.3, oder den Beweis von Satz (5.28) in [5].
9.42Wenn eine zufällige reellwertige Größe G die Summe vieler kleiner, wenig voneinander
abhängiger Beiträge ist, können ihre Schwankungen um ihren mittleren Wert durch eine normalverteilte Zufallsvariable modelliert werden. Beispielsweise ist es gerechtfertigt,
– die Schwankungen vieler quantitativer Merkmale der Mitglieder der Bevölkerung eines Landes (Körpergröße, -gewicht, . . . von Männern, bzw. Frauen einer bestimmten Altersklasse),
– die Fluktuationen der Meßwerte von Temperatur, Luftdruck, . . . an einer Wetterstation (in
einem nicht zu großen Zeitraum des Kalenderjahres) oder auch
– die Schwankungen des Kurses einer Aktie (in einem Zeitraum ohne Börsencrash, bzw. ohne
gravierende wirtschaftliche Probleme des Unternehmens)
durch normalverteilte Zufallsvariablen zu modellieren.
9.43
Vgl. Satz 6.18.
9.44
Bei der Anwendung von Satz 6.18 beachte man, daß die Verteilungsfunktion R ∋ y →
Ry
dx exp(−x2 /2) der standard Normalverteilung in ganz R stetig ist.
−∞
9.45
Die Formulierung (9.11), bzw. (9.12) des Zentralen Grenzwertsatzes wurde auch schon in
Beispiel 1.7 gewählt.
9.46Wie in Abschnitt 9.4 erläutert werden wird, gilt (9.12) auch für Intervalle (a, b) =
√
(aN , bN ), deren Längen bei N → ∞ wie 1/ N immer kleiner werden.
29. September 2009
139
9.4. Lokale Normalapproximation
9.47
In vielen Fällen gilt eine lokale Variante des Zentralen Grenzwertsatzes.
Insbesondere bleibt√(9.12) auch dann gültig, wenn die Länge des Intervalls (a, b)
bei N → ∞ wie 1/ N klein wird.
Satz 9.3. 9.48 Seien Xn , n ∈ N, unabhängige, identisch verteilte, reellwertige
Zufallsvariablen mit E[X1 ] = µ, Var(X1 ) = σ 2 ∈ (0, ∞) und 9.49 9.50
(9.13)
PN
|ψX1 (λ)| < 1,
falls λ 6= 0.
Sei weiter ZN = (1/N ) k=1 Xk , N ∈ N. Dann gilt
"r
#
√
N
α
β
lim N P
(ZN − µ) ∈ x + √ , x + √
(9.14)
N →∞
σ2
N
N
β−α
exp(−x2 /2),
= √
2π
x ∈ R, −∞ < α < β < ∞.
Insbesondere kann (9.14) in der an (9.12) erinnernden Form
"r
#
α
β
N
(ZN − µ) ∈ x + √ , x + √
(9.15)
P
σ2
N
N
N →∞
∼
präsentiert werden
9.53
β−α 1
√
√ exp(−x2 /2),
2π
N
9.51 9.52
x ∈ R, −∞ < α < β < ∞,
.
9.5. Bestimmung von Konfidenzintervallen
In diesem Abschnitt werden Anwendungen des Zentralen Grenzwertsatzes in
der Statistik vorgestellt. Insbesondere werden in zwei Beispielen Situationen betrachtet, wo eine zufällige Größe N mal unabhängig gemessen und ein Parameter
durch den empirischen Mittelwert dieser N Messungen
geschätzt wird. Aufgrund
√
des Zentralen Grenzwertsatzes sind die mit N reskalierten Fluktuationen jenes
empirischen Mittelwerts für N → ∞ normalverteilt. Als Konsequenz können in
9.47Das in diesem Abschnitt vorgestellte Resultat wird auch als Lokaler Zentraler Grenzwertsatz bezeichnet.
9.48Vgl. [3], Section 2.5, Theorem (5.4).
9.49ψ mit ψ (λ) = E[exp(iλY )], λ ∈ R, ist die charakteristische Funktion einer reellwerY
Y
tigen Zufallsvariable Y , vgl. (6.43) und insbesondere Abschnitt 9.2. Es sei daran erinnert, daß in
Abschnitt 9.3 charakteristische Funktionen das wesentliche Hilfsmittel beim Beweis des Zentralen
Grenzwertsatzes waren.
9.50
Nach Theorem (5.1) in [3], Section 2.5, besagt die Bedingung (9.13), daß die Zufallsvariable X1 nicht f.s. konstant ist und auch nicht auf einem Gitter in R konzentriert ist, d.h., es gibt
kein b ∈ R und kein h > 0, so daß P[X1 ∈ {b + hk : k ∈ Z}] = 1.
9.51(9.14) zeigt, daß der Quotient der beiden Seiten von (9.15) bei N → ∞ gegen 1
konvergiert.
√
√
9.52
Wenn in (9.12) das Intervall (a, b) durch (x + (α/ N ), x + (β/ N )) ersetzt und die
Stetigkeit von R ∋ x → exp(−x2 /2) mit der Konsequenz
Z x+(β/√N)
1
N→∞ β − α 1
√
√
√
exp(−x2 /2)
dy exp(−y 2 /2) ∼
√
2π x+(α/ N )
2π
N
berücksichtigt wird, ergibt sich (9.15) auf eine formale Weise.
9.53Wenn (9.13) nicht gilt und wenn X nicht f.s. konstant ist, gibt es ein Gitter G
1
b,h = {b +
hk : k ∈ Z} ⊂ R mit b ∈ R und h > 0, so daß P[X1 ∈ Gb,h ] = 1, vgl. [3], Section 2.5, Theorem (5.1).
Auch in diesem Fall gilt ein (9.14) entsprechendes Resultat, vgl. [3], Section 2.5, Theorem (5.2).
Der Fall von i.i.d. Zufallsvariablen Xn , n ∈ N, die eine Bernoulli-Verteilung besitzen, wird auch
in [5], Satz (5.19), betrachtet.
29. September 2009
140
diesem Grenzfall Konfidenzintervalle mit Hilfe der standard Normalverteilung bestimmt werden 9.54 9.55.
Beispiel 9.4 (Konfidenzintervalle für den Erwartungswert von i.i.d. Zufallsvariablen). Eine zufällige reelle Größe werde wiederholt unabhängig gemessen. Die
Meßwerte seien durch durch i.i.d. Zufallsvariablen X1 , X2 , . . . mit E[X1 ] = µ ∈ R
und Var(X1 ) = σ 2 ∈ (0, ∞) modelliert. σ 2 sei bekannt 9.56, während µ durch
Angabe eines Konfidenzintervalls zu schätzen sei.
PN
Nach N Messungen ist µ
eN = (1/N ) k=1 Xk ein erwartungstreuer Schätzer für
µ 9.57. Nun soll zu α ∈ (0, 1) für große N ein Konfidenzintervall zum Irrtumsniveau
α für µ 9.58 bestimmt werden.
Aus dem Zentralen Grenzwertsatz 9.59 folgt:
"r
#
N
P
(9.16)
(e
µN − µ) ∈ (a, b)
σ2
Z b
1
N →∞
∼ √
dx exp(−x2 /2), −∞ < a < b < ∞.
2π a
Wählt man zu α ∈ (0, 1) nun U (α) mit 9.60
Z U(α)
1
√
dx exp(−x2 /2) = 1 − α,
(9.17)
2π −U(α)
und definiert dann
(9.18)
r r
σ2
σ2
,
,µ
eN + U (α)
CN (e
µN ) = µ
eN − U (α)
N
N
so ergibt sich
P[CN (e
µN ) 6∋ µ]
9.61
N ∈ N,
r
r σ2
σ2
=P µ≤µ
eN − U (α)
oder µ ≥ µ
eN + U (α)
N
N
9.54Konfidenzbereiche wurden in Beispiel 1.9 erstmals vorgestellt und dann in Abschnitt 4.3
detaillierter betrachtet.
9.55Die Überlegungen in den folgenden Beispielen 9.4 und 9.5 ähneln jenen in Beispiel 4.8.
Nun wird allerdings der Zentrale Grenzwertsatz und nicht die Čebyšev’sche Ungleichung als Basis benutzt. Als Konsequenz ergeben sich kleinere“ Konfidenzintervalle, d.h., die statistischen
”
Aussagen werden präziser.
9.56Dies ist eine in vielen Fällen unrealistische Annahme, die jedoch die Überlegungen in
diesem Beispiel wesentlich vereinfacht. Vgl. Fußnote 9.64 für den Fall eines unbekannten Parameters σ2 .
9.57Vgl. Beispiel 6.13.
9.58Zur Erläuterung vgl. (4.9). Ein statistisches Modell, mit dem in diesem Beispiel 9.4 gearbeitet werden könnte, wird in Fußnote 6.135 beschrieben. Zur Vereinfachung der Argumentation
wird allerdings wie schon in Beispiel 6.13 auch im folgenden ein derartiges statistisches Modell
stillschweigend umgangen.
9.59Vgl. insbesondere (9.12).
9.60U (α) kann statistischen Tabellen entnommen, bzw. mit Hilfe von Statistik-Software ermittelt werden.
Ra
dx exp(−x2 /2), a ∈ R, der standard NormalverOft ist die Verteilungsfunktion φ(a) = −∞
teilung tabelliert, vgl. z.B. Tabelle II in [10]. Da
Z U
1
dx exp(−x2 /2) = φ(U ) − φ(−U ) = 2φ(U ) − 1, U > 0,
√
| {z }
2π −U
= 1 − φ(U ) (Symmetrie von x → exp(−x2 /2))
ist U (α) so zu bestimmen, daß
1 − α = 2φ(U (α)) − 1,
d.h.,
φ(U (α)) = 1 −
gilt.
29. September 2009
α
,
2
141
r r
σ2
σ2
, U (α)
=P µ
eN − µ 6∈ −U (α)
N
N
r
N
=P
(e
µN − µ) 6∈ (−U (α), U (α))
σ2
Z U(α)
1
N →∞ 9.62
dx exp(−x2 /2)
∼
1− √
2π −U(α)
=
9.63
α.
Für große N ist somit CN (e
µN ) ein Konfidenzintervall zum Irrtumsniveau α für
µ 9.64.
Beispiel 9.5 (Konfidenzintervalle für die Monte-Carlo-Integration). In diesem
Beispiel wird die Approximationsgenauigkeit des in Abschnitt 7.2.1 vorgestellten
Monte-Carlo-Verfahrens zur numerischen Integration untersucht 9.65.
Sei h : [0, 1] → R eine meßbare, beschränkte Funktion und Xn , n ∈ N, eine
Folge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen. Die Zufallsvariablen
h(Xn ), n ∈ N, sind dann i.i.d. mit 9.66
Z 1
(9.19)
E[h(X1 )] =
dx h(x) = µ(h),
0
Var(h(X1 )) =
Z
0
1
dx h(x)2 −
Z
0
1
2
dx h(x) = σ 2 (h) ≤
9.67
khk2∞ .
R1
Genau wie in Beispiel 6.13 kann µ(h) = 0 dx h(x) erwartungstreu durch
PN
µ
eN (h) = (1/N ) k=1 h(Xk ) geschätzt werden. Bei der Bestimmung eines Konfidenzintervalls zum Irrtumsniveau α ∈ (0, 1) für µ(h) können allerdings die Überlegungen aus Beispiel 9.4 nicht direkt angewandt werden, da neben µ(h) auch σ 2 (h)
als unbekannt zu betrachten ist 9.68. Andererseits ist für σ 2 (h) die obere Schranke
9.61Eigentlich könnte hier eine Notation wie P [ . ] benutzt werden, um anzudeuten, daß µ
µ
als wahrer“ Parameter zugrunde gelegt wird.
” 9.62
Vgl. (9.16).
9.63
Vgl. (9.17).
9.64Für den Fall von i.i.d., normalverteilten Zufallsvariablen X , . . . , X , wobei neben
1
N
µ = E[X1 ] auch σ2 = Var(X1 ) unbekannt ist, wird in [5], Beispiel (8.4) und Satz (8.5), ein Konfidenzintervall für µ angegeben. Hierbei findet insbesondere auch der in Beispiel 6.13 eingeführte
erwartungstreue Schätzer für die Varianz eine Anwendung.
Wenn nun für allgemeinere, i.i.d., quadratintegrable Zufallsvariablen X1 , . . . , XN sowohl µ =
E[X1 ] als auch σ2 = Var(X1 ) unbekannt sind, bleiben jene Überlegungen in [5] zur Bestimmung
eines Konfidenzintervalls für µ zumindest bei N → ∞ anwendbar. Zur Begründung kann wie in
diesem Beispiel 9.4 der Zentrale Grenzwertsatz herangezogen werden.
9.65
In Abschnitt 7.2.1 wurde mit Hilfe des schwachen Gesetzes der großen Zahlen nachgewiesen, daß
Z 1
N
1 X
P
h(Xk ) →
dx h(x) bei N → ∞,
(∗)
N k=1
0
falls h : [0, 1] → R eine meßbare, beschränkte Funktion und Xn , n ∈ N, eine Folge unabhängiger,
in [0, 1] gleichverteilter Zufallsvariablen ist.
Im folgenden wird insbesondere als Anwendung der Überlegungen in Beispiel 9.4, d.h. durch
Angabe von Konfidenzintervallen, die mit Hilfe des Zentralen
Grenzwertsatzes bestimmt werden,
√
die Geschwindigkeit der Konvergenz in (∗) durch C/ N abgeschätzt.
9.66Vgl. (7.5).
9.67khk = sup
∞
x∈[0,1] |h(x)|.
9.68Wenn µ(h) = R 1 dx h(x) nicht direkt berechnet werden kann, so kann offensichtlich auch
0
´2
`R
R
σ2 (h) = 01 dx h(x)2 − 01 dx h(x) nicht exakt bestimmt werden.
29. September 2009
142
khk2∞ bekannt
"
9.69
. Es gilt somit
9.70 9.71
:
#
khk∞
khk∞
(9.20) P µ(h) ≤ µ
oder µ(h) ≥ µ
eN (h) + U (α) √
eN (h) − U (α) √
N
N
"
#
khk∞
khk∞
=P µ
eN (h) − µ(h) ∈
/ −U (α) √ , U (α) √
N
N
"
r
r
#
σ 2 (h)
σ 2 (h)
9.72
≤
P µ
eN (h) − µ(h) ∈
/ −U (α)
, U (α)
N
N
"s
#
N
=P
(e
µN (h) − µ(h)) ∈
/ (−U (α), U (α))
σ 2 (h)
Z U(α)
1
N →∞ 9.73
∼
1− √
dx exp(−x2 /2) = 9.74 α.
2π −U(α)
Für N → ∞ kann daher
khk∞
khk∞
√
√
CN (e
µN (h)) = µ
eN (h) − U (α)
,µ
eN (h) + U (α)
N
N
als Konfidenzintervall zum Irrtumsniveau α für µ(h) gewählt werden 9.75.
Bemerkungen. (i) Die Überlegungen dieses Beispiels deuten an, daß das
Monte-Carlo-Verfahren zur numerischen Integration eine recht langsame Konvergenzgeschwindigkeit besitzt, da der
√ Approximationsfehler, d.h. die Länge des Konfidenzintervalls sich wie khk∞ / N verhält 9.76. Im Gegensatz dazu ist bei anderen klassischen“ numerischen Integrationsverfahren der Approximationsfehler
”
≃ kh(m) k∞ N −k für geeignete m = 1, 2, . . . und k ≥ 1 9.77. Solche Verfahren konvergieren schnell für glatte Integranden h, sind aber ungeeignet, wenn h irregulär
wird.
(ii) Um bessere, d.h., kleinere Konfidenzintervalle zu erhalten, kann auch die
unbekannte Varianz σ 2 (h) geschätzt werden 9.78.
9.69Vgl. (9.19).
9.70Für α ∈ (0, 1) ist U (α) durch (9.17) definiert.
9.71
In (9.20) bezeichnet P das Wahrscheinlichkeitsmaß auf dem Wahrscheinlichkeitsraum, auf
welchem die Zufallsvariablen Xn , n ∈ N, definiert sind.
9.72Da σ2 (h) ≤ khk2 , vgl. (9.19), und wegen der Monotonie von P, vgl. (2.12).
∞
9.73
Aufgrund des Zentralen Grenzwertsatzes für die Zufallsvariablen h(Xn ), n ∈ N, vgl. (9.12)
und (9.19).
9.74
Wegen (9.17).
9.75Dieses Konfidenzintervall ist asymptotisch bei N → ∞ evtl. größer als notwendig, weil in
der dritten Zeile von (9.20)
“ nicht auszuschließen ist.
”
9.76Um den Approximationsfehler
zu halbieren, muß daher der Stichprobenumfang N vervierfacht werden.
9.77Vgl. z.B. [12], Kapitel 3.
9.78Ein erwartungstreuer Schätzer für σ2 (h) wurde in Beispiel 6.13 vorgestellt. Hinweise zur
Vorgehensweise bei der Bestimmung von Konfidenzintervallen finden sich in Fußnote 9.64.
29. September 2009
Anhang
In diesem Anhang werden einige Ergänzungen zu den Kapiteln 1 - 9 zusammengestellt.
A.1. Ergänzungen zu Kapitel 1
A.1.1. Deskriptive Statistik. In der deskriptiven, beschreibenden oder empirischen Statistik werden gegebene Daten in Tabellen, Graphiken oder Kennzahlen
zusammengefaßt. Es wird versucht, die Daten auf eine übersichtliche Weise aufzubereiten, so daß interessante Strukturen und Zusammenhänge deutlich werden. Die
Suche nach Mechanismen oder allgemeineren Gesetzen, welche in einer konkreten
Situation zu den vorliegenden Daten geführt haben, und insbesondere auch die
Formulierung von mathematisch fundierten, quantitativen Folgerungen ist nicht
die Aufgabe der deskriptiven, sondern der induktiven, mathematischen oder schließenden Statistik A.1.1, die neben der Wahrscheinlichkeitstheorie das Thema dieser
Vorlesung ist.
In empirischen Wissenschaften, wie z.B. den Sozial- oder den Wirtschaftswissenschaften liegen oft Daten vor, die nicht oder nur auf eine sehr aufwendige Weise
durch ein statistisches Modell A.1.2 beschrieben werden können. Dann kommt die
beschreibende Statistik zur Anwendung. Insbesondere auch in der öffentlichen Verwaltung stellt sie wichtige Methoden zum Ordnen und Auswerten großer Datenmengen zur Verfügung.
Beispiele für Kennzahlen, die sich zur Charakterisierung einer Folge ξ = (x1 ,
. . . , xN ) reeller Daten anbieten, sind:
Mittelwert.
(A.1)
M (ξ) =
N
1 X
xk
N
k=1
Der Mittelwert beschreibt den durchschnittlichen Wert der Folge ξ.
Median. Sei A.1.3 x1 ≤ · · · ≤ xN .
(
(1/2)(XN/2 + X(N/2)+1 ), falls N gerade ist,
Med(ξ) =
X(N +1)/2 ,
falls N ungerade ist.
Der Median liegt in der Mitte der Daten A.1.4. Im Vergleich zum Mittelwert
hat er den Vorteil, robust, d.h. unempfindlich gegenüber extrem abweichenden Daten zu sein.
A.1.1
Mit Methoden der mathematischen Statistik kann man versuchen, die gegebenen Daten
durch ein statistisches Modell, vgl. Abschnitt 1.1.4, für alle in der speziellen vorliegenden Situation
möglichen Daten zu erklären. Innerhalb dieses Modells können anschließend unter Zuhilfenahme
der gegebenen Daten Schlüsse gezogen werden, beispielsweise Schätzer oder Konfidenzintervalle
bestimmt werden.
A.1.2
Vgl. z.B. Abschnitt 1.1.4.
A.1.3Gegebenenfalls ist die Folge (x , . . . , x ) umzuordnen.
1
N
A.1.4Jeweils die Hälfte der Daten ist größer, bzw. kleiner als der Median.
143
144
Name
Vorname
Matrikelnummer
Abschluß
Hauptfächer
...
...
...
Diplom
Diplom
Diplom
Lehramt
Diplom
LA
Diplom
Lehramt
Diplom
Diplom
Lehramt
Mathematik
Mathematik
Mathe
Mathematik
Mathe
Mathe/Engl
Physik
Mathe
Mathematik
Physik
Mathematik
...
...
...
...
...
...
...
...
...
...
...
...
Diplom
Mathematik
Mathe
Lehramt
Lehramt
Mathematik
Mathe/Spanisch
LA
Bachelor Computer Linguistik
Mathe
Lehramt
Diplom
Mathematik
Mathe
Diplom
Mathe/Biologie
LA
Mathe
Lehramt
Master
Informatik
Mathe
Lehramt
Mathe
Lehramt
Diplom
Physik
Lehramt
Mathematik
Mathe
Lehramt
Mathe/Chemie
LA
Mathe
Lehramt
Bachelor
Informatik
Mathe/Chemie
LA
Diplom
Physik
Lehramt
Mathematik
Lehramt
Mathematik
BachMast
Mathe
...
...
Punkte
Übungen
110,5
100,5
119,5
78,0
83,5
72,5
85,5
102,0
69,0
67,5
114,5
72,0
126,5
127,5
121,0
113,5
75,5
100,0
120,5
103,0
106,0
90,5
124,0
48,0
62,0
105,0
111,0
128,0
111,0
77,5
84,0
91,5
85,0
97,0
100,0
113,0
...
Punkte
Klausur
17,5
19,5
28,0
19,0
24,5
16,0
16,0
23,0
12,0
9,0
15,5
2,0
22,0
23,5
23,0
23,5
3,5
13,5
17,0
21,0
23,5
15,0
23,5
17,5
19,0
22,5
23,5
24,5
20,5
19,0
2,0
23,0
11,0
25,0
21,0
19,5
...
Note
Übungen
1,84
2,26
1,45
3,23
2,99
3,46
2,91
2,20
3,61
3,68
1,66
3,49
1,15
1,11
1,39
1,71
3,34
2,29
1,41
2,16
2,03
2,69
1,26
4,51
3,91
2,07
1,81
1,09
1,81
3,25
2,97
2,65
2,93
2,41
2,29
1,73
...
Note
Klausur
2,98
2,68
1,44
2,76
1,95
3,20
3,20
2,17
3,78
4,22
3,27
5,24
2,32
2,10
2,17
2,10
5,02
3,56
3,05
2,46
2,10
3,34
2,10
2,98
2,76
2,24
2,10
1,95
2,54
2,76
5,24
2,17
3,93
1,88
2,46
2,68
...
Vorläufige
Note
2,60
2,54
1,44
2,91
2,30
3,28
3,10
2,18
4,00
5,00
2,73
5,00
1,93
1,77
1,91
1,97
5,00
3,14
2,50
2,36
2,07
3,13
1,82
3,49
3,14
2,19
2,00
1,66
2,30
2,92
5,00
2,33
4,00
2,06
2,40
2,36
...
Note
2,50
2,50
1,50
3,00
2,50
3,50
3,00
2,00
4,00
5,00
2,50
5,00
2,00
2,00
2,00
2,00
5,00
3,00
2,50
2,50
2,00
3,00
2,00
3,50
3,00
2,00
2,00
1,50
2,50
3,00
5,00
2,50
4,00
2,00
2,50
2,50
...
Abbildung A.1.1. Notenliste einer Vorlesung. Die persönlichen
Daten sind gelöscht.
Varianz.
N
(A.2)
Var(ξ) =
A.1.5
1 X
(xk − M (ξ))2
N −1
k=1
Die Varianz charakterisiert die Schwankungen der Daten ξ um ihren Mittelwert.
Schiefe.
N
1
1 X
Schiefe(ξ) =
(xk − M (ξ))3
Var(ξ)3/2 N
k=1
Die Schiefe beschreibt, wie unsymmetrisch die Daten ξ bzgl. ihre Mittelwerts
verteilt sind A.1.6 A.1.7.
Beispiel A.1.1. Die Noten der Hörer einer Vorlesung liegen zunächst in einer
Tabelle vor A.1.8. Innerhalb der Gesamtheit aller Hörer werden zwei Teilgruppen A
und B speziell untersucht A.1.9.
A.1.5Der Faktor 1/(N − 1) wird anstelle des zunächst evtl. zu erwartenden Faktors 1/N
gewählt, weil nun, vom Standpunkt der mathematischen Statistik aus betrachtet, zumindest für
unabhängige, identisch verteilte Daten durch (A.2) ein erwartungstreuer Schätzer für die Varianz
definiert ist, vgl. Beispiel 6.13.
A.1.6Wenn die Daten ξ symmetrisch bzgl. M (ξ) verteilt sind, ist Schiefe(ξ) = 0. Ansonsten
wird Schiefe(ξ) mit wachsender Asymmetrie der Daten größer.
A.1.7
Offensichtlich ist Schiefe(ξ) = Schiefe(ξα ), wobei ξα = (αx1 , . . . , αxN ) durch Reskalierung mit einem Faktor α > 0 aus ξ entsteht. Diese Skalierungsinvarianz kann als ein Grund für
die Wahl von Var(ξ)−3/2 zur Normierung der Schiefe betrachtet werden.
A.1.8
Vgl. Abbildung A.1.1.
A.1.9
Insgesamt gibt es 138 Hörer. Die Gruppe A (B) umfaßt hierbei 35 (41) Hörer.
29. September 2009
145
Gesamtnotenverteilung
40
35
Häufigkeit
30
25
20
15
10
5
0
1,0
1,5
2,0
2,5
3,0
3,5
4,0
5,0
6,0
Noten
Abbildung A.1.2. Notenverteilung aller Hörer der Vorlesung.
Die jeweiligen Notenverteilungen können in Diagrammen A.1.10 graphisch dargestellt werden. Deren Informationsfülle umfaßt auch viele zum Teil irrelevante Details. Wesentliche Eigenschaften können allerdings durch Kennzahlen ausgedrückt
werden A.1.11.
Mit den Kennzahlen ist es insbesondere möglich, die Unterschiede zwischen
den drei Gruppen quantitativ zu beschreiben. Beispielsweise erzielen die Hörer in
Gruppe A sowohl im Vergleich zu allen Hörern und noch ausgeprägter im Vergleich
mit den Hörern in Gruppe B im Mittel“ merklich schlechtere Noten A.1.12. Die
”
Gruppe A ist außerdem recht heterogen A.1.13, d.h., die Notenverteilung streut sehr
stark um den Mittelwert.
Vergleicht man abschließend genauer die Diagramme für die verschiedenen Notenverteilungen, so zeigt sich, daß die Gruppe A einen überproportional hohen
Anteil an Hörern mit guten, bzw. auch mit schlechten Noten hat A.1.14. Insgesamt
scheint die Gruppe A neben etlichen Hörern mit überdurchschnittlichen Leistungen
auch relativ viele untalentierte, bzw. uninteressierte Hörer zu enthalten. Die Gruppe B enthält geringere Anteile von Hörern mit sehr guten, bzw. sehr schlechten
Noten. Eine Tendenz zu guten Noten ist allerdings deutlich zu erkennen A.1.15. Die
Gruppe B scheint viele Hörer zu umfassen, denen es gelingt, durch konzentriertes
Arbeiten ihre Leistung wesentlich zu verbessern.
A.1.10
Vgl. Abbildungen A.1.2 - A.1.4.
Vgl. Abbildung A.1.5.
A.1.12
Diese Aussage ergibt sich durch einen Vergleich der Mittelwerte und der Mediane.
A.1.13
Man vergleiche die Varianzen. Die Notenverteilung der Gruppe A besitzt insbesondere
eine wesentlich größere Varianz als die Notenverteilung der Gruppe B.
A.1.14Die Gruppe A enthält 3 (5) von zusammengenommen 8 (12) Hörern mit der Note 1
(5). Im Gegensatz dazu sind 0 (1) solche Hörer in der Gruppe B zu finden.
A.1.15Diese Aussage wird auch durch den niedrigen Mittelwert und die geringe Varianz der
Notenverteilung der Gruppe B deutlich.
A.1.11
29. September 2009
146
Notenverteilung Gruppe A
10
9
8
Häufigkeit
7
6
5
4
3
2
1
0
1,0
1,5
2,0
2,5
3,0
3,5
4,0
5,0
6,0
Noten
Abbildung A.1.3. Notenverteilung der Hörer der Gruppe A.
Notenverteilung Gruppe B
16
14
Häufigkeit
12
10
8
6
4
2
0
1,0
1,5
2,0
2,5
3,0
3,5
4,0
5,0
6,0
Noten
Abbildung A.1.4. Notenverteilung der Hörer der Gruppe B.
In den Diagrammen und den Kennzahlen wird die in der ursprünglichen Notenliste A.1.16 enthaltene Information komprimiert und daher verringert. Ein interessantes Detail, das nur dieser Gesamtliste entnommen werden kann, ist die Tatsache,
daß die beiden leistungsstärksten Hörer der Vorlesung der Gruppe A angehören.
A.1.16Vgl. Abbildung A.1.1.
29. September 2009
147
Alle Hörer
Gruppe A
Gruppe B
Mittelwert Median Varianz Schiefe
2,66
2,50
1,09
0,74
2,97
3,00
1,40
0,17
2,52
2,50
0,56
1,27
Abbildung A.1.5. Kennzahlen für die einzelnen Gruppen von Hörern.
Bei einer abschließenden Bewertung der in diesem Beispiel A.1.1 vorgestellten
Daten und Überlegungen sollte auch berücksichtigt werden, daß die Klausur, deren
Ergebnisse ganz wesentlich in die Notengebung einfließen, am Ende des Semesters,
d.h. in einem Zeitraum, in dem die Belastung der Hörer besonders hoch ist, geschrieben wird. Welchen Wert die einzelnen Hörer der Scheinnote zugewiesen haben und
welchen Aufwand zu ihrer Vorbereitung sie daher im Vergleich mit dem Aufwand
für andere Prüfungen, bzw. ihre Freizeit als angemessen betrachtet haben, geht aus
den vorliegenden Daten nicht hervor A.1.17.
A.1.17Der genannte Aufwand zur Vorbereitung der Klausur bestimmt natürlich ganz wesent-
lich die Note.
29. September 2009
Literaturverzeichnis
[1] L.V. Ahlfors. Complex Analysis, 2nd Edition. McGraw-Hill, 1966.
[2] H. Bauer. Wahrscheinlichkeitstheorie und Grundzüge der Maßtheorie, 2. Auflage. De Gruyter,
1974.
[3] R. Durrett. Probability: Theory and Examples, 2nd Edition. Duxbury Press, 1995.
[4] W. Feller. An Introduction to Probability Theory and its Applications, Volume II, 2nd Edition. Wiley, 1971.
[5] H.-O. Georgii. Stochastik. De Gruyter, 2002.
[6] G. Grimmett, D. Stirzaker. Probability and Random Processes, 3rd Edition. Oxford University Press, 2003.
[7] C. Hesse. Angewandte Wahrscheinlichkeitstheorie. Vieweg 2003.
[8] E. Hewitt, K. Stromberg. Real and Abstract Analysis, Springer Verlag, 1965.
[9] O. Kallenberg. Foundations of Modern Probability, 2nd Edition. Springer, 2002.
[10] U. Krengel. Einführung in die Wahrscheinlichkeitstheorie und Statistik, 7. Auflage. Vieweg
Verlag, 2003.
[11] M. Matsumoto, T. Nishimura. Mersenne twister: a 623-dimensionally equidistributed uniform
pseudo-random number generator. ACM Transactions on Modeling and Computer Simulation 8 (Special issue on uniform random number generation), 3 - 30, 1998.
[12] J. Stoer. Numerische Mathematik 1, 5. Auflage. Springer, 1989.
149