Einführung in die Wahrscheinlichkeitstheorie und die Statistik.

Einführung in die
Wahrscheinlichkeitstheorie und die Statistik
Sommersemester 2010
Vorläufige Version
26. Juli 2010
Karl Oelschläger
Institut für Angewandte Mathematik
Universität Heidelberg
1
5
Anmerkungen zu den Fußnoten
Die folgenden Seiten enthalten zahlreiche Fußnoten.
Diese Fußnoten enthalten:
• Querverweise, Referenzen,
• Ergänzungen,
• Präzisierungen,
• Hinweise auf weiterführende Resultate oder Begriffe,
• Beweise und
• Definitionen.
Sie sind gedacht
• nicht als Haupttext,
• aber als Hilfestellung zum Verständnis des Haupttextes,
• zur Verdeutlichung von Verbindungen innerhalb der Vorlesung und
• für Ausblicke auf Resultate im späteren Verlauf der Vorlesung, bzw. in
weiterführenden Veranstaltungen.
26. Juli 2010
KAPITEL 1
Einleitung und Überblick
Die Wahrscheinlichkeitstheorie und die Statistik, die gelegentlich auch unter
dem Namen Stochastik 1.1 zusammengefaßt werden, sind Disziplinen der Mathematik, die der Beschreibung und der Untersuchung von Gesetzmäßigkeiten, die durch
den 1.2 Zufall“ beeinflußt werden, gewidmet sind.
”
Beispiel 1.1 (Gesetzmäßigkeit in einem zufälligen Geschehen). Eine sehr oft
geworfene faire Münze zeigt in etwa der Hälfte aller Fälle Kopf“. Diese Gesetz”
mäßigkeit wird im sog. Gesetz der großen Zahlen, einem zentralen Resultat der
Wahrscheinlichkeitstheorie, mathematisch gefaßt 1.3.
Beispiel 1.2 (Auswertung zufälliger Beobachtungen). Eine nicht notwendigerweise faire Münze werde mehrmals geworfen. Mit Hilfe der konkreten Wurfergebnisse soll entschieden werden, ob
• die Münze fair ist, bzw.
• wie groß die Wahrscheinlichkeit 1.4 p ist, daß bei einem einzigen Wurf
Zahl“ erscheint 1.5.
”
Methoden zur Beantwortung solcher Fragen werden durch die Statistik bereitgestellt. Beispielsweise können Schätzer oder Konfidenzintervalle für p bestimmt werden. Es besteht auch die Möglichkeit, durch einen Test zu prüfen, ob die Münze
fair ist 1.6.
Beispiel 1.3 (Zufälliges Geschehen ohne eine erkennbare Gesetzmäßigkeit). 1.7
Öffentliche Diskussionsbeiträge von Politikern und Funktionären zur Steuer- oder
1.1In der Einleitung zu [5] findet sich eine Deutung des Wortes Stochastik aus Ursprüngen
im Altgriechischen.
1.2Ein fundamentaler Beitrag der Wahrscheinlichkeitstheorie ist insbesondere eine Beantwortung der Frage, wie Zufall“ mathematisch überhaupt beschrieben werden soll. Die Antwort wird
”
durch die Kolmogorovschen Axiome gegeben.
1.3Das Gesetz der großen Zahlen exisitiert in vielen Variationen. Im vorliegenden Fall beschreibt es die Asymptotik bei Wurfanzahl N → ∞ der relativen Anzahl von Kopf“, d.h. des
”
Quotienten Anzahl von Kopf“/N . Insbesondere wird die Konvergenz dieses Quotienten gegen
”
seinen Erwartungswert, der bei einer fairen Münze 1/2 ist, festgehalten.
Eine vergleichbar grundlegende Bedeutung hat der Zentrale Grenzwertsatz, der im Zusammenhang dieses Beispiels die Asymptotik der zufälligen√Fluktuationen der relativen Anzahl
von Kopf“ um den Erwartungswert 1/2, d.h. genauer von N ((Anzahl von Kopf“)/N − 1/2),
”
”
charakterisiert.
1.4Dieser zentrale Begriff ist zunächst formal zu verstehen. Später wird genauer erläutert
werden, wie Ereignissen gewisse Wahrscheinlichkeiten ∈ [0, 1] zugeordnet werden. Es gilt: Ein
Ereignis mit Wahrscheinlichkeit 0 tritt (fast) sicher nicht ein, ein Ereignis mit Wahrscheinlichkeit 1 tritt (fast) sicher ein, allgemein tritt ein Ereignis mit größerer Sicherheit ein, je höher seine
Wahrscheinlichkeit ist.
1.5Die zu bestimmende Wahrscheinlichkeit ist 1/2, falls die Münze fair ist.
1.6Die Begriffe Schätzer, Konfidenzintervall und Test sind in der Statistik grundlegend. Sie
beschreiben spezielle Methoden, beobachtete Daten auszuwerten.
1.7Solche Phänomene, denen keine Gesetzmäßigkeit zugrundeliegt, werden in der Stochastik
nicht behandelt.
7
8
Rentengesetzgebung sind gelegentlich durch unkalkulierbare Einflüsse wie Wahlkampfvorbereitungen, Profilierungssucht, Lobbytätigkeit, . . . bestimmt. Eine Bearbeitung derartiger Äußerungen mit Methoden der Stochastik scheint nicht möglich
zu sein.
Mathematische Gesetzmäßigkeiten z.B. in der Natur, der Technik oder der
Wirtschaft 1.8 werden mit Hilfe von Modellen formuliert 1.9 und untersucht 1.10.
Daher ist das zentrale Thema dieser Vorlesung die Bildung und Untersuchung von
Modellen in der Wahrscheinlichkeitstheorie und der Statistik 1.11.
1.1. Konzepte und Methoden in Wahrscheinlichkeitstheorie und
Statistik
Im Rahmen einer speziellen Anwendung werden in diesem Abschnitt 1.1 einige
typische Fragestellungen und übliche Vorgehensweisen in der Wahrscheinlichkeitstheorie und der Statistik erläutert.
Es sei angenommen, daß in einem Industriebetrieb N gleichartige Produktionsstücke 1.12 zufällig ausgewählt und auf ihre Fehlerfreiheit getestet werden.
• Zunächst soll die Gesamtheit der möglichen Prüfungsdaten für die verschiedenen Produktionsstücke, d.h. die Struktur und die Eigenschaften
dieser Daten, analysiert werden 1.13.
• Weiterhin soll untersucht werden, wie aus konkreten Prüfungsergebnissen
Rückschlüsse auf die Verarbeitungsqualität des Betriebs gezogen werden
können 1.14.
1.1.1. Einfache Modellannahmen. 1.15 Es sei angenommen, daß
(i) ein einzelnes Produktionsstück mit einer vorerst noch unbekannten Wahrscheinlichkeit p ∈ [0, 1] fehlerhaft ist 1.16, und daß
(ii) die Qualitätseigenschaften der jeweiligen Produktionsstücke voneinander
unabhängig 1.17 sind.
1.8Dies betrifft alle Arten von Anwendungen, auch solche in denen kein Zufall involviert ist.
1.9Bei der Formulierung eines Modells werden alle bekannten, für wichtig erachteten Merkma-
le der jeweiligen Anwendung mathematisch formuliert. Vermeintlich unwesentliche Details werden
ignoriert, wie z.B. bei der Modellierung des Wurfs eines Würfels dessen Farbe.
1.10Nicht offensichtliche, sich als Konsequenzen spezieller Voraussetzungen, bzw. Modellannahmen ergebende Eigenschaften werden bewiesen.
1.11Eine mathematische Behandlung von Beispiel 1.3 scheitert an der Schwierigkeit, bzw.
Unmöglichkeit ein vernünftiges Modell für die angesprochenen Äußerungen zu entwerfen.
1.12Je nach Branche könnten dies Glühlampen, Speicherchips oder auch PKW’s sein.
1.13In diesem Kontext werden insbesondere Methoden der Wahrscheinlichkeitstheorie angewandt.
1.14Bei diesem Vorhaben kommen Methoden der Statistik zur Geltung.
1.15Mathematische Modelle gehen immer von Annahmen aus, die plausibel, widerspruchsfrei
und mit der zugrundeliegenden Realität verträglich sein sollen. Zur Klärung der Frage, ob diese
Annahmen ausreichend sind oder aber verändert bzw. ergänzt werden sollten, müssen vorhandene
Daten und Fakten berücksichtigt, evtl. weitere Messungen und Experimente vorgenommen und
auch die mathematischen Konsequenzen des Modells mit der Realität verglichen werden.
1.16Mit dieser Annahme wird u.a. auch zum Ausdruck gebracht, daß die Qualität des Herstellungsprozesses keinen systematischen Schwankungen unterliegt: Jedes Produktionsstück besitzt
die gleiche Chance“, fehlerfrei zu sein.
”1.17
Der Begriff der Unabhängigkeit, der in der Umgangssprache eine klare Bedeutung hat,
bzw. seine mathematisch präzisierte Formulierung wird in der Stochastik außerordentlich oft verwendet. Die Unabhängigkeit von zwei Ereignissen A und B besagt, daß die Wahrscheinlichkeit,
mit der A eintritt, sich nicht ändert, wenn bekannt wird, daß B eingetreten ist.
Hier beschreibt die Unabhängigkeit der . . . Produktionsstücke“ eine gewisse Optimalität“
”
”
des Herstellungsprozesses: Auch wenn ein defektes Produktionsstück gefunden wird, so hat dennoch das nächste wieder alle Chancen“, fehlerfrei zu sein.
”
26. Juli 2010
9
Bemerkung. Völlig analoge Modellannahmen machen auch in anderen Situationen einen Sinn, z.B. bei Alkoholkontrollen im Straßenverkehr, beim Prüfen
der Wirksamkeit eines neuen Medikaments durch seine Verabreichung an Testpersonen oder bei der Untersuchung von Schlachtvieh auf spezielle Krankheiten. In
diesen Fällen wären die Produktionsstücke durch Autofahrer, Testpersonen, bzw.
Schlachttiere zu ersetzen. Außerdem wäre dann p die Wahrscheinlichkeit für einen
festgestellten Alkoholkonsum, eine positive Wirkung des Medikaments, bzw. das
Vorliegen einer Erkrankung 1.18.
Die Modellannahmen (i) und (ii) kann man zunächst
• innerhalb der Wahrscheinlichkeitstheorie in ein mathematisches Modell
der Gesamtheit der möglichen Prüfungsdaten für die verschiedenen Produktionsstücke umsetzen. Für dieses wahrscheinlichkeitstheoretische Modell lassen sich mathematische Resultate herleiten, beispielsweise über Erwartungswerte oder die Asymptotik bei N → ∞ 1.19. Aufbauend auf dem
wahrscheinlichkeitstheoretischen Modell und den hierzu gewonnenen Erkenntnissen kann in einem weiteren Schritt
• innerhalb der Statistik 1.20 ein mathematisches Modell zur Auswertung
real vorliegender Prüfungsergebnisse entwickelt werden. Im Rahmen dieses
statistischen Modells können z.B. Verfahren erarbeitet werden, die eine
Schätzung des wahren“ Parameters p = pw 1.21 aus konkret erhobenen
”
Daten 1.22 ermöglichen.
1.1.2. Ein wahrscheinlichkeitstheoretisches Modell. Die Annahmen (i)
und (ii) in Abschnitt 1.1.1 können in einer mathematischen Struktur (ΩN , FN , PN,p )
zusammengefaßt werden 1.23:
• ΩN = {0, 1}N = (ω1 , ω2 , . . . , ωN ) : ωk ∈ {0, 1}, k = 1, . . . , N beschreibt die Menge der möglichen Stichproben. ωk = 1, bzw. ωk = 0,
bedeutet, daß das k-te Produktionsstück 1.24 defekt, bzw. nicht defekt
ist. ΩN wird Stichprobenraum genannt.
• Die Menge 1.25 FN = {A : A ⊆ ΩN } = Pot(ΩN ) beschreibt die Familie
aller Ereignisse. Beispielsweise sind
N
X
ωi = r , r = 0, . . . , N,
(1.1)
Ar = ω ∈ ΩN :
i=1
1.18Um alle diese möglichen unterschiedlichen Situationen gleichzeitig behandeln zu können
und um irrelevante, spezielle Details aus dem Blickfeld zu drängen, wird in der Stochastik oft
der mehrmalige, unabhängige Wurf einer Münze betrachtet, die mit Wahrscheinlichkeit p Zahl“
”
zeigt. Wenn p = 1/2 ist, nennt man diese Münze fair, sonst wird sie als unfair bezeichnet.
1.19In jenen Überlegungen nimmt die Fehlerwahrscheinlichkeit p einen fest vorgegebenen
Wert an.
1.20Genaugenommen ist hier die mathematische, induktive oder schließende Statistik gemeint. Im Gegensatz dazu werden in der deskriptiven, beschreibenden oder empirischen Statistik
die Prüfungsdaten nur geeignet zusammengefaßt, beispielsweise in graphischen Darstellungen oder
Kennzahlen.
1.21Hiermit ist dasjenige p gemeint, das dem speziellen Produktionsprozeß, für den die
Prüfungen durchgeführt werden, zugeordnet ist.
1.22
D.h. aus den Prüfungsergebnissen für N ausgewählte Produktionsstücke.
1.23Mit der Struktur (Ω , F , P
N
N
N,p ) und den Eigenschaften ihrer Komponenten werden auf
eine elementare Weise die Kolmogorovschen Axiome erfüllt. Insbesondere erlaubt diese Struktur,
ein sog. Wahrscheinlichkeitsraum, die Modellannahmen (i) und (ii) aus Abschnitt 1.1.1 und die
dadurch ausgedrückten Zufallsmechanismen“ im Rahmen der Mathematik zu realisieren.
”
1.24Hier wird implizit
angenommen, daß die Produktionsstücke durchnumeriert werden.
1.25Pot(S) bezeichnet die Potenzmenge, d.h. die Menge aller Teilmengen einer Menge S.
26. Juli 2010
10
(1.2)
(1.3)
die Ereignisse, daß jeweils genau r der getesteten Produktionsstücke defekt
sind 1.26.
• Jedem Ereignis A ∈ FN wird durch PN,p [A] ∈ [0, 1] seine Wahrscheinlichkeit zugeordnet 1.27. In Übereinstimmung mit der Modellannahme (i)
wird beispielsweise
PN,p {ω ∈ ΩN : ωi = 1} = p,
PN,p {ω ∈ ΩN : ωi = 0} = 1 − p, i = 1, . . . , N,
festgesetzt. Weiterhin ist
"
PN,p [Ar ] = PN,p
[
ω∈Ar
wobei
(1.4)
PN,p [{ω}] =
1.29
{ω} =
N
Y
i=1
= p
#
PN
1.28
PN,p [{ω}],
ω∈Ar
pωi (1 − p)1−ωi
|
{z
}
(
p,
falls ωi = 1,
=
1 − p, falls ωi = 0,
i=1
ωi
(1 − p)N −
= pr (1 − p)N −r ,
(1.5)
X
PN
i=1
ωi
ω ∈ Ar .
Es gibt Nr Möglichkeiten für die Einordnung“ von r defekten Produk”
tionsstücken
in die Folge aller N geprüften Produktionsstücke, d.h. 1.30
|Ar | = Nr . Mit (1.3) und (1.4) folgt daher
N r
PN,p [Ar ] =
p (1 − p)N −r , r = 0, . . . , N.
r
1.26In einer anderen Sprechweise ist A das Ereignis, daß die gezogene Stichprobe genau r
r
”
defekte Produktionsstücke umfaßt“.
1.27Bei einem festen N hängt die Wahrscheinlichkeit eines Ereignisses von dem innerhalb
dieses wahrscheinlichkeitstheoretischen Modells als zwar fest, aber beliebig betrachteten Parameter
p ab. ΩN und FN hingegen sind von p unabhängig.
1.28Die Wahrscheinlichkeiten disjunkter Mengen addieren sich, d.h., wenn Ereignisse A und
B aufgrund von A ∩ B = ∅ sich gegenseitig ausschließen, gilt
(∗)
PN,p [A oder B] = PN,p [A ∪ B] = PN,p [A] + PN,p [B].
Somit addieren sich in diesem Fall die Einzelwahrscheinlichkeiten. Die Beziehung (∗) entspricht der
Anschauung, d.h., dem intuitiven Verständnis des Begriffs Wahrscheinlichkeit“. Im Rahmen der
”
Wahrscheinlichkeitstheorie wird (∗) als ein Bestandteil der Kolmogorovschen Axiome gefordert.
Im konkreten
hier¯betrachteten Fall muß berücksichtigt werden, daß Ar aus den disjunkten
˘
Mengen {ω} : ω ∈ Ar besteht.
1.29Da nach der Modellannahme (ii) die Qualitätseigenschaften der Produktionsstücke unabhängig sind, gilt z.B.
PN,p [1. Produktionsstück defekt, 2. Produktionsstück nicht defekt]
= PN,p [{ω ∈ ΩN : ω1 = 1, ω2 = 0}]
= PN,p [{ω ∈ ΩN : ω1 = 1} ∩ {ω ∈ ΩN : ω2 = 0}] = p(1 − p).
Wenn allgemein zwei Ereignisse A und B unabhängig sind, gilt die Beziehung
(∗1 )
PN,p [A und B] = PN,p [A ∩ B] = PN,p [A]PN,p [B],
d.h. die Einzelwahrscheinlichkeiten werden multipliziert. (∗1 ) entspricht der Anschauung, d.h.,
dem intuitiven Verständnis von Unabhängigkeit“. Im Rahmen der Wahrscheinlichkeitstheorie
”
wird (∗1 ) als Definition der Unabhängigkeit von zwei Ereignissen benutzt, vgl. (3.16).
1.30Mit |M | wird die Mächtigkeit einer endlichen Menge M bezeichnet.
26. Juli 2010
11
Somit ist die Anzahl der defekten Produktionsstücke binomialverteilt mit
den Parametern N und p 1.31.
Die nun konstruierte Struktur (ΩN , FN , PN,p ) ist ein einfaches Beispiel eines
Wahrscheinlichkeitsraums. Mit ihm liegt ein wahrscheinlichkeitstheoretisches Modell für die hier behandelte Qualitätsprüfung von Produktionsstücken vor 1.32.
Mit dem Wahrscheinlichkeitsraum (ΩN , FN , PN,p ) sind auch Zufallsvariablen,
d.h. gewisse reellwertige Funktionen auf ΩN , gegeben 1.33, wie z.B.:
• Yi : ΩN → R, i = 1, . . . , N , mit
(1.6)
Yi (ω) = ωi , ω = (ω1 , . . . , ωN ) ∈ ΩN ,
i = 1, . . . , N.
Yi gibt das Testergebnis für das i-te Produktionsstück an
• ZN : ΩN → R mit
(1.7)
ZN (ω) =
N
1 X
ω i , ω ∈ ΩN ,
N i=1
d.h., ZN =
1.34
.
N
1 X
Yi .
N i=1
ZN gibt die relative Anzahl defekter Produktionsstücke an.
• TN : ΩN → R mit
TN (ω) =
(
inf i ∈ {1, ..., N } : ωi = 1 ,
N + 1,
TN modelliert den Zeitpunkt
Produktionsstücks.
1.35
PN
falls
i=1 ωi > 0,
sonst,
ω ∈ ΩN .
der ersten Beobachtung eines defekten
1.31Die Binomialverteilung ist eine der klassischen Wahrscheinlichlichkeitsmaße oder -ver-
teilungen, die in der Stochastik häufig betrachtet werden.
1.32Nach der axiomatischen Begründung der Wahrscheinlichkeitstheorie u.a. durch A.N.
Kolmogorov liegt jedem wahrscheinlichkeitstheoretischen Modell ein Wahrscheinlichkeitsraum zugrunde. Für einen allgemeinen Wahrscheinlichkeitsraum (Ω, F, P) ist nach den Kolmogorovschen
Axiomen Ω eine Menge, F eine σ-Algebra bestehend aus der Menge aller Ereignisse, d.h. einer
geeigneten Menge von Teilmengen von Ω, und P ein Wahrscheinlichkeitsmaß, das jedem A ∈ F
eine Wahrscheinlichkeit P[A] ∈ [0, 1] zuweist. Ein Wahrscheinlichkeitsraum kann auch betrachtet
werden als ein meßbarer Raum (Ω, F), der durch ein Wahrscheinlichkeitsmaß eine Gewichtung der
meßbaren Mengen F erfährt.
Im allgemeinen ist F 6= Pot(Ω), da andernfalls eine vernünftige Definition von P nicht möglich
zu sein braucht, vgl. [5], Satz (1.5).
1.33Allgemein müssen diese Funktionen meßbar sein und damit eine in der Stochastik übliche
Minimalforderung für Funktionen erfüllen. Da im vorliegenden Fall die σ-Algebra FN alle Teilmengen von ΩN umfaßt, sind automatisch alle reellwertigen Funktionen auf ΩN meßbar.
1.34Wenn man die Zufallsvariablen Y , i = 1, . . . , N , als eine Gesamtheit (Y )
i
i i=1,...,N betrachtet, erhält man ein einfaches Beispiel eines stochastischen Prozesses.
Im allgemeinen sind stochastische Prozesse (Yt )t∈T Familien Yt , t ∈ T, von Zufallsvariablen,
die durch eine Menge T ⊆ R indiziert sind, welche als ein Bereich von Zeitpunkten betrachtet
werden kann. Stochastische Prozesse dienen u.a. der Modellierung dynamischer, vom Zufall beeinflußter Vorgänge.
1.35Es sei angenommen, daß die Tests in aufeinanderfolgenden Zeitpunkten durchgeführt
werden. Aufgrund von (1.6) ist in diesem Zusammenhang die Identifizierung der Folge der Zufallsvariablen Yi , i = 1, . . . , N , mit dem stochastischen Prozeß (Yi )i=1,...,N naheliegend, vgl.
Fußnote 1.34.
26. Juli 2010
12
Solche Zufallsvariablen können als Darstellungen von Verfahren zur Erhebung
von Daten betrachtet werden 1.36 1.37. Vor allem auch durch das Studium von Zufallsvariablen kann das durch (ΩN , FN , PN,p ) gegebene wahrscheinlichkeitstheoretische
Modell genauer untersucht werden 1.38.
1.1.3. Wahrscheinlichkeitstheoretische Untersuchungen. In der Wahrscheinlichkeitstheorie werden primär für einen gegebenen Wahrscheinlichkeitsraum
darauf definierte Zufallsvariablen mathematisch studiert 1.39. Detaillierte Überlegungen, die reale Meßwerte einschließen, treten in den Hintergrund.
Für das in Abschnitt 1.1.2 beschriebene Modell können in der Wahrscheinlichkeitstheorie beispielsweise Kenngrößen wie Erwartungswerte oder Varianzen spezieller auf dem Wahrscheinlichkeitsraum (ΩN , FN , PN,p ) definierter Zufallsvariablen
berechnet werden. Man kann auch die Fälle N → ∞ und / oder p → 0 betrachten und Resultate ableiten, die das asymptotische Verhalten charakterisieren. In
den folgenden Beispielen 1.4 - 1.7 werden insbesondere die Zufallsvariablen 1.40 ZN
untersucht.
Beispiel 1.4 (Erwartungswert). Allgemein ist der Erwartungswert E[X] einer
reellwertigen Zufallsvariable X definiert als ein gewichtetes Mittel über den Wertebereich von X. Die Gewichte sind hierbei gegeben durch die Wahrscheinlichkeiten,
mit der die jeweiligen Werte von X angenommen werden, d.h. durch die Verteilung
von X 1.41 1.42 1.43.
(1.8)
EN,p [ZN ] =
N
hn
X
k
k oi
PN,p ω ∈ ΩN : ZN (ω) =
N |
N }
{z
k=0
= 1.44 PN,p [ZN = k/N ]
=
1.45
=
1.46
N
1 X
kPN,p [Ak ]
N
k=0
N
N
1 X
pk (1 − p)N −k
k
N
k
k=1 | {z }
N −1
N!
=N
=k
k!(N − k)!
k−1
1.36
Für jede mögliche Stichprobe ω ∈ ΩN ist z.B. mit ZN (ω) die relative Anzahl der defekten
Produktionsstücke gegeben.
1.37
Im mathematischen Gebiet der Statistik werden Zufallsvariablen auch als Statistiken
bezeichnet.
1.38Aus diesem Grund ist es auch sinnvoll, alle oder zumindest eine als wichtig erachtete
Familie von Zufallsvariablen zusammen mit dem Wahrscheinlichkeitsraum (ΩN , FN , PN,p ) als
wahrscheinlichkeitstheoretisches Modell zu bezeichnen.
1.39
Beispielsweise werden Sätze bewiesen, Verbesserungen und Verallgemeinerungen gesucht
oder Verbindungen zu anderen Teilgebieten der Mathematik hergestellt.
1.40Vgl. (1.7).
1.41Der Erwartungswert entspricht somit dem intuitiven Begriff des Mittelwerts“.
”
1.42Der Erwartungswert existiert, wenn jenes gewichtete Mittel wohldefiniert
ist. Das ist z.B.
für integrable, bzw. für nicht-negative Zufallsvariablen der Fall.
1.43Um die zugrundeliegenden Parameter N und p, d.h. den Bezug zum Wahrscheinlichkeitsmaß PN,p hervorzuheben, wird im folgenden die Notation EN,p [. . . ] benutzt.
1.44
Dies ist eine abkürzende Schreibweise.
1.45
Vgl. (1.1). Insbesondere ist {ω ∈ ΩN : ZN (ω) = k/N } = Ak , k = 1, . . . , N .
1.46
Vgl. (1.5).
26. Juli 2010
13
N X
N − 1 k−1
=p
p
(1 − p)N −1−(k−1)
k−1
k=1
{z
}
|
N
−1 X
N −1 l
=
p (1−p)N −1−l = (p + (1−p))N −1 = 1
l
l=0
=
1.47
p.
Beispiel 1.5 (Varianz). Die Varianz Var(X) einer reellwertigen Zufallsvariable
X ist definiert als der Erwartungswert der quadratischen Abweichung von X von
ihrem Erwartungswert E[X]. Sie charakterisiert die Größe der Schwankungen von
X um E[X] 1.48.
(1.9)
VarN,p (ZN ) = EN,p (ZN − EN,p [ZN ])2
=
N X
k
k=0
N
= ...
=
1.49
−p
2
PN,p [ZN = k/N ]
1
p(1 − p).
N
1.47Eine einfachere Begründung von (1.8) wäre folgende:
(a) Die Zuordnung X → E[X], die jeder reellwertigen Zufallsvariable X auf einem Wahrscheinlichkeitsraum (Ω, F, P), die einen Erwartungswert besitzt, diesen Erwartungswert
E[X] zuordnet, ist ein linearer Operator, d.h., es gilt
X, Y Zufallsvariablen, α, β ∈ R.
E[αX + βY ] = αE[X] + βE[Y ],
(b) Bei Berücksichtigung von (1.7) folgt somit
EN,p [ZN ] =
N
1 X
EN,p [Yi ],
N i=1
wobei die Zufallsvariablen Yi , i = 1, . . . , N , in (1.6) eingeführt wurden.
(c) Aufgrund von (1.2) ist
EN,p [Yi ] = PN,p [Yi = 1] · 1 + PN,p [Yi = 0] · 0 = p,
i = 1, . . . , N.
(d) Zusammenfassend folgt nun
EN,p [ZN ] =
N
1 X
p = p.
N i=1
Durch wenige simple Berechnungen wie in (c) und (d) und ein allgemeines Resultat der Stochastik, genauer der Maß- und Integrationstheorie, wie in (a) erübrigen sich somit aufwendigere,
langweilige Berechnungen wie bei der obigen Herleitung von (1.8).
1.48Nicht für alle Zufallsvariablen X ist Var(X) < ∞. Eine Zufallsvariable X mit Var(X) = 0
nimmt fast-sicher nur den Wert E[X] an, d.h., X ist deterministisch.
1.49Zur Begründung von (1.9) könnte man detaillierte Berechnungen wie bei der Herleitung
von (1.8) in Beispiel 1.4 durchführen. Andererseits könnte mit Hilfe allgemeiner Zusammenhänge
der Wahrscheinlichkeitstheorie auch wie folgt argumentiert werden.
P
(a) Gemäß (1.7) ist ZN = (1/N ) N
i=1 Yi eine gewichtete Summe der Zufallsvariablen Yi ,
i = 1, . . . , N . In Übereinstimmung mit der Modellannahme (ii) in Abschnitt 1.1.1 sind
diese Zufallsvariablen (stochastisch) unabhängig.
(b) Für unabhängige Zufallsvariablen X und Y auf einem Wahrscheinlichkeitsraum
(Ω, F, P) und α, β ∈ R gilt allgemein die Beziehung:
Var(αX + βY ) = α2 Var(X) + β 2 Var(Y ).
(c) Wegen (1.2), weil EN,p [Yi ] = p, i = 1, . . . , N , vgl. Fußnote 1.47(c), und wegen der
Linearität des Operators EN,p [ . ], vgl. Fußnote 1.47(a), ergibt sich:
VarN,p (Yi ) = EN,p [(Yi − p)2 ]
26. Juli 2010
14
Beispiel 1.6 (Gesetz der großen Zahlen). 1.50 Die Beziehungen (1.8) und (1.9)
besagen, daß die Schwankungen der Zufallsvariablen ZN um ihren Erwartungswert
p mit wachsendem N immer kleiner werden. Mit Hilfe eines allgemeinen Resultats
aus der Wahrscheinlichkeitstheorie, der Čebyšev’schen Ungleichung 1.51
(1.10)
1
P |X − E[X]| ≥ ǫ ≤ 2 Var(X),
ǫ
X Zufallsvariable, ǫ > 0,
läßt sich diese Aussage genauer fassen. Es ergibt sich die Konvergenz von ZN gegen
p bei N → ∞ in der Form
(1.11)
1
PN,p |ZN − p| ≥ ǫ ≤ 2 VarN,p (ZN )
ǫ
1
N →∞
= 2 p(1 − p) −−−−→ 0,
ǫ N
ǫ > 0.
Das in (1.11) beschriebene Konvergenzresultat ist auch als schwaches Gesetz der
großen Zahlen bekannt 1.52 1.53.
Beispiel 1.7 (Zentraler Grenzwertsatz). Eine Präzisierung der durch (1.11) beschriebenen Konvergenz von ZN wird durch den Zentralen Grenzwertsatz gegeben.
Während das Gesetz der großen Zahlen ohne Angabe einer KonvergenzgeschwinN →∞
digkeit nur besagt, daß ZN − p −−−−→ 0 bzgl. eines geeigneten Konvergenzbegriffs,√identifiziert der Zentrale Grenzwertsatz diese Konvergenzgeschwindigkeit
als
√
∼ 1/ N . In einer genauen Formulierung wird festgestellt, daß die mit N skalierten Fluktuationen von ZN um den Erwartungswert p für N → ∞ normalverteilt
= EN,p [Yi2 ] − 2EN,p [Yi ]p + p2 = p − p2 = p(1 − p),
i = 1, . . . , N.
(d) Zusammenfassend folgt (1.9), d.h.,
VarN,p (ZN ) =
N
N
1 X
1
1 X
p(1 − p).
VarN,p (Yi ) = 2
p(1 − p) =
2
N i=1
N i=1
N
1.50
In diesem Beispiel 1.6 ist N nicht mehr fest, sondern kann beliebige Werte in N annehmen.
Um insbesondere große N zu behandeln, wird der Grenzübergang N → ∞ diskutiert.
1.51Damit (1.10) eine brauchbare Information liefert, sollte Var(X) < ∞ vorausgesetzt werden. Die Čebyšev’sche Ungleichung ist eine der vielen Ungleichungen, die in den mathematischen
Untersuchungen in der Stochastik unverzichtbar sind.
1.52Es gibt auch ein starkes Gesetz der großen Zahlen für Z , N ∈ N. Die beiden VariN
anten des Gesetzes der großen Zahlen unterscheiden sich durch den jeweils zur Feststellung der
Konvergenz von ZN gegen p verwendeten Konvergenzbegriff. Während bei der Formulierung des
schwachen Gesetzes der großen Zahlen wie in (1.11) die stochastische Konvergenz benutzt wird,
findet beim starken Gesetz der großen Zahlen die fast-sichere Konvergenz Verwendung.
Die hier genannten und auch andere Konvergenzbegriffe werden in der Maß- und Integrationstheorie genauer untersucht. U.a. werden dort die Beziehungen zwischen den unterschiedlichen
Konvergenzkonzepten verdeutlicht. So folgt beispielsweise die stochastische Konvergenz aus der
fast-sicheren. Daher impliziert das starke Gesetz der großen Zahlen das schwache, wodurch insbesondere die gewählte Namensgebung gerechtfertigt wird.
1.53
In einer allgemeineren Form wird beim Gesetz der großen Zahlen die Konvergenz
N
1 X
N→∞
Xk −−−−→ E[X1 ]
N k=1
für unabhängige, identisch verteilte, integrable Zufallsvariablen X1 , X2 , . . . festgestellt.
26. Juli 2010
15
sind, d.h.
(1.12)
1.54 1.55 1.56 1.57
p
N/p(1 − p)(ZN − p) ∈ [a, b]
Z b
1
dx exp(−x2 /2), a, b ∈ R, a < b.
= √
2π a
lim PN,p
N →∞
1.1.4. Ein statistisches Modell. Die Aufgabe, die Qualität des Produktionsverfahrens zu prüfen 1.58, soll nun mit Methoden der Statistik bearbeitet werden. Basierend auf dem in Abschnitt 1.1.2 eingeführten und in Abschnitt 1.1.3 untersuchten wahrscheinlichkeitstheoretischen Modell der Gesamtheit der möglichen
Prüfungsdaten für die einzelnen Produktionsstücke sei angenommen 1.59, daß
• diesem Produktionsprozeß eine wahre“, allerdings unbekannte Fehler”
wahrscheinlichkeit pw zugeordnet ist, und daß somit
• aufgrund von Qualitätskontrollen vorliegende Prüfungsergebnisse y1 , . . . ,
yN mit
(
1, falls das i-te Produktionsstück fehlerhaft ist,
yi =
i = 1, ..., N,
0, sonst,
Realisierungen 1.60 der Zufallsvariablen Yi , i = 1, . . . , N , auf dem Wahrscheinlichkeitsraum (ΩN , FN , PN,pw ) sind.
Die Aufgabe besteht nun darin, pw zu schätzen, wobei nur die empirisch bestimmten
Daten y1 , . . . , yN der Schätzung zugrundegelegt werden können.
Vor der Lösung der Aufgabe kann ein Statistiker seine Situation folgendermaßen
zusammenfassen 1.61:
1.54Die Normalverteilung N(µ, σ2 ) mit Erwartungswert µ und Varianz σ2 ist ein Wahrscheinlichkeitsmaß auf R, das einem Intervall [a, b], −∞ ≤ a < b ≤ ∞, jeweils die Wahrscheinlichkeit
R
(2πσ2 )−1/2 ab dx exp(−(x − µ)2 /2σ2 ) zuordnet. Die Verteilung N(0, 1), die auf der rechten Seite
von (1.12) auftaucht, wird als standard Normalverteilung bezeichnet.
1.55
Mit (1.12) wird ein weiterer, in der Stochastik üblicher Konvergenzbegriff vorgestellt,
nämlich die sog. Konvergenz
in Verteilung.
Diese Namensgebung wird verständlich, wenn bedacht
ˆ
˜
wird, daß die Größen P X ∈ [a, b] , a, b ∈ R, a < b, die Verteilung einer reellwertigen Zufallsvariable X kennzeichnen.
p Durch (1.12) wird festgehalten, daß bei N → ∞ die Verteilung der Zufallsvariablen
N/p(1 − p) (ZN −p) gegen die standard Normalverteilung N(0, 1), vgl. Fußnote 1.54, konvergiert.
1.56
In einer allgemeineren Form besagt der Zentrale Grenzwertsatz, daß für unabhängige,
identisch verteilte, quadratintegrable Zufallsvariablen X1 , X2 , . . . mit Varianz σ2 ∈ (0, ∞) die
Verteilung der Zufallsvariablen
!
r
N
N
1 X
ηN =
X
−
E[X
]
, N = 1, 2, . . . ,
1
k
σ2 N k=1
bei N → ∞ gegen die standard Normalverteilung N(0, 1) konvergiert, vgl. Satz 9.2.
1.57
Als Präzisierung des Gesetzes der großen Zahlen (1.11) besagt der Zentrale Grenzwertsatz
p
N→∞
(1.12) zumindest formal, daß ZN ∼ p + p(1 − p)/N Z, wobei Z eine normalverteilte Zufallsvariable mit Erwartungswert
√ 0 und Varianz 1 ist. Insbesondere tendiert der Abstand zwischen ZN
und p bei N → ∞ wie 1/ N gegen 0.
1.58Diese Aufgabe war eine Motivation für die Überlegungen dieses Abschnitts 1.1.
1.59Sobald ein mit der Lösung der Aufgabe der Qualitätsprüfung betrauter Statistiker aufgrund der Auskünfte der am Produktionsprozeß beteiligten Personen mit den Modellannahmen
(i) und (ii) in Abschnitt 1.1.1 einverstanden ist, kann er bei seinen Überlegungen das genannte
wahrscheinlichkeitstheoretische Modell akzeptieren und sich darauf verlassen.
1.60Eine Realisierung einer Zufallsvariable X auf einem Wahrscheinlichkeitsraum (Ω, F, P)
ergibt sich als X(ω) nach Auswahl eines zufälligen, dann aber als fest betrachteten ω ∈ Ω.
1.61Offensichtlich reicht nach der Prüfung einer festen Anzahl N von Produktionsstücken
zur Einschätzung der Verarbeitungsqualität, d.h. zu einer vernünftigen Schätzung pc
w von pw ,
allein die Kenntnis der Anzahl fehlerhafter Produktionsstücke. Weitere Details wie die genaue
Reihenfolge ihres Auftretens, sind nicht notwendig.
26. Juli 2010
16
• Es gibt eine Menge XN = {0, 1, 2, . . . , N }, die die möglichen Werte für die
Anzahl der fehlerhaften Produktionsstücke umfaßt. XN wird Stichprobenraum genannt 1.62.
• Die σ-Algebra GN = Pot(XN ) der Teilmengen von XN beschreibt die Ereignisse, auf denen der Statistiker seine Entscheidungen aufbauen kann.
• Auf dem meßbaren Raum (XN , GN ) gibt es mit (QN,p )p∈[0,1] eine Familie von Wahrscheinlichkeitsmaßen. Für eine zugrundeliegende Fehlerwahrscheinlichkeit p beschreibt QN,p die zugehörige Wahrscheinlichkeitsverteilung der Anzahl fehlerhafter Produktionsstücke bei N Stichproben. Aufgrund von (1.5) gilt
(1.13)
QN,p = B(N, p),
p ∈ [0, 1],
wobei B(N, p) die Binomialverteilung mit den Parametern N und p ist.
Die Struktur (XN , GN , (QN,p )p∈[0,1] ) ist ein Beispiel eines statistischen Modells 1.63. In jeder Anwendungssituation ist die Bestimmung eines derartigen Modells die erste Aufgabe eines Statistikers. Seine mathematischen Überlegungen kann
er dann im Rahmen dieses Modells ausführen.
1.1.5. Statistische Untersuchungen. 1.64 In der Realität sind die Ziele und
die Methoden statistischer Überlegungen stark von der konkreten Anwendungssituation abhängig. Für den vorliegenden Fall der Prüfung der Verarbeitungsqualität
sollen drei typische Fragestellungen und ihre jeweilige Lösung durch Methoden der
Statistik vorgestellt werden.
Beispiel 1.8 (Maximum-Likelihood-Schätzer). Ein mögliches Verfahren zur
Bestimmung eines Schätzers 1.65 pc
w für pw basiert auf dem sog. Maximum-Likelihood-Prinzip: Für eine beobachtete Anzahl x fehlerhafter Produktionsstücke wird
pc
w dadurch charakterisiert, daß unter der zugehörigen Verteilung, d.h. unter der
Binomialverteilung 1.66 QN,b
c
w ), jener Wert x die maximale Wahrscheinpw = B(N, p
1.67
1.68
lichkeit hat
. pc
w löst somit
N x
N
x
N −x
(1.14)
p (1 − p)N −x .
(1
−
p
c
)
=
sup
pc
w
w
x
x
p∈[0,1]
1.62In der hier betrachteten speziellen Situation, in der nicht das detaillierte Ergebnis der
Prüfung von N Produktionsstücken, sondern nur die Anzahl der fehlerhaften Teile von Interesse
ist, wird es sinnvoll, mit XN einen Stichprobenraum zu wählen, der übersichtlicher“ ist als der
”
in den Abschnitten 1.1.2 und 1.1.3 benutzte Stichprobenraum ΩN .
1.63Genaugenommen liegt hier ein parametrisches Modell mit dem Parameterbereich Θ =
[0, 1] vor. Θ kennzeichnet die unterschiedlichen Wahrscheinlichkeitsverteilungen QN,p , p ∈ [0, 1],
die als mögliche Kandidaten für die real zugrundeliegende Wahrscheinlichkeitsverteilung QN,pw
der Daten in Frage kommen.
1.64
In diesem Abschnitt sei die Anzahl N der geprüften Produktionsstücke fest.
1.65
Mit pc
w soll die wahre Fehlerwahrscheinlichkeit pw des Produktionsverfahrens geschätzt
werden.
1.66Vgl. (1.13).
1.67Unter allen möglichen p ist also der beobachtete Wert x für jenes pc am wahrscheinlichw
”
sten“.
1.68Etwas allgemeiner mit einem statistischen Modell (X, G, (Q )
p p∈Θ ), wobei X höchstens
abzählbar, G = Pot(X) und Qp , p ∈ Θ, eine Familie von Wahrscheinlichkeitsmaßen auf (X, G) sei,
ist bei einer Anwendung des Maximum-Likelihood-Prinzips zu x ∈ X eine Lösung pb = pb(x) von
(∗)
Qpb[{x}] = sup Qp [{x}]
p∈Θ
zu suchen. Für ein festes x ∈ X bezeichnet man übrigens die Funktion Θ ∋ p → Qp [{x}] = Lx (p) ∈
[0, 1] als Likelihood-Funktion zum Beobachtungswert x. Aufgrund von (∗) ist zur Bestimmung von
pb das Maximum der Likelihood-Funktion zu suchen.
26. Juli 2010
17
Als Maximum-Likelihood-Schätzer, d.h. als Lösung von (1.14), ergibt sich mit 1.69
x
(1.15)
pc
w =
N
die relative Anzahl der defekten Produktionsstücke in der auszuwertenden Stichprobe vom Umfang N .
Der Schätzer pc
w ist insofern zunächst unbefriedigend, als mit ihm keine Angabe
über seine Zuverlässigkeit verbunden ist.
Beispiel 1.9 (Konfidenzbereich). 1.70 Eine vertrauenswürdige, bzw. zuverlässige Schätzung für pw liegt dann vor, wenn ein möglichst kleiner sog. Konfidenzbereich angegeben wird, innerhalb dessen mit einer vorgegebenen hinreichend
”
großen Sicherheit“ 1.71 dieses pw erwartet werden kann. Eine sinnvolle Vorgehensweise besteht darin,
• zunächst ein Irrtumsniveau s ∈ (0, 1) 1.72 zu wählen und dann
• eine Zuordnung XN ∋ x → C(x) = [pu (x), po (x)] ⊆ [0, 1] zu bestimmen,
so daß für alle x das jeweilige Intervall C(x) möglichst klein ist und
• für jedes mögliche pw ∈ [0, 1] bzgl. des zugehörigen Wahrscheinlichkeitsmaßes QN,pw höchstens mit Wahrscheinlichkeit s solche x beobachtet werden, für die C(x) 6∋ pw gilt 1.73.
Wegen (1.13) sollte daher
X N (1.16)
sup
px (1 − p)N −x ≤ s
x
p∈[0,1]
x=0,1,...,N
C(x)6∋p
gelten
1.74 1.75
.
1.69Zur Lösung von (1.14) ist das Maximum der Likelihood-Funktion p → `N ´px (1−p)N−x =
x
Lx (p), bzw. in einer äquivalenten Formulierung das Maximum der Log-Likelihood-Funktion
`` ´ x
´
` ´
p → log(Lx (p)) = log N
p (1 − p)N−x = log N
+ x log(p) + (N − x) log(1 − p) = ℓx (p)
x
x
zu suchen. (1.15) ergibt sich nun aus
x
N −x
x
−
= 0 ⇐⇒ p =
,
p
1−p
N
N −x
x
< 0, p ∈ (0, 1),
ℓ′′
x (p) = − 2 −
p
(1 − p)2
ℓ′x (p) =
und
lim ℓx (p) = lim ℓx (p) = −∞.
pց0
pր1
1.70In den Überlegungen dieses Beispiels wird auf den möglichen Wunsch des Herstellers,
die Einschätzung der Verarbeitungsqualität seines Produkts mit einer Angabe der Zuverlässigkeit
jener Einschätzung zu verbinden, eingegangen.
1.71Eine derartige Phrase muß natürlich mathematisch gefaßt werden.
1.72Man könnte auch von einem Sicherheitsniveau 1 − s sprechen.
1.73Damit wären die umgangssprachlich formulierten Aussagen p 6∈ C(x) für höchstens
” w
s·100 % aller Beobachtungen x“ und pw ∈ C(x) für mindestens (1−s)·100 % aller Beobachtungen
”
x“ zutreffend. Diese Aussagen sind dann unabhängig vom genauen Wert von pw korrekt.
1.74Für C(x) = [0, 1], x ∈ X , ist (1.16) zwar erfüllt, jedoch liefert ein solcher KonfidenzbeN
reich offensichtlich keine brauchbare Information und sollte daher verkleinert werden.
1.75
In einer allgemeineren, im Rahmen eines statistischen Modells (X, G, (Qp )p∈Θ ) gewählten
Formulierung sollte die Zuordnung X ∋ x → C(x) ⊆ Θ so bestimmt werden, daß
ˆ
˜
sup Qp {x ∈ X : C(x) 6∋ p} ≤ s.
p∈Θ
26. Juli 2010
18
Für einen festen Beobachtungswert x und nach der Bestimmung von C(x) kann
nun der Statistiker sein Ergebnis in der folgenden Form präsentieren: Mit einer
”
Sicherheit von mindestens (1 − s) · 100 % liegt pw in dem Intervall C(x)“ 1.76.
Beispiel 1.10 (Testen einer Hypothese). 1.77 Durch einen Vertrag sei der Hersteller der Produktionsstücke zur Zahlung einer Konventionalstrafe verpflichtet,
wenn bei einer Lieferung eine Fehlerquote 1.78 p1 ∈ [0, 1] überschritten wird. Das
Risiko, jene maximale Fehlerwahrscheinlichkeit p1 unbemerkt zu überschreiten, soll
für den Hersteller unter einem vorgegebenen, gerade noch akzeptablen Niveau bleiben 1.79. In einem systematischen statistischen Verfahren besteht
• ein erster Schritt darin, ein Irrtumsniveau t ∈ (0, 1) und
• eine Nullhypothese 1.80
Θ0 = {p ∈ [0, 1] : p ≥ p1 }
(1.17)
festzulegen.
• Für das noch genauer zu bestimmende Entscheidungsschema, einen sog.
Test φ, mit 1.81
(
0, falls p ∈ Θ0 angenommen wird 1.82,
XN ∋ x → φ(x) =
(1.18)
1, falls p 6∈ Θ0 vermutet wird 1.83,
(1.19)
sollte dann einerseits die maximale Irrtumswahrscheinlichkeit bei einer zu
großen Fehlerquote, d.h. bei Gültigkeit der Nullhypothese Θ0 , nicht größer
als t sein 1.84, d.h., es sollte
X
N x
p (1 − p)N −x ≤ t
sup
x
p∈Θ0
{x∈XN :φ(x)=1}
gelten
1.85
.
1.76Die häufig umgangssprachlich verwendete Aussage Mit einer Wahrscheinlichkeit von
”
mindestens (1 − s) · 100 % liegt pw in dem Intervall C(x)“ ist unpräzise und irreführend, da sie
suggeriert, daß pw zufällig ist, was nicht der Fall ist.
1.77
Die nun diskutierte Problemstellung kann für den Hersteller dann relevant werden, wenn
er beim Unterschreiten einer vorher vereinbarten Qualitätsgrenze, bzw. beim Überschreiten einer vorgegebenen Fehlerwahrscheinlichkeit, zur Vermeidung von Regreßforderungen der Kunden
informiert werden will.
1.78
Die Fehlerquote“ sei der relative Anteil der defekten Produktionsstücke. Nach dem Ge”
setz der großen Zahlen, vgl. Beispiel 1.6, wird für große Liefermengen diese Fehlerquote durch die
Fehlerwahrscheinlichkeit, d.h. die Wahrscheinlichkeit, daß ein beliebiges Produktionsstück defekt
ist, approximiert.
1.79Ein akzeptables Niveau“ ist im folgenden bestimmt durch die für den Hersteller noch
”
vertretbare Wahrscheinlichkeit“, bzw. Ungewißheit, mit der die Zahlung der Konventionalstrafe
”
fällig wird.
1.80Die Gültigkeit der Nullhypothese Θ sollte nur auf einem geringen Irrtumsniveau unent0
deckt bleiben, da ihr Übersehen mit hohen Kosten verbunden sein kann.
1.81Bei der genauen Bestimmung von φ(.) werden die Mengen A = {x ∈ X : φ(x) = 0}
0
N
und A1 = {x ∈ XN : φ(x) = 1} = XN \ A0 spezifiziert.
1.82Der Statistiker, der die Datenauswertung vornimmt, kommt zum Ergebnis, daß die Fehlerwahrscheinlichkeit p1 überschritten wird. Er schlägt nun dem Betrieb vor, Verbesserungen im
Produktionsprozeß vorzunehmen.
1.83
Der Statistiker kommt zum Schluß, daß die Fehlerwahrscheinlichkeit p1 nicht erreicht
wird. Der Produktionsprozeß könnte dann beibehalten werden.
1.84Die maximale Wahrscheinlichkeit für einen sog. Fehler 1. Art sollte das Niveau t nicht
überschreiten.
1.85In einem allgemeineren, im Rahmen eines statistischen Modells (X, G, (Q )
p p∈Θ ) formulierten Testproblem sollte für eine gegebene Nullhypothese Θ0 ⊆ Θ der Test φ : X → {0, 1} so
bestimmt werden, daß
sup Qp [{x ∈ X : φ(x) = 1}] ≤ t
p∈Θ0
26. Juli 2010
19
• Andererseits sollte auch im Fall einer eigentlich akzeptablen Fehlerquote p < p1 die entsprechende Irrtumswahrscheinlichkeit möglichst klein
sein 1.86, d.h. 1.87
X
N x
(1.20)
p (1 − p)N −x
x
{x∈XN :φ(x)=0}
!!
= minimal für den zu suchenden Test φ, falls p < p1 .
Nach der Bestimmung eines Tests φ, der (1.18) - (1.20) löst, kann ein Statistiker
diesen folgendermaßen charakterisieren: Die Nullhypothese Θ0 wird in höchstens t·
”
100 % aller Fälle übersehen“ oder auch die Nullhypothese wird mit einer Sicherheit
” 1.88
von mindestens (1 − t) · 100 % erkannt“
. Zusätzlich wird auf das eventuelle
Vorliegen der Alternative p < p1 mit maximaler Zuverlässigkeit hingewiesen“.
”
1.1.6. Zusammenfassung und Ausblick. In der Stochastik werden Gesetzmäßigkeiten in zufälligen Vorgängen mathematisch beschrieben. Hierbei wird mit
mathematischen Modellen gearbeitet.
Im Teilgebiet der Wahrscheinlichkeitstheorie werden die Eigenschaften fest vorgegebener wahrscheinlichkeitstheoretischer Modelle studiert.
Im Teilgebiet der Statistik werden im Rahmen statistischer Modelle reale Beobachtungsdaten interpretiert.
In diesem Abschnitt 1.1 wurden u.a. folgende Begriffe, Konzepte und Resultate
der Stochastik vorgestellt 1.89:
• Wahrscheinlichkeitsraum
(Stichprobenraum, σ-Algebra der Ereignisse, Wahrscheinlichkeitsmaß)
• Zufallsvariable, Verteilung einer Zufallsvariable, stochastischer Prozeß
• Unabhängigkeit
• Erwartungswert, Varianz
• (schwaches bzw. starkes) Gesetz der großen Zahlen
• Zentraler Grenzwertsatz
• Čebyšev’sche Ungleichung
• stochastische bzw. fast-sichere Konvergenz, Konvergenz in Verteilung
• Binomialverteilung, Normalverteilung
• deskriptive und mathematische Statistik
• (parametrisches) statistisches Modell
• Maximum-Likelihood-Prinzip, Schätzer
• Konfidenzbereich
• Testen einer Hypothese
• Maß- und Integrationstheorie
gilt. Analog zu (1.18) hat auch hier φ die Bedeutung
(
0, falls Θ0 akzeptiert wird,
φ(x) =
1, falls Θ0 verworfen wird,
x ∈ X.
1.86Durch diese Forderung soll der sog. Fehler 2. Art möglichst unwahrscheinlich“ werden.
”
Die Gefahr eines falschen Alarms soll möglichst klein werden. Damit soll eine evtl. kostenintensive,
aber überflüssige Änderung des Produktionsprozesses vermieden werden. Insbesondere soll die
Verwendung des trivialen Tests φ ≡ 0, einer offensichtlichen Lösung von (1.19), ausgeschlossen
werden.
1.87
Für alle p < p1 soll in der Klasse aller Tests, die (1.19) erfüllen, das Minimum der linken
Seite von (1.20) durch den zu suchenden Test φ angenommen werden.
1.88Eine Verwendung des Wortes Wahrscheinlichkeit“ anstelle von Sicherheit“ wäre un”
”
präzise, da sie eine nicht vorhandene Zufälligkeit von p suggerieren würde.
1.89Zum Teil wurden diese Begriffe nur in Fußnoten erwähnt.
26. Juli 2010
20
Diese Begriffe spielen zentrale Rollen in den mathematischen Disziplinen Wahrscheinlichkeitstheorie und Statistik. Sie werden im weiteren Verlauf der Vorlesung
immer wieder auftauchen und dann auch mathematisch präzisiert werden.
1.2. (∗) Geschichte der Wahrscheinlichkeitstheorie und der Statistik
Um die Einordnung der Wahrscheinlichkeitstheorie und der Statistik in den
allgemeinen Rahmen der Mathematik und ihre außermathematische Bedeutung anzudeuten, werden in diesem Abschnitt 1.2 einige wenige Entwicklungsphasen und
markante Zeitpunkte festgehalten.
Antike und Mittelalter. Da völlig unklar ist, wie Begriffe wie Zufall oder Wahrscheinlichkeit mathematisch faßbar sind, kann sich noch keine Wahrscheinlichkeitstheorie entwickeln. Einzelne Abhandlungen über Glücksspiele sind
bekannt.
ca. 1655. Ein Briefwechsel zwischen B. Pascal und P. de Fermat u.a. über kombinatorische Probleme bei Glücksspielen wird als Beginn der mathematischen
Disziplin Wahrscheinlichkeitstheorie betrachtet. In einer Abhandlung ebenfalls über Glücksspiele führt Ch. Huygens den Erwartungswert ein.
ca. 1710. U.a. durch Arbeiten von J. Bernoulli (Gesetz der großen Zahlen) und A.
de Moivre (Zentraler Grenzwertsatz) gibt es Fortschritte in der elementaren“
”
Stochastik. Es entwickelt sich das Gebiet der Statistik.
18. und Beginn des 19. Jahrhunderts. In den mathematischen Auseinandersetzungen mit der Stochastik bleiben große Probleme mit kontinuierlichen Wahrscheinlichkeitsverteilungen bestehen. In philosphischen Überlegungen wird
u.a. von d’Alembert und P.S. Laplace versucht, den Zufall“ zu verstehen.
”
T. Bayes (bedingte Wahrscheinlichkeit) begründet die angelsächsische Schu”
le“ der mathematischen Statistik. C.F. Gauß und A.M. Legendre erarbeiten
die Methode der kleinsten Quadrate.
Ende des 19. Jahrhunderts. Die Mengenlehre (G. Cantor) und die Maß- und Integrationstheorie (E. Borel, H. Lebesgue) werden entwickelt. Sie erweisen sich
später als die Basis der modernen“ Stochastik.
”
Beginn des 20. Jahrhunderts. Vielfältige theoretische Untersuchungen und Anwendungen konvergieren“ letztendlich zum noch heute akzeptierten Gebäude“
”
”
der Wahrscheinlichkeitstheorie. Durch Arbeiten von L. Bachelier (Modellierung von Aktienkursen, 1900) und A. Einstein (Molekularbewegung, 1905)
findet mit der Brownschen Bewegung ein stochastischer Prozeß erste wichtige
Anwendungen.
1933. A.N. Kolmogorov veröffentlicht das Axiomensystem der Wahrscheinlichkeitstheorie. In den folgenden zwei Jahrzehnten sind schnelle Fortschritte möglich
(Stochastische Prozesse, Stochastische Differentialgleichungen, Martingale).
2. Hälfte des 20. Jahrhunderts. Erst durch Anwendungen von Resultaten der modernen Wahrscheinlichkeitstheorie werden viele technische oder wirtschaftliche Entwicklungen möglich, wie z.B.
• Manhattan-Projekt, Entwicklung der H-Bombe (Monte-Carlo Simulationen u.a. von S. Ulam, E. Fermi, J. v. Neumann),
• Steuerung von Satelliten und Raketen, bzw. Satellitennavigationssysteme (Kalman-Bucy Filter),
• Bestimmung des Preises für gewisse Finanzderivate (z.B. Terminkontrakte, Aktienoptionen) (u.a. Black-Scholes Modell).
26. Juli 2010
KAPITEL 2
Wahrscheinlichkeitsräume
Ein Wahrscheinlichkeitsraum ist ein Tripel (Ω, F, P), wobei
• Ω eine Menge,
• F eine σ-Algebra 2.1, d.h. eine spezielle Familie von Teilmengen von Ω
und
• P ein Wahrscheinlichkeitsmaß 2.3 auf (Ω, F) ist.
2.2
,
Ω heißt Stichprobenraum. Die Elemente 2.4 A ∈ F beschreiben Ereignisse, welche
durch P eine Wahrscheinlichkeit P[A] ∈ [0, 1] zugewiesen bekommen.
Während Stichprobenräume keinerlei Einschränkungen unterliegen 2.5, müssen
σ-Algebren und Wahrscheinlichkeitsmaße den im folgenden beschriebenen Kolmogorovschen Axiomen (2.1) und (2.2) genügen.
Sei Ω 6= ∅ eine Menge. Eine Familie F ⊆ Pot(Ω) heißt σ-Algebra, wenn
Ω ∈ F,
(2.1a)
(2.1b)
A∈F
(2.1c)
A1 , A2 , · · · ∈ F
Ω \ A ∈ F,
=⇒
=⇒
∞
[
k=1
Ak ∈ F.
Nun wird (Ω, F) als meßbarer Raum bezeichnet.
Im Rahmen eines wahrscheinlichkeitstheoretischen Modells lassen sich die Bedingungen (2.1) wie folgt interpretieren.
• Mit (2.1a) wird festgehalten, daß durch Ω das Ereignis irgendetwas ge”
schieht“ beschrieben wird.
• (2.1b) besagt, daß mit A auch A geschieht nicht“ ein Ereignis ist.
”
• Aufgrund von (2.1c) ist mit A1 , A2 , . . . auch A1 oder A2 oder . . .“ ein
”
Ereignis 2.6 2.7.
Für einen meßbaren Raum (Ω, F) heißt eine Funktion P : F → [0, 1] Wahrscheinlichkeitsmaß, wenn
(2.2a)
P[Ω] = 1,
2.1Die genaue Definition von σ-Algebren folgt in (2.1).
2.2I. allg. ist F eine echte Teilmenge der Potenzmenge Pot(Ω) von Ω.
2.3Die genaue Definition von Wahrscheinlichkeitsmaßen folgt in (2.2).
2.4Die Elemente A ∈ F sind Teilmengen von Ω.
2.5In konkreten Anwendungen sollten sie einfach nur groß genug“ sein, d.h., eine hinreichend
”
detaillierte Struktur besitzen.
2.6Man beachte, daß in (2.1c) nur abzählbare Vereinigungen betrachtet werden.
2.7Aus (2.1) können weitere Eigenschaften von σ-Algebren, wie z.B.
A1 , A2 , · · · ∈ F
=⇒
∞
\
k=1
abgeleitet werden, vgl. Abschnitt 2.3.1.
21
Ak ∈ F,
22
"
(2.2b) P
∞
[
k=1
Ak
#
2.8
=
∞
X
A1 , A2 , . . . ∈ F, Ak ∩ Al = ∅, k, l ∈ N, k 6= l.
P[Ak ],
k=1
Die Eigenschaft (2.2b) wird als σ-Additivität von P bezeichnet. Man beachte, daß
die Gültigkeit dieser Beziehung nur für abzählbar viele, paarweise disjunkte A1 , A2 ,
· · · ∈ F gefordert wird 2.9.
Die Eigenschaften (2.2) sind mit einem anschaulichen Begriff der Wahrschein”
lichkeit“ vereinbar 2.10. Beispielsweise besagt (2.2a), daß mit Wahrscheinlichkeit 1
2.11
“irgendetwas geschieht“
. Mit der σ-Additivität (2.2b) von P wird verlangt,
daß sich die Wahrscheinlichkeiten abzählbar vieler, sich gegenseitig ausschließender
Ereignisse addieren 2.12 2.13.
2.1. Elementare wahrscheinlichkeitstheoretische Modelle
Die Bildung einfacher wahrscheinlichkeitstheoretischer Modelle wird in diesem
Abschnitt mit einigen Beispielen für unterschiedliche Varianten des Wurfs einer
Münze, bzw. eines Würfels erläutert 2.14.
Beispiel 2.1 (Wurf einer fairen Münze). Bei einem Wurf einer fairen Münze
kann sich Kopf oder Zahl ergeben, wobei diese beiden Möglichkeiten die gleiche
Wahrscheinlichkeit besitzen. Zur mathematischen Modellierung dieses Vorgangs
kann Kopf“ mit der Zahl 0 und Zahl“ mit 1 identifiziert werden und dann
”
”
Ω = {0, 1},
F = ∅, {0}, {1}, Ω = Pot(Ω),
1
1
P[∅] = 0, P[{0}] = , P[{1}] = , P[Ω] = 1
2
2
gewählt werden.
Die Menge Ω faßt die möglichen Ausgänge des Münzwurfs zusammen. Mit
diesen Ausgängen sind die durch F beschriebenen Ereignisse
∅ , Es
”
{0} , Es
”
{1} , Es
”
Ω , Es
”
wird weder Kopf noch Zahl geworfen“
2.15
,
wird Kopf geworfen“,
wird Zahl geworfen“,
wird Kopf oder Zahl geworfen“
2.8Als Folge von (2.1c) ist mit A , A , · · · ∈ F auch S∞ A ∈ F, d.h., die linke Seite von
1
2
k=1 k
(2.2b) ist wohldefiniert.
2.9Für beliebige, nicht notwendigerweise paarweise disjunkte A , A , · · · ∈ F gilt (2.2b) i. allg.
1
2
nicht. Vielmehr liegt dann σ-Subadditivität vor, d.h.,
#
"∞
∞
[
X
Ak ≤
P[Ak ], A1 , A2 , · · · ∈ F.
(∗)
P
k=1
k=1
Zum Beweis der Einschränkung von (∗) auf zwei Ereignisse vgl. (2.12).
2.10
Es ist bemerkenswert, daß (2.2a) und (2.2b) ausreichen, um auf eine eindeutige Weise
Wahrscheinlichkeitsmaße auf einem meßbaren Raum (Ω, F) zu charakterisieren.
2.11Das Ereignis Ω umfaßt “alles mögliche, das eintreten kann“. Man beachte, daß P[Ω]
aufgrund von (2.1a) wohldefiniert ist.
2.12Sich ausschließende Ereignisse entsprechen disjunkten Mengen.
2.13Es ist wesentlich, daß (2.2b) für abzählbar viele und nicht nur für endliche viele disjunkte
A1 , . . . , AN ∈ F, N ∈ N, gefordert wird. Jene endliche Additivität von P kann als Konsequenz
von (2.2) bewiesen werden, vgl. (2.10). Zusammen mit (2.10) werden weitere Konsequenzen aus
(2.2) in Abschnitt 2.3.2 zusammengestellt.
2.14
Insbesondere wird beschrieben, wie in diesen Fällen zur Modellierung geeignete Wahrscheinlichkeitsräume angegeben werden können.
26. Juli 2010
23
verbunden. Da die Münze als fair vorausgesetzt wurde, besitzen diese Ereignisse
offensichtlich“ 2.16 die durch P angegebenen Wahrscheinlichkeiten.
”
Mit dem hier beschriebenen wahrscheinlichkeitstheoretischen Modell (Ω, F, P)
kann offenbar auch jedes andere Experiment“ mit zwei möglichen, gleichwahr”
scheinlichen Ausgängen beschrieben werden 2.17.
Beispiel 2.2 (Wurf einer unfairen Münze). Bei einem Wurf einer Münze, die
bevorzugt auf eine der beiden Seiten fällt, d.h. einer unfairen Münze, können Ω und
F wie in Beispiel 2.1 gewählt werden. Mit einem geeigneten p ∈ [0, 1] 2.18 ist dann
allerdings P gemäß
P[∅] = 0, P[{0}] = 1 − p, P[{1}] = p, P[Ω] = 1
zu modifizieren.
Mit einem derartigen Wahrscheinlichkeitsraum (Ω, F, P) können Experimente
mit zwei möglichen, unterschiedlich wahrscheinlichen Ausgängen modelliert werden 2.19.
Beispiel 2.3 (Wurf eines fairen Würfels). Im Gegensatz zu den Fällen in den
Beispielen 2.1 und 2.2 sind in diesem Fall sechs Ausgänge möglich, wobei diese wie
in Beispiel 2.1 gleichwahrscheinlich sind. Nun kann durch
Ω = {1, 2, . . . , 6},
F = Pot(Ω),
1
P[{k}] = ,
6
P[A] =
2.20
k = 1, . . . , 6,
X
k∈A
P[{k}] =
|A|
|A|
=
,
6
|Ω|
A ∈ F,
ein zur Modellierung geeigneter Wahrscheinlichkeitsraum (Ω, F, P) definiert werden.
Beispiel 2.4 (Wurf eines unfairen Würfels). Ein Würfel sei so manipuliert,
daß die sechs Seiten mit unterschiedlichen Wahrscheinlichkeiten pk , k = 1, . . . , 6,
geworfen werden. Hierbei sollte
pk ∈ [0, 1], k = 1, . . . , 6,
6
X
pk = 1
k=1
2.15Mit ∅ ∈ F werden hier auch unwahrscheinliche“ Ereignisse wie die Münze bleibt in der
”
”
Luft hängen“ oder im Zeitpunkt ihres Wurfs schlägt ein Blitz in die Münze ein und sie verdampft“
”
modelliert.
2.16
Hier wird auf die menschliche Erfahrung Bezug genommen. In mathematischen Modellen
realer Phänomene geht diese menschliche Erfahrung immer ein.
2.17Beispiele sind ein Wurf eines fairen Würfels, bei dem gefragt wird, ob eine gerade oder
”
eine ungerade Augenzahl auftritt“ oder eine Ultraschalluntersuchung eines Embryos, dessen Ge”
schlecht festgestellt werden soll“.
2.18p = 0 oder p = 1 wird dann benutzt, wenn die Münze so präpariert ist, daß sie immer
auf die gleiche Seite fällt.
2.19Weitere Beispiele wären der Wurf eines Reißnagels“, bei dem die glatte Seite, bzw.
”
der Stift nach oben zeigen kann, die Frage an einen zufällig ausgewählten Passanten, ob er im
”
kommenden Sommer Urlaub machen wird oder nicht“ oder die Untersuchung einer Blutkonserve,
”
ob diese HIV-positiv ist oder nicht“.
2.20Hier wird benutzt, daß sich die Wahrscheinlichkeiten endlich vieler, sich gegenseitig ausschließender, d.h. disjunkter Ereignisse zu ihrer Gesamtwahrscheinlichkeit addieren, vgl. (2.2b),
bzw. (2.10).
26. Juli 2010
24
gelten. Zur Modellierung kann in diesem Fall (Ω, F) wie in Beispiel 2.3 gewählt und
das Wahrscheinlichkeitsmaß P durch
X
X
P[A] =
P[{k}] =
pk , A ∈ F,
k∈A
k∈A
definiert werden.
Beispiel 2.5 (Mehrmaliger, unabhängiger Wurf einer fairen Münze). 2.21 Ausgehend von den Überlegungen in Beispiel 2.1 kann die Menge der Sequenzen von
N Würfen der Münze durch
Ω = {0, 1}N = {(ω1 , . . . , ωN ) : ωk ∈ {0, 1}, k = 1, . . . , N }
beschrieben werden. Wie in den Beispielen 2.1 - 2.4 ist weiterhin die Wahl
F = Pot(Ω)
2.22
sinnvoll
. Bei der Bestimmung der Wahrscheinlichkeit P[{ω}] für das Auftreten
einer einzelnen festen Wurfsequenz ω = (ω1 , . . . , ωN ) ∈ Ω muß beachtet werden,
daß für alle k = 1, . . . , N die Wahrscheinlichkeit für den Wurf von 0, bzw. 1 beim
k-ten Wurf unabhängig von den Resultaten der restlichen Würfe l 6= k jeweils 1/2
ist. Somit folgt zunächst
(2.3)
P[{ω}] = P[1. Wurf , ω1 , 2. Wurf , ω2 , . . . , N . Wurf , ωN ]
2.23
P[1. Wurf , ω1 ]P[2. Wurf , ω2 ] . . . P[N . Wurf , ωN ]
1 N
1
=
= 2.24
, ω ∈ Ω,
2
|Ω|
=
und dann als Ergänzung
(2.4)
P[A] =
X
ω∈A
P[{ω}] =
|A|
,
|Ω|
A ∈ F.
Beispiel 2.6 (Mehrmaliger, unabhängiger Wurf einer unfairen Münze). 2.25 Die
Menge der möglichen Wurfsequenzen ist offensichtlich die gleiche wie in Beispiel 2.5,
d.h., es kann
Ω = {0, 1}N
gewählt werden. Ebenso sind die gleichen Ereignisse wie in Beispiel 2.5 zu betrachten, so daß
F = Pot(Ω)
2.21Der Begriff der Unabhängigkeit in der Wahrscheinlichkeitstheorie wird noch erläutert
werden. Analog zu den zu (1.4) führenden Überlegungen, vgl. insbesondere Fußnote 1.29, sei
vorerst damit gemeint, daß die einzelnen Würfe nicht durch die Ausgänge der anderen Würfe
”
beeinflußt werden“.
Bei der rigorosen Definition der Unabhängigkeit zweier Ereignisse wird die intuitiv einleuchtende Beziehung
P[A und B] = P[A ∩ B] = P[A]P[B]
für unabhängige“ Ereignisse A und B benutzt, vgl. Abschnitt 3.2.3.
”2.22
Einer Menge A von Wurfsequenzen entspricht das Ereignis, daß die geworfene Wurfse”
quenz in A enthalten ist“.
2.23Wegen der Unabhängigkeit der Würfe, vgl. Fußnote 2.21.
2.24Dieser Zusammenhang ergibt sich aus der Tatsache, daß Ω insgesamt 2N Elemente
enthält, d.h., |Ω| = 2N .
2.25Das nun vorgestellte wahrscheinlichkeitstheoretische Modell wurde schon bei der Untersuchung einer anderen Fragestellung (Prüfung der Qualität von Produktionsstücken) in Abschnitt 1.1.2 eingeführt.
26. Juli 2010
25
definiert werden sollte. Wenn allerdings 2.26 p 6= 1/2 ist, so besitzen jene Ereignisse
nun andere Wahrscheinlichkeiten als in Beispiel 2.5, d.h., P ist zu modifizieren.
Wenn die Unabhängigkeit der einzelnen Würfe berücksichtigt wird, so führt die in
Beispiel 2.2 festgehaltene Wahrscheinlichkeitsverteilung 2.27 für das Ergebnis eines
einzelnen Wurfs zu 2.28
(2.5a)
P[{ω}] =
N
Y
i=1
bzw.,
(2.5b)
pωi (1 − p)1−ωi = p
P[A] =
X
PN
i=1
P[{ω}],
ω∈A
ωi
(1 − p)N −
PN
i=1
ωi
,
ω ∈ Ω,
A ∈ F.
Bemerkung. (i) Wie in den Beispielen 2.1 - 2.6 ist i. allg. bei endlichen oder
abzählbar unendlichen Stichprobenräumen Ω die Wahl F = Pot(Ω) üblich. Wenn
aber Ω überabzählbar unendlich ist, kann eine derartige Wahl von F zu einem Widerspruch führen 2.29.
(ii) Wenn |Ω| < ∞ und P[{ω}] = 1/|Ω|, ω ∈ Ω, wie in den Beispielen 2.1, 2.3
und 2.5, wird P als Gleichverteilung auf Ω bezeichnet 2.30. Nun ist (Ω, F, P) ein
Laplacescher Wahrscheinlichkeitsraum.
2.2. Diskrete Wahrscheinlichkeitsmaße
Die in diesem Abschnitt 2.2 vorgestellten Wahrscheinlichkeitsmaße tauchen sehr
oft in den klassischen Beispielen der elementaren Wahrscheinlichkeitstheorie auf. Sei
zunächst allgemein
wobei
• Ω eine endliche oder abzählbar unendliche Menge,
• F = Pot(Ω)
P und
• P[A] = a∈A pa , A ∈ F,
pa = P[{a}] ∈ [0, 1], a ∈ Ω,
mit
X
pa = 1.
a∈Ω
In einem solchen Fall wird (Ω, F, P) als diskreter Wahrscheinlichkeitsraum und
P als diskretes Wahrscheinlichkeitsmaß bezeichnet 2.31. Spezielle Beispiele sind in
folgender Liste zusammengestellt:
Bernoulli-Verteilung mit Parameter p ∈ [0, 1]:
Ω = {0, 1};
p0 = 1 − p, p1 = p.
Anwendung: Modellierung eines Münzwurfs (fair, wenn p = 1/2, sonst unfair) 2.32.
2.26p ∈ [0, 1] ist die Wahrscheinlichkeit für den Wurf von 1 ,
Zahl“ bei einem einzelnen
”
Wurf der Münze, vgl. Beispiel 2.2.
2.27Wahrscheinlichkeitsverteilung ist ein Synonym für Wahrscheinlichkeitsmaß.
2.28Vgl. die entsprechende Bestimmung von P
N,p in Abschnitt 1.1.2 und insbesondere auch
die Herleitung von (1.4).
2.29Vgl. Abschnitt 2.5.
2.30In diesen Fällen hat jedes einpunktige Elementarereignis“ {ω}, ω ∈ Ω, die gleiche Wahr”
scheinlichkeit.
2.31Die in Abschnitt 2.1 beschriebenen Wahrscheinlichkeitsräume sind alle diskret.
2.32Vgl. Beispiele 2.1 und 2.2. Auch andere Experimente“ mit zwei möglichen Ausgängen
”
können mit Hilfe einer Bernoulli-Verteilung modelliert werden. Beispiele wären der Test einer
Person auf eine HIV-Infektion oder eine Funktionsprüfung einer Glühbirne.
26. Juli 2010
26
Binomial-Verteilung B(N, p) mit Parametern N ∈ N und p ∈ [0, 1]:
N k
Ω = {0, 1, . . . , N }; pk =
p (1 − p)N −k , k ∈ Ω.
k
Anwendung: Mit B(N, p) kann die Anzahl der Erfolge beim N -maligen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p modelliert werden 2.33.
Geometrische Verteilung (auf N) mit Parameter p ∈ (0, 1) 2.34:
Ω = N = {1, 2, . . . };
pk = (1 − p)k−1 p, k ∈ Ω.
Anwendung: Modellierung des Zeitpunkts des ersten Wurfs von Zahl“ bei
”
dem ∞-fachen, unabhängigen Wurf einer Münze mit Wahrscheinlichkeit p
2.35 2.36
für Zahl“ beim einmaligen Wurf
.
”
Negative Binomial-Verteilung mit Parametern r ∈ N und p ∈ (0, 1):
k+r−1 r
Ω = N0 = {0, 1, 2, . . . }; pk =
p (1 − p)k , k ∈ Ω.
k
Anwendung: Modellierung der Anzahl der Mißerfolge vor dem r-ten Erfolg
bei einem beliebig oft unabhängig wiederholten Bernoulli-Experiment“ mit
”
Erfolgswahrscheinlichkeit p 2.37 2.38. Die Negative Binomial-Verteilung, die
auch als Pascal-Verteilung bezeichnet wird, ist eine Verallgemeinerung der
sich für r = 1 ergebenden geometrischen Verteilung 2.39 2.40.
2.33Vgl. auch Abschnitt 1.1.2, insbesondere (1.5). Die Anzahl der defekten Produktionsstücke
bei N Prüfungen ist binomialverteilt mit den Parametern N und der Fehlerwahrscheinlichkeit p.
2.34In [5] wird auch die Wahrscheinlichkeitsverteilung auf N = {0, 1, 2, . . . } mit p = (1 −
0
k
p)k p, k ∈ N0 , als geometrische Verteilung bezeichnet.
2.35Wegen der Unabhängigkeit der Würfe, vgl. Fußnote 2.21, gilt insbesondere
ˆ
˜
P zum Zeitpunkt n wird das erste Mal Zahl“ geworfen
”
ˆ
˜
= P 1. Wurf , Kopf“, . . . , (n − 1)-ter Wurf , Kopf“, n-ter Wurf , Zahl“
”
”
”
= P[1. Wurf , Kopf“] . . . P[(n − 1)-ter Wurf , Kopf“]P[n-ter Wurf , Zahl“]
”
”
”
= (1 − p)n−1 p, n ∈ N.
2.36
Die Modellierung des ∞-fachen, unabhängigen Wurf einer Münze wird ausführlich in
Abschnitt 2.4.2 erläutert.
2.37Bei einem Bernoulli-Experiment“ denke man nicht nur an einen Wurf einer Münze.
”
2.38Das Ereignis,
daß k (durch 0“ beschriebene) Mißerfolge vor dem r-ten (durch 1“ be”
”
schriebenen) Erfolg eintreten, wird repräsentiert durch die Menge der Sequenzen der Länge k + r
mit Werten in {0, 1}, die mit einer 1 enden und in den vorangehenden k + r − 1 Stellen genau k
mal eine 0 und r − 1 mal eine 1 haben. Somit zeigt sich, wenn wie bei der Herleitung von (1.5)
argumentiert wird, daß die Wahrscheinlichkeit für dieses Ereignis
“k + r − 1”
pr (1 − p)k
k
ist.
2.39Mit geometrischer Verteilung ist hier die in Fußnote 2.34 beschriebene Variante gemeint.
2.40Der Name negative Binomial-Verteilung“ bezieht sich auf die Darstellung
”
“−r”
“k + r − 1”
(−1)k pr (1 − p)k ,
pr (1 − p)k =
k
k
k ∈ N0 , r ∈ N,
die sich ergibt, wenn
“m”
= 1,
0
“m”
m(m − 1) . . . (m − l + 1)
=
,
l
l!
für beliebige m ∈ Z definiert wird.
26. Juli 2010
l = 1, 2, . . . ,
27
Laplacesche Verteilung (Gleichverteilung) auf einer endlichen Menge M
Ω = M;
pm =
2.41
:
1
, m ∈ Ω.
|M |
Anwendung: Modellierung von Experimenten mit einer endlichen Anzahl
möglicher Ausgänge, die evtl. aufgrund eingeschränkter Vorkenntnisse alle
als gleichwahrscheinlich erscheinen.
Poissonverteilung P (λ) mit Parameter λ > 0:
Ω = N0 = {0, 1, 2, . . . };
pk =
λk
exp(−λ), k ∈ Ω.
k!
Anwendung: Modellierung der Anzahl von total zufälligen“ Zeitpunkten 2.42
”
in einem Zeitintervall [0, T ], z.B. der Anzahl eingehender Anrufe in einer
2.43
Telefonzentrale
.
Multinomialverteilung und hypergeometrische Verteilung 2.44 sind weitere diskrete
Wahrscheinlichkeitsmaße, die auf endlichen Teilmengen eines geeigneten Zd ,
d = 2, 3, . . . , konzentriert sind. Sie treten auf bei der Modellierung der Resultate von mehrmaligen Ziehungen aus einer Urne, die endlich viele Kugeln
mit teilweise unterschiedlichen Farben enthält. Verschiedenartige Situationen
ergeben sich, je nachdem ob die gezogenen Kugeln zurückgelegt oder nicht
zurückgelegt werden.
Bemerkung. (i) Sei Ω ⊂ Rd höchstens abzählbar. Ein diskretes Wahrscheinlichkeitsmaß P auf Ω kann auch als ein Wahrscheinlichkeitsmaß auf 2.45 (Rd , B(Rd ))
betrachtet werden. Man definiert dann
X
P[A] =
P[{a}], A ∈ B(Rd ).
a∈Ω∩A
(ii) Für ein allgemeines Wahrscheinlichkeitsmaß P 2.46 auf (Rd , B(Rd )) bezeichnet
man Punkte a ∈ Rd mit P[{a}] > 0 auch als Atome von P. Offensichtlich ist ein
diskretes Wahrscheinlichkeitsmaß auf seinen Atomen konzentriert 2.47.
2.41In den Beispielen 2.1, 2.3 und 2.5 wurden Laplacesche Verteilungen betrachtet. Später,
vgl. Abschnitte 2.4.1 und 2.6, wird auch die Gleichverteilung auf [0, 1], bzw. einem beschränkten
Gebiet G ⊆ Rd eingeführt werden.
2.42Sowohl die Anzahl als auch die Lage jener Zeitpunkte innerhalb von [0, T ] seien zufällig“.
”
Außerdem seien keine Wechselwirkungen zwischen den einzelnen Zeitpunkten vorhanden.
2.43Weitere Beispiele wären jeweils in einem Zeitintervall [0, T ] die Anzahl der bei einem
Mailserver eingehenden E-Mails, die Anzahl der Verkehrsunfälle auf einem festen Straßenabschnitt,
der Vulkaneruptionen auf der Erde, der von Astronomen beobachteten Supernova-Explosionen,
....
Die Tatsache, daß in derartigen Situationen mit Hilfe der Poissonverteilung eine vernünftige
mathematische Modellierung vorgenommen werden kann, ergibt sich aus der Gültigkeit der
Poisson-Approximation der Binomialverteilung. Dieses Resultat besagt, daß bei N → ∞ die
Binomialverteilung B(N, pN ) gegen die Poissonverteilung P (λ) konvergiert“, falls N pN → λ,
”
vgl. Abschnitt 2.7. Die Entwicklung eines Poissonschen Modells in einem konkreten Beispiel wird
in Abschnitt 2.7.1 diskutiert.
2.44
Vgl. Abschnitt 5.4.
2.45Die Borelsche σ-Algebra B(Rd ) ist die kleinste σ-Algebra in Rd , die alle d-dimensionalen
Rechtecke in Rd enthält, vgl. Abschnitt 2.4.3.
2.46P muß nicht diskret sein.
2.47Für ein Wahrscheinlichkeitsmaß auf (Rd , B(Rd )) mit einer Dichte f , vgl. Abschnitt 2.6,
R
gilt P[{a}] = {a} dx f (x) = 0, a ∈ Rd . Ein solches Wahrscheinlichkeitsmaß hat daher keine
Atome.
26. Juli 2010
28
2.3. Konsequenzen aus den Kolmogorovschen Axiomen
In diesem Abschnitt 2.3 wird die Struktur allgemeiner σ-Algebren und Wahrscheinlichkeitsmaße ein wenig detaillierter betrachtet 2.48.
2.3.1. Weitere Eigenschaften von σ-Algebren. Sei (Ω, F) ein meßbarer
Raum. Unmittelbar aus (2.1) folgt zunächst 2.49
∅ ∈ F.
(2.6)
Weiterhin ist F auch unter endlichen Vereinigungen abgeschlossen, d.h.,
(2.7)
A1 , . . . , AN ∈ F, N ∈ N
=⇒
N
[
k=1
Ak ∈ F.
Schließlich läßt sich (2.1c) auf eine natürliche Weise durch
A1 , A2 , · · · ∈ F
(2.8)
=⇒
∞
\
k=1
2.50
2.51
Ak ∈ F
ergänzen.
2.3.2. Weitere Eigenschaften von Wahrscheinlichkeitsmaßen. Sei ein
allgemeiner Wahrscheinlichkeitsraum (Ω, F, P) gegeben. Komplementär zu (2.2a)
2.48Insbesondere werden einfache Folgerungen aus (2.1) und (2.2), welche σ-Algebren und
Wahrscheinlichkeitsmaße eindeutig charakterisieren, zusammengestellt.
2.49Zum Beweis von (2.6) beachte man
∅ = Ω \ Ω ∈ F (vgl. (2.1b)).
|{z}
∈ F (vgl. (2.1a))
2.50Aufgrund von (2.1c) scheint (2.7)
offensichtlich“ zu sein. Diese Beziehung sollte aber
”
dennoch einmal präzise bewiesen werden. Wenn hierzu
A′k =
(
Ak ,
k = 1, . . . , N,
∅,
k = N + 1, N + 2, . . . ,
gesetzt wird, folgt
N
[
Ak =
k=1
∞
[
k=1
A′k ∈ F (aufgrund von (2.6) und (2.1c)).
2.51(2.8) folgt aus
∞
\
k=1
Ak = Ω \
„[
∞
«
( Ω \ Ak ) ∈ F (vgl. (2.1b)).
| {z }
k=1
∈ F (vgl. (2.1b))
|
{z
}
∈ F (vgl. (2.1c))
26. Juli 2010
29
ist
2.52 2.53
(2.9)
P[∅] = 0.
Natürlich ist neben der σ-Additivität
d.h., 2.55
"N
#
N
X
[
(2.10) P
P[Ak ],
Ak =
k=1
2.54
auch die endliche Additivität von P,
k=1
A1 , . . . , AN ∈ F, Ak ∩Al = ∅, k, l = 1, . . . , N, k 6= l, N ∈ N,
zu erwarten. Für sich nicht gegenseitig ausschließende Ereignisse kann (2.10) beispielsweise durch 2.56
(2.11)
P[A ∪ B] = P[A] + P[B] − P[A ∩ B],
A, B ∈ F,
ergänzt werden. Als Konsequenzen von (2.11) ergeben sich mit
P[A ∪ B] ≤ P[A] + P[B],
(2.12)
die Subadditivität von P und mit
A, B ∈ F,
2.58
P[A] ≤ P[B],
(2.13)
2.57
A, B ∈ F, A ⊆ B,
die Monotonie von P.
2.52(2.9) besagt, daß die Wahrscheinlichkeit, daß nichts geschieht“ 0 ist.
2.53
”
Man beachte, daß ∅ ∈ F, vgl. (2.6). Damit ist P[∅] wohldefiniert. Nun gilt
(∗)
1 = P[Ω]
(vgl. (2.2a))
.
.
.
= P[ Ω ∪ ∅ ∪ ∅ ∪ . . . ]
{z
}
|
disjunkte Vereinigung
∞
X
= P[Ω] +
P[∅] (vgl. (2.2b)).
| {z } k=2
= 1 (vgl. (2.2a))
(∗) kann nur gelten, wenn (2.9) richtig ist.
2.54Vgl. (2.2b).
2.55Zum Beweis von (2.10) beachte man
" N
#
" N
[
[
Ak = P
P
Ak ∪
k=1
k=1
∞
[
k=N+1
∅
#
|
{z
}
disjunkte Vereinigung
=
N
X
P[Ak ] +
k=1
∞
X
k=N+1
P[∅] (vgl. (2.2b)).
|{z}
= 0 (vgl. (2.9))
.
.
2.56Zum Beweis von (2.11) beachte man daß A∪B = (A\B) ∪
(B \A) ∪ (A∩B) eine disjunkte
Vereinigung ist. Mit (2.10) folgt nun
P[A ∪ B] + P[A ∩ B] = (P[A \ B] + P[A ∩ B]) + (P[B \ A] + P[A ∩ B]),
|
{z
}
{z
}
|
= P[A]
= P[B]
womit (2.11) bewiesen ist.
2.57Da P[A ∩ B] ≥ 0, folgt (2.12) aus (2.11).
2.58(2.13) folgt aus
P[B] = P[A] + P[B \ A]
≥ P[A]
(vgl. (2.10))
(da P[B \ A] ≥ 0).
26. Juli 2010
30
2.4. Konstruktion von σ-Algebren und Wahrscheinlichkeitsmaßen
In diesem Abschnitt 2.4 wird erläutert, wie in komplexen Situationen, wenn
mit sehr großen Stichprobenräumen Ω zu arbeiten ist, geeignete σ-Algebren F und
Wahrscheinlichkeitsmaße P konstruiert werden können 2.59. Wenn insbesondere Ω
überabzählbar unendlich ist und daher i. allg. die Wahl F = Pot(Ω) nicht sinnvoll
ist 2.60, bietet sich die folgende Vorgehensweise an 2.61:
(i) Angabe einer Menge F∗ von elementaren“, dem menschlichen Verständnis
”
leicht zugänglichen Ereignissen 2.62.
(ii) Angabe einer Funktion P∗ : F∗ → [0, 1] mit den Eigenschaften (2.2a) und
(2.2b) 2.63.
In dieser Vorlesung wird im wesentlichen im Rahmen von (i) und (ii) gearbeitet.
Dies ist gerechtfertigt, falls der nächste Schritt (iii) gelingt.
(iii) Nachweis der eindeutigen Fortsetzbarkeit von P∗ zu einem Wahrscheinlichkeitsmaß P : F → [0, 1], wobei F = σ(F∗ ) die kleinste, F∗ umfassende
σ-Algebra ist 2.64.
Der Schritt (iii) wird in weiterführenden Vorlesungen behandelt 2.65.
Letztendlich ist dann (Ω, F, P) der Wahrscheinlichkeitsraum, mit dem mathematisch rigoros für wahrscheinlichkeitstheoretische Untersuchungen gearbeitet
wird.
2.4.1. Gleichverteilung auf [0, 1]. Sei Ω = [0, 1], F∗ = {[a, b] : 0 ≤ a ≤ b
≤ 1} 2.66 und P∗ : F∗ → [0, 1] mit P∗ [[a, b]] = b − a, 0 ≤ a ≤ b ≤ 1.
2.59Hierbei ist beispielsweise die Modellierung von sehr umfangreichen realen Geschehnissen
gemeint, wenn die Verwendung von endlichen oder abzählbar unendlichen Stichprobenräumen
ausgeschlossen ist.
2.60Vgl. Abschnitt 2.5. Der dort vorgestellte Satz von Vitali verdeutlicht, wie in dem in
Abschnitt 2.4.2 entworfenen Modell für den ∞-fachen, unabhängigen, fairen Münzwurf die Wahl
F = Pot(Ω) zu einem Widerspruch führt.
2.61
Diese allgemeine Vorgehensweise wird in den in den Abschnitten 2.4.1 - 2.4.3 behandelten
Beispielen konkretisiert werden.
2.62Im Rahmen einer Modellbildung sollte a priori klar sein, daß die Wahrscheinlichkeiten
der Ereignisse in F∗ auf jeden Fall bekannt, bzw. einfach zu berechnen sein sollten.
2.63Die Bedingung (2.2b) muß bei P∗ nur für paarweise disjunkte Mengen A , A , · · · ∈ F∗
1
2
S∞
mit k=1 Ak ∈ F∗ gelten.
2.64σ(F∗ ) existiert immer auf eine eindeutige Weise. Insbesondere kann nachgewiesen werden,
T
daß σ(F∗ ) = G∈F∗ G, wobei F∗ die Menge alle σ-Algebren G mit G ⊇ F∗ ist. Die Fortsetzung P
von P∗ auf σ(F∗ ) braucht jedoch nicht immer zu existieren, bzw. nicht eindeutig zu sein.
2.65
Die eindeutige Existenz eines Wahrscheinlicheitsmaßes P, das P∗ fortsetzt, wird z.B.
mit dem Satz von Carathéodory gesichert, vgl. [3], Appendix A.1. Jenes Resultat besagt, daß
eine Funktion P∗ : F∗ → [0, 1], welche die in (2.2) angegebenen Eigenschaften besitzt, vgl. dazu
Fußnote 2.63, sich dann auf eine eindeutige Weise zu einem Wahrscheinlichkeitsmaß auf (Ω, σ(F∗ ))
fortsetzen läßt, wenn F∗ eine Algebra ist.
Hierbei wird eine Familie F∗ von Teilmengen von Ω als Algebra bezeichnet, wenn F∗ die
Eigenschaften (2.1a) und (2.1b) besitzt und wenn für A, B ∈ F∗ auch A ∪ B ∈ F∗ gilt.
2.66F∗ ist die Menge der abgeschlossenen Intervalle in [0, 1].
26. Juli 2010
31
σ(F∗ ) =: B([0, 1]) 2.67 ist die Borelsche σ-Algebra in [0, 1]. P∗ besitzt eine
eindeutige Fortsetzung 2.68 λ = λ[0,1] auf B([0, 1]), das sog. Lebesguemaß auf [0, 1].
λ[0,1] wird auch als Gleichverteilung auf [0, 1] bezeichnet 2.69.
Beispiel 2.7. In B([0, 1]) sind u.a. einpunktige Mengen 2.70 {a}, a ∈ [0, 1],
oder auch abzählbare Teilmengen 2.71 {ak : k ∈ N}, ak ∈ [0, 1], k ∈ N, von [0, 1]
enthalten. Weil
"∞
#
[
λ[{ak : k ∈ N}] = λ
{ak }
=
k=1
∞
X
2.72
k=1
λ[{ak }] = 0, ak ∈ [0, 1], k ∈ N,
| {z }
= |ak − ak | = 0
besitzen alle abzählbaren Teilmengen von [0, 1] das Lebesguemaß 0
2.73
.
2.4.2. ∞-facher, unabhängiger Münzwurf. Bei manchen Experimenten
mit unabhängigen Würfen einer Münze, wie z.B. beim Bestimmen des ersten Zeitpunkts, an dem Kopf“ geworfen wird, steht anfangs nicht fest, wie oft die Münze
”
überhaupt geworfen werden muß 2.74. Um derartige Situationen zu untersuchen, ist
es sinnvoll, zu p ∈ [0, 1] den ∞-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p zu modellieren 2.75.
2.67B([0, 1]) ist die kleinste σ-Algebra, die alle abgeschlossenen Intervalle in [0, 1] umfaßt.
B([0, 1]) ist ebenso die kleinste σ-Algebra, die alle offenen, bzw. halboffenen Intervalle in [0, 1]
enthält.
2.68Zum Nachweis der eindeutigen Existenz von λ kann der in Fußnote 2.65 beschriebene Satz
von Carathéodory nicht direkt angewandt werden, da F∗ keine Algebra ist. Allerdings könnte man
e ∗ der endlichen Vereinigungen disjunkter Elemente von F∗ , d.h. durch die
F∗ durch die Menge F
Menge
˘
¯
e ∗ = [a1 , b1 ] ∪ · · · ∪ [an , bn ] : 0 ≤ a1 ≤ b1 < a2 ≤ · · · < an ≤ bn ≤ 1, n ∈ N
F
ersetzen und anschließend mit
n
ˆ
˜ X
e ∗ [a1 , b1 ] ∪ · · · ∪ [an , bn ] =
P
|bk − ak |,
k=1
0 ≤ a1 ≤ b1 < a2 ≤ · · · < an ≤ bn ≤ 1, n ∈ N,
e ∗ erweitern. F
e ∗ ist eine Algebra und in der Tat ist es mit dem Satz von Carathéodory
P∗ auf F
e ∗ definierten
möglich, zu zeigen, daß mit λ eine eindeutige Fortsetzung auf B([0, 1]) der auf F
∗
e
Funktion P existiert.
2.69In Abschnitt 2.2 war die Gleichverteilung auf einer endlichen Menge beschrieben worden.
Die beiden Gleichverteilungen besitzen aus offensichtlichen Gründen den gleichen Namen, sind
aber völlig unterschiedlich strukturierte Wahrscheinlichkeitsmaße.
2.70Da {a} = [a, a] ∈ F∗ .
2.71Da {a } ∈ B([0, 1]), k = 1, 2, . . . , ist wegen (2.1c) auch {a : k ∈ N} = S∞ {a } ∈
k
k
k
k=1
B([0, 1]).
2.72Wegen der σ-Additivität von λ, vgl. (2.2b). O.E.d.A. sei hierzu angenommen, daß alle
ak , k ∈ N, verschieden sind.
2.73Es gibt auch Mengen M ∈ B([0, 1]), die die gleiche Mächtigkeit wie R haben und damit
überabzählbar sind, mit λ[M ] = 0, z.B. Cantormengen.
2.74Andere Beispiele sind die Bestimmung des ersten Zeitpunkts, an dem insgesamt 104 mal
Zahl“ geworfen wurde, die Bestimmung des ersten Zeitpunkts, an dem eine ununterbrochene
”
Sequenz von 105 Würfen von Kopf“ beendet wird, oder auch die Beantwortung der Frage, mit
”
welcher Wahrscheinlichkeit, zumindest einmal Zahl“ geworfen wird. Bei der Lösung dieser Pro”
bleme muß man bereit sein, die Münze evtl. unendlich oft zu werfen.
2.75Mit einem Modell“ ist hier ein Wahrscheinlichkeitsraum (Ω, F, P) gemeint, so daß ins”
besondere unendlich lange Wurfsequenzen der Münze durch die Elemente ω von Ω repräsentiert
werden.
26. Juli 2010
32
Wenn die Überlegungen in den Beispielen 2.5 und 2.6 als Ausgangspunkt genommen werden, ist es naheliegend, als Stichprobenraum 2.76
(2.14)
Ω = {0, 1}N := (ω1 , ω2 , . . . ) : ωk ∈ {0, 1}, k ∈ N
zu wählen. Ω ist insbesondere überabzählbar unendlich 2.77.
Mit einem vernünftigen Modell für den ∞-fachen, unabhängigen Münzwurf
sollte es auch möglich sein, jede endliche Folge von Würfen zu beschreiben. Aus
diesem Grund wird F∗ als eine Menge von Ereignissen, die durch Würfe der Münze
an endlich vielen festen Zeitpunkten bestimmt sind, gewählt, d.h.,
(2.15) F∗ = {ω ∈ Ω : ωk1 = ηk1 , . . . , ωkn = ηkn } 2.78 :
k1 , . . . , kn ∈ N, 1 ≤ k1 < . . . < kn , ηk1 , . . . , ηkn ∈ {0, 1}, n ∈ N .
Um eine Funktion P∗ : F∗ → [0, 1] zur Angabe von Wahrscheinlichkeiten P∗ [A]
von Ereignissen A ∈ F∗ zu definieren, können die Überlegungen in Beispiel 2.6
herangezogen werden. Daher setzt man 2.79
(2.16)
P∗ [{ω ∈ Ω : ωk1 = ηk1 , . . . , ωkn = ηkn }]
=
n
Y
l=1
pηkl (1 − p)1−ηkl = p
Pn
l=1
ηkl
(1 − p)n−
Pn
l=1
ηkl
k1 , . . . , kn ∈ N, 1 ≤ k1 < . . .< kn , ηk1 , . . . , ηkn ∈ {0, 1}, n ∈ N.
Zu dieser Funktion P∗ : F∗ → [0, 1] existiert als Fortsetzung ein eindeutig bestimmtes Wahrscheinlichkeitsmaß P auf (Ω, F), wobei F = σ(F∗ ).
Beispiel 2.8. Für den ∞-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p ∈ (0, 1) ist die Wahrscheinlichkeit q1 , daß der erste Wurf von Kopf“
”
in einem geraden“ Zeitpunkt, d.h. zu einem Zeitpunkt 2k mit k ∈ N eintritt, zu
” 2.80
bestimmen
. Es gilt:
q1 = P erster Wurf von Kopf“ in einem der Zeitpunkte 2k, k ∈ N
”
= P ω ∈ Ω : ωl = 1, l = 1, . . . , 2k − 1; ω2k = 0 für ein k ∈ N
"
#
∞
[
= P 2.81
{ω ∈ {0, 1}N : ωl = 1, l = 1, . . . , 2k − 1; ω2k = 0}
k=1
=
2.82
∞
X
P {ω ∈ {0, 1}N : ωl = 1, l = 1, . . . , 2k − 1; ω2k = 0}
|
{z
}
k=1
∈ F∗ 2.83
2.76
{0, 1}N ist die Menge der {0, 1}-wertigen Folgen. Für ein ω ∈ Ω und k ∈ N beschreibt ωk
das Ergebnis des k-ten Wurfs.
2.77Zur Begründung sei daraufhingewiesen, daß durch die Abbildung
Ω ∋ (ωk )k∈N →
∞
X
k=1
ωk 2−k ∈ [0, 1]
Ω surjektiv auf [0, 1] abgebildet werden kann.
2.78Hier wird das Ereignis, daß beim k -ten Wurf η , . . . und beim k -ten Wurf η
n
1
k1
kn geworfen
wird, betrachtet.
2.79Während Ω und F∗ und somit auch F = σ(F∗ ) von p ∈ [0, 1] unabhängig sind, hängt P∗
und folglich auch P von p ab.
2.80Für den ∞-fachen, unabhängigen, fairen Münzwurf, d.h., für p = 1/2, mag eine sehr
naive Vorgehensweise mit dem Argument genau die Hälfte der Zeitpunkte ist gerade“ zu q1 = 1/2
”
führen. Da aber zunächst in dem ungeraden“ Zeitpunkt 1, dann erst in dem geraden“ Zeitpunkt 2
”
”
. . . Kopf“ oder Zahl“ geworfen wird, zeigt sich bald, daß q1 < 1/2 sein muß.
”
”
26. Juli 2010
33
=
2.84
∞
X
k=1
=
p2k−1 (1 − p) =
p
.
1+p
∞
1−p X 2 k
(p )
p
k=1
| {z }
p2
p2
1
−1=
=
=
2
2
1−p
1−p
(1 − p)(1 + p)
Speziell ergibt sich q1 = 1/3 für p = 1/2, d.h. für den ∞-fachen, unabhängigen,
fairen Münzwurf 2.85.
Beispiel 2.9. Für den ∞-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p ∈ [0, 1) ist die Wahrscheinlichkeit q2 , daß nur endlich oft Kopf“
”
geworfen wird, zu bestimmen 2.86.
Die gesuchte Wahrscheinlichkeit q2 könnte zunächst auch experimentell durch
wiederholtes Werfen einer realen Münze oder auch mit Hilfe einer Computersimulation 2.87 bestimmt“ werden 2.88. Es deutet sich an, daß 2.89 q2 = 0 ist.
”
Bei einem mathematisch präzisen Vorgehen ergibt sich
(2.17)
q2 =
2.90
"
#
∞
[
N
P
ω ∈ {0, 1} : ωk = ωk+1 = · · · = 1
k=1
∞
X
≤
P ω ∈ Ω : ωk = ωk+1 = · · · = 1 ,
{z
}
|
k=1
= Bk
2.81Hier liegt eine Zerlegung in disjunkte, d.h. sich ausschließende Ereignisse vor.
2.82Wegen der σ-Additivität von P, vgl. (2.2b).
2.83
Dieses Ereignis wird durch die ersten 2k Würfe der Münze bestimmt, d.h., seine Wahrscheinlichkeit kann in einem Modell für den 2k-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p, vgl. Beispiel 2.6, berechnet werden.
2.84
Vgl. (2.16).
2.85In vielen wahrscheinlichkeitstheoretischen Untersuchungen wird die Asymptotik von Modellen betrachtet. In diesem Beispiel ist evtl. das Verhalten von q1 = q1 (p) für p → 0, bzw. für
p → 1 interessant.
Zunächst gilt limp→0 q1 (p) = 0. Dies ist plausibel, da bei p → 0 mit gegen 1 strebender
Wahrscheinlichkeit gleich beim 1. Wurf, d.h. in einem ungeraden Zeitpunkt, Kopf“ geworfen
”
wird.
Weiterhin ist limp→1 q1 (p) = 1/2. Da bei p → 1 bei jedem einzelnen Wurf mit nahe bei 1
liegender Wahrscheinlichkeit Zahl“ geworfen wird, dauert es i. allg. extrem lang, bis irgendwann
”
mal Kopf“ erscheint. Die Tatsache, daß in dem ungeraden Zeitpunkt 1 mit dem Werfen begonnen
”
wurde, ist dann längst vergessen. In dieser fernen Zukunft wird dann jeweils mit Wahrscheinlichkeit
1/2 Kopf“ erstmals in einem geraden, bzw. einem ungeraden Zeitpunkt geworfen.
”
Im Fall p = 1 wird immer Zahl“ geworfen, so daß q1 (1) = 0 ist. Daher ist limp→1 q1 (p) =
”
1/2 6= 0 = q1 (1), d.h., die Funktion [0, 1] ∋ p → q1 (p) ∈ [0, 1] ist unstetig für p = 1.
2.86Da p < 1, ist insbesondere die Wahrscheinlichkeit 1 − p, daß bei einem einzelnen Wurf
Kopf“ geworfen wird, von 0 verschieden.
”
2.87Es ist eine beliebig lange Folge von unabhängigen, {0, 1}-wertigen Zufallszahlen“, die
”
mit Wahrscheinlichkeit p den Wert 1 und mit Wahrscheinlichkeit 1 − p den Wert 0 annehmen, zu
simulieren. Hinweise zur Durchführung einer solchen Simulation finden sich in Beispiel 3.3.
2.88
Eine mathematisch korrekte Aussage kann mit derartigen Mitteln natürlich nicht gewonnen werden.
2.89
Wenn die Münze lange genug geworfen wird, erscheint immer wieder irgendwann mal“
”
Kopf“.
”
26. Juli 2010
34
wobei mit der σ-Subadditivität von P die abzählbare“ Variante der Subadditivität
”
von P 2.91 benutzt wird.
Weiterhin folgt
P[Bk ] ≤ 2.92 P ω ∈ Ω : ωk = · · · = ωk+N = 1 = 2.93 pN +1 , k, N ∈ N,
d.h., 2.94 P[Bk ] = 0, k ∈ N.
Aus (2.17) ergibt sich somit
2.95
q2 = 0.
2.4.3. Lebesguemaß in Rd , d = 1, 2, . . . . Sei Ω = Rd , F∗ = [a1 , b1 ] × · · · ×
[ad , bd ] : −∞ < ak ≤ bk < ∞, k = 1, . . . , d und 2.96 λ∗ : F∗ → [0, ∞) mit
Qd
λ∗ [a1 , b1 ] × · · · × [ad , bd ] = k=1 (bk − ak ), −∞ < ak ≤ bk < ∞, k = 1, . . . , d.
σ(F∗ ) =: B(Rd ) ist die Borelsche σ-Algebra in Rd . Die eindeutig existierende Fortsetzung λ(= λRd ) : B(Rd ) → [0, ∞] von λ∗ auf den meßbaren Raum
(Rd , B(Rd )) ist das Lebesguemaß auf Rd .
λRd ist kein Wahrscheinlichkeitsmaß, da offensichtlich (2.2a) nicht gilt. Allerdings wird das Maß λRd bei der Arbeit mit Wahrscheinlichkeitsmaßen mit einer
Dichte (bzgl. des Lebesguemaßes), wie z.B. der Normalverteilung oder der Exponentialverteilung benötigt 2.97.
2.5. Satz von Vitali
Das in diesem Abschnitt 2.5 vorgestellte Resultat deutet an, daß in überabzählbaren Stichprobenräumen Ω die Verwendung der σ-Algebra Pot(Ω) im allgemeinen
nicht sinnvoll ist 2.98.
Wie in Abschnitt 2.4.2 sei zur Modellierung des ∞-fachen, unabhängigen Wurfs
einer fairen Münze der Stichprobenraum Ω = {0, 1}N = {ω = (ωi )i∈N : ωi ∈
{0, 1}, i ∈ N} 2.99 verwendet.
2.90Es wird nur endlich oft Kopf“ geworfen“ genau dann, wenn ein k ∈ N existiert, so daß
”
”
nach dem Zeitpunkt k nur noch Zahl“ geworfen wird.
”
2.91Vgl. (2.12). Die σ-Subadditivität
eines Wahrscheinlichkeitsmaßes wurde bereits in Fußnote 2.9 beschrieben.
2.92Wegen der Monotonie von P, vgl. (2.13).
2.93
Vgl. (2.16).
2.94
Man beachte, daß p < 1.
2.95Damit ist die experimentelle“ Lösung bestätigt.
”
2.96λ∗ weist jedem
d-dimensionalen Rechteck A in Rd sein Volumen Vol(A) zu.
2.97Vgl. Abschnitt 2.6. Eine hinreichend reguläre Funktion f : Rd → [0, ∞) ist eine WahrR
scheinlichkeitsdichte, wenn Rd dx f (x) = 1. Durch
Z
dx f (x), A ∈ B(Rd ),
P[A] =
A
definiert f ein Wahrscheinlichkeitsmaß P auf (Rd , B(Rd )). Jenes P wird als das Wahrscheinlichkeitsmaß mit der Dichte f bzgl. des Lebesguemaßes auf Rd bezeichnet.
Beispiele für Wahrscheinlichkeitsdichten auf R sind
„
«
(x − µ)2
1
exp −
, µ ∈ R, σ2 > 0.
fµ,σ 2 : x → √
2σ2
2πσ2
fµ,σ 2 ist die Dichte der Normalverteilung mit Erwartungswert µ und Varianz σ2 , vgl. Beispiel 1.7.
Weitere Wahrscheinlichkeitsdichten sind beispielsweise
(
λ exp(−λx), x ≥ 0,
, λ > 0.
gλ : x →
0,
x < 0,
gλ ist die Dichte der Exponentialverteilung mit Parameter λ > 0.
2.98Die Einführung von σ-Algebren durch (2.1) und auch die Überlegungen in Abschnitt 2.4
zur Konstruktion von σ-Algebren werden letztendlich erst aufgrund jenes Resultats notwendig.
2.99Ω ist die Menge aller {0, 1}-wertigen Folgen. Dieser Raum ist überabzählbar unendlich,
vgl. Fußnote 2.77.
26. Juli 2010
35
Sei
Tn A = {Tn ω : ω ∈ A},
(2.18a)
A ⊆ Ω, n ∈ N,
wobei
(2.18b)
Tn ω =
2.100
(ω1 , . . . , ωn−1 , 1 − ωn , ωn+1 , . . . ),
ω ∈ Ω, n ∈ N.
Auf Ω sei weiterhin eine σ-Algebra F von Ereignissen gegeben 2.101.
Wegen der Fairness der Münze sollte ein vernünftiges Wahrscheinlichkeitsmaß
P auf (Ω, F) insbesondere die Invarianzeigenschaft
(2.18c)
besitzen
P[A] = P[Tn A],
2.102
A ∈ F, n ∈ N,
.
Satz 2.10 (Vitali). 2.103 Für F = Pot({0, 1}N ) kann kein Wahrscheinlichkeitsmaß auf dem meßbaren Raum ({0, 1}N, F) existieren, das neben den üblichen in
(2.2) geforderten Eigenschaften eines Wahrscheinlichkeitsmaßes auch die bei der
Modellierung des ∞-fachen, unabhängigen Wurfs einer fairen Münze erwartete Invarianzeigenschaft (2.18) besitzt.
Zum Beweis dieses Satzes kann mit Hilfe des Auswahlaxioms 2.104 eine Menge A1 ∈ Pot({0, 1}N) konstruiert werden, die sich dadurch auszeichnet, daß jeder
mögliche Wert für P[A1 ] zu einem Widerspruch führt.
Auf Ω = {0, 1}N muß folglich zur Beschreibung des ∞-fachen, unabhängigen
Wurfs einer fairen Münze mit einer σ-Algebra F gearbeitet werden, die kleiner als
Pot(Ω) ist, d.h. weniger Elemente enthält 2.105.
2.6. Wahrscheinlichkeitsmaße mit einer Dichte bzgl. des
Lebesguemaßes
Eine hinreichend reguläre
f : Rd → [0, ∞) mit
2.106
(2.19)
Z
, z.B. stetige oder stückweise stetige Funktion
dx f (x) = 1
Rd
heißt Wahrscheinlichkeitsdichte.
2.100T ω ist eine Wurfsequenz, bei der im Vergleich zu ω beim n-ten Wurf das Ergebnis von
n
0 nach 1, bzw. von 1 nach 0 verändert ist. Für A ⊆ Ω geht Tn A aus A durch Änderung des n-ten
Wurfergebnisses für alle ω ∈ A hervor.
2.101In diesem Moment sei die σ-Algebra F noch nicht festgelegt. Es folgen nun Überlegungen
zur Wahl von F.
2.102(2.18c) besagt, daß beim ∞-fachen, unabhängigen Wurf einer fairen Münze die Wahrscheinlichkeit eines Ereignisses sich nicht ändern sollte, wenn man in einem festgelegten Wurfzeitpunkt die Rollen von Kopf“ und Zahl“ vertauscht.
”
”
2.103
Vgl. [5], Satz (1.5).
2.104Sei M eine Menge von nichtleeren Mengen. Das Auswahlaxiom besagt, daß es eine Funktion F mit Definitionsbereich M und
F (ξ) ∈ ξ,
ξ ∈ M,
gibt. F wählt also aus jeder Menge ξ ∈ M genau ein Element aus.
2.105Damit der obengenannte Widerspruch nicht auftritt, darf F insbesondere nicht die Menge
A1 enthalten. Mit der in Abschnitt 2.4.2 angegebenen σ-Algebra F = σ(F∗ ), wobei F∗ in (2.15)
definiert ist, ist eine geeignete σ-Algebra gefunden.
2.106
Im allgemeinen Fall wird als Regularität“ die Meßbarkeit der Abbildung f : (Rd , B(Rd ))
”
→ ([0, ∞), B([0, ∞))) benötigt, vgl. (3.1). Die Meßbarkeit ist der in der Stochastik übliche Regularitätsbegriff für Funktionen oder Zufallsvariablen. Borelsche σ-Algebren wie hier B(Rd ), bzw.
B([0, ∞)) werden in den Abschnitten 2.4.1 und 2.4.3 vorgestellt.
26. Juli 2010
36
Sei 2.107 Ω = Rd , F∗ =
1, . . . , d und
(2.20)
2.108
[a1 , b1 ] × · · · × [ad , bd ] : −∞ < ak ≤ bk < ∞, k =
P∗ [A] =
Z
dx f (x),
A
A ∈ F∗ .
Wenn f stetig oder stückweise stetig ist, können die Integrale in (2.19) und (2.20)
als Riemann-Integrale aufgefaßt werden. Wenn allgemeiner f nur eine meßbare 2.109
Funktion ist, so sind jene Integrale als Lebesgue-Integrale zu betrachten 2.110.
Die eindeutig existierende Fortsetzung P von P∗ auf 2.111 B(Rd ) ist das Wahrscheinlichkeitsmaß mit der Dichte f (bzgl. des Lebesguemaßes auf Rd ) 2.112.
Es folgt eine Zusammenstellung einiger wichtiger Wahrscheinlichkeitsmaße mit
einer Dichte auf R, bzw. Rd .
Normalverteilung N(µ, σ 2 ) mit Erwartungswert 2.113 µ ∈ R und Varianz σ 2 > 0:
(x − µ)2
1
exp −
fµ,σ2 (x) = √
, x ∈ R.
2σ 2
2πσ 2
Anwendung: Modellierung vom Meßfehlern, bzw. von Beobachtungen“, die
”
durch Rauschen“ gestört sind. Der Hintergrund solcher Anwendungen ist die
”
Tatsache, daß die Normalverteilung die Asymptotik beim Zentralen Grenzwertsatz 2.114 beschreibt.
Exponentialverteilung mit Parameter λ > 0:
(
λ exp(−λx), x ≥ 0,
fλ (x) =
0,
x < 0.
Anwendung: Modellierung von Wartezeiten 2.115. Der Hintergrund solcher
Anwendungen ist die Gedächtnislosigkeit der Exponentialverteilung 2.116 2.117.
2.107Nun wird ausgehend von einer Wahrscheinlichkeitsdichte f gemäß der in Abschnitt 2.4
beschriebenen Vorgehensweise ein Wahrscheinlichkeitsmaß konstruiert.
2.108F∗ ist die Menge der Rechtecke in Ω = Rd .
2.109Vgl. Fußnote 2.106.
2.110Eine Einführung des abstrakten Lebesgue-Integrals wird in [8], § 12, gegeben. Das dort
beschriebene Verfahren entspricht der in den Abschnitten 6.1 - 6.3 vorgestellten Einführung des Erwartungswerts reellwertiger Zufallsvariablen, vgl. Kapitel
R 3. Für eine meßbare, reellwertige Funktion, vgl. Fußnote 2.106, f auf [0, 1] gilt beispielsweise 01 dx f (x) = E[f ], wobei auf der rechten
Seite f als eine Zufallsvariable auf dem in Abschnitt 2.4.1 eingeführten Wahrscheinlichkeitsraum
([0, 1], B([0, 1]), λ[0,1] ) zu betrachten ist.
2.111Die Borelsche σ-Algebra B(Rd ) ist die kleinste σ-Algebra, die F∗ enthält, vgl. Abschnitt 2.4.3.
2.112Wie in den Ausführungen am Anfang von Abschnitt 2.4 angedeutet, wird in dieser
Vorlesung im wesentlichen nur mit P∗ , d.h. mit (2.20) gearbeitet, wenn Wahrscheinlichkeitsmaße
mit einer Dichte betrachtet werden. Darüberhinaus sind alle Wahrscheinlichkeitsdichten stetig,
bzw. stückweise stetig.
2.113Die Begriffe Erwartungswert und Varianz wurden in Abschnitt 1.1.3 kurz angesprochen,
vgl. Beispiele 1.4 und 1.5. Detaillierte Erläuterungen folgen in Kapitel 6. Zunächst genügt es, µ und
σ2 als Parameter zu betrachten. In Beispiel 6.9 werden anschließend µ und σ2 als Erwartungswert,
bzw. Varianz identifiziert.
2.114Vgl. Beispiel 1.7 und insbesondere Abschnitt 9.3.
2.115Man nehme an, daß ein Anfangszeitpunkt festgelegt wird. Nun eignet sich die Exponentialverteilung mit einem jeweils geeignet zu wählenden λ > 0, um die Wartezeit bis zum ersten
Telefonanruf, zum Eingang der ersten E-Mail, zum ersten Vulkanausbruch, zum ersten Einschlag
eines Asteroiden, . . . zu modellieren.
2.116
Vgl. Beispiel 8.3. Die Gedächtnislosigkeit einer Wartezeit besagt, daß die Wahrschein”
lichkeitsverteilung“ der verbleibenden Wartezeit nicht davon abhängt, wie lang man schon wartet.
Mit anderen Worten, die Chancen beim Zahlenlotto werden nicht größer, wenn man jahrelang
keinen Gewinn erzielt hat.
2.117
Die Exponentialverteilung ist ein kontinuierliches“ Analogon zur geometrischen Vertei”
lung, die zur Modellierung von Wartezeiten in diskreter Zeit geeignet ist, vgl. Abschnitt 2.2.
26. Juli 2010
37
Gleichverteilung
2.118
auf einem beschränkten Gebiet 2.119 G ⊆ Rd :
(
1/Vol(G) 2.120, x ∈ G,
fG (x) =
0,
x 6∈ G.
Anwendung: Modellierung einer zufälligen Position in einem beschränkten
Bereich des Rd , wenn z. B. aufgrund eingeschränkter Vorkenntnisse kein Teilbereich als bevorzugt erscheint.
Cauchy-Verteilung mit Parameter a > 0 2.121:
a
fa (x) =
, x ∈ R.
π(a2 + x2 )
Gamma-Verteilung mit Parametern α, r > 0 2.122:
 r
 α xr−1 exp(−αx),
2.123
Γ(r)
fα,r (x) =

0,
x ≥ 0,
x < 0.
Für n ∈ N heißt die Gamma-Verteilung mit den Parametern 1/2 und n/2
auch χ2 -Verteilung mit n Freiheitsgraden oder auch kurz χ2n -Verteilung.
Anwendung: Die χ2 -Verteilungen werden sehr häufig in der Statistik benötigt 2.124.
2.6.1. (∗) Anwendung“ der Gleichverteilung. 2.125 Es ist die Wahr”
scheinlichkeit pM zu bestimmen, daß der nächste Meteorit mit einem Durchmesser
größer als 100 m, der auf Deutschland stürzt, Baden-Württemberg trifft.
Eine Standardvorgehensweise zur Lösung wäre:
Modellierung des Einschlagspunktes des Meteoriten durch die Gleichverteilung auf
Deutschland 2.126.
Lösung:
pM =
35.752 km2
Fläche von Baden-Württemberg
= 0,1
=
Fläche von Deutschland
357.050 km2
2.118
Ein Spezialfall der nun beschriebenen Wahrscheinlichkeitsmaße mit G = [0, 1] wird in
Abschnitt 2.4.1 betrachtet. Diskrete Gleichverteilungen werden in Abschnitt 2.2 vorgestellt.
2.119
Ein Gebiet ist eine einfach zusammenhängende Teilmenge des Rd mit einem glatten“
”
Rand.
2.120Vol(G) bezeichnet das Volumen von G.
2.121Die Cauchy-Verteilung zeichnet sich dadurch aus, daß Zufallsvariablen mit dieser Verteilung keinen Erwartungswert besitzen, vgl. Beispiel 6.8. Die Graphen der Dichten der Normalverteilung und der Cauchy-Verteilung haben beide eine glockenförmige“ Gestalt. Jedoch fällt der
”
Graph der Dichte der Cauchy-Verteilung im Unendlichen wesentlich langsamer ab als der Graph
der Dichte der Normalverteilung.
2.122Offensichtlich sind die Gamma-Verteilungen mit r = 1 Exponentialverteilungen.
2.123Γ : (0, ∞) → (0, ∞) mit Γ(r) = R ∞ ds sr−1 exp(−s), r > 0, ist die Eulersche Gamma0
Funktion.
P
n
2.124Für n ∈ N besitzt die Summe
2
i=1 Xi der Quadrate von unabhängigen, standard normalverteilten Zufallsvariablen X1 , . . . , Xn eine χ2n -Verteilung, vgl. [5], Satz (9.11). Daher spielen
χ2 -Verteilungen eine große Rolle sowohl bei der Untersuchung normalverteilter Daten, als auch
in einigen Situationen, wo große Datenmengen als Folge des Zentralen Grenzwertsatzes auf normalverteilte Größen reduziert werden können. Beispiele derartiger Anwendungen werden in [5],
Abschnitt 11.1 - 11.3, vorgestellt.
2.125Die Anführungszeichen deuten an, daß der Sinn dieser zunächst vernünftig erscheinenden
Anwendung letztendlich fraglich ist.
2.126Kleine Meteorite haben in dichter besiedelten Gegenden eine größere Chance, entdeckt
zu werden. Wenn also nur Objekte berücksichtigt werden sollen, die auch beobachtet werden, wäre
die Gleichverteilung für kleine Meteorite keine gute Wahl. Hingegen werden Meteorite mit einem
Durchmesser größer als 100 m immer bemerkt.
26. Juli 2010
38
Bei einer Diskussion der Fragestellung und ihrer Lösung ergeben sich folgende
Aspekte 2.127.
• Meteorite mit einem Durchmesser größer als 100 m schlagen sehr selten in Deutschland ein. Mit dem nächsten Einschlag ist im Mittel“ erst
”
in mehreren Millionen Jahren zu rechnen 2.128. Es kann nicht angenommen werden, daß nach Ablauf dieser Zeit Baden-Württemberg oder auch
Deutschland noch existieren, bzw. überhaupt noch bekannt sind.
• Jeder Einschlag eines Meteoriten mit einem Durchmesser größer als 100 m
hat katastrophale Auswirkungen, die i. allg. weit über Deutschlands Grenzen hinaus reichen 2.129. Allerdings hängt das Ausmaß der Katastrophe
stark von der Zusammensetzung und nicht nur von der Größe des Meteoriten ab.
Die Größe der Wahrscheinlichkeit pM wird dann interessant, wenn das Ereignis
E, daß ein Meteorit mit einem Durchmesser größer als 100 m auf Deutschland
stürzt, eintritt. Mit dem Eintreten von E in nächster Zeit sollte man aber nicht
rechnen 2.130. Wenn allerdings E wirklich eingetreten sein wird, wird das Wissen
um den Wert von pM relativ nutzlos sein, da es dann für die meisten Bewohner
Deutschlands, wenn es überhaupt noch exisitieren sollte, keine Rolle spielen wird,
wo genau der Meteorit aufgetroffen ist.
Die Berechnung von pM beantwortet eine oberflächlich vielleicht interessant“
”
erscheinende Frage, ist aber genaugenommen völlig nutzlos und gleicht hierin vielen
anderen Modellen“ und Studien“, die durch die Medien geistern 2.131.
”
”
2.127Die folgenden Überlegungen basieren auf teilweise unsicheren Schätzungen, die aus dem
Internet entnommen wurden.
2.128Beispielsweise wird die durchschnittliche Zeit bis zum nächsten Einschlag eines Meteoriten mit einem Durchmesser größer als 75 m auf der Erdoberfläche auf 1000 Jahre geschätzt. Da
die Fläche Deutschlands nur 0, 07 % der Erdoberfläche beträgt, ergeben sich 1428571 Jahre für
die mittlere Zeit bis zum nächsten Einschlag eines solchen Meteoriten in Deutschland. Meteorite
mit einem Durchmesser größer als 100 m kommen natürlich noch seltener vor.
2.129Einige Beispiele derartiger Einschläge von Meteoriten:
– Tunguska-Einschlag (1908, westl. Sibirien). Durchmesser des Meteoriten ca. 60 m, lose zusammengepreßtes Material; Zerstörung des Objekts in ca. 8 km Höhe; kein Krater; 10 - 15
Megatonnen TNT Sprengkraft; massive Verwüstungen im Umkreis von 30 km; Lärm der
Explosion war in London zu hören.
– Barringer-Krater (vor ca. 50000 Jahren, Arizona). 50 m Durchmesser, 300000 t Gewicht,
im wesentlichen aus Eisen; Krater ursprünglich mit 1200 m Durchmesser und 170 m Tiefe;
Feuerball bis 10 km Entfernung, Schockwelle mit 2000 km/h bis 40 km Entfernung.
– Chiemgau-Impakt (vor ca. 2500 Jahren, Chiemgau). Ca. 1 km Durchmesser, geringe Dichte; Explosion in 70 km Höhe, Zerfall in kleinere Objekte; viele Krater mit bis zu 370 m
Durchmesser in einem Bereich von 27 km Breite und 70 km Länge. Wahrscheinlich seit
dem Einschlag dieses Meteoriten hatten die sonst furchtlosen Kelten Angst, daß ihnen der
”
Himmel auf den Kopf fällt“ (Bericht eines Chronisten Alexanders des Großen).
– Nördlinger Ries (vor 15 Millionen Jahren, Bayern). Ca. 1 km Durchmesser, 70000 km/h Einschlagsgeschwindigkeit; Krater mit 25 km Durchmesser und 4 km Tiefe; 140000 Megatonnen
TNT Sprengkraft; Auslöschung allen Lebens im Umkreis von 100 km.
– Chicxulub-Impakt (vor 65 Millionen Jahren, Yukatán-Halbinsel in Mexiko). 10 - 15 km Durchmesser; Krater mit 190 km Durchmesser; 100 Millionen Megatonnen TNT Sprengkraft; vermutl. verantwortlich für weltweite Auslöschung der Dinosaurier.
Zur besseren Einschätzung der Sprengkraft jener Meteoriten sei erwähnt, daß die stärkste jemals
gezündete Wasserstoffbombe ein Sprengkraft von ca. 57 Megatonnen TNT hatte.
2.130Man hätte dann viele schlaflose Nächte vor sich, da die mittlere Zeit“ bis zum nächsten
”
Einschlag recht groß ist.
2.131Oft wird wahrscheinlich der Wert derartiger Studien“ aber erst durch ihre oberflächliche
”
Darstellung in den Medien gemindert.
26. Juli 2010
39
2.7. Poissonapproximation der Binomialverteilung
In diesem Abschnitt 2.7 wird nachgewiesen, daß unter gewissen Voraussetzungen die für explizite Berechnungen schwer zugängliche Binomialverteilung durch
die leichter handhabbare Poissonverteilung 2.132 approximiert werden kann. Diese
Approximation ist der Hintergrund der vielfältigen Anwendungsmöglichkeiten der
Poissonverteilung.
Satz 2.11. Sei pn , n ∈ N, eine Folge in (0, 1) mit
lim npn = λ ∈ (0, ∞).
(2.21)
n→∞
Dann gilt:
λk
lim B(n, pn )[{k}] =
exp(−λ) ,
n→∞ |
{z
}
|k! {z
}
n k
n−k
=
P
(λ)[{k}]
=
p (1 − pn )
k n
(2.22)
k = 0, 1, 2, . . .
Beweis. Sei k = 0, 1, 2, . . . fest. Dann ist zunächst
1
n −k
n(n − 1) · · · (n − k + 1)
=
(2.23)
lim
n = lim
k
n→∞ k
n→∞
k! n
k!
und weiterhin
(2.24)
Somit folgt:
npn
lim (1 − pn )n = lim (1 − pn )1/pn
=
n→∞
n→∞ |
{z
}
→ 2.133 exp(−1)
2.134
exp(−λ).
lim B(n, pn )[{k}]
n→∞
→ 2.137 exp(−λ)
z }| {
n −k
(npn )k (1 − pn )n (1 − pn )−k
= lim
n
n→∞ k
| {z }
| {z }
| {z }
2.136 k
→ 2.138 1
→
λ
→ 2.135 1/k!
=
λk
exp(−λ).
k!
2.7.1. Anwendung der Poissonapproximation. 2.139 In einer Steppe 2.140
sei eine rechteckige Versuchsfläche A betrachtet. Gesucht ist ein mathematisches
Modell für die Anzahl der Bäume in A. Zu diesem Zweck ist das folgende Vorgehen
naheliegend:
2.132Die Poissonverteilung wurde in Abschnitt 2.2 vorgestellt.
2.133Aufgrund der Definition der Zahl e. Man beachte, daß (2.21) zu p → 0 bei n → ∞
n
führt.
2.134
Da npn → λ bei n → ∞, vgl. (2.21).
2.135Wegen (2.23).
2.136Wegen (2.21).
2.137Wegen (2.24).
2.138Da p → 0 bei n → ∞.
n
2.139
In diesem Abschnitt 2.7.1 wird für eine realistische“ Situation eine typische Anwendung
”
der Poissonverteilung bei der mathematischen Modellierung beschrieben.
2.140
Eine Steppe ist durch eine spärliche Vegetation charakterisiert. Insbesondere wachsen
dort nur sehr wenige, vereinzelt zu findende Bäume.
26. Juli 2010
40
• In einem Diskretisierungsschritt wird für jedes n ∈ N die Versuchsfläche
A in kleine Rechtecke Rkn , k = 1, . . . , n, mit der Fläche αn 2.141 aufgeteilt,
d.h.,
nαn = |A| = Fläche von A.
αn sei so klein, daß unter den gegebenen Bedingungen (Bodenbeschaffenheit, Klima, . . . ) in jedem Rechteck Rkn , k = 1, . . . , n, i. allg. höchstens
ein Baum steht.
• In einem vorläufigen Modell 2.142 sei
– für k = 1, . . . , n die Wahrscheinlichkeit für einen Baum in Rkn proportional zur Fläche |Rkn | = αn , d.h.,
P[ein Baum in Rkn ] = µαn ,
P[kein Baum in Rkn ] = 1 − µαn ,
k = 1, . . . , n,
für ein µ > 0 2.143.
– Die Baumbestände in den verschiedenen Rechtecken Rkn , k = 1, . . . , n,
seien stochastisch unabhängig.
Als Konsequenz besitzt in diesem vorläufigen Modell die Anzahl der Bäume in A eine Binomialverteilung B(n, µαn ) 2.144.
• Wenn die Diskretisierung von A immer feiner wird, d.h. bei n → ∞, folgt:
P[k Bäume in A] =
n→∞ 2.145
≈
n
(µαn )k (1 − µαn )n−k = B(n, µαn )[{k}]
k
P (µ|A|)[{k}] =
(µ|A|)k
exp(−µ|A|),
k!
k = 0, 1, 2, . . .
• Obige Überlegungen führen zu einem endgültigen Modell und zeigen, daß
die Wahl der Poissonverteilung P (µ|A|) zur Modellierung der Anzahl der
in A wachsenden Bäume sinnvoll ist 2.146.
Das soeben beschriebene Verfahren ist auch in vielen ähnlichen Situationen anwendbar. Sich hieraus ergebende Beispiele für Anwendungen der Poissonverteilung
sind:
• Modellierung der Anzahl der Zerfälle eines radioaktiven Präparats in einem festen Zeitintervall [0, t] durch eine Poissonverteilung mit einem Parameter µt.
2.141Alle kleinen Rechtecke sollen die gleiche Fläche α haben. Da letztendlich sehr große n
n
betrachtet werden, ist αn im Verhältnis zur Gesamtfläche |A| sehr klein.
2.142In den später folgenden Überlegungen wird aus diesem vorläufigen Modell ein end”
gültiges“ Modell hergeleitet.
2.143Da α = |A|/n, ist µα < 1, wenn n hinreichend groß ist.
n
n
2.144Die Anzahl der Bäume in A bestimmt sich im vorliegenden Modell genauso wie die
Anzahl der Erfolge bei einem n-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit
µαn , vgl. Abschnitt 2.2 und insbesondere auch die Herleitung von (1.5) in Abschnitt 1.1.2.
2.145Mit der Poissonapproximation der Binomialverteilung, vgl. (2.22). Man beachte hierbei,
daß nµαn = µ|A| für alle n ∈ N.
2.146In diesem endgültigen Modell ist die zwar hilfreiche, aber dennoch künstliche Einteilung
der Fläche A in kleine Rechtecke nicht mehr vorhanden.
26. Juli 2010
41
• Modellierung der Anzahl der Anfragen an einen Mail-Server 2.147 in einem
vorgegebenen Zeitintervall [s, t] durch eine Poissonverteilung mit einem
Parameter µ(t − s) 2.148.
• Modellierung der Anzahl der Sterne in einem hinreichend großen Bereich
A des Weltalls 2.149 durch eine Poissonverteilung mit einem Parameter
µ|A| 2.150.
In diesen verschiedenen Situationen ist jeweils ein geeigneter Parameter µ > 0 zu
verwenden 2.151.
Allgemein findet die Poissonverteilung Anwendungen bei der Modellierung der
Anzahl von zufälligen, sich gegenseitig nicht beeinflußenden Punkten“ in einem
”
festen Bereich von Raum oder Zeit 2.152 2.153.
2.147Ein Mail-Server ist ein Rechner, der E-Mails verwaltet, d.h. entgegennimmt, speichert,
verschickt, weiterleitet, usw. Anfragen“ beziehen sich auf das Verschicken oder Entgegenneh”
men von Mails durch einzelne User, oder auch auf Aktionen zur Verwaltung des jeweiligen MailAccounts.
2.148In einem präziseren Modell sollte µ abhängig von der Tageszeit sein. Evtl. sollte auch ein
deterministischer Beitrag in das Modell hinzugenommen werden, um regelmäßige, automatische
Anfragen zu modellieren.
2.149Damit in dem Bereich A räumlich homogene Bedingungen“ vorliegen, sollte
”
Durchmesser eines Sonnensystems ≪ Durchmesser von A ≪ Durchmesser einer Galaxie
angenommen werden.
2.150Hier bezeichnet |A| das Volumen von A.
2.151Gegebenenfalls kann µ ausgehend von einigen Beobachtungen geschätzt werden, vgl.
Beispiel 4.2.
2.152
Die Modellierung der genauen Lage dieser Punkte“ steht hier nicht zur Debatte. Hierzu
”
werden sog. Poissonprozesse verwendet. Ein Teilproblem in diesem Zusammenhang (Lage des
ersten Punktes“) wird in Beispiel 8.3 angesprochen.
”
2.153
Aufgrund ihrer breiten Anwendungspalette ist die Poissonverteilung eine der wichtigsten
Wahrscheinlichkeitsverteilungen.
26. Juli 2010
KAPITEL 3
Zufallsvariablen
Mit Zufallsvariablen können Beobachtungsgrößen“, die zufällige Werte anneh”
men, modelliert werden. Der für die Modellierung benötigte Zufall“ wird durch
”
einen Wahrscheinlichkeitsraum, auf dem diese Zufallsvariablen als Funktionen 3.1
3.2
definiert sind, erzeugt“ .
”
Zunächst seien (Ω, F) und (Ω′ , F′ ) meßbare Räume 3.3. Weiterhin sei 3.4 X :
′
(Ω, F) → (Ω , F′ ) eine Funktion. X wird meßbar genannt, wenn
(3.1)
X −1 (A′ ) :=
3.5
{ω ∈ Ω : X(ω) ∈ A′ } =:
3.6
{X ∈ A′ } ∈ F,
A′ ∈ F′ .
Wenn P ein Wahrscheinlichkeitsmaß auf dem Definitionsbereich (Ω, F) von X ist,
schreibt man X : (Ω, F, P) → (Ω′ , F′ ) und bezeichnet X als (Ω′ - oder auch (Ω′ , F′ )wertige) Zufallsvariable, wenn (3.1) gilt 3.7 3.8 3.9.
3.1
Funktionen, die eine Zufallsvariable darstellen, müssen mit der Meßbarkeit, vgl. (3.1), eine
spezielle Eigenschaft besitzen.
3.2
Jener Wahrscheinlichkeitsraum dient als Zufallsgenerator“.
”
3.3Vgl. (2.1).
3.4Die Schreibweise X : (Ω, F) → (Ω′ , F′ ) ist im Vergleich zu X : Ω → Ω′ vorzuziehen, da die
für das folgende wesentlichen σ-Algebren F und F′ hervorgehoben werden.
3.5X −1 (A′ ) ist das Urbild von A′ unter X. X muß keine invertierbare Funktion sein.
3.6
Diese Abkürzung wird im folgenden häufig verwendet werden.
3.7In der Definition des Begriffs Zufallsvariable ist das Wahrscheinlichkeitsmaß P noch bedeutungslos. Es wird allerdings wesentlich, wenn mit X gearbeitet wird.
3.8
Bei den in dieser Vorlesung in Erscheinung tretenden Zufallsvariablen X ist oft
• der Definitionsbereich (Ω, F, P) ein anonymer Zufallsgenerator“, der im Hintergrund
”
bleibt, während
• der Wertebereich (Ω′ , F′ ), bzw. die Verteilung PX von X, vgl. Abschnitt 3.1, im Zentrum des Interesses steht. PX ist ein Wahrscheinlichkeitsmaß auf (Ω′ , F′ ), welches
angibt, mit welchen Wahrscheinlichkeiten die Zufallsvariable X ihre verschiedenen
”
Werte annimmt“.
• In den allermeisten konkreten Fällen ist (Ω′ , F′ ) = (G, B(G)) oder (Ω′ , F′ ) =
(M, Pot(M )), wobei G ein Gebiet in einem Rd , d = 1, 2, . . . , und M höchstens abzählbar
unendlich ist.
3.9
Die Begriffe meßbarer Raum und Zufallsvariable, die fundamental für die Stochastik sind,
erinnern an die ähnlich erscheinenden Begriffe topologischer Raum, bzw. stetige Funktion, die
grundlegend für viele mathematische Disziplinen sind.
Ein topologischer Raum (M, O) besteht aus einer Menge M und einer Topologie O auf M .
Hierbei ist O eine Familie von Teilmengen von M , die die Bedingungen
∅, M ∈ O,
Oi ∈ O, i ∈ I
O1 , . . . , On ∈ O
=⇒
=⇒
[
Oi ∈ O,
i∈I
n
\
i=1
Oi ∈ O
mit jeder beliebigen Menge I und n ∈ N erfüllt. Die Mengen O ∈ O werden offene Mengen
genannt. Während σ-Algebren abzählbare Vereinigungen (abzählbare Durchschnitte) ihrer Elementen enthalten, sind in Topologien beliebige Vereinigungen (aber nur endliche Durchschnitte)
von Elementen enthalten.
43
44
Wenn Ω höchstens abzählbar unendlich und F = Pot(Ω) ist, gilt die Meßbarkeitsbedingung (3.1) immer 3.10.
Wenn andererseits Ω′ höchstens abzählbar unendlich ist, ist eine Funktion X :
(Ω, F) → (Ω′ , Pot(Ω′ )) genau dann meßbar, wenn 3.11
(3.2)
X −1 ({ω ′ }) = {ω ∈ Ω : X(ω) = ω ′ } = {X = ω ′ } ∈ F,
In diesem Fall ist X eine diskrete meßbare Funktion.
ω ′ ∈ Ω′ .
Beispiel 3.1. Um den Begriff der Meßbarkeit näher zu beleuchten, werden nun
nicht-meßbare Funktionen vorgestellt 3.12.
Seien (Ω, F) und (Ω′ , F′ ) meßbare Räume. Weiterhin sei X : (Ω, F) → (Ω′ , F′ )
eine Funktion. Offensichtlich kann die Meßbarkeit (3.1) von X verloren gehen, wenn
F zu klein ist.
In einem ersten Beispiel sei Ω = {0, 1} und F = {∅, Ω} 3.13. Weiterhin sei
Ω′ = {0, 1} = Ω, F′ = Pot(Ω′ ) und X : Ω → Ω′ die Identität, d.h., X(ω) = ω,
ω ∈ Ω. Da {1} ∈ F′ und X −1 ({1}) = {1} ∈
/ F, ist Xnicht meßbar.
In einem zweiten Beispiel sei Ω = [0, 1] und F = ∅, Ω, [0, 1/2], (1/2, 1] 3.14. Sei
außerdem Ω′ = R, F′ = B(R) 3.15 und X wiederum die Identität, d.h., X(ω) = ω,
ω ∈ Ω. Da [1/4, 3/4] ∈ F′ und X −1 ([1/4, 3/4]) = [1/4, 3/4] ∈
/ F, ist auch in diesem
Fall X nicht meßbar.
Hätte man in den beiden Situationen in Ω die jeweils übliche σ-Algebra, d.h.,
F = Pot({0, 1}), bzw. F = B([0, 1]), gewählt, wären die Funktionen X natürlich
meßbar gewesen.
3.1. Verteilung von Zufallsvariablen
Sei X : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable 3.16. Die Meßbarkeitsbedingung
(3.1) besagt, daß die X zugeordneten Mengen X −1 (A′ ), A′ ∈ F′ , Elemente von F
sind, d.h. Ereignisse 3.17, die jeweils eine durch P bestimmte Wahrscheinlichkeit
besitzen. Man faßt diese Wahrscheinlichkeiten in der Verteilung PX von X mit
(3.3)
PX [A′ ] := P[{ω ∈ Ω : X(ω) ∈ A′ }]
|
{z
}
−1
′
3.18
= X (A ) ∈
F
Die zur Meßbarkeit (3.1) analoge Bedingung
f −1 (O ′ ) = {m ∈ M : f (m) ∈ O ′ } ∈ O,
O ′ ∈ O′ ,
zeichnet stetige Funktionen f : (M, O) → (M ′ , O′ ) eines topologischen Raums (M, O) in einen
weiteren topologischen Raum (M ′ , O′ ) aus.
3.10Zur Begründung beachte man, daß für alle Mengen Ω′ , alle A′ ⊆ Ω′ und alle Funktionen
X : Ω → Ω′ immer X −1 (A′ ) ∈ Pot(Ω) = F gilt.
3.11Offensichtlich folgt aus (2.1c), (3.2) und der Tatsache, daß A′ ⊆ Ω′ höchstens abzählbar
unendlich ist, insbesondere
[
X −1 (A′ ) = {ω ∈ Ω : X(ω) ∈ A′ } =
{ω ∈ Ω : X(ω) = ω ′ } ∈ F, A′ ∈ F′ .
|
{z
}
ω ′ ∈A′
= X −1 ({ω ′ }) ∈ F (vgl. (3.2))
3.12In der Mathematik sollte man immer auch versuchen, die Bedeutung neu eingeführter
Begriffe durch Gegenbeispiele zu erhellen.
3.13Für dieses triviale Mengensystem sind die Eigenschaften einer σ-Algebra, vgl. (2.1), offensichtlich erfüllt.
3.14Diese σ-Algebra in [0, 1] wird üblicherweise natürlich nicht betrachtet.
3.15Die Wahl der Borelschen σ-Algebra, d.h. der kleinsten σ-Algebra, die alle Intervalle
enthält, ist für R üblich.
3.16In den nun folgenden Überlegungen wird insbesondere das Wahrscheinlichkeitsmaß P eine
entscheidende Rolle spielen.
3.17Diese Ereignisse beschreiben das Verhalten der Zufallsvariable X.
26. Juli 2010
45
=:
3.19
P[X ∈ A′ ],
A′ ∈ F′ ,
zusammen. PX ist ein Wahrscheinlichkeitsmaß auf (Ω′ , F′ ) 3.20, d.h., (Ω′ , F′ , PX ) ist
ein Wahrscheinlichkeitsraum. Dieses Wahrscheinlichkeitsmaß PX beschreibt, mit
”
welchen Wahrscheinlichkeiten die Zufallsvariable X ihre verschiedenen möglichen
Werte in Ω′ annimmt“.
Bemerkung. Sei X : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable, wobei Ω′
abzählbar und F′ = Pot(Ω′ ) ist 3.21. Die Verteilung PX ist dann eindeutig bestimmt durch 3.22
PX [{η}] = P[{ω ∈ Ω : X(ω) = η}] = P[X = η],
η ∈ Ω′ .
Insbesondere gilt:
′
PX [A ] = PX
"•
[
η∈A′
#
3.23
{η} =
X
PX [{η}],
η∈A′
A′ ∈ F′ .
Beispiel 3.2. Zur Modellierung des ∞-fachen, unabhängigen Münzwurfs mit
Erfolgswahrscheinlichkeit p ∈ (0, 1) wird der in Abschnitt 2.4.2 eingeführte Wahrscheinlichkeitsraum (Ω, F, P) benutzt. Insbesondere ist Ω = {0, 1}N und 3.24 F =
σ(F∗ ). Außerdem ist das Wahrscheinlichkeitsmaß P durch seine durch (2.16) beschriebene Einschränkung auf F∗ bestimmt.
3.18Da X meßbar ist, vgl. (3.1).
3.19
P[X ∈ A′ ] ist eine Abkürzung für P[{ω ∈ Ω : X(ω) ∈ A′ }].
3.20Zur Begründung ist zu zeigen, daß P
X die Eigenschaften (2.2) erfüllt. Zunächst folgt
(2.2a) aus
PX [Ω′ ] = P[{ω ∈ Ω : X(ω) ∈ Ω′ }]
{z
}
|
=Ω
= 1 (da (2.2a) für P gilt).
Zum Nachweis der σ-Additivität (2.2b) von PX seien A′1 , A′2 , · · · ∈ F′ mit A′k ∩ A′l = ∅, k, l ∈ N,
k 6= l. Dann gilt:
#
"•∞
[
•∞
′
PX
Ak (die Notation ∪k=1 . . . bezeichnet eine disjunkte Vereinigung)
k=1
"(
=P
|
=
=
=
∞
X
k=1
∞
X
ω ∈ Ω : X(ω) ∈
• ∞
[
k=1
{z
• ∞
[
A′
k=1 k
)#
}
{ω ∈ Ω : X(ω) ∈ A′k }
(da für k 6= l und ω ∈ Ω nicht gleichzeitig X(ω) ∈ A′k und X(ω) ∈ A′l )
P[{ω ∈ Ω : X(ω) ∈ A′k }] (wegen (2.2b) für P)
PX [A′k ] (wegen (3.3)).
k=1
3.21X ist somit eine diskrete Zufallsvariable.
3.22P ist in diesem Fall durch seine Einschränkung auf die einpunktigen Teilmengen von
X
Ω′ bestimmt.
3.23Wegen der σ-Additivität von P .
X
3.24Ω ist der Raum der {0, 1}-wertigen Folgen und F die kleinste σ-Algebra, die die Menge
F∗ jener Ereignisse, die durch endlich viele Würfe der Münze bestimmt sind, vgl. (2.15), enthält.
26. Juli 2010
46
Zunächst sind Xk : (Ω, F, P) → ({0, 1}, Pot({0, 1})), k ∈ N, mit 3.25 Xk (ω) =
ωk , ω ∈ Ω, k ∈ N, Zufallsvariablen. Offensichtlich modelliert für k ∈ N die Zufallsvariable Xk das Ergebnis des k-ten Wurfs der Münze 3.26.
Durch T (ω) := inf{k ∈ N : Xk (ω) = 1}, ω ∈ Ω, wird nun eine (N, Pot(N))wertige Funktion T auf (Ω, F, P) definiert. Da
(3.4)
{T = n} = {ω ∈ Ω : T (ω) = n}
= {ω ∈ Ω : X1 (ω) = · · · = Xn−1 (ω) = 0, Xn (ω) = 1}
= {ω ∈ Ω : ω1 = · · · = ωn−1 = 0, ωn = 1} ∈ F∗ ⊂ F,
n ∈ N,
ist T eine diskrete Zufallsvariable 3.27. Diese Zufallsvariable modelliert den Zeitpunkt des ersten Wurfs von Zahl“. Ihre Verteilung PT ist eindeutig bestimmt
”
durch 3.28 PT [{n}] = P[T = n], n ∈ N. Weil
P[T = n] =
3.29
=
3.30
P[{ω ∈ Ω : ω1 = · · · = ωn−1 = 0, ωn = 1}]
(1 − p)n−1 p,
n ∈ N,
ist T geometrisch verteilt mit Parameter p 3.31.
Auch bei anderen, beliebig oft unabhängig wiederholten, identischen Experi”
menten“ mit zwei möglichen Ausgängen Erfolg“, bzw. Mißerfolg“ ist der Zeit” 3.32
”
punkt des ersten Erfolgs geometrisch verteilt
.
3.1.1. Konstruktion und Simulation diskreter Zufallsvariablen. 3.33
Auf 3.34 N sei ein Wahrscheinlichkeitsmaß 3.35 µ = (µn )n∈N gegeben. Gesucht ist eine
N-wertige Zufallsvariable mit der Verteilung µ. Damit ist insbesondere ein Wahrscheinlichkeitsraum (Ω, F, P) und eine meßbare 3.36 (N, Pot(N))-wertige Funktion
X auf (Ω, F, P) anzugeben, d.h. zu konstruieren 3.37, so daß
PX [{n}] = P[X = n] = µn ,
n ∈ N.
3.25Beachte, daß ω = (ω , ω , . . . ), ω ∈ Ω. X ist somit die Projektion auf die k-te Koordinate
1
2
k
von Ω.
3.26Wenn die Familie der Zufallsvariablen X , k ∈ N, zu einem Objekt (X )
k
k k∈N zusammengefaßt wird, ergibt sich ein einfaches Beispiel eines stochastischen Prozesses. Insbesondere
liegt hier ein Bernoulli-Prozeß vor. Allgemein sind bei einem Bernoulli-Prozeß Y = (Yk )k∈N die
Zufallsvariablen Yk , k ∈ N, unabhängig und identisch verteilt.
3.27Man beachte, daß die Funktion T die Bedingung (3.2) erfüllt.
3.28Vgl. die diesem Beispiel 3.2 unmittelbar vorangehende Bemerkung.
3.29Wegen (3.4).
3.30Aufgrund von (2.16).
3.31Mit den hier durchgeführten Überlegungen sind die eher formal einzuschätzenden
Ausführungen in Fußnote 2.35 auf eine mathematisch korrekte Basis gestellt.
3.32Der Parameter dieser geometrischen Verteilung stimmt mit der Erfolgswahrscheinlichkeit
bei der einmaligen Durchführung des Experiments überein. Beispielsweise ist beim ∞-fachen, unabhängigen Wurf eines Würfels der Zeitpunkt des ersten Wurfs einer 5 geometrisch mit Parameter
1/6 verteilt.
3.33
Zum besseren Verständnis mathematischer Objekte ist es hilfreich, wenn geklärt wird,
wie derartige Strukturen konkret erzeugt“, bzw. konstruiert werden können. Hierbei kann die”
se Konstruktion rein abstrakt in einem mathematischen Umfeld oder auch real“ mit Hilfe eines
”
Computers vorgenommen werden. In diesem Abschnitt 3.1.1 sollen auf diese Weise speziell diskrete
Zufallsvariablen, d.h. Zufallsvariablen, deren Wertebereich höchstens abzählbar ist, erzeugt“ wer”
den. Als Ausgangspunkt ist die Verteilung der zu konstruierenden Zufallsvariable fest vorgegeben.
3.34
Die folgenden Überlegungen lassen sich leicht modifizieren, wenn N durch eine beliebige,
höchstens abzählbare Mange Ω′ ersetzt wird.
3.35Insbesondere ist µ ≥ 0, n ∈ N, und P
n
n∈N µn = 1.
3.36Auf der abzählbaren Menge N wird üblicherweise die σ-Algebra Pot(N) verwendet.
3.37A priori ist nicht klar, ob es zu jedem Wahrscheinlichkeitsmaß µ auch eine Zufallsvariable
X gibt, deren Verteilung PX gleich µ ist.
26. Juli 2010
47
Eine erste Möglichkeit besteht darin, zunächst Ω = N, F = Pot(N) und P = µ
zu wählen und anschließend X : (Ω, F, P) → (N, Pot(N)) durch 3.38 X(ω) = ω,
ω ∈ Ω, zu definieren. Da
PX [{n}] =
3.39
=
3.40
P[{ω ∈ Ω : X(ω) = n}]
P[{ω ∈ Ω : ω = n}] = P[{n}] =
3.41
µn ,
n ∈ N,
wird damit das Konstruktionsproblem gelöst.
Es 3.42 wäre auch möglich, 3.43 (Ω, F, P) = ([0, 1], B([0, 1]), λ[0,1] ) zu wählen und
X1 durch 3.44
Pn−1
Pn
(3.5)
X1 (ω) = n, ω ∈
k=1 µk ,
k=1 µk , n ∈ N,
zu definieren. Da
(3.6)
PX1 [{n}] =
3.45
=
3.46
=
3.47
λ[0,1] [{ω ∈ [0, 1] : X1 (ω) = n}]
Pn−1
P
λ[0,1] ω ∈ [0, 1] : k=1
µk ≤ ω < nk=1 µk
Pn−1
Pn
| k=1 µk − k=1 µk | = µn , n ∈ N,
löst auch dieser Ansatz mit der Zufallsvariablen X1 das vorgegebene Konstruktionsproblem 3.48.
Beispiel 3.3 (Simulation einer Folge unabhängiger 3.49, N-wertiger Zufallsvariablen mit einer vorgegebenen Verteilung). Als Basis zur Verwendung von Statistik-Software erzeugen Computer, bzw. sog. Zufallsgeneratoren, die auf diesen Computern implementiert sind, üblicherweise unabhängige“ Folgen von Zufallszahlen
”
x1 , x2 , . . . , die in [0, 1] gleichverteilt“ sind, d.h., mit den Zahlen x1 , x2 , . . . wird
”
3.38X ist die Identität auf Ω = N.
3.39Aufgrund der Definition (3.3) der Verteilung P einer Zufallsvariable X.
X
3.40
Wegen der speziellen Definition der Zufallsvariable X als Identität auf Ω = N.
Da P = µ gewählt wird.
3.42
Es folgt nun eine zweite Konstruktion einer N-wertigen Zufallsvariable mit der vorgegebenen Verteilung µ. Diese zweite Konstruktion wird sich in Beispiel 3.3 als nützlich herausstellen,
wenn diese Zufallsvariable mit Hilfe eines Computers simuliert werden soll.
3.43
Vgl. Abschnitt 2.4.1
3.44Der Funktion X sollte auch ein Wert X (ω) für ω = 1 zugewiesen werden. Da
1
1
λ[0,1] [{1}] = 0, ist der genaue Wert X1 (1) allerdings irrelevant. Allgemein werden zwei auf einem
Wahrscheinlichkeitsraum (Ω, F, P) definierte Zufallsvariablen X und Y als identisch betrachtet,
d.h. miteinander identifiziert, wenn
3.41
P[{ω ∈ Ω : X(ω) = Y (ω)}] = P[X = Y ] = 1.
In diesem Fall schreibt man X = Y , f.s. (fast-sicher). Verschiedene Gleichheitsbegriffe für Zufallsvariablen werden in Abschnitt 3.2.5 diskutiert.
3.45Weil die Zufallsvariable X auf dem Wahrscheinlichkeitsraum ([0, 1], B([0, 1]), λ
1
[0,1] ) definiert ist.
3.46
Aufgrund von (3.5).
3.47
Da das Lebesguemaß eines Intervalls dessen Länge ist, vgl. Abschnitt 2.4.1
3.48Ist (Ω, F, P) ein Wahrscheinlichkeitsraum und X : (Ω, F, P) → ([0, 1], B([0, 1])) eine
Zufallsvariable für welche PX die Gleichverteilung in [0, 1] ist, so folgt aus (3.6), daß die transformierte Zufallsvariable X1 (X) = X1 ◦ X : (Ω, F, P) → (N, Pot(N)) die Verteilung PX1 (X) = µ
besitzt. Von dieser Beobachtung ausgehend wird im folgenden Beispiel 3.3 die Zufallsvariable X
durch eine Simulation x einer in [0, 1] gleichverteilten Zufallsvariable ersetzt, um mit X1 (x) eine
Simulation einer Zufallsvariable mit der Verteilung µ zu erhalten.
3.49Der Begriff der Unabhängigkeit von Zufallsvariablen wird erst in Abschnitt 3.2 eingeführt
werden, vgl. (3.8). Zum Verständnis der Überlegungen in diesem Beispiel sollte allerdings ein
intuitives Verständnis der Unabhängigkeit ausreichen.
26. Juli 2010
48
eine 3.50 Realisierung einer Folge unabhängiger, in [0, 1] gleichverteilter 3.51 Zufallsvariablen simuliert. Genaugenommen sind diese Zahlen aber in keiner Weise
unabhängig oder zufällig, da sie durch spezielle, i. allg. rekursive Algorithmen berechnet werden und somit völlig deterministisch sind. Nur aufgrund ihrer Komplexität scheinen sie jene Eigenschaften zu besitzen. Sie werden daher auch als
Pseudozufallszahlen bezeichnet 3.52.
Die Überlegungen in (3.6) demonstrieren 3.53, daß durch die transformierten
Zufallszahlen 3.54 X1 (x1 ), X1 (x2 ), . . . unabhängige, N-wertige Zufallsvariablen mit
der Verteilung µ simuliert werden können.
3.2. Familien von Zufallsvariablen und deren gemeinsame Verteilung
In diesem Abschnitt 3.2 wird insbesondere dargelegt, wie sich Zusammen”
hänge“ 3.55 zwischen mehreren Zufallsvariablen und auch deren Unabhängigkeit 3.56
mathematisch beschreiben lassen.
Beispiel 3.4 (Abhängige Zufallsvariablen). Für k = 1, 2, . . . sei Tk der Tip
eines Lottospielers 3.57 in der k-ten Woche. Insbesondere seien Tk , k = 1, 2, . . . ,
auf einem Wahrscheinlichkeitsraum (Ω, F, P) definierte Zufallsvariablen mit Werten
in 3.58 Ω′ = {M ⊂ {1, . . . , 49} : |M | = 6}. Wie es für einen endlichen Stichprobenraum üblich ist, wird Ω′ mit der σ-Algebra F′ = Pot(Ω′ ) versehen 3.59.
3.50Eine Realisierung einer Familie X , X , . . . von Zufallsvariablen, die auf einem Wahr1
2
scheinlichkeitsraum (Ω, F, P) definiert sind, ergibt sich, wenn eine Folge X1 (ω), X2 (ω), . . . für ein
festes, aber beliebiges ω ∈ Ω betrachtet wird.
3.51Die Gleichverteilung in [0, 1] wird in Abschnitt 2.4.1 eingeführt.
3.52
Ein bekanntes Verfahren zur Erzeugung von Pseudozufallszahlen ist die lineare Kongruenzmethode, vgl. z.B. [7], Abschnitt 10.2. Zu vorgegebenen Parametern m ∈ N, a = 1, . . . , m − 1,
c = 0, 1, . . . , m − 1 und einem Startwert y0 = 0, 1, . . . , m − 1 betrachtet man zunächst die Folge
yn , n ∈ N0 , mit
(∗)
yn+1 = (ayn + c)
mod m,
n = 0, 1, 2, . . . ,
und bildet diese anschließend mit xn = yn /m, n = 0, 1, 2, . . . , in das Intervall [0, 1] ab. Wenn m,
a, c und y0 geschickt“ gewählt werden, hat die Folge xn , n = 0, 1, 2, . . . , ein Erscheinungsbild wie
”
eine typische“ Realisierung einer Folge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen.
”
Bei einer unglücklichen Wahl der Parameter erhält man aber u.U. eine sehr regelmäßige Folge
y0 , y1 , y2 , . . . . Beispielsweise ergibt sich 5, 0, 5, 0, . . . für a = c = y0 = 5, m = 10. Allgemein
besitzt eine durch eine Relation wie (∗) bestimmte Zahlenfolge immer eine endliche Periode, die
höchstens gleich m ist.
Etliche klassische, ältere Zufallsgeneratoren basieren auf der linearen Kongruenzmethode.
Oft hat sich allerdings im Lauf der Zeit herausgestellt, daß jene oft benutzten Zufallsgeneratoren,
deren Perioden zwischen 230 und 248 liegen, eine nur geringe Qualität besitzen. Hingegen gibt es
mit dem Mersenne Twister einen modernen Zufallsgenerator, der in einer gut bewährten Variante
mit 219937 − 1 eine extrem große Mersennesche Primzahl als Periode besitzt, vgl. z.B. [11].
Auf den üblichen Computern sind Zufallsgeneratoren und auch Befehle zur Simulation von
unabhängigen Zufallsvariablen mit einer vorgegebenen Verteilung meistens verfügbar, evtl. als
Teil des Betriebssystems oder im Rahmen von Softwarepaketen wie Maple, Mathematica oder R.
Weiterhin enthalten wissenschaftliche Software-Bibliotheken, wie z.B. die GNU Scientific Library
(GSL), vgl. http://www.gnu.org/software/gsl/, derartige Software.
3.53
Vgl. insbesondere auch Fußnote 3.48.
3.54
Die Funktion X1 wird in (3.5) definiert.
3.55Dieser vage Begriff wird durch das Konzept der gemeinsamen Verteilung von Zufallsvariablen präzisiert.
3.56Unabhängigkeit liegt vor, wenn sich Zufallsvariablen nicht gegenseitig beeinflussen“. Der
”
bisher verwendete intuitive Zugang zu diesem Begriff muß nun in eine mathematisch korrekte
Form gebracht werden.
3.57Es sei das Spiel 6 aus 49“ gemeint.
”
3.58|A| bezeichnet die
Mächtigkeit einer Menge A.
3.59(Ω′ , F′ ) ist somit ein meßbarer Raum. In dieser Situation ist es bemerkenswert, daß Ω′
eine Menge von Mengen und daher Pot(Ω′ ) die Menge aller Teilmengen einer Menge von Mengen
ist.
26. Juli 2010
49
Für ein p ∈ [0, 1] habe der Lottospieler folgendes spezielle Tip-Verfahren:
• T1 sei gleichverteilt auf Ω′ , d.h., P[T1 = ν] = 1/|Ω′ |, ν ∈ Ω′ 3.60.
• Die Tips Tk für k = 2, 3, . . . werden sukzessive folgendermaßen bestimmt:
– Sei Tk−1 = µ für ein µ ∈ Ω′ .
– Mit Wahrscheinlichkeit 1 − p sei Tk = µ.
– Mit Wahrscheinlichkeit p werde ein
· l ∈ µ 3.61 gemäß der Gleichverteilung auf 3.62 µ und ein
· l′ ∈ {1, . . . , 49} \ µ gemäß der Gleichverteilung auf 3.63 {1, . . . ,
49} \ µ ausgewählt 3.64.
– Nun sei Tk = (µ \ {l}) ∪ {l′ } 3.65.
Man beobachtet, daß
−1
• P[Tk = ν] = 1/|Ω′ | = 3.66 49
, ν ∈ Ω′ , für alle k = 1, 2, . . . . Die
6
Zufallsvariablen Tk , k = 1, 2, . . . , besitzen daher die gleiche Verteilung 3.67.
• Wenn p = 0 3.68, so ist Tk = T1 für alle k = 2, 3, . . . , d.h., die Zufallsvariablen Tk , k = 1, 2, . . . , sind stark voneinander abhängig“. Diese
”
Abhängigkeit sinkt“ mit wachsendem p 3.69.
”
Die Basis einer quantitativen Beschreibung der Abhängigkeit von Zufallsvariablen
ist deren gemeinsame Verteilung 3.70.
Es wäre übrigens zweckmäßig die Familie der Zufallsvariablen Tk , k = 1, 2, . . . ,
zusammenzufassen und als als einen stochastischen Prozeß 3.71 (Tk )k∈N zu betrachten 3.72.
3.60|Ω′ | ist die Anzahl der Möglichkeiten, aus einer Menge mit 49 Elementen eine 6-elementige
` ´
, vgl. Abschnitt 5.1, insbesondere (5.4).
Teilmenge auszuwählen, d.h., |Ω′ | = 49
6
3.61Man beachte, daß µ als Element von Ω′ eine Teilmenge von {1, . . . , 49} ist.
3.62
An diese Stelle wird mit dem Wahrscheinlichkeitsraum (µ, Pot(µ), Pµ ) gearbeitet, wobei
Pµ die Gleichverteilung auf der Menge µ ist.
3.63An diese Stelle wird mit dem Wahrscheinlichkeitsraum ({1, . . . , 49} \ µ, Pot({1, . . . , 49} \
µ), P{1,...,49}\µ ) gearbeitet, wobei P{1,...,49}\µ die Gleichverteilung auf der Menge {1, . . . , 49} \ µ
ist.
3.64Die Wahrscheinlichkeitsräume (µ, Pot(µ), P ) und ({1, . . . , 49} \ µ, Pot({1, . . . , 49} \ µ),
µ
P{1,...,49}\µ ), die bei der Wahl von l und l′ verwendet werden, sind nur Hilfsmittel bei der Beschreibung der Zufallsvariablen Tk , k = 1, 2, . . . . Der eigentliche“ Wahrscheinlichkeitsraum, auf
”
dem die Zufallsvariablen Tk , k = 1, 2, . . . , definiert sind, ist der eingangs genannte (Ω, F, P), der
nicht näher spezifiziert wird, allerdings groß genug“ sein muß, damit die beschriebene Konstruk”
tion der Zufallsvariablen Tk , k = 1, 2, . . . , durchführbar wird.
3.65Mit Wahrscheinlichkeit p wird also bei der Bestimmung des zukünftigen Tips eine Zahl
des aktuellen Tips zufällig ausgewählt und durch eine aktuell nicht getippte Zahl ersetzt. Hierbei
werden die zu ersetzende und die neue Zahl jeweils gemäß einer Gleichverteilung ausgewählt.
3.66Vgl. Fußnote 3.60.
3.67Die Zufallsvariablen T , k = 1, 2, . . . , sind somit identisch verteilt.
k
3.68In diesem Fall wird zu keinem Zeitpunkt eine der aktuell getippten Zahlen modifiziert.
3.69Mit wachsendem p steigt die Wahrscheinlichkeit, daß beim Zusammenstellen eines neuen
Tips eine der getippten Zahlen ausgetauscht wird. Da niemals alle Zahlen des aktuellen Tips
ausgetauscht werden, besteht allerdings auch für p = 1, wenn mit Sicherheit genau eine der Zahlen
des aktuellen Tips geändert wird, eine gewisse Abhängigkeit zwischen aufeinanderfolgenden Tips
Tk und Tk+1 .
3.70
Der Begriff der gemeinsamen Verteilung einer Familie von Zufallsvariablen wird in diesem
Abschnitt 3.2 eingeführt, vgl. (3.7).
3.71Vgl. Abschnitt 3.4. Ein stochastischer Prozeß ist eine durch Zeitpunkte“ indizierte Fa”
milie von Zufallsvariablen.
3.72Offensichtlich ist bei Kenntnis des gegenwärtigen Tips T die Kenntnis der Tips T
k
k−1 ,
Tk−2 , . . . in der Vergangenheit nicht notwendig, um den zukünftigen Tip Tk+1 zu beschreiben.
Daher ist (Tk )k∈N sogar ein Markovprozeß, vgl. Abschnitt 8.2.
26. Juli 2010
50
Sei nun (Ω, F, P) ein Wahrscheinlichkeitsraum und (Ω′λ , Fλ′ ), λ ∈ Λ, eine Familie meßbarer Räume 3.73. Außerdem seien Xλ : (Ω, F, P) → (Ω′λ , Fλ′ ), λ ∈ Λ,
Zufallsvariablen 3.74. Die gemeinsame Verteilung der Zufallsvariablen Xλ , λ ∈ Λ,
ist charakterisiert durch die Größen 3.75 3.76
(3.7)
P Xλ1 ∈ A′λ1 , Xλ2 ∈ A′λ2 , . . . , Xλm ∈ A′λm
= P ω ∈ Ω : Xλ1 (ω) ∈ A′λ1 , . . . , Xλm (ω) ∈ A′λm ,
{λ1 , . . . , λm } ⊆ Λ, A′λ1 ∈ Fλ′ 1 , . . . , A′λm ∈ Fλ′ m , m ∈ N.
Falls die gemeinsame Verteilung der Zufallsvariablen Xλ , λ ∈ Λ, faktorisiert, d.h.,
wenn 3.77
(3.8)
P Xλ1 ∈ A′λ1 , Xλ2 ∈ A′λ2 , . . . , Xλm ∈ A′λm
= P[Xλ1 ∈ A′λ1 ] P[Xλ2 ∈ A′λ2 ] . . . P[Xλm ∈ A′λm ]
{λ1 , . . . , λm } ⊆ Λ, A′λ1 ∈ Fλ′ 1 , . . . , A′λm ∈ Fλ′ m , m ∈ N,
werden diese Zufallsvariablen unabhängig genannt 3.78.
In den einfachsten Varianten vieler klassischer Resultate der Wahrscheinlichkeitstheorie, z.B. dem Gesetz der großen Zahlen oder dem Zentralen Grenzwertsatz 3.79, wird mit Folgen 3.80 Xk , k ∈ N, unabhängiger, identisch verteilter Zufallsvariablen gearbeitet. Hierbei sind Zufallsvariablen Xλ , λ ∈ Λ, identisch verteilt, wenn
sie die gleiche Verteilung besitzen, d.h., wenn 3.81 PXλ1 = PXλ2 , λ1 , λ2 ∈ Λ 3.82.
3.73Λ ist eine beliebige Menge, die auch überabzählbar sein kann. Die meßbaren Räume
′ ), λ ∈ Λ, können durchaus verschieden sein.
(Ω′λ , Fλ
3.74Um die nun folgenden Erläuterungen der Begriffe gemeinsame Verteilung und Unabhängigkeit in (3.7), bzw. in (3.8) besser zu verstehen, kann man zuerst |Λ| = 2, 3, . . . und
′ ) = (R, B(R)), λ ∈ Λ, annehmen. Insbesondere sollte man auch den folgenden Ab(Ω′λ , Fλ
schnitt 3.2.1, in dem eine endliche Menge diskreter Zufallsvariablen betrachtet wird, beachten.
3.75Für alle endlichen Teilmengen Λ = {λ , . . . , λ } ⊆ Λ wird festgehalten, mit welchen
e
m
1
Q
′
Wahrscheinlichkeiten die m
k=1 Ωλ -wertigen Zufallsvariablen (Xλ1 , . . . , Xλm ) ihre Werte in den
k
′ , . . . , A′
′
Mengen A′λ1 × · · · × A′λm , A′λ1 ∈ Fλ
λm ∈ Fλm , annehmen.
1
3.76
Charakterisiert durch . . . “ heißt nicht definiert durch . . . “. Die vollständige Definition
”
”
der gemeinsamen Verteilung der Zufallsvariablen Xλ , λ ∈ Λ, als ein Wahrscheinlichkeitsmaß auf
Q
dem Produktraum λ∈Λ Ω′λ wird in weiterführenden Vorlesungen angegeben.
Es sei nur erwähnt, daß für ein beliebiges Λ die gemeinsame Verteilung der Zufallsvaria′ ), λ ∈ Λ, ein Wahrscheinlichkeitsmaß auf dem meßbaren Raum
blen Xλ : (Ω, F, P) → (Ω′λ , Fλ
`Q
´
N
′ ,
′ , dem Produkt der meßbaren Räume (Ω′ , F′ ), λ ∈ Λ, ist. Die ProduktΩ
F
λ∈Λ λ N λ∈Λ λ
λ
λ
′
σ-Algebra
λ∈Λ Fλ ist hierbei die kleinste σ-Algebra, die die endlich-dimensionalen Rechtecke
′
′
′ , . . . , A′
′
{ω = (ωλ )λ∈Λ : ωλ1 ∈ Aλ1 , . . . , ωλm ∈ Aλm }, {λ1 , . . . , λm } ⊆ Λ, A′λ1 ∈ Fλ
λm ∈ Fλm ,
1
m ∈ N, enthält.
3.77Genaugenommen wird in (3.8) verlangt, daß alle gemeinsamen Verteilungen von jeweils
endlich vielen der Zufallsvariablen Xλ , λ ∈ Λ, faktorisieren.
3.78Um den Unterschied zur linearen Unabhängigkeit zu betonen, bezeichnet man die Zufallsvariablen Xλ , λ ∈ Λ, auch als stochastisch unabhängig.
3.79
Diese beiden Resultate werden in den Beispielen 1.6 und 1.7 vorgestellt. Ausführlichere
Diskussionen folgen in den Kapiteln 7 und 9.
3.80
Somit ist Λ = N.
3.81P bezeichnet die Verteilung einer Zufallsvariablen X, vgl. (3.3).
X
3.82Man beachte: Zufallsvariablen, die die gleiche Verteilung besitzen, müssen nicht, aber
können gleichverteilt sein! Zufallenvariablen X werden gleichverteilt genannt, wenn ihre Verteilung
PX die Gleichverteilung auf einer endlichen Menge, vgl. Abschnitt 2.2, oder die Gleichverteilung
in einem beschränkten Gebiet eines Rd , vgl. Abschnitt 2.6, ist.
26. Juli 2010
51
Als Abkürzung für unabhängig, identisch verteilt benutzt man häufig auch
i.i.d. 3.83. Mit i.i.d. Zufallenvariablen kann ein mehrmals, unabhängig unter gleichbleibenden Bedingungen wiederholtes Experiment modelliert werden 3.84.
3.2.1. Gemeinsame Verteilung endlich vieler diskreter Zufallsvariablen. 3.85 Seien Xk : (Ω, F, P) → (Mk , Pot(Mk )), k = 1, . . . , n, Zufallsvariablen,
wobei Mk , k = 1, . . . , n, höchstens abzählbare Mengen sind. Die gemeinsame Verteilung der Zufallsvariablen X1 , . . . , Xn wird eindeutig charakterisiert durch 3.86
(3.9)
P {ω ∈ Ω : X1 (ω) = m1 , . . . , Xn (ω) = mn }
= P[X1 = m1 , . . . , Xn = mn ],
Durch Addition solcher Terme, d.h., mit
(3.10) PX1 ,...,Xn [A] := P[(X1 , . . . , Xn ) ∈ A]
X
P[X1 = m1 , . . . , Xn = mn ],
= 3.87
(m1 ,...,mn )∈A
m 1 ∈ M 1 , . . . , mn ∈ M n .
A ∈ Pot(M1 ×. . .×Mn ),
erhält man ein Wahrscheinlichkeitsmaß 3.88 PX1 ,...,Xn auf (M1 × · · ·× Mn , Pot(M1 ×
· · · × Mn )). Dieses Wahrscheinlichkeitsmaß PX1 ,...,Xn ist die (gemeinsame) Verteilung von X1 , . . . , Xn 3.89.
Faßt man übrigens die Zufallsvariablen X1 , . . . , Xn zu einer einzigen n-dimensionalen Zufallsvariablen X = (X1 , . . . , Xn ) zusammen, so ist
PX1 ,...,Xn = PX ,
wobei PX die mit (3.3) eingeführte Verteilung von X ist.
Die Zufallsvariablen X1 , . . . , Xn sind unabhängig, genau dann wenn die Terme
in (3.9) faktorisieren 3.90, d.h., wenn
(3.11)
P[X1 = m1 , . . . , Xn = mn ]
= P[X1 = m1 ] · · · P[Xn = mn ],
m 1 ∈ M 1 , . . . , mn ∈ M n .
Beispiel 3.5 (Gemeinsame Verteilung von zwei Zufallsvariablen). Wie in Beispiel 2.6 wird der N -fache, unabhängige Wurf einer Münze mit der Wahrscheinlichkeit p für den Wurf von Zahl“ , 1 betrachtet 3.91.
”
Gesucht ist die gemeinsame Verteilung der Zufallsvariablen Z und T mit 3.92
Z(ω) = ω1 + · · · + ωN ,
bzw.
3.83
i.i.d. bedeutet independent, identically distributed“.
”
Ein Beispiel ist der ∞-fache, unabhängige Münzwurf mit einer festen Erfolgswahrscheinlichkeit.
3.85
Zur Illustration der allgemeinen in (3.7), bzw. (3.8) betrachteten Situation wird nun ein
übersichtlicher“ Spezialfall vorgestellt.
”
3.86Vgl. (3.7). Dort werden in einer allgemeinen Situation analoge Wahrscheinlichkeiten
betrachtet.
•
3.87Beachte die Tatsache, daß {(X , . . . , X ) ∈ A} = S
n
1
(m1 ,...,mn )∈A {X1 = m1 , . . . , Xn =
3.84
mn }, und die σ-Additivität von P.
3.88
Wie in den Überlegungen in Fußnote 3.20 beim Nachweis, daß die Verteilung PX einer einzelnen Zufallsvariablen X ein Wahrscheinlichkeitsmaß ist, kann gezeigt werden, daß die
Eigenschaften (2.2) für PX1 ,...,Xn gelten.
3.89Zumindest für eine endliche Menge diskreter Zufallsvariablen X , . . . , X wird erst hier
n
1
die gemeinsame Verteilung PX1 ,...,Xn definiert. In (3.7) wird diese gemeinsame Verteilung nur
charakterisiert. Vgl. hierzu Fußnote 3.76.
3.90Vgl. (3.8).
3.91Insbesondere wird nun auch mit dem in Beispiel 2.6 betrachteten Wahrscheinlichkeitsraum (Ω, F, P), wobei Ω = {0, 1}N , F = Pot(Ω) und P durch (2.5) definiert ist, gearbeitet.
3.92Z beschreibt die Anzahl der Würfe von Zahl“, während T den Zeitpunkt des ersten
”
Wurfs von Zahl“ modelliert.
”
26. Juli 2010
52
T (ω) =
(
inf{i ∈ {1, . . . , N } : ωi = 1}, falls Z(ω) > 0,
N + 1,
falls Z(ω) = 0,
für ω = (ω1 , . . . , ωN ) ∈ Ω = {0, 1}N . Dazu ist
P[Z = k, T = n],
zu bestimmen
(3.12)
3.93
k = 0, 1, . . . , N, n = 1, . . . , N + 1,
. Zunächst gilt:
(1 − p)N ,
P[Z = 0, T = N + 1] =
3.94
P[Z = 0, T = n] =
3.95
0,
n = 1, . . . , N,
P[Z = k, T = N + 1] =
3.96
0,
k = 1, . . . , N,
P[Z = k, T = n] =
3.97
0,
n = 1, . . . , N, k = N − n + 2, . . . , N.
Wenn für ein ω ∈ Ω weiterhin T (ω) = n und Z(ω) = k für n = 1, . . . , N und
k = 1, . . . , N − n + 1 ist, so folgt
• ωi = 0, i = 1, . . . , n − 1,
• ωn = 1,
• ωl = 1 für genau k − 1 verschiedene l ∈ {n + 1, . . . , N }.
−n
Es gibt 3.98 Nk−1
derartige ω ∈ Ω, wobei jedes die Wahrscheinlichkeit pk (1−p)N −k
besitzt. Somit ist
N −n k
P[Z = k, T = n] =
(3.13)
p (1 − p)N −k ,
k−1
n = 1, . . . , N, k = 1, . . . , N − n + 1.
Durch (3.12) - (3.13) ist die gemeinsame Verteilung der Zufallsvariablen Z und T
bestimmt 3.99.
3.2.2. Unabhängige Zufallsvariablen mit einer Dichte. Für ein N ∈ N
seien X1 , . . . , XN unabhängige 3.100, reellwertige Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F, P). Für k = 1, . . . , N habe die Verteilung PXk von Xk
die Dichte 3.101 fk bzgl. des Lebesguemaßes auf (R, B(R)).
Dann hat die gemeinsame Verteilung PX1 ,...,XN von X1 , . . . , XN die Dichte
Q
N
RN ∋ (y1 , . . . , yN ) → N
k=1 fk (yk ) ∈ [0, ∞) bzgl. des Lebesguemaßes auf (R ,
3.102
N
B(R ))
.
3.93Nach (3.9) und (3.10) ist die gemeinsame Verteilung von Z und T durch diese Größen
eindeutig bestimmt.
3.94Hier wird nach der Wahrscheinlichkeit für N Würfe von Kopf“ gefragt.
”
3.95
Wenn Z = 0 ist, so kann nicht T ≤ N sein.
3.96
Wenn Z > 0 ist, so ist T ≤ N .
3.97
Wenn T = n, können in den nachfolgenden Zeitpunkten n, n+1, . . . , N höchstens N −n+1
Würfe von Zahl“ auftreten.
3.98Die” Anzahl dieser ω’s ist gleich der Anzahl der Möglichkeiten aus einer Menge mit N − n
Elementen eine Teilmenge mit k − 1 Elementen auszuwählen, vgl. Abschnitt 5.1, insbesondere
(5.4).
3.99Zur Kontrolle der obigen Ausführungen kann nachgewiesen werden, daß die berechneten Koeffizienten νk,n = P[Z = k, T = n], k = 0, 1, . . . , N , n = 1, . . . , N + 1, in der Tat in
Übereinstimmung mit den zu (3.9) und (3.10) führenden Überlegungen ein Wahrscheinlichkeitsmaß auf {0, 1, . . . , N } × {1, . . . , N + 1} beschreiben. Offensichtlich ist νk,n ≥ 0, k = 0, 1, . . . , N ,
P
PN+1
n = 1, . . . , N + 1. Weiterhin zeigt sich, daß N
k=0
n=1 νk,n = 1.
3.100Vgl. (3.8).
3.101Für alle k = 1, . . . , N sei P
Xk ein Wahrscheinlichkeitsmaß auf (R, B(R)) mit der Dichte
fk , vgl. Abschnitt 2.6.
3.102Somit hat die gemeinsame Verteilung endlich vieler, unabhängiger Zufallsvariablen mit
einer Dichte ebenfalls eine Dichte. Jene gemeinsame Dichte ist das Produkt der einzelnen Dichten.
26. Juli 2010
53
Zur Begründung dieser Behauptung beachte man, daß
(3.14)
3.103
P[(X1 , . . . , XN ) ∈ A1 × · · · × AN ] =
=
3.104
=
3.105
=
Z
P[X1 ∈ A1 , . . . , XN ∈ AN ]
P[X1 ∈ A1 ] · · · P[XN ∈ AN ]
Z
Z
dy1 f1 (y1 ) · · ·
dyN fN (yN )
A1
A1 ×···×AN
AN
dy1 · · · dyN f1 (y1 ) · · · fN (yN ),
A1 , . . . , AN ∈ B(R).
Da in einem weiteren Schritt gefolgert werden kann 3.106, daß (3.14) nicht nur für
Rechtecke“ A1 × · · · × AN = {y = (y1 , . . . , yN ) ∈ RN : y1 ∈ A1 , . . . , yN ∈ AN } ∈
” N
B(R ), sondern für beliebige A ∈ B(RN ) gilt, ist die Behauptung bewiesen.
Beispiel 3.6 (Unabhängige, normalverteilte Zufallsvariablen). Seien X1 , . . . ,
XN unabhängige, normalverteilte Zufallsvariablen mit den Dichten 3.107
(x − µk )2
1
exp
−
, x ∈ R, k = 1, . . . , N,
fk (x) = p
2σk2
2πσk2
2
wobei µ1 , . . . , µN ∈ R und σ12 , . . . , σN
> 0. Um die Dichte f : RN → [0, ∞) mit
f (x) = f (x1 , . . . , xN ) =
N
Y
fk (xk )
k=1
(x − µk )2
p
=
,
exp −
2σk2
2πσk2
k=1
N
Y
1
x = (x1 , . . . , xN ) ∈ RN ,
der gemeinsamen Verteilung PX1 ,...,XN von X1 , . . . , XN in einer kompakten“ Form
”
darstellen zu können, wird der Vektor µ = (µ1 , . . . , µN ) ∈ RN und die N ×N -Matrix
σ 2 = (σk2 δk,l )k,l=1,...,N 3.108 eingeführt. Nun ist die Dichte von PX1 ,...,XN darstellbar
in der Form 3.109 3.110
1
1
2 −1
T
exp − (x − µ)(σ ) (x − µ) , x ∈ RN ,
(3.15)
f (x) = p
2
(2π)N det(σ 2 )
d.h., die Zufallsvariablen X1 , . . . , XN sind gemeinsam normalverteilt mit Erwartungswert µ und Kovarianzmatrix σ 2 3.111. Man schreibt PX1 ,...,XN = N(µ, σ 2 ).
3.103Hier wird nur die Schreibweise geändert.
3.104Da die Zufallsvariablen X , . . . , X unabhängig sind, vgl. (3.8).
1
N
3.105
Da für k = 1, . . . , N die Verteilung der Zufallsvariable Xk die Dichte fk besitzt.
Hierzu kann Satz (1.12) in [5] benutzt werden.
3.107Vgl. Abschnitt 2.6.
3.108
(
1, falls k = l,
δk,l =
0, falls k 6= l,
3.106
ist das Kronecker-Symbol. Somit ist σ2 eine Diagonalmatrix, deren Diagonalelemente durch die
Varianzen σk2 , k = 1, . . . , N , der Zufallsvariablen X1 , . . . , XN gegeben sind.
QN
3.109Da (σ2 )−1 = ((σ2 )−1 δ )
2
2
k,l k,l=1,...,N und weil det(σ ) =
k=1 σk .
k
3.110
Zu y ∈ RN bezeichnet y T den zu y transponierten Vektor. Für einen Zeilenvektor y ist
y T der entsprechende Spaltenvektor.
3.111Wenn eine allgemeine N -dimensionale Normalverteilung eine Dichte f besitzt, so hat
diese die Gestalt
„
«
1
1
exp − (x − ν)(A)−1 (x − ν)T , x ∈ RN ,
(∗)
f (x) = p
2
(2π)N det(A)
wobei ν ∈ RN der Erwartungswert und A die Kovarianzmatrix ist. A ist eine positiv-definite,
symmetrische N × N -Matrix.
Es gibt zu jedem ν ∈ RN und jeder positiv-semidefiniten, symmetrischen N × N -Matrix A
eine Normalverteilung N(ν, A) auf RN mit dem Erwartungswert ν und der Kovarianzmatrix A.
26. Juli 2010
54
3.2.3. Unabhängigkeit von Ereignissen. 3.112 Mit (Ω, F, P) sei ein Wahrscheinlichkeitsraum und mit Aλ , λ ∈ Λ, eine Menge von Ereignissen gegeben. Diese
heißen unabhängig, wenn 3.113
#
"
Y
\
P[Aλ ], ∆ ⊆ Λ, |∆| < ∞.
(3.16)
P
Aλ =
λ∈∆
λ∈∆
Wenn Ereignisse A und B unabhängig sind, so sind auch A und Ω \ B, bzw. Ω \ A
und B, bzw. Ω \ A und Ω \ B unabhängig 3.114. Daher folgt insbesondere, daß die
Unabhängigkeit der Ereignisse Aλ , λ ∈ Λ, gleichbedeutend mit der Unabhängigkeit
der ({0, 1}, Pot({0, 1}))-wertigen Zufallsvariablen 3.115 IAλ , λ ∈ Λ, ist.
Beispiel 3.7 (Paarweise Unabhängigkeit von Ereignissen). Sei (Ω, F, P) ein
Wahrscheinlichkeitsraum. Ereignisse A1 , A2 , . . . ∈ F sind paarweise (stochastisch)
unabhängig, wenn
(3.17)
P[Ak1 ∩ Ak2 ] = P[Ak1 ] · P[Ak2 ],
1 ≤ k1 < k2 < ∞.
Offensichtlich impliziert die Unabhängigkeit von Ereignissen ihre paarweise Unabhängigkeit. Wie nun gezeigt wird, gilt der umgekehrte Schluß nicht 3.116.
Wir betrachten den 2-fachen, unabhängigen Wurf einer fairen Münze, d.h., wir
arbeiten mit dem Wahrscheinlichkeitsraum (Ω, F, P) mit 3.117
Ω = {0, 1}2 ,
1
P[{ω}] = ,
4
F = Pot(Ω),
ω ∈ Ω.
Für die Ereignisse
A=
3.118
B=
3.119
C=
3.120
{(1, 0), (1, 1)},
{(0, 1), (1, 1)},
{(0, 0), (1, 1)}
Diese besitzt genau dann eine Dichte fµ,A : RN → [0, ∞), die in diesem Fall durch (∗) gegeben
ist, wenn A positiv-definit ist.
Wenn eine Normalverteilung im RN eine nur positiv-semidefinite, nicht aber positiv-definite
Kovarianzmatrix besitzt, ist sie auf einer niederdimensionalen, linearen Untermannigfaltigkeit des
RN konzentriert“ und besitzt somit keine Dichte.
”3.112
Die Unabhängigkeit von Ereignissen, mit der auf eine formale Weise schon mehrfach
gearbeitet wurde, z.B. in den Fußnoten 1.29 und 2.35, ist ein Spezialfall der Unabhängigkeit von
Zufallsvariablen, vgl. (3.8).
3.113T
λ∈∆ Aλ , Aλ1 und . . . und Aλm , falls ∆ = {λ1 , . . . , λm }. Die Faktorisierungseigenschaft (3.16) muß für alle endlichen Teilmengen ∆ der beliebigen Menge Λ gelten.
3.114Beispielsweise gilt
P[A ∩ (Ω \ B) ] = P[A] − P[A ∩ B] (Additivität von P)
|
{z
}
| {z }
= A \ (A ∩ B)
= P[A] · P[B] (Unabhängigkeit von A und B)
= P[A](1 − P[B]).
| {z }
= P[Ω \ B]
3.115Für A ⊆ Ω bezeichnet I mit
A
IA (ω) =
(
1,
0,
ω ∈ A,
ω ∈ Ω \ A,
die Indikatorfunktion von A.
3.116Beachte, daß die Ereignisse A , A , . . . unabhängig sind, wenn die in (3.17) beschriebene
1
2
Faktorisierungseigenschaft nicht nur für zwei sondern für jeweils endlich viele A... ’s gilt, vgl. (3.16).
3.117Vgl. Beispiel 2.5.
26. Juli 2010
55
gilt
(3.18a)
(3.18b)
(3.18c)
(3.18d)
(3.18e)
P[A] = P[B] = P[C] =
1
4
1
P[A ∩ C] = P[{(1, 1)}] =
4
1
P[B ∩ C] = P[{(1, 1)}] =
4
1
P[A ∩ B ∩ C] = P[{(1, 1)}] =
4
P[A ∩ B] = P[{(1, 1)}] =
1
,
2
= P[A] · P[B],
= P[A] · P[C],
= P[B] · P[C],
6=
1
= P[A] · P[B] · P[C].
8
Die Beziehungen (3.18b) - (3.18d) zeigen, daß die Ereignisse A, B und C paarweise unabhängig sind. Aufgrund von (3.18e) sind sie allerdings nicht unabhängig.
Die Unabhängigkeit zweier Ereignisse bedeutet nicht, daß sie nichts miteinan”
der zu tun haben“. So sind wegen (3.18c) die Ereignisse A und C zwar unabhängig,
allerdings kann, wenn bekannt ist, daß A geschieht, das Ereignis C nur eintreten,
wenn der zweite Wurf Zahl“ , 1 ergibt 3.121.
”
3.2.4. Verteilung von Summen unabhängiger Zufallsvariablen. 3.122
Für unabhängige, reellwertige Zufallsvariablen X und Y ist die Verteilung der Summe X + Y zu bestimmen 3.123. Zur Vereinfachung der Berechnungen werden im folgenden zwei Spezialfälle betrachtet, wobei sowohl X als auch Y Zufallsvariablen mit
Werten in Z 3.124, bzw. Zufallsvariablen mit einer Dichte bzgl. des Lebesguemaßes
auf R sind.
Falls die unabhängigen Zufallsvariablen X und Y Werte in Z annehmen, gilt:
"•∞
#
[
3.125
P[X + Y = m] =
P
(3.19)
{X = n, Y = m − n}
n=−∞
=
=
∞
X
3.126
3.127
n=−∞
∞
X
n=−∞
P[X = n, Y = m − n]
P[X = n]P[Y = m − n],
m ∈ Z.
3.118A beschreibt das Ereignis, daß der erste Wurf Zahl“ , 1 ergibt.
”
B beschreibt das Ereignis, daß der zweite Wurf Zahl“ ergibt.
”
C beschreibt das Ereignis, daß die Ergebnisse der beiden Würfe übereinstimmen.
3.121Von einem intuitiven Standpunkt aus sind zwei Ereignisse D und E stochastisch unabhängig, wenn das Wissen über das Eintreten von D (bzw. E) die Wahrscheinlichkeit für das
Eintreten von E (bzw. D) nicht ändert. Mathematisch rigoros bedeutet dies, daß
3.119
3.120
P[E|D] = P[E]
(bzw. P[D|E] = P[D]),
wobei P[E|D] die bedingte Wahrscheinlichkeit des Ereignisses E unter der Bedingung D bezeichnet, vgl. Abschnitt 8.1.
3.122
In vielen Anwendungen ist eine zufällige Beobachtungsgröße, d.h. eine Zufallsvariable X,
eine Summe von mehreren unabhängigen, kleineren Beiträgen X1 , . . . , Xn . Oft treten diese nicht
als individuelle Größen, sondern nur als Bestandteil von X in Erscheinung. Beispielsweise kann X
ein Gesamtertrag (eine Gesamtwartezeit) sein, der (die) als Summe X = X1 + · · · + Xn einzelner
Erträge (Wartezeiten) darstellbar ist. In diesem Abschnitt 3.2.4 soll geklärt werden, wie aus den
Verteilungen von X1 , . . . , Xn die Verteilung von X berechnet werden kann.
3.123Die Verteilung beliebiger endlicher Summen unabhängiger, reellwertiger Zufallsvariablen
kann anschließend mit einem Iterationsverfahren bestimmt werden.
3.124Somit sind in diesem Fall X und Y diskrete Zufallsvariablen.
26. Juli 2010
56
Die Faltung p ∗ q zweier reellwertiger Sequenzen p = (pn )n∈Z und q = (qn )n∈Z
ist durch
(p ∗ q)m :=
(3.20)
=
∞
X
pn qm−n
n=−∞
3.128
∞
X
pm−l ql =
l=−∞
3.129
(q ∗ p)m ,
m ∈ Z,
definiert. Daher zeigt (3.19), daß die Verteilung PX+Y der Summe zweier unabhängiger, Z-wertiger Zufallsvariablen X und Y die Faltung von PX und PY
ist.
3.130
Beispiel 3.8. Wenn Folgen
den, führt (3.20) zu
(p ∗ q)m =
(3.21)
∞
X
n=−∞
p = (pn )n∈N0 und q = (qn )n∈N0 gefaltet wer-
pn qm−n IN0 (n)IN0 (m − n) =
m
X
pn qm−n ,
n=0
m ∈ N0 .
Für die Verteilung der Summe X + Y zweier unabhängiger, geometrisch 3.131
mit Parameter p ∈ (0, 1) verteilter Zufallsvariablen X und Y ergibt sich daher
insbesondere
P[X + Y = m] =
3.132
m
X
n=0
P[X = n] P[Y = m − n]
| {z }
= 3.133 (1 − p)n p
= (m + 1) p2 (1 − p)m ,
| {z }
m+1
=
m
m ∈ N0 .
Somit ist die Verteilung von X + Y eine negative Binomialverteilung
Parametern r = 2 und p.
3.134
mit den
Falls die Verteilungen unabhängiger, reellwertiger Zufallsvariablen X und Y
Dichten f , bzw. g bzgl. des Lebesguemaßes besitzen, so ist
Z ∞
Z ∞
P[X + Y ≤ z] = 3.135
(3.22)
dx
dy I(−∞,z] (x + y)f (x)g(y)
−∞
−∞
Z z
Z ∞
= 3.136
du
dv f (v)g(u − v)
−∞
−∞
Z z
=
du (f ∗ g)(u), z ∈ R,
−∞
•∞
3.125S
n=−∞ {X = n, Y = m − n} ist eine disjunkte Zerlegung des Ereignisses {X + Y = m}.
Wegen der σ-Additivität von P.
3.127
Da X und Y unabhängig sind.
3.128Mit der Substitution l = m − n.
3.129
Die Faltung ist somit kommutativ, d.h., p ∗ q = q ∗ p.
3.130Durch solche Folgen sind z.B. die Verteilungen N -wertiger Zufallsvariablen bestimmt.
0
3.131Hier ist die in Fußnote 2.34 beschriebene Variante der geometrischen Verteilung gemeint.
3.132Vgl. (3.19) und (3.21).
3.133Vgl. Fußnote 2.34.
3.134Vgl. Abschnitt 2.2.
3.126
26. Juli 2010
57
wobei
(3.23)
(f ∗ g)(u) =
Z
∞
−∞
dv f (v)g(u − v) = (g ∗ f )(u),
u ∈ R,
die Faltung der Wahrscheinlichkeitsdichten f und g bezeichnet.
Aus (3.22) und (3.23) kann geschlossen werden, daß die Summe X + Y zweier unabhängiger, reellwertiger Zufallsvariablen X und Y mit Dichten f , bzw. g
ebenfalls eine Dichte besitzt, nämlich f ∗ g 3.137 3.138 3.139.
Beispiel 3.9. Die Zufallsvariablen X1 und X2 seien unabhängig mit den Verteilungen 3.140 N(µi , σi2 ), i = 1, 2. Dann besitzt X +Y die Verteilung N(µ1 +µ2 , σ12 +
σ22 ) 3.141.
3.2.5. Gleichheitsbegriffe für Zufallsvariablen. 3.142 In diesem Abschnitt
werden zwei verschiedene Gleichheitsbegriffe für Zufallsvariablen vorgestellt.
Gleichheit in Verteilung. Seien X : (Ω, F, P) → (Ω′ , F′ ) und Y : (Ω1 , F1 , P1 ) →
(Ω′ , F′ ) Zufallsvariablen 3.143. Wenn X und Y die gleiche Verteilung besitzen,
d.h., wenn 3.144 PX = PY , bzw.
PX [A′ ] = P[X ∈ A′ ] =
3.145
P1 [Y ∈ A′ ] = PY [A′ ],
A′ ∈ F′ ,
3.135Da die gemeinsame Verteilung von X und Y die Dichte f · g hat, vgl. Abschnitt 3.2.2.
3.136
Mit der Substitution u = x + y, v = x.
3.137In (3.22) wird die Verteilungsfunktion F
X+Y der Zufallsvariable X + Y berechnet. All-
gemein ist die Verteilungsfunktion FZ : R → [0, 1] einer reellwertigen Zufallsvariable Z durch
FZ (ζ) = P[Z ≤ ζ] = PZ [(−∞, ζ]], ζ ∈ R, definiert, vgl. Abschnitt 3.3. Durch FZ ist die Verteilung PZ von Z eindeutig bestimmt.
3.138
Die in (3.20), (3.21) oder (3.23) beschriebenen Faltungen sind Spezialfälle der Faltung
von Wahrscheinlichkeitsmaßen auf R, die durch
Z
P(dx)Q(A − x), A ∈ B(R), P, Q Wahrscheinlichkeitsmaße auf (R, B(R)),
(P ∗ Q)(A) =
R
mit A − x = {y ∈ R : y = a − x für ein a ∈ A} definiert ist.
Allgemein ist die Verteilung PX+Y einer Summe X + Y unabhängiger, reellwertiger Zufallsvariablen X und Y mit den Verteilungen PX , bzw. PY durch deren Faltung gegeben, d.h.,
PX+Y = PX ∗ PY .
3.139
Die Berechnung von Faltungen wie in (3.20), (3.21), (3.23) oder auch im allgemeinen,
in Fußnote 3.138 betrachteten Fall kann wesentlich vereinfacht werden, wenn erzeugende bzw.
charakteristische Funktionen verwendet werden, vgl. z.B. (9.3).
Insbesondere ist die charakteristische Funktion ψZ : R → C einer reellwertigen Zufallsvariable Z durch ψZ (λ) = E[exp(iλZ)], λ ∈ R, definiert. Durch ψZ ist die Verteilung PZ von Z
eindeutig bestimmt. Für unabhängige Zufallsvariablen X und Y gilt außerdem die Faktorisierungseigenschaft ψX+Y (λ) = ψX (λ) · ψY (λ), λ ∈ R. Somit brauchen in einem solchen Fall zur
Identifizierung der Verteilung PX+Y von X + Y nur die charakteristischen Funktionen ψX und
ψY multipliziert werden.
3.140N(µ, σ2 ) ist die Normalverteilung mit Erwartungswert µ ∈ R und Varianz σ2 > 0, vgl.
Abschnitt 2.6.
3.141Ein Beweis dieser Aussage mit der Berechnung eines Integrals wie in (3.23) findet sich
in [10], Satz 11.9.
Wenn allerdings charakteristische Funktionen, vgl. Fußnote 3.139, benutzt werden, wird die
Folgerung dieses Beispiels 3.9 trivial“. Da als Folge von (9.5) und (9.6) eine Zufallsvariable Z
”
mit PZ = N(µ, σ2 ) die charakteristische Funktion ψZ (λ) = exp(iλµ − λ2 σ2 /2), λ ∈ R, besitzt,
folgt mit der Unabhängigkeit von X1 und X2 die Beziehung ψX1 +X2 (λ) = ψX1 (λ)ψX2 (λ) =
exp(iλ(µ1 + µ2 ) − λ2 (σ12 + σ22 )/2), λ ∈ R, d.h., PX1 +X2 = N(µ1 + µ2 , σ12 + σ22 ).
3.142
Die Zufallsvariablen Tk , k = 1, 2, . . . , in Beispiel 3.4 sind identisch verteilt, d.h., sie
besitzen die gleiche Verteilung und sind daher in einem speziellen Sinn gleich“. Andererseits
”
sind sie natürlich unterschiedliche Zufallsvariablen. Somit gibt es verschiedene Möglichkeiten, die
Gleichheit zwischen zwei Zufallsvariablen zu definieren.
3.143Die Definitionsbereiche (Ω, F, P), bzw. (Ω , F , P ) der Zufallsvariablen X und Y
1
1
1
können verschieden sein. Allerdings besitzen X und Y den gleichen Wertebereich (Ω′ , F′ ).
3.144Die Verteilung P einer Zufallsvariable X wird in (3.3) definiert.
X
26. Juli 2010
58
so bezeichnet man X und Y als gleich in Verteilung oder identisch verteilt.
Man schreibt 3.146
d
L
X =Y
oder X = Y.
Fast-sichere Gleichheit. Seien X, Y : (Ω, F, P) → (Ω′ , F′ ) Zufallsvariablen
Man bezeichnet X und Y als fast-sicher gleich und schreibt
3.147
.
X = Y, f.s.,
wenn
3.148 3.149
P[X = Y ] = P[{ω ∈ Ω : X(ω) = Y (ω)}] = 1.
Zwei Zufallsvariablen, die auf dem gleichen Wahrscheinlichkeitsraum definiert sind und fast-sicher gleich sind, werden üblicherweise miteinander identifiziert, d.h. als identisch betrachtet.
d
d
Bemerkung. (i) Wenn X = Y , f.s., so folgt X = Y . Wenn umgekehrt X = Y ,
so braucht X = Y , f.s., nicht zu gelten 3.150.
(ii) Die unterschiedlichen Gleichheitsbegriffe deuten an, daß es auch verschiedene
Konvergenzbegriffe für Zufallsvariablen gibt 3.151.
3.3. Verteilungsfunktionen reellwertiger Zufallsvariablen
Die Verteilung 3.152 einer Zufallsvariable X : (Ω, F, P) → (R, B(R)) ist eindeutig
bestimmt durch die Größen 3.153
PX [A′ ] = P[X ∈ A′ ],
A′ ⊆ R, A′ Intervall
3.154
.
Insbesondere ist es ausreichend, die Intervalle (−∞, y], y ∈ R, zu betrachten.
Dementsprechend führt man zur eindeutigen Charakterisierung der Verteilung
einer (R, B(R))-wertigen Zufallsvariable X deren Verteilungsfunktion FX : R →
[0, 1] mit
(3.24)
FX (y) = PX [(−∞, y]] = P[X ≤ y],
y ∈ R,
ein.
3.145Es ist hier zu beachten, daß die Zufallsvariable Y eine Funktion auf dem Wahrscheinlichkeitsraum (Ω1 , F1 , P1 ) ist.
L
d
3.146Die Notationen =
und = erinnern an die englischen Bezeichnungen law und distribution
für Verteilung.
3.147Nun sind X und Y auf dem gleichen Wahrscheinlichkeitsraum (Ω, F, P) definiert.
3.148Die Menge A = {ω ∈ Ω : X(ω) 6= Y (ω)} braucht nicht leer zu sein. Allerdings muß
P[A] = 0 sein, wenn X = Y , f.s.
3.149
Auf eine analoge Weise ist die Bedeutung von Ausdrücken wie X 6= Y , f.s., oder X ≤ Y ,
f.s., definiert.
3.150Diese Aussage kann z.B. mit Hilfe der Zufallsvariablen T , k = 1, 2, . . . , in Beispiel 3.4
k
begründet werden. Wenn X und Y auf verschiedenen Wahrscheinlichkeitsräumen definiert sind,
so macht es sowieso überhaupt keinen Sinn zu fragen, ob X = Y , f.s.
3.151
Beim schwachen Gesetz der großen Zahlen, beim starken Gesetz der großen Zahlen und
beim Zentralen Grenzwertsatz, drei Hauptresultaten der Wahrscheinlichkeitstheorie, werden in
der Tat die unterschiedlichen Konvergenzbegriffe der stochastischen Konvergenz, der fast-sicheren
Konvergenz, bzw. der Konvergenz in Verteilung verwendet, vgl. Beispiel 1.6 und 1.7 und insbesondere Satz 7.1, die Bemerkung in Abschnitt 7.1 und Satz 9.2. Die genannten drei Konvergenzbegriffe
werden in Abschnitt 6.8 gegenübergestellt.
3.152
Vgl. (3.3).
3.153Vgl. [5], Satz (1.12). Man beachte, daß die Menge der offenen (oder abgeschlossenen
oder . . . ) Intervalle durchschnittsstabil ist.
3.154Es reicht, offene, bzw. abgeschlossene, bzw. halboffene Intervalle zu betrachten.
26. Juli 2010
59
3.3.1. Eigenschaften von Verteilungsfunktionen. Die Verteilungsfunktion FX einer reellwertigen Zufallsvariable X zeichnet sich durch die folgenden Eigenschaften aus:
(i) Es gilt
(3.25)
PX [(a, b]] =
3.155
=
3.156
P[X ∈ (a, b]]
P[X ≤ b] − P[X ≤ a]
= FX (b) − FX (a),
(ii) FX ist monoton wachsend, d.h.,
(3.26)
−∞ < a < b < ∞.
3.157
FX (a) ≤ FX (b),
−∞ < a < b < ∞.
(iii) Das Verhalten von FX an den Rändern des Definitionsbereichs R wird
durch 3.158
(3.27)
lim FX (y) = 0,
y→−∞
beschrieben.
(iv) FX ist rechtsstetig, d.h.,
(3.28)
3.159
lim FX (y)
yցy0
lim FX (y) = 1
y→∞
3.160
= FX (y0 ),
(v) FX besitzt linksseitige Grenzwerte, d.h.,
(3.29)
y0 ∈ R.
3.161
−
lim FX (y) = P[X < y0 ] =: FX
(y0 ),
yրy0
y0 ∈ R.
Es gilt:
(3.30)
FX (y0 ) −
−
FX
(y0 ) ≤ FX (y0 ),
−
(y0 )
FX
y0 ∈ R,
= P[X = y0 ] = PX [{y0 }],
y0 ∈ R.
Somit ist FX in y0 ∈ R genau dann stetig, wenn y0 kein Atom 3.162 von PX ist 3.163.
(vi) Besitzt PX eine stetige Dichte 3.164 f bzgl. des Lebesguemaßes auf R, so
folgt
Z y
(3.31)
FX (y) = PX [(−∞, y]] =
dx f (x), y ∈ R,
−∞
3.155Es werden hier spezielle, halboffene Intervalle betrachtet.
3.156Da sich aus der Additivität von P, vgl. (2.10),
P[X ≤ a] + P[X ∈ (a, b]] = P[X ≤ b]
ergibt.
3.157Zur Begründung beachte man, daß die linke Seite von (3.25) immer ≥ 0 ist.
3.158Die Eigenschaften (3.27), (3.28) und (3.29) von Verteilungsfunktionen können aus
gewissen Stetigkeitseigenschaften von Wahrscheinlichkeitsmaßen abgeleitet werden, vgl. [5],
Satz (1.11)(e).
3.159Vgl. Fußnote 3.158.
3.160Mit lim
yցy0 . . .“ wird der Grenzwert bei monoton gegen y0 fallenden y beschrieben.
3.161Vgl. ”Fußnote 3.158.
3.162Der Begriff Atom wird in Bemerkung (ii) in Abschnitt 2.2 eingeführt.
3.163M.a.W., F hat genau in den Atomen von P Sprungstellen. Die Wahrscheinlichkeit
X
X
eines Atoms von PX gibt die Größe des entsprechenden Sprungs von FX an.
3.164Vgl. Abschnitt 2.6.
26. Juli 2010
60
′
d.h., 3.165 f = FX
. Wenn umgekehrt FX eine stetige Ableitung f besitzt, so hat
PX die Dichte f bzgl. des Lebesguemaßes 3.166.
3.3.2. Beispiele für Verteilungsfunktionen. Die Struktur und die Anwendungsmöglichkeiten von Verteilungsfunktionen reellwertiger Zufallsvariablen werden in diesem Abschnitt 3.3.2 anhand einiger Beispiele erläutert.
Beispiel 3.10. Sei X eine in [a, b] gleichverteilte Zufallsvariable 3.167. PX besitzt somit die Dichte f (y) = (b − a)−1 I[a,b] (y), y ∈ R. In diesem Fall ist
FX (y) = 3.168 PX (−∞, y]


0,
y < a,

Z y
y − a
3.169
3.170
, y ∈ [a, b),
=
dz f (z) =

b−a
−∞


1,
y ≥ b.
Beispiel 3.11. Sei
PA eine höchstens abzählbare Teilmenge von R und seien
pa ∈ (0, 1], a ∈ A, mit a∈A pa = 1. Sei außerdem X eine A-wertige Zufallsvariable
mit 3.171 3.172
(3.32)
P[X = a] =
Es folgt nun
3.175
3.173
PX [{a}] =
3.174
pa ,
a ∈ A.
X
pa ,
:
FX (y) = PX (−∞, y]
X
= 3.176
PX [{a}] =
a∈A∩(−∞,y]
a∈A∩(−∞,y]
y ∈ R.
3.165Nach dem Hauptsatz der Differential- und Integralrechnung.
3.166Man beachte, daß f = F ′ ≥ 0 wegen der Monotonie von F , vgl. (3.26), und daß
X
X
Z
∞
−∞
dx f (x) = lim
y→∞
′
FX
Z
y
dx f (x) = lim FX (y) = 1,
−∞
y→∞
eine Wahrscheinlichkeitsdichte.
vgl. (3.27). Somit ist in der Tat f =
3.167D.h., P ist die Gleichverteilung auf [a, b], vgl. Abschnitte 2.4.1 und 2.6.
X
3.168Nach der Definition (3.24) der Verteilungsfunktion F einer reellwertigen ZufallsvariaX
ble X.
3.169
Da PX die Dichte f besitzt.
3.170
Links von a ist FX ≡ 0, während FX ≡ 1 rechts von b. Zwischen a und b steigt FX linear
an.
3.171X ist eine diskrete, reellwertige Zufallsvariable. Ihre Verteilung P ist auf der Menge
X
A ihrer Atome konzentriert, vgl. Bemerkung (ii) in Abschnitt 2.2.
3.172
Man könnte sich hier wie in Abschnitt 3.1.1 die Frage stellen, ob eine derartige Zufallsvariable X überhaupt existiert. Um diese Frage mit ja“ beantworten zu können, kann man
”
beispielsweise durch Modifikation der ersten in Abschnitt 3.1.1 beschriebenen Methode folgendermaßen eine solche Zufallsvariable konstruieren: Man betrachtet den diskreten WahrscheinlichkeitsP
raum (A, Pot(A), P1 ), wobei P1 [A′ ] = a∈A′ pa , A′ ∈ Pot(A), und definiert X durch X(ω) = ω,
ω ∈ A.
3.173Aufgrund der Definition (3.3) der Verteilung P von X.
X
3.174
Dies ist eine Annahme, die in diesem Beispiel gemacht wird.
3.175
Wenn beispielsweise A = {ak : k ∈ N} mit −∞ < a1 < a2 < · · · < ∞, kann FX auch in
der Form
8
y < a1 ,
>
<0,
P
FX (y) =
pak , y ∈ [am−1 , am ), m = 2, 3, . . . ,
k≤m−1
>
:
1,
y ≥ sup{ak : k ∈ N},
geschrieben werden.
Eine derart übersichtliche Struktur hat die Verteilungsfunktion FX natürlich nicht für jede
diskrete reellwertige Zufallsvariable X. Wenn z.B. X eine Q-wertige Zufallsvariable ist und wenn
P[X = q] > 0 für alle q ∈ Q, liegen die Sprungstellen von FX dicht in R und es gibt kein nichtleeres
offenes Intervall, in dem FX konstant ist.
26. Juli 2010
61
Beispiel 3.12. Sei zunächst X eine reellwertige Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F, P). Die Verteilung von X habe eine stetige Dichte ψ. Nun
ist Z = X 2 eine positive reellwertige Zufallsvariable auf (Ω, F, P) 3.177. Es zeigt sich,
daß
FZ (y) = 0,
y ≤ 0,
FZ (y) = P[Z ≤ y] = P X 2 ∈ [0, y]
Z √y
√ √ = P X ∈ [− y, y] = √ dζ ψ(ζ),
y > 0.
− y
Insbesondere besitzt auch die Verteilung PZ von Z eine Dichte, nämlich ϕ mit

0,
y ≤ 0,
1
ϕ(y) = 3.178
√
√ ′
FZ (y) = √ ψ(− y) + ψ( y) , y > 0.
2 y
Beispiel 3.13 (Dichtetransformation 3.179). Sei X eine reellwertige Zufallsvariable, deren Verteilung eine stetige Dichte ψ hat. Weiterhin sei H : R → R
stetig differenzierbar und streng monoton steigend mit limx→−∞ H(x) = −∞ und
limx→∞ H(x) = ∞. Insbesondere sei H ′ (x) > 0, x ∈ R. Somit besitzt die Funktion
H eine streng monoton steigende und stetig differenzierbare Inverse H −1 : R → R
mit 3.180
1
, x ∈ R.
(3.33)
(H −1 )′ (x) = ′ −1
H (H (x))
Die Verteilungsfunktion FZ der Zufallsvariable
die Darstellung
FZ (y) = P[H(X) ≤ y]
= P[X ≤ H
−1
(y)] =
Z
3.181
Z = H(X) hat in diesem Fall
H −1 (y)
y ∈ R.
dx ψ(x),
−∞
Da
FZ′ (y) = ψ(H −1 (y))(H −1 )′ (y) =
3.182
ψ(H −1 (y))
1
H ′ (H −1 (y))
,
y ∈ R,
3.176Vgl. Bemerkung (i) in Abschnitt 2.2.
3.177Die Meßbarkeitsbedingung (3.1) läßt sich für die reellwertige Funktion Z auf (Ω, F, P)
leicht nachprüfen.
3.178Vgl. Abschnitt 3.3.1(vi). Die Tatsache, daß F ′ (y) für y = 0 nicht existiert, ist letztZ
endlich nicht problematisch, da die Funktion FZ absolutstetig ist und daher dem Hauptsatz der
Differential- und Integralrechnung genügt. Hierbei
heißt eine Funktion h : R → R absolutstetig,
Pn
wenn zu ε > 0 ein δ > 0 existiert, so daß
k=1 |h(dk )
P−n h(ck )| < ε für jede endliche Menge
(ck , dk ), k = 1, . . . , n, disjunkter, offener Intervalle mit
k=1 |dk − ck | < δ. Der Hauptsatz der
Differential- und Integralrechnung besagt, daß zu jeder absolutstetigen Funktion h : R → R eine
R
R
Funktion h′ : R → R mit ab dx |h′ (x)| < ∞ und h(b) = h(a) + ab dx h′ (x), −∞ < a < b < ∞,
existiert. Für weitere Informationen zu absolutstetigen Funktionen sei auf [8], § 18, verwiesen.
3.179
In diesem Beispiel wird erläutert, wie die Dichte einer Zufallsvariable X transformiert
wird, wenn X durch H(X) ersetzt wird, wobei H eine glatte“, evtl. nichtlineare Abbildung ist.
3.180Wenn die Identität H(H −1 (x)) = x, x ∈ R, ”auf beiden Seiten differenziert wird, folgt
H ′ (H −1 (x))(H −1 )′ (x) = 1, x ∈ R, woraus (3.33) geschlossen werden kann.
3.181Wenn X : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable und ϕ : (Ω′ , F′ ) → (Ω′′ , F′′ ) meßbar
ist, so ist auch ϕ ◦ X = ϕ(X) : (Ω, F, P) → (Ω′′ , F′′ ) eine Zufallsvariable.
26. Juli 2010
62
besitzt die Verteilung PZ von Z die Dichte ψH mit
(3.34)
ψH (y) =
ψ(H −1 (y))
,
H ′ (H −1 (y))
Für a > 0 und b ∈ R ist insbesondere
(3.35)
ψH (y) =
3.183
y ∈ R.
3.184
y−b
1
ψ
,
a
a
y ∈ R,
die Dichte der Zufallsvariable H(X) = aX + b.
Die in Abschnitt 3.3.1 aufgeführten Eigenschaften einer Verteilungsfunktion
lassen sich in den in den Beispielen 3.10 - 3.13 vorgestellten Fällen leicht nachprüfen. Insbesondere ist in Beispiel 3.11 die Verteilungsfunktion FX rechtsstetig
und besitzt linksseitige Grenzwerte, ist aber nicht stetig 3.185. Hingegen sind die
Verteilungsfunktionen FX und FZ in den Beispielen 3.10, 3.12 und 3.13 stetig 3.186.
3.3.3. Simulation einer Folge von i.i.d. Zufallsvariablen mit einer
Dichte. 3.187 Es sei mit Hilfe eines Computers eine Folge X1 , X2 , . . . von unabhängigen, reellwertigen Zufallsvariablen, die die Verteilung µ = PX1 = PX2 =
. . . besitzen, zu simulieren. Hierbei sei angenommen, daß µ eine Dichte f > 0
besitzt. Damit ist die Verteilungsfunktion 3.188 3.189 Fµ : R → (0, 1) von µ stetig
und streng monoton steigend. Als Konsequenz besitzt Fµ eine stetige und streng
monoton steigende Umkehrfunktion Fµ−1 : (0, 1) → R.
Seien nun U1 , U2 , . . . unabhängige, (0, 1)-wertige, gleichverteilte 3.190 Zufallsvariablen. Dann sind Fµ−1 (U1 ), Fµ−1 (U2 ), . . . unabhängige, identisch verteilte Zufallsvariablen. Da
(3.36)
P[Fµ−1 (Uk ) ≤ y] =
3.191
=
3.192
P[Uk ≤ Fµ (y)]
Z Fµ (y)
dx = Fµ (y),
0
y ∈ R, k = 1, 2, . . . ,
3.182Wegen (3.33).
3.183Vgl. Abschnitt 3.3.1(vi). Wenn nur |H ′ (x)| 6= 0, x ∈ R, verlangt wird, ergibt sich
ψH (y) =
ψ(H −1 (y))
,
|H ′ (H −1 (y))|
y ∈ R,
als Dichte der Verteilung der Zufallsvariable Z = H(X).
3.184Nun ist H(x) = ax + b, x ∈ R, bzw. H −1 (y) = (y − b)/a, y ∈ R.
3.185In jedem a ∈ A besitzt F einen Sprung der Größe p .
a
X
3.186Allgemein ist F immer stetig, wenn P eine Dichte bzgl. des Lebesguemaßes auf R
X
X
hat. Umgekehrt gibt es allerdings auch Zufallsvariablen X mit einer stetigen Verteilungsfunktion
FX , deren Verteilung PX weder eine Dichte besitzt noch diskret ist.
3.187
Zufallsvariablen X1 , X2 , . . . , die alle die gleiche Verteilung besitzen, werden als identisch
verteilt bezeichnet. Wenn solche Zufallsvariablen auch unabhängig sind, wird die Notation i.i.d.
benutzt, vgl. Fußnote 3.83. Während die Simulation von diskreten i.i.d. Zufallsvariablen in Beispiel 3.3 diskutiert wird, sollen nun die zu simulierenden Zufallsvariablen eine Dichte bzgl. des
Lebesguemaßes auf R besitzen, vgl. Abschnitt 2.6.
3.188Die Verteilungsfunktion eines Wahrscheinlichkeitsmaßes ist analog zur Verteilungsfunktion einer Zufallsvariable zu definieren. Insbesondere ist unter der Verteilungsfunktion Fµ eines
Wahrscheinlichkeitsmaßes µ die Verteilungsfunktion einer Zufallsvariable X mit der Verteilung
PX = µ zu verstehen.
Rx
3.189
dy f (y) = Fµ (x) < 1, x ∈ R, vgl. Abschnitt 3.3.1(vi).
Da f (y) > 0, y ∈ R, ist 0 < −∞
Die Werte 1 und 0 werden durch Fµ asymptotisch bei x → ±∞ angenommen, vgl. Abschnitt
3.3.1(iii).
3.190Die Zufallsvariablen U , U , . . . sind somit i.i.d. und in (0, 1) gleichverteilt.
1
2
26. Juli 2010
63
besitzen diese Zufallsvariablen die Verteilungsfunktion Fµ und somit die Verteilung
µ 3.193 3.194 3.195.
Wie in Beispiel 3.3 sei jetzt x1 , x2 , . . . eine durch einen Computer erzeugte
unabhängige Folge in [0, 1] gleichverteilter“ Pseudozufallszahlen. Die Überlegungen
”
in (3.36) deuten an, daß durch die transformierten Zufallszahlen Fµ−1 (x1 ), Fµ−1 (x2 ),
. . . unabhängige Zufallsvariablen mit der Verteilung µ simuliert werden können.
Die vorgestellte Simulationsmethode wird aufgrund der Verwendung der Inversen der Verteilungsfunktion als Inversionsmethode bezeichnet 3.196.
3.3.4. Quantile reellwertiger Zufallsvariablen. 3.197 Sei X eine (R, B(R))wertige Zufallsvariable 3.198 und α ∈ (0, 1). Ein qα ∈ R mit
P[X ≤ qα ] ≥ α
| {z }
= FX (qα )
(3.37)
und P[X ≥ qα ] ≥ 1 − α
wird als α-Quantil von X bezeichnet 3.199. Ein 1/2-Quantil wird auch Median genannt.
Ein α-Quantil qα einer Zufallsvariable X ist dadurch gekennzeichnet, daß X mit
mindestens der Wahrscheinlichkeit α (1 − α) einen Wert ≤ qα (≥ qα ) annimmt 3.200.
Quantile sind i. allg. nicht eindeutig. Wenn z.B. P[X ≤ a] = α′ und P[X ∈
(a, b]] = 0 für −∞ < a < b < ∞, so sind alle q ∈ [a, b] offensichtlich α′ -Quantile von
3.191Da F streng monoton steigend ist.
µ
3.192
Vgl. Abschnitt 3.3.1(vi). Hier wird benutzt, daß die Gleichverteilung auf (0, 1) die Dichte
I(0,1) (.) hat.
3.193Da die Verteilung einer reellwertigen Zufallsvariablen durch ihre Verteilungsfunktion
eindeutig bestimmt ist.
3.194Die bisher in diesem Abschnitt 3.3.3 präsentierten Überlegungen zeigen, wie eine i.i.d.
Folge von Zufallsvariablen mit einer vorgegebenen, strikt positiven Dichte mit Hilfe einer i.i.d.
Folge von in (0, 1) gleichverteilten Zufallsvariablen konstruiert werden kann.
3.195
(3.36) zeigt, daß die Zufallsvariablen Fµ−1 (Uk ), k = 1, 2, . . . , die Verteilung µ und daher
die Dichte f haben. Dieses Resultat kann auch mit Hilfe von Beispiel 3.13 begründet werden.
Allerdings ist diese Begründung nur formal, da die in Beispiel 3.13 angegebenen Voraussetzungen
nicht erfüllt sind.
Zu dieser Begründung von (3.36) sei H = Fµ−1 und U eine in (0, 1) gleichverteilte Zufallsvariable. U hat somit die Dichte ψ = I(0,1) . Da nun H −1 = Fµ und
1
(vgl. (3.33))
(Fµ )′ (Fµ−1 (x))
1
, x ∈ (0, 1), (da (Fµ )′ = f )
=
f (Fµ−1 (x))
H ′ (x) = (Fµ−1 )′ (x) =
führen (3.34), Fµ−1 (Fµ (y)) = y, y ∈ R, und Fµ (.) ∈ (0, 1) zu
ψH (y) =
I(0,1) (Fµ (y))
ψ(H −1 (y))
=
= f (Fµ−1 (Fµ (y))) = f (y),
H ′ (H −1 (y))
(Fµ−1 )′ (Fµ (y))
y ∈ R,
d.h., H(U ) = Fµ−1 (U ) hat die Dichte f .
3.196Eine Diskussion dieser und anderer Verfahren zur Simulation von Zufallsvariablen findet
sich in [7], Abschnitt 10.2. Dort wird insbesondere auch eine allgemeinere Form der Inversionsmethode betrachtet, mit welcher die Simulation von reellwertigen Zufallsvariablen mit beliebiger
Verteilung möglich ist. Die in Beispiel 3.3 vorgestellte Methode zur Simulation diskreter, N-wertiger
Zufallsvariablen ist übrigens auch eine Variante jener allgemeinen Inversionsmethode.
3.197
Quantile werden in der Statistik, insbesondere auch zur Bestimmung von Konfidenzintervallen benötigt, vgl. z.B. Beispiel 4.7.
3.198Wie häufig in der Wahrscheinlichkeitstheorie findet der Wahrscheinlichkeitsraum (Ω, F,
P), auf dem eine Zufallsvariable X definiert ist, keine Beachtung.
3.199Auf eine analoge Weise definiert man α-Quantile von Wahrscheinlichkeitsmaßen.
3.200Ein Median wird von X mit mindestens der Wahrscheinlichkeit 1/2 unter-, bzw. überschritten.
26. Juli 2010
64
X. Andererseits, wenn die Verteilungsfunktion FX von X streng monoton wachsend
ist 3.201, so sind alle Quantile eindeutig bestimmt.
Beispiel 3.14. Sei X eine exponentiell mit Parameter λ > 0 verteilte Zufallsvariable 3.202, d.h.,

0,
y ≤ 0,
Z y
FX (y) =
λ
dx exp(−λx) = 1 − exp(−λy), y > 0.
0
Da FX in [0, ∞) streng monoton von 0 nach 1 anwächst, ist für jedes α ∈ (0, 1) das
α-Quantil qα von X eindeutig bestimmt und erfüllt α = 1 − exp(−λqα ), d.h.,
1 1
1
qα = − log(1 − α) = log
, α ∈ (0, 1).
λ
λ
1−α
Beispiel 3.15. Sei X eine reellwertige Zufallsvariable und α ∈ (0, 1). Dann ist
(3.38)
qf
α := inf y ∈ R : P[X ≤ y] = FX (y) ≥ α
das kleinste α-Quantil von X
3.203 3.204
.
Beispiel 3.16 (Quantile einer diskreten Gleichverteilung 3.205). Für L ∈ Z
und M ∈ N sei PL,M die Gleichverteilung auf {L, L + 1, . . . , L + M } 3.206. Zur
Bestimmung der α-Quantile von PL,M reicht es, den Fall L = 0 zu behandeln,
denn qα ist genau dann ein α-Quantil von P0,M auf {0, 1, . . . , M }, wenn qα + L ein
α-Quantil von PL,M ist.
Zunächst ist

0,
x < 0,

(3.39)
P0,M (−∞, x] = k/(M + 1), x ∈ [k − 1, k), k = 1, 2, . . . , M,


1,
x ≥ M,
3.201Dies ist z.B. der Fall, wenn X eine strikt positive Dichte hat.
3.202Vgl. Abschnitt 2.6.
3.203Zur Begründung betrachte man zunächst y > y > · · · > qf mit lim
f
α
n→∞ yn = q
α.
1
2
Dann gilt:
(∗1 )
P[X ≤ qf
α]
|
{z
}
= FX (f
qα )
= lim P[X ≤ yn ] (da FX rechtsstetig ist, vgl. Abschnitt 3.3.1(iv))
n→∞ |
{z
}
= FX (yn ) ≥ α
≥ α.
(da yn > qf
α und weil FX monoton steigend ist, vgl. Abschnitt 3.3.1(ii))
Nun sei y1 < y2 < · · · < qf
f
α mit limn→∞ yn = q
α . Es ergibt sich zuerst
−
P[X < qf
qα ) = lim P[X ≤ yn ] (vgl. Abschnitt 3.3.1(v))
α ] = FX (f
n→∞ |
{z
}
< α (da yn < qf
α und wegen (3.38))
≤α
und anschließend
(∗2 )
P[X ≥ qf
f
α ] = 1 − P[X < q
α ] ≥ 1 − α.
f
Wegen (∗1 ) und (∗2 ) ist (3.37) für qf
α erfüllt, d.h., q
α ist in der Tat ein α-Quantil. Aufgrund von
(3.38) ist es jetzt offensichtlich, daß qf
α das kleinste α-Quantil ist.
3.204
Da limy→−∞ FX (y) = 0, bzw. limy→∞ FX (y) = 1, vgl. Abschnitt 3.3.1(iii), ist nun
insbesondere auch die Existenz eines α-Quantils für alle α ∈ (0, 1) bewiesen.
3.205
In einer anderen Formulierung sind die Quantile einer Zufallsvariablen, die auf einer
diskreten Menge in R gleichverteilt ist, zu berechnen.
3.206Vgl. Abschnitt 2.2. Jeder der M + 1 Punkte in {L, L + 1, . . . , L + M } hat die gleiche
Wahrscheinlichkeit 1/(M + 1).
26. Juli 2010
65
und

1,
x ≤ 0,

(3.40) P0,M [x, ∞) = (M +1−k)/(M +1), x ∈ (k − 1, k], k = 1, 2, . . . , M,


0,
x > M.
Bei der Bestimmung der α-Quantile qα , α ∈ (0, 1), von P0,M müssen im folgenden je
nachdem, ob α ein Vielfaches von 1/(M + 1) ist oder nicht, zwei Fälle unterschieden
werden.
(a) Sei α = m/(M + 1) für ein m = 1, . . . , M . In dieser Situation gilt
(3.41a)
P0,M (−∞, q] ≥ α ⇐⇒ 3.207 q ≥ m − 1
und
M +1−m
P0,M [q, ∞) ≥ 1 − α =
⇐⇒ 3.208 q ≤ m.
M +1
Als Konsequenz von (3.41) zeigt sich, daß für α = m/(M + 1) jedes q ∈ [m − 1, m]
ein α-Quantil von P0,M ist 3.209.
(b) Sei 3.210 α(M + 1) ∈
/ {1, . . . , M } und seien 3.211 m′ = ⌈α(M + 1)⌉, bzw.
′
′
α = m /(M + 1). In diesem Fall ist
P0,M (−∞, q] ≥ α ⇐⇒ 3.212 P0,M (−∞, q] ≥ α′ ⇐⇒ 3.213 q ≥ m′ − 1
(3.41b)
und
P0,M [q, ∞) ≥ 1 − α
⇐⇒
3.214
⇐⇒
3.216
⌈(1 − α)(M + 1)⌉
=
P0,M [q, ∞) ≥
M +1
q ≤ m′ − 1.
3.215
M + 2 − m′
M +1
Nun kann gefolgert werden, daß das α-Quantil eindeutig bestimmt und durch
m′ − 1 = ⌈α(M + 1)⌉ − 1 = ⌊α(M + 1)⌋ gegeben ist.
3.217
3.4. Stochastische Prozesse
Mit stochastischen oder zufälligen Prozessen können zeitliche Entwicklungen
modelliert werden, die vom Zufall beeinflußt sind“.
”
Sei (Ω, F, P) ein Wahrscheinlichkeitsraum, (Ω′ , F′ ) ein meßbarer Raum und
T ⊆ R. Für alle t ∈ T sei Xt : (Ω, F, P) → (Ω′ , F′ ) eine Zufallsvariable. Ein stochastischer Prozeß X = (Xt )t∈T ergibt sich, wenn die Familie {Xt : t ∈ T} dieser
3.207Wegen (3.39).
3.208Wegen (3.40).
3.209Vgl. die Definition der Quantile in (3.37).
3.210α hat nicht die Gestalt α = m/(M + 1) für ein m = 1, . . . , M .
3.211⌈x⌉ = inf{n ∈ Z : n ≥ x}, x ∈ R. Für x ∈ R ist ⌈x⌉ die kleinste ganze Zahl, die ≥ x ist.
3.212Da P
[ . ] nur Werte der Form k/(M +1), k = 0, 1, . . . , M +1, annehmen kann, gilt für
0,M
ein A ∈ B(R) und y > 0 genau dann P0,M [A] ≥ y, wenn P0,M [A] ≥ ⌈y(M + 1)⌉/(M + 1). Hierbei
ist zu beachten, daß ⌈y(M +1)⌉/(M +1) die kleinste Zahl der Form k/(M +1), k = 0, 1, . . . , M +1,
ist, welche größer oder gleich y ist.
3.213
Aufgrund der Überlegungen in (3.41a).
3.214Vgl. Fußnote 3.212.
3.215Da α(M + 1) ∈
/ {1, . . . , M }, gilt
⌈(1 − α)(M + 1)⌉
⌈M + 1 − α(M + 1)⌉
M + 1 − ⌈α(M + 1)⌉ + 1
M + 2 − m′
=
=
=
.
M +1
M +1
M +1
M +1
3.216
Aufgrund der Überlegungen in (3.41b).
3.217⌊x⌋ = sup{n ∈ Z : n ≤ x}, x ∈ R. Für x ∈ R ist ⌊x⌋ die größte ganze Zahl, die ≤ x ist.
26. Juli 2010
66
Zufallsvariablen zu einem Objekt zusammengefaßt wird 3.218. Der gemeinsame Wertebereich (Ω′ , F′ ) der Zufallsvariablen Xt , t ∈ T, wird auch als Zustandsraum von
X bezeichnet.
Unter der Verteilung eines stochastischen Prozesses X = (Xt )t∈T versteht man
die gemeinsame Verteilung der Zufallsvariablen {Xt : t ∈ T} 3.219.
Beispiel 3.17 (Bernoulli-Prozeß 3.220). Zu p ∈ [0, 1] seien Yn , n ∈ N, unabhängige, {−1, 1}-wertige Zufallsvariablen mit
P[Yn = 1] = p = 1 − P[Yn = −1],
(3.42)
n ∈ N.
Der stochastische Prozeß Y = (Yn )n∈N wird als Bernoulli-Prozeß (mit Parameter
p) bezeichnet. Mit einem derartigen Prozeß kann z.B. der zeitliche Verlauf eines
beliebig oft unabhängig wiederholten Münzwurfs mit Erfolgswahrscheinlichkeit p
modelliert werden 3.221. Die Verteilung von Y wird durch die Größen 3.222
n
Y
(3.43) P[Yk1 = ηk1 , . . . , Ykn = ηkn ] = 3.223
P[Ykl = ηkl ]
l=1
charakterisiert
=
3.224
=
3.225
3.226
.
n
Y
p(1+ηkl )/2 (1 − p)(1−ηkl )/2
l=1
Pn
p
l=1 (1+ηkl )/2
Pn
(1 − p)
l=1 (1−ηkl )/2
,
k1 , . . . , kn ∈ N, 1 ≤ k1 < . . . < kn , ηk1 , . . . , ηkn ∈ {−1, 1}, n ∈ N.
Beispiel 3.18 (Irrfahrt). Sei Y = (Yn )n∈N der Bernoulli-Prozeß zum Parameter p ∈ [0, 1] aus Beispiel 3.17. Weiterhin sei
(
0,
k = 0,
(3.44)
Xk =
P
Xk−1 + Yk = kl=1 Yl , k = 1, 2, . . . .
Der stochastische Prozeß X = (Xk )k∈N0 wird als Irrfahrt (auf Z) bezeichnet. Für
p = 1/2 ergibt sich die symmetrische Irrfahrt.
Auf eine anschauliche Weise läßt sich die Irrfahrt X folgendermaßen beschreiben:
• X startet im Ursprung 0 zum Zeitpunkt 0.
• Zu jedem späteren Zeitpunkt k = 1, 2, . . . springt X mit Wahrscheinlichkeit p nach rechts, bzw. mit mit Wahrscheinlichkeit 1 − p nach links 3.227.
• Zwischen zwei aufeinanderfolgenden Zeitpunkten in N0 bewegt sich X
nicht.
3.218In den konkreten Beispielen dieser Vorlesung ist üblicherweise T = N oder N oder Z.
0
3.219Die gemeinsame Verteilung einer Familie von Zufallsvariablen ist durch Terme wie in
(3.7) charakterisiert.
3.220Dieser Typ stochastischer Prozesse wurde bereits in Fußnote 3.26 angesprochen.
3.221Vgl. hierzu Abschnitt 2.4.2. Im hier beschriebenen Modellierungsansatz kann −1 mit
Mißerfolg“ und 1 mit Erfolg“ identifiziert werden.
”
3.222(3.43) ergibt ”
sich aus (2.16), wenn berücksüchtigt wird, daß {−1, 1} der Wertebereich
der Zufallsvariablen Yn , n ∈ N, ist.
3.223Da die Zufallsvariablen Y , n ∈ N, unabhängig sind.
n
3.224
Man beachte, daß (1 + η)/2 = 1 und (1 − η)/2 = 0, falls η = 1, bzw. (1 + η)/2 = 0 und
(1 − η)/2 P
= 1, falls η = −1.
Pn
n
3.225
l=1 (1−
l=1 (1+ηkl )/2 ist die Anzahl der l’s mit ηkl = 1, d.h. die Anzahl der Erfolge;
ηkl )/2 ist die Anzahl der l’s mit ηkl = −1, d.h. die Anzahl der Mißerfolge.
3.226
Allgemein wird ein (Ω′ , F′ )-wertiger stochastischer Prozeß ζ = (ζt )t∈T als BernoulliProzeß bezeichnet, wenn die Zufallsvariablen ζt , t ∈ T, i.i.d. sind.
3.227Im Zeitpunkt n ∈ N beschreibt die Bernoulli-verteilte Zufallsvariable Y
0
n+1 , wie die
weitere Bewegung von X verläuft.
26. Juli 2010
67
Für p ∈ (0, 1) kann die Irrfahrt als ein einfaches Modell für ein eindimensiona”
les diffundierendes Teilchen“ betrachtet werden. In den Fällen p 6= 1/2 hat dieses
Teilchen eine Drift“.
”
3.4.1. Stationäre stochastische Prozesse. 3.228 Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und (Ω′ , F′ ) ein meßbarer Raum. Weiterhin sei Xn : (Ω, F, P) →
(Ω′ , F′ ), n ∈ N0 , eine Familie von Zufallsvariablen. Der stochastische Prozeß X =
(Xn )n∈N0 heißt stationär, wenn für alle m ∈ N und alle k1 , . . . , km ∈ N0 mit
0 ≤ k1 < · · · < km < ∞ die gemeinsame Verteilung von Xk+k1 , . . . , Xk+km unabhängig von k ∈ N0 ist 3.229, d.h., wenn
(3.45) P Xk+k1 ∈ A′k1 , . . . , Xk+km ∈ A′km = P Xk1 ∈ A′k1 , . . . , Xkm ∈ A′km ,
0 ≤ k1 < · · · < km < ∞, A′k1 , . . . , A′km ∈ F′ , m ∈ N, k ∈ N0 .
Ein stochastischer Prozeß ist somit stationär, wenn sein Verhalten in einem end”
lichen Zeitintervall“ 3.230 nicht von der genauen Lage dieses Zeitintervalls auf der
Zeitachse abhängt.
Beispiel 3.19. Der in Beispiel 3.17 vorgestellte Bernoulli-Prozess Y = (Yn )n∈N
mit Parameter p ∈ [0, 1] ist stationär. In der Tat sind die Größen
P Yk+k1 = ηk1 , . . . , Yk+km = ηkm
=
3.231
p
Pm
r=1 (1+ηkr )/2
Pm
(1 − p)
r=1 (1−ηkr )/2
,
1 ≤ k1 < · · · < km < ∞, ηk1 , . . . , ηkm ∈ {−1, 1}, m ∈ N, k ∈ N0 ,
welche die endlich-dimensionalen Verteilungen von Y charakterisieren, von k unabhängig.
Beispiel 3.20. Die in Beispiel 3.18 beschriebene Irrfahrt X = (Xn )n∈N0 ist
nicht stationär, da z.B.
P[X0 = 0] = 1 6= 0 = P[X1 = 0]
gilt.
Beispiel 3.21. An einem festen äquatornahen Ort werde an jedem Tag k =
1, 2, . . . zur Mittagszeit die Temperatur und die Luftfeuchtigkeit gemessen. In einem vernünftigen Modell der Meßreihe scheint die Verwendung eines stationären
Prozesses Y = (Yn )n∈N sinnvoll zu sein 3.232.
3.5. Wahrscheinlichkeitsräume und Zufallsvariablen in der
Modellbildung
3.233
In Anwendungen der Wahrscheinlichkeitstheorie bei der Bildung von Modellen für vom Zufall beeinflußte Phänomene dient typischerweise ein allgemeiner
3.228Stationäre stochastische Prozesse bilden eine spezielle Klasse stochastischer Prozesse.
Andere solche Klassen sind Markovprozesse, Diffusionsprozesse, Martingale, . . . . Markovprozesse in diskreter Zeit mit diskretem Zustandsraum werden in den Abschnitten 8.2 und 8.3 etwas
ausführlicher behandelt.
3.229Auf die gleiche Weise lassen sich natürlich auch stationäre stochastische Prozesse wie
(Xn )n∈N , (Xn )n∈Z oder (Xn )n∈Zd mit N, Z oder Zd , wobei d = 2, 3, . . . , als Indexmenge
charakterisieren.
3.230Dies ist (3.45) entsprechend in einem speziellen wahrscheinlichkeitstheoretischen Sinn
gemeint. Insbesondere wird die Invarianz des Verhaltens des Prozesses“ mit Hilfe des Begriffs der
”
Verteilung von Zufallsvariablen formuliert.
3.231Vgl. (3.43).
3.232Der in Beispiel 3.4 betrachtete Prozeß T = (T )
k k∈N , der die Tips eines eine spezielle
Strategie anwendenden Lotto-Spielers beschreibt, ist auch ein Beispiel eines stationären Prozesses.
3.233
In diesem Abschnitt 3.5 sind einige Bemerkungen zu allgemeinen Prinzipien der Struktur
mathematischer Modelle, die auf der Wahrscheinlichkeitstheorie aufbauen, zu finden.
26. Juli 2010
68
Wahrscheinlichkeitsraum (Ω, F, P) als ein Zufallsgenerator“, während Zufallsvaria”
ble Messungen oder Beobachtungen mit zufälligem Ausgang modellieren. (Ω, F, P)
muß so groß“ sein, daß alle benötigten Zufallsvariablen mit den von ihnen erwar”
teten Eigenschaften konstruiert werden können. Insbesondere muß die gemeinsame
Verteilung dieser Zufallsvariablen 3.234 den Wünschen und Vorstellungen des modellbildenden Mathematikers gerecht werden.
Beim Entwurf eines mathematischen Modells für einen physikalischen oder
technischen Vorgang ist nur die realistische Nachbildung“ der möglichen Beob”
achtungsergebnisse wesentlich. Dies bedeutet, daß der zugrundeliegende allgemeine
Wahrscheinlichkeitsraum (Ω, F, P) in den Hintergrund tritt, d.h. sein detaillierter
Aufbau irrelevant bleibt, solange nur die für die Modellbildung benutzten Zufallsvariablen die richtige Verteilung besitzen 3.235.
Beispiel 3.22. Zur Modellierung des N -fachen unabhängigen Wurfs einer fairen Münze könnte anstelle des in Beispiel 2.5 vorgestellten Wahrscheinlichkeitsraums (Ω, F, P) mit
Ω = {0, 1}N ,
F = Pot(Ω),
e P)
e F,
e mit
ebenso (Ω,
e = {0, 1, . . . , 2N − 1},
Ω
P[{ω}] = 2−N , ω ∈ Ω,
e = Pot(Ω),
e
F
e ω}] = 2−N , ω
e
P[{e
e ∈ Ω,
3.236
ei , i = 1, . . . , N ,
benutzt werden. Nun sind z.B. die {0, 1}-wertigen Zufallsvariablen X
mit 3.237
ω
e
e
e i = 1, . . . , N,
Xi (e
ω ) = i−1 mod 2, ω
e ∈ Ω,
2
unabhängig
3.238
mit der Verteilung
eX
ei = 0] =
PXei [{0}] = P[
1
eX
ei = 1] = P e [{1}],
= P[
Xi
2
i = 1, . . . , N,
ei das Ergebnis des i-ten Wurfs der Münze.
d.h., für i = 1, . . . , N modelliert X
Bei Anwendungen der Wahrscheinlichkeitstheorie treten spezielle Wahrscheinlichkeitsräume meistens dann in Erscheinung, wenn letztendlich die Verteilungen
von Zufallsvariablen untersucht werden sollen 3.239. Wenn diese beispielsweise nur
endlich viele Werte annehmen können und wenn außerdem diese Werte alle die
3.234Vgl. (3.7). Durch ihre gemeinsame Verteilung werden die Abhängigkeiten“ zwischen
”
verschiedenen Zufallsvariablen Xλ , λ ∈ Λ, ausgedrückt.
3.235Diese Tatsache äußert sich u.a. durch die übliche Verwendung der Phrase Sei (Ω, F, P)
”
ein Wahrscheinlichkeitsraum . . . “ am Anfang vieler mathematischer Beiträge zur wahrscheinlichkeitstheoretischen Modellbildung. Auf die genaue Struktur von (Ω, F, P) wird dann in keiner Weise
eingegangen.
3.236Für beliebige A
e folgt P[
e∈F
e A]
e = |A|2
e −N aus der σ-Additivität von Wahrscheinlichkeitsmaßen, vgl. (2.2b).
3.237⌊x⌋ = sup{n ∈ Z : n ≤ x}, x ∈ R. Damit gibt X
ei (e
ω ) die i-te Stelle in der Entwicklung
von ω
e im Dualsystem an.
3.238Vgl. (3.8).
3.239Für eine Zufallsvariable X : (Ω, F, P) → (Ω′ , F′ ) ist die Verteilung P ein WahrscheinX
lichkeitsmaß auf dem meßbaren Raum (Ω′ , F′ ), vgl. Abschnitt 3.1 und insbesondere Fußnote 3.20.
Damit ist (Ω′ , F′ , PX ) ein Wahrscheinlichkeitsraum.
26. Juli 2010
69
gleiche Wahrscheinlichkeit besitzen 3.240, kann man mit den Laplaceschen Wahrscheinlichkeitsräumen 3.241 arbeiten 3.242 3.243.
3.240
Man denke z.B. an den Wurf einer fairen Münze oder eines fairen Würfels.
Vgl. Abschnitt 2.2.
3.242
Insbesondere in der Statistik wird mit speziellen Wahrscheinlichkeitsräumen gearbeitet.
In klassischen Anwendungen ist dann
• Ω = M , wobei M höchstens abzählbar ist, und F = Pot(M ), bzw.
• Ω ∈ B(Rn ) für ein n ∈ N und F = B(Ω) = {A ∩ Ω : A ∈ B(Rn )}.
In (Ω, F) ist weiterhin eine Familie Pλ , λ ∈ Λ, von Wahrscheinlichkeitsmaßen, die geeignet sind, ein
zu untersuchendes zufallsbeeinflußtes Phänomen zu charakterisieren, gegeben. Mit der Struktur
(Ω, F, (Pλ )λ∈Λ ) liegt ein statistisches Modell vor, vgl. Abschnitte 1.1.4 und 4.1. Ziel statistischer
Überlegungen könnte nun die Identifizierung eines wahren“ Wahrscheinlichkeitsmaßes Pλw sein.
”
3.243
Gelegentlich wird in der Wahrscheinlichkeitstheorie eine spezielle Wahl eines Wahrscheinlichkeitsraums auch durch dessen Brauchbarkeit für die mathematischen Überlegungen oder die
Beweise der Resultate bestimmt. Es ist dann zu prüfen, ob die Zufallsvariablen, mit denen gearbeitet werden muß, auf diesem Wahrscheinlichkeitsraums auch wirklich konstruiert werden können.
3.241
26. Juli 2010
KAPITEL 4
Schätztheorie
4.1
Bei vielen zufallsbeeinflußten Phänomenen im menschlichen Umfeld 4.2 wird
aufgrund von logischen Überlegungen schnell deutlich, daß ein gewisser Typ wahrscheinlichkeitstheoretischer Modelle, z.B. eine besondere Klasse von Zufallsvariablen oder stochastischen Prozessen, zu einer mathematischen Beschreibung, d.h.
Modellierung, jenes Phänomens in Frage kommt. Allerdings ist oft der genaue Wert
gewisser Parameter, die innerhalb der möglichen Klasse von Modellen das am besten geeignete charakterisieren, unklar.
Beispiel 4.1. Eine Reihe gleichartiger Produktionsstücke, die unabhängig voneinander mit einer Wahrscheinlichkeit p ∈ (0, 1) defekt sind, wird solange geprüft,
bis zu einem Zeitpunkt n ∈ N das erste fehlerhafte Produktionsstück beobachtet
wird. Ausgehend von dem beobachteten Zeitpunkt n ist die Fehlerwahrscheinlichkeit p zu bestimmen, d.h. zu schätzen.
Aufgrund der Analogie zum ∞-fachen, unabhängigen Münzwurf mit Erfolgswahrscheinlichkeit p ∈ (0, 1) 4.3 ist die Annahme, daß die zufällige Größe n durch
eine geometrisch mit Parameter p verteilte Zufallsvariable modelliert werden kann,
naheliegend.
Das ursprüngliche Problem kann nun folgendermaßen umformuliert werden:
Eine geometrisch mit Parameter p ∈ (0, 1) verteilte Zufallsvariable X ist zu beobachten. Basierend auf dieser Beobachtung 4.4 ist anschließend p zu schätzen.
Die Statistik stellt vernünftige“ Methoden zur Lösung solcher Schätzprobleme
”
zur Verfügung, z.B. das Maximum-Likelihood-Prinzip 4.5 oder die Methode der Konfidenzbereiche 4.6. Diese und andere Methoden der Statistik werden in einem speziellen Arbeitsumfeld, einem statistischen Modell benutzt.
4.1. Statistische Modelle
Wenn ein Statistiker mathematische Schlüsse aus vorliegenden Daten 4.7 zieht,
arbeitet er üblicherweise im Rahmen eines statistischen Modells 4.8. Ein derartiges
statistisches Modell ist ein Tripel (X, G, (Pλ )λ∈Λ ), wobei (X, G) ein meßbarer Raum
und (Pλ )λ∈Λ eine Familie von Wahrscheinlichkeitsmaßen auf (X, G) ist. Für Λ ⊆ Rd ,
d = 1, 2, . . . , liegt ein parametrisches Modell vor 4.9. In dieser Vorlesung wird speziell
mit zwei Standardmodellen gearbeitet, d.h. mit
• diskreten Modellen, wenn X diskret und G = Pot(X) ist, bzw. mit
4.1
Dieses Kapitel ist ein Abstecher in die mathematische Statistik. Als Vorbereitung können
die Abschnitte 1.1.4 und 1.1.5 betrachtet werden.
4.2
Es könnte ein technisches Phänomen, ein Geschehnis in der Natur oder auch der
Wirtschafts- oder Arbeitswelt sein.
4.3Vgl. Beispiel 3.2.
4.4Insbesondere werden keine weiteren Informationen eingeholt.
4.5Vgl. Beispiel 1.8 und Abschnitt 4.2.
4.6Vgl. Beispiel 1.9 und Abschnitt 4.3.
4.7Diese Daten können beispielsweise Meßwerte oder Umfrageergebnisse sein.
4.8Ein einfaches statistisches Modell wurde in Abschnitt 1.1.4 vorgestellt.
4.9Für d = 1 ergeben sich eindimensionale oder einparametrige Modelle.
71
72
• kontinuierlichen Modellen, wenn X eine Borelsche Teilmenge eines Rn ist
und alle Wahrscheinlichkeitsmaße Pλ , λ ∈ Λ, eine Dichte bzgl. des Lebesguemaßes auf X besitzen.
Entscheidungsverfahren eines Statistikers, der mit einem statistischen Modell
(X, G, (Pλ )λ∈Λ ) arbeitet, werden durch Statistiken beschrieben. Hierbei wird als
Statistik jede meßbare Funktion S : (X, G) → (Σ, S) mit einem geeigneten meßbaren
Raum (Σ, S) bezeichnet.
Der Aufbau von wahrscheinlichkeitstheoretischen und statistischen Modellen
und weiterhin deren Interpretation und auch die Arbeit mit ihnen kann nun folgendermaßen zusammengefaßt werden:
Wahrscheinlichkeitstheoretische Modelle. Als ein Zufallsmechanismus im Hinter”
grund“ dient ein Wahrscheinlichkeitsraum (Ω, F, P) 4.10. Durch Zufallsvariablen X auf (Ω, F, P) werden zufällige, gemäß PX verteilte Beobachtungswerte modelliert. Bei der Untersuchung eines solchen wahrscheinlichkeitstheoretischen Modells versucht ein Wahrscheinlichkeitstheoretiker Eigenschaften
und Zusammenhänge zwischen gegebenen Zufallsvariablen zu ermitteln.
Statistische Modelle. Eine Menge X beschreibt die möglichen Beobachtungswerte eines Experiments“ und eine σ-Algebra G in X die Menge der Ereig”
nisse, die mit diesen Beobachtungswerten verbunden sind 4.11. I. allg. gibt
es viele mögliche Wahrscheinlichkeitsmaße Pλ , λ ∈ Λ, auf (X, G), die zur
Beschreibung der Verteilung der Beobachtungswerte in Frage kommen 4.12.
Auf Beobachtungsdaten basierende Schlüsse 4.13 werden durch Statistiken auf
(X, G) repräsentiert. Beim Entwurf seiner Statistiken, d.h. seiner Entscheidungsschemata, nutzt ein Statistiker aus, daß unter verschiedenen Pλ ’s die
”
möglichen Beobachtungswerte unterschiedlich häufig“ 4.14 auftreten 4.15.
4.2. Maximum-Likelihood-Schätzer
b
Sei zunächst (X, G, (Pλ )λ∈Λ ) ein diskretes statistisches Modell. Als Schätzer λ
für den wahren“ Parameter λw ∈ Λ ist das nach einer Beobachtung plausibelste“
”
”
b ∈ Λ als
λ eine sinnvolle Wahl. Insbesondere wird für x ∈ X ein λ
MaximumLikelihood-Schätzer (zum Beobachtungswert x) bezeichnet, wenn
(4.1)
Pλb [{x}] = sup Pλ [{x}]
λ∈Λ
gilt 4.16. Die in (4.1) zu maximierende Funktion Λ ∋ λ → Pλ [{x}] =: Lx (λ) wird
Likelihood-Funktion (zum Beobachtungswert x) genannt.
4.10Vgl. Abschnitt 3.5 zur Wahl von (Ω, F, P). Im Prinzip könnte (Ω, F, P) so groß sein, daß
hiermit aller Zufall dieser Welt repräsentiert wird“.
4.11”Auf den Beobachtungswerten, bzw. den zugehörigen Ereignissen sollte ein Statistiker seine
Entscheidungen, d.h., seine Schätzungen, Vorhersagen, . . . aufbauen.
4.12Durch logische Überlegungen mit wahrscheinlichkeitstheoretischen Methoden kann evtl.
gefolgert werden, daß die Pλ , λ ∈ Λ, zu einer speziellen Klasse von Wahrscheinlichkeitsmaßen,
z.B. Normalverteilungen, geometrischen Verteilungen, . . . gehören.
4.13
Z.B. Schätzungen für den wahren“ Parameter λw ∈ Λ.
4.14D.h. mit unterschiedlichen”Wahrscheinlichkeiten.
4.15Beim Maximum-Likelihood-Schätzer, vgl. Abschnitt 4.2, wird z.B. das wahre“ λ durch
w
”
b
ein λ geschätzt, das sich unter allen λ ∈ Λ dadurch auszeichnet, daß unter dem zugehörigen
Wahrscheinlichkeitsmaß Pλ
b der vorliegende Beobachtungswert am wahrscheinlichsten“ ist.
”
4.16λ
b zeichnet sich dadurch aus, daß unter Pb der Beobachtungswert x maximale Wahrλ
scheinlichkeit hat.
26. Juli 2010
73
Beispiel 4.2. Die Anzahl der Anfragen an einer Telefonhotline innerhalb eines
Tages besitze eine Poissonverteilung mit einem Parameter λ > 0 4.17. Aus der
Anzahl k der eingegangenen Anrufe ist λ zu schätzen.
Es sei k > 0 angenommen 4.18. Die zu maximierende Likelihood-Funktion 4.19
b genau dann
ist (0, ∞) ∋ λ → λk exp(−λ)/k! = Lk (λ). Offensichtlich wird Lk in λ
maximal, wenn die Funktion (0, ∞) ∋ λ → log Lk (λ) = k log λ − λ − log k! =: ℓk (λ)
dort maximal wird. Da 4.20
k
− 1 = 0 ⇐⇒ λ = k,
λ
k
ℓ′′k (λ) = − 2 < 0, λ > 0,
λ
ℓ′k (λ) =
und
lim ℓk (λ) = lim ℓk (λ) = −∞,
λց0
λր∞
b = k ein globales Maximum der Likelihood-Funktion Lk , d.h., λ
b = k ist der
ist λ
Maximum-Likelihood-Schätzer für λ.
Wie in diesem Beispiel 4.2 ist es zur Bestimmung eines Maximum-LikelihoodSchätzers häufig zweckmäßig, anstelle der Likelihood-Funktion Lx ( . ) mit der LogLikelihood-Funktion ℓx ( . ) = log Lx ( . ) (zum Beobachtungswert x) zu arbeiten 4.21.
Für alle x ∈ X werden beide Funktionen für die gleichen Parameter maximal.
Sei nun (X, G, (Pλ )λ∈Λ ) ein kontinuierliches statistisches Modell 4.22. Somit ist
X ∈ B(Rn ) für ein n = 1, 2, . . . . Außerdem besitzt Pλ für alle λ ∈ Λ eine Dichte
ρλ bzgl. des Lebesguemaßes auf X 4.23. In diesem Fall ist ein Maximum-Likelihoodb zum Beobachtungswert x ∈ X als Lösung von
Schätzer λ
(4.2)
ρλb (x) = sup ρλ (x)
λ∈Λ
definiert. Analog zum diskreten Fall bezeichnet man nun für x ∈ X die Funktion Λ ∋
λ → ρλ (x) =: Lx (λ) als Likelihood-Funktion (zum Beobachtungswert x). Weiterhin
ist ℓx ( . ) = log Lx ( . ) die Log-Likelihood-Funktion (zum Beobachtungswert x).
Beispiel 4.3. Die Zufallsvariablen X1 , . . . , Xn seien unabhängig und exponentiell mit Parameter λ > 0 verteilt 4.24. Ausgehend von einer Beobachtung
(x1 , . . . , xn ) ∈ (0, ∞)n dieser Zufallsvariablen ist λ zu schätzen.
Als statistisches Modell kann man (X, G, (Pλ )λ>0 ) wählen, wobei X = [0, ∞)n ,
G = B([0, ∞)n ) und Pλ das Wahrscheinlichkeitsmaß auf ([0, ∞)n , B([0, ∞)n )) mit
4.17Aufgrund von Überlegungen wie sie in Abschnitt 2.7.1 vorgestellt werden, ist diese Annahme gerechtfertigt, falls angenommen werden kann, daß die Telefonanrufe unabhängig voneinander
sind und gleichmäßig über den Tag verteilt eingehen.
4.18Aus wirtschaftlichen Gründen wird eine Telefonhotline, bei der es möglich ist, daß
während eines ganzen Tages niemand anruft, nicht existieren.
4.19Zum Beobachtungswert k.
4.20Eine ähnliche Argumentation ist in Beispiel 1.8, vgl. insbesondere Fußnote 1.69, bei der
Bestimmung eines anderen Maximum-Likelihood-Schätzers zu finden.
4.21In vielen Fällen ist L ( . ) ein Produkt relativ komplizierter Funktionen, während ℓ ( . )
x
x
eine Summe einfacherer Terme ist.
4.22Vgl. Abschnitt 4.1. Bisher wurden in diesem Abschnitt 4.2 nur diskrete statistische Modelle betrachtet.
4.23D.h., P [A] = R dx ρ (x), A ∈ B(Rn ), A ⊆ X.
λ
λ
A
4.24Die Zufallsvariablen X , . . . , X könnten bei einer Modellierung unabhängiger Wartezein
1
ten auftauchen, vgl. Abschnitt 2.6 und insbesondere Fußnote 2.115.
26. Juli 2010
74
Qn
der Dichte [0, ∞)n ∋ (y1 , . . . , yn ) → k=1 (λ exp(−λyk )) = λn exp(−λ(y1 +· · ·+yn ))
ist 4.25.
Die Likelihood-Funktion zum Beobachtungswert (x1 , . . . , xn ) ∈ (0, ∞)n ist daher (0, ∞) ∋ λ → λn exp(−λ(x1 + · · · + xn )). Für die Log-Likelihood-Funktion
(0, ∞) ∋ λ → n log λ − λ(x1 + · · · + xn ) = ℓx1 ,...,xn (λ) gilt nun 4.26:
n
n
ℓ′x1 ,...,xn (λ) = − (x1 + · · · + xn ) = 0 ⇐⇒ λ =
,
λ
x1 + · · · + xn
n
ℓ′′x1 ,...,xn (λ) = − 2 < 0, λ ∈ (0, ∞),
λ
lim ℓx1 ,...,xn (λ) = lim ℓx1 ,...,xn (λ) = −∞.
λց0
λ→∞
b = n/(x1 + · · · + xn ) der gesuchte Maximum-Likelihood-Schätzer für λ.
Somit ist λ
Beispiel 4.4 (Regressionsgerade). Der Ausgabewert y einer Meßapparatur sei
linear abhängig von der Eingabe x und zusätzlich durch einen additiven Rauschterm
gestört 4.27. Um das System quantitativ genau zu charakterisieren 4.28, wird für n
Eingaben x1 , . . . , xn , von denen zumindest zwei verschieden sein sollen 4.29, der zugehörige Ausgabewert y1 , . . . , yn gemessen. Wenn der jeweilige Wert des Rauschens
durch z1 , . . . , zn beschrieben wird, ist 4.30
(4.3)
yk = α + βxk + zk ,
k = 1, . . . , n.
Die Systemparameter α, β ∈ R sind zu schätzen 4.31.
Im folgenden sei angenommen, daß für ein festes σ 2 > 0 die Rauschterme zk ,
k = 1, . . . , n, Realisierungen 4.32 von unabhängigen, N(0, σ 2 )-verteilten Zufallsvariablen Zk , k = 1, . . . , n, sind 4.33 4.34. Dann besitzt für k = 1, . . . , n die Zufallsvariable 4.35 Yk = α + βxk + Zk bzgl. des Lebesguemaßes auf R die Dichte 4.36
fk : R → [0, ∞) mit fk (y) = (2πσ 2 )−1/2 exp(−(y − α − βxk )2 /2σ 2 ), y ∈ R, und
somit die Verteilung N(α + βxk , σ 2 ). Aus der Unabhängigkeit der Zk , k = 1, . . . , n,
4.25Nach Abschnitt 3.2.2 ist die Dichte der gemeinsamen Verteilung von unabhängigen Zufallsvariablen mit einer Dichte bzgl. des Lebesguemaßes das Produkt der jeweiligen Dichten.
4.26Da exponentiell verteilte Zufallsvariablen f.s. strikt positiv sind, kann x + · · · + x > 0
n
1
angenommen werden.
4.27Unter Rauschen versteht man eine zufällige Größe Z, die symmetrisch um 0 verteilt ist
und somit keinen systematischen Anteil mehr enthält. Mathematisch präziser charakterisieren
kann man Z als eine Zufallsvariable mit Erwartungswert E[Z] = 0. Eine kurze Beschreibung des
Erwartungswerts einer Zufallsvariable findet sich in Beispiel 1.4. Detailliert wird dieser Begriff in
den Abschnitten 6.1 bis 6.3 eingeführt.
4.28
D.h. zur Bestimmung der Koeffizienten, die die lineare Abhängigkeit bestimmen. Damit
sind α und β in (4.3) gemeint.
4.29Durch diese Forderung wird letztendlich sichergestelt, daß (4.7) eine eindeutige Lösung
b hat. Hierzu beachte man insbesondere auch Fußnote 4.43.
(b
α, β)
4.30In (4.3) könnte x beispielsweise auch die Menge des auf einer landwirtschaftlich genutzk
ten Fläche Ak verteilten Düngers und yk der Ernteertrag sein. zk kann eine Schwankung des Ernteertrags repräsentieren, der auf unvorhersehbare Witterungs- oder Bodeneinflüsse zurückzuführen
ist. Damit die Ergebnisse vergleichbar sind, sollten die Größen |Ak |, k = 1, . . . , n, der verschiedenen
Flächen alle gleich groß sein.
4.31Nur wenn die Rauschterme z , . . . , z verschwinden und die angenommene Linearität des
n
1
Systems genau der Realität entspricht, können α und β exakt berechnet werden.
4.32Vgl. Fußnote 1.60.
4.33Es stellt sich heraus, vgl. (4.6), daß der genaue Wert von σ2 die Schätzung von α und β
nicht beeinflußt. Daher wird hier auch nicht versucht, ein unbekanntes σ2 zu schätzen.
4.34
Die Annahme, daß das Rauschen normalverteilt ist, kann in vielen Anwendungen mit dem
Zentralen Grenzwertsatz, vgl. Abschnitt 9.3, begründet werden.
4.35α, β und x , k = 1, . . . , n, sind nicht zufällig. Allerdings sind α und β unbekannt.
k
4.36Zur Bestimmung der Dichte von Y = α + βx + Z kann zurückgegriffen werden auf
k
k
k
(3.35), wobei a = 1, b = α + βxk und X = Zk zu wählen ist.
26. Juli 2010
75
folgt die Unabhängigkeit der Zufallsvariablen Yk , k = 1, . . . , n. Daher besitzt deren
gemeinsame Verteilung die Dichte 4.37
(4.4) fα,β (y) = fα,β (y1 , . . . , yn ) =
n
Y
fk (yk )
k=1
1
(yk − α − βxk )2
√
exp −
2σ 2
2πσ 2
k=1
n
1
1 X
2
=
exp − 2
(yk −α−βxk ) ,
2σ
(2πσ 2 )n/2
=
n
Y
y = (y1 , . . . , yn ) ∈ Rn ,
k=1
bzgl. des Lebesguemaßes auf Rn . fα,β ist die Dichte der n-dimensionalen Normalverteilung 4.38 N(µα,β , σ 2 ) mit dem Erwartungswert µα,β = (α + βx1 , . . . , α + βxn )
und der Kovarianzmatrix σ 2 = (σ 2 δk,l )k,l=1,...,n .
Somit kann als Basis der sich anschließenden Überlegungen das kontinuierliche
statistische Modell (Rn , B(Rn ), (N(µα,β , σ 2 ))α,β∈R ) betrachtet werden.
Aus (4.4) ergibt sich zum Beobachtungswert y = (y1 , . . . , yn ) ∈ Rn die LogLikelihood-Funktion 4.39
n
n
1 X
(yk − α − βxk )2 − log(2πσ 2 ), α, β ∈ R.
(4.5)
ℓy (α, β) = − 2
2σ
2
k=1
b für (α, β) folgt
Bei der Bestimmung eines Maximum-Likelihood-Schätzers 4.40 (b
α, β)
aus (4.5) zunächst
σ2
(4.6)
σ2
n
X
∂
ℓy (α, β) =
(yk − α − βxk ) = 0,
∂α
∂
ℓy (α, β) =
∂β
k=1
n
X
k=1
xk (yk − α − βxk ) = 0.
Wenn P
für v, w ∈ Rn die Bezeichnungen 4.41 M (v) = (1/n)
n
(1/n) k=1 vk wk eingeführt werden, führt (4.6) zu 4.42
M (y) − α − βM (x) = 0,
(4.7)
Pn
k=1
vk und M (vw) =
M (xy) − αM (x) − βM (xx) = 0.
Da
4.43
(4.8)
b mit
M (xx) − M (x)2 > 0 hat (4.7) eine eindeutige Lösung (b
α, β)
α
b=
M (xx)M (y) − M (xy)M (x)
,
M (xx) − M (x)2
M (xy) − M (x)M (y)
βb =
.
M (xx) − M (x)2
4.37Vgl. Beispiel 3.6.
4.38Die Notation N(ν, A) für ν ∈ Rn und eine symmetrische, positiv-semidefinite n×n-Matrix
A wird in Fußnote 3.111 erläutert.
4.39Da ℓ (α, β) = log f
n
y
α,β (y), α, β ∈ R, y = (y1 , . . . , yn ) ∈ R .
4.40Es ist zu beachten, daß der zu schätzende Parameter (α, β) in diesem Beispiel 4.4 in R2
variiert. Daher wird in (4.6) mit partiellen Ableitungen gearbeitet.
4.41M (v) ist der Mittelwert der Komponenten v , . . . , v von v.
n
1
4.42Wenn die beiden Gleichungen in (4.6) durch n dividiert und anschließend die Summationen ausgeführt werden, folgt (4.7).
4.43Man kann zeigen, daß
!2
n
n
n
1 X
1 X
1 X 2
=
xk −
xk
(xk − M (x))2 .
M (xx) − M (x)2 =
n k=1
n k=1
n k=1
Wenn mindestens zwei der xi , i = 1, . . . , n, verschieden sind, ist (xk − M (x))2 > 0 für zumindest
ein k = 1, . . . , n. Somit ist M (xx) − M (x)2 > 0.
26. Juli 2010
76
Da der Graph der in (4.5) angegebenen quadratischen Log-Likelihood-Funktion ℓy
ein nach unten geöffnetes“ Paraboloid ist, zeigen die zu (4.8) führenden Überlegun”
b ein eindeutig bestimmtes Maximum von ℓy vorliegt.
gen, daß an der Stelle (b
α, β)
b
Somit ist (b
α, β) in der Tat ein Maximum-Likelihood-Schätzer für (α, β).
b nennt man Regressionsgerade 4.44. βb wird
Die Gerade R ∋ x → y = α
b + βx
auch als empirischer Regressionskoeffizient bezeichnet. Dieser Koeffizient gibt an,
ob und wie stark die Ausgabewerte y typischerweise“ ansteigen oder abnehmen,
”
wenn die Eingabewerte x erhöht werden 4.45.
In dem nächsten Beispiel wird sich der Maximum-Likelihood-Schätzer als unbefriedigend herausstellen. Allerdings bieten sich sinnvolle Alternativen an.
Beispiel 4.5 (Taxiproblem). In einer Stadt gebe es N Taxis mit den vom
Straßenrand aus lesbaren Nummern 1, . . . , N . Ein Passant stehe eine gewisse Zeit
lang an einer viel befahrenen Straße und notiere sich die Nummern x1 , . . . , xk der
vorbeifahrenden Taxis. Es sei angenommen, daß 4.46 x1 < · · · < xk und daß der
Passant ein mehrmals vorbeifahrendes Taxi nur einmal zählt. Unter der Annahme,
daß im Beobachtungszeitraum alle Taxis in Betrieb sind, ist die Anzahl N aller
Taxis der Stadt zu schätzen.
Als statistisches Modell kann 4.47 (Xk , Gk , (Pk;N )N ∈N, N ≥k ) mit
Xk = Menge der k-elementigen Teilmengen von N
4.48
,
Gk = Pot(Xk ),
Pk;N = Gleichverteilung auf der Menge der k-elementigen
Teilmengen von {1, . . . , N },
N ∈ N, N ≥ k
4.49
,
gewählt werden. Dieser Ansatz führt zur Likelihood-Funktion
(
4.50 N −1
, falls xk ≤ N,
L(k;x1 ,...,xk ) (N ) = 4.51 k
0,
falls xk > N,
4.44Diese Regressionsgerade ergibt sich offensichtlich auch, wenn mit der Methode der kleinsten Quadrate die Meßpunkte“ (xk , yk ), k = 1, . . . , n, durch eine Gerade approximiert werden.
P
”
2
In diesem Fall ist (α, β) ∈ R2 so zu bestimmen, daß Q(α, β) = n
k=1 (yk − α − βxk ) minimiert
wird. Die quadratische Funktion Q besitzt ein eindeutig bestimmtes Minimum, das ebenfalls als
die eindeutige Lösung von (4.6) bestimmt ist.
4.45Da der Nenner M (xx) − M (x)2 > 0 ist, vgl. Fußnote 4.43, wird das Vorzeichen von β
b
durch den Zähler M (xy) − M (x)M (y) bestimmt. Weil
!
!
n
n
n
1 X
1 X
1X
M (xy) − M (x)M (y) =
x k yk −
xk
yl
(∗)
n k=1
n k=1
n l=1
=
n
1 X
(xk − M (x))(yk − M (y)),
n k=1
besitzen die Fluktuationen xk − M (x) der Eingabe und die Fluktuationen yk − M (y) der Ausgabe um den jeweiligen Mittelwert M (x), bzw. M (y) typischerweise“ genau dann das gleiche
”
Vorzeichen, wenn βb > 0 ist. Aufgrund von (∗) kann man M (xy) − M (x)M (y) auch als empirische Kovarianz der Datensequenzen x1 , . . . , xn und y1 , . . . , yn bezeichnen. Die Kovarianz
Cov(X,Y) = E[(X − E[X])(Y − E[Y ])] von zwei Zufallsvariablen X und Y wird in (6.22) eingeführt.
4.46Die Nummern der vorbeifahrenden Taxis werden in aufsteigender Reihenfolge notiert.
4.47Die Anzahl k der beobachteten Taxis wird nicht als eine Beobachtungsgröße, die zu den
statistischen Schlußfolgerungen herangezogen wird, betrachtet. Nach dem Ende der Beobachtungen steht k fest und wird dann vor dem eigentlichen Beginn der statistischen Überlegungen als
eine deterministische, d.h. nicht als zufällig zu behandelnde Zahl festgehalten.
4.48Beachte, daß X abzählbar ist.
k
4.49
Hier geht die Annahme ein, daß alle Taxis gleichmäßig im Stadtgebiet im Einsatz sind.
26. Juli 2010
77
zur Beobachtung von k Taxis mit den Nummern x1 < x2 < · · · < xk . Da für jedes
−1
k die Funktion {k, k + 1, . . . } ∋ N → N
monoton fällt, ist 4.52
k
S1 = xk
der Maximum-Likelihood-Schätzer für die Gesamtzahl N der Taxis.
Der Maximum-Likelihood-Schätzer S1 ist in der vorliegenden Situation unbefriedigend, da offensichtlich immer S1 ≤ N gilt, d.h., die wahre Anzahl aller Taxis
wird systematisch unterschätzt. Mit heuristischen Argumenten können jedoch zwei
weitere, evtl. 4.53 plausiblere Schätzer vorgeschlagen werden.
• Aus Symmetriegründen“ sollte 4.54 x1 − 1 ≈ N − xk gelten. Als Schätzer
”
für N ergibt sich dann:
S2 = xk + x1 − 1.
• Es wäre auch sinnvoll, den Ansatz
N − xk ≈
4.55
k
1X
1
(xr − xr−1 − 1) = (xk − k),
k r=1
k
zu wählen. Diese Überlegung führt nun zu
xk − k
S3 = xk +
k
4.57
als Schätzer für N
.
4.50In der Menge {1, . . . , N } existieren `N ´ Teilmengen mit k Elementen.
k
4.51
sein.
4.56
Offensichtlich muß die Anzahl N aller Taxis ≥ der höchsten beobachteten Nummer xk
4.52Der Maximum-Likelihood-Schätzer für die Gesamtzahl aller Taxis ist somit die größte
der beobachteten Nummern.
4.53Dies ist natürlich Ansichtssache.
4.54Die Lücke bis zur kleinsten beobachteten Nummer x , bzw. die Lücke nach der größten
1
beobachteten Nummer xk sollten in etwa gleich sein. Diese Vermutung sollte zumindest im Mittel
”
bei vielen Beobachtungsreihen“ gelten.
4.55In der Summe ist x = 0 zu setzen. Die Größe der Lücke nach der größten beobachteten
0
Nummer xk wird nun durch die mittlere Größe aller anderen Lücken“ geschätzt. Auch diese
”
Vermutung sollte im Mittel bei vielen Beobachtungsreihen“ gelten.
”
4.56In der Praxis
kann S3 durch die am nächsten an xk + (xk − k)/k liegende ganze Zahl S3′
ersetzt werden.
4.57Die drei Schätzer S , S und S für die Gesamtzahl N der Taxis besitzen unterschiedliche
1
2
3
Eigenschaften, vgl. [10], Abschnitte 4.2 - 4.4. Zunächst kann nachgewiesen werden, daß S2 und
S3 erwartungstreue Schätzer sind, d.h., für i = 2, 3 gilt:
(∗)
Ek;N [Si ] :=
∞
X
l=k
l · Pk;N [Si = l] = N,
N ∈ N, N ≥ k.
Andererseits ist S1 nicht erwartungstreu, d.h., S1 erfüllt (∗) nicht. Im Mittel“ wird daher durch
”
die Schätzer S2 und S3 der wahre Wert von N gefunden. Hingegen wird durch S1 im Mittel“ ein
”
falscher Wert geschätzt.
Beim Vergleich von S2 und S3 zeigt sich, daß der mittlere quadratische Fehler für S3 kleiner
als für S2 ist, d.h.,
∞
X
ˆ
˜
ˆ
˜
Ek;N (S3 − N )2 =
(l − N )2 · Pk;N [S3 = l] < Ek;N (S2 − N )2 ,
l=k
N ∈ N, N ≥ k.
Der Schätzer S3 schwankt daher im quadratischen Mittel“ weniger als S2 um den wahren Wert
”
von N .
Zusammenfassend ist also der Schätzer S3 gegenüber den beiden anderen Schätzern zu bevorzugen.
Erwartungstreue und die Größe des mittleren quadratischen Fehlers sind spezielle Kriterien,
mit denen die Qualitäten verschiedener Schätzer verglichen werden können. Auf diese Begriffe
wird in den Abschnitten 6.6 und 6.6.1 eingegangen werden.
26. Juli 2010
78
4.3. Konfidenzbereiche
b eines Parameters λ gibt nur einen ersten Anhaltspunkt für den
Der Schätzwert λ
wahren“ Wert λw . Eine Präzisierung ergibt sich aus den Angabe eines möglichst
”
b ⊆ Λ, innerhalb dessen λw mit einer hinreichend großen Sicherkleinen Bereichs Λ
”
heit“ erwartet werden kann 4.58.
Sei (X, G, (Pλ )λ∈Λ ) ein statistisches Modell und α ∈ (0, 1). Eine Abbildung
X ∋ x → C(x) ⊆ Λ heißt Konfidenzbereich zum Irrtumsniveau α, wenn 4.59
(4.9)
sup Pλ [{x ∈ X : C(x) 6∋ λ}] ≤ α.
λ∈Λ
Die Bedingung (4.9) bedeutet, daß unabhängig vom real vorliegenden Wert
von λ die Wahrscheinlichkeit unter Pλ , daß die Menge 4.60 C( . ) jenes λ nicht
enthält 4.61, höchstens gleich α ist. Man kann sagen: Mit einer Sicherheit 4.62 von
”
mindestens (1 − α) · 100% liegt (der wahre Parameter) λw in C( . )“.
Beispiel 4.6. Für C(x) = Λ, x ∈ X, gilt offensichtlich (4.9) für alle α ∈ (0, 1).
Zu einem Erkenntnisgewinn führt diese Wahl eines Konfidenzbereichs allerdings
nicht. Man sollte daher C( . ) immer möglichst klein“ wählen 4.63.
”
Beispiel 4.7. Eine exponentiell mit einem zu schätzenden Parameter λ > 0
verteilte Zufallsvariable 4.64 X werde beobachtet. Anschließend sei zu α ∈ (0, 1) ein
Konfidenzbereich zum Irrtumsniveau α zu bestimmen 4.65.
Als statistisches Modell kann ((0, ∞), B((0, ∞)), (Pλ )λ>0 ), gewählt werden, wobei Pλ die Exponentialverteilung zum Parameter λ ist.
Beim Entwurf eines Konfidenzbereichs soll zunächst gefordert werden, daß
große Parameter λ nicht übersehen werden sollten 4.66. Somit sollte ein Konfidenzintervall der Gestalt X = (0, ∞) ∋ x → [k(x), ∞) = C(x) mit einer geeigneten
Funktion k : (0, ∞) → (0, ∞) bestimmt werden.
Sei qα (λ) das α-Quantil von Pλ , d.h. 4.67,
(4.10)
qα (λ) = inf y ∈ (0, ∞) : Pλ [[0, y]] ≥ α
1
= − log(1 − α), α ∈ (0, 1), λ ∈ (0, ∞).
λ
Für festes α ∈ (0, 1) ist die Funktion qα : (0, ∞) → (0, ∞) stetig und streng monoton
fallend und hat somit eine stetige und streng monoton fallende Umkehrfunktion
4.58Durch die Angabe von Λ
b der i. allg. innerhalb von Λ
b gewinnt der Schätzer λ,
b liegt, an
Vertrauenswürdigkeit“. Die englische Bezeichnung hierfür ist confidence.
”
4.59Die Meßbarkeit von {x ∈ X : C(x) 6∋ λ}, d.h. die Zugehörigkeit zu G sei stillschweigend
vorausgesetzt.
4.60Der Bereich C(x) hängt vom Beobachtungswert x ab, ist also zufällig.
4.61D.h., daß ein Irrtum geschieht.
4.62Die Verwendung von Wahrscheinlichkeit“ anstelle von Sicherheit“ wäre irreführend, da
”
”
λ nicht zufällig, sondern fest, aber unbekannt ist.
4.63Mit möglichst klein“ können unterschiedliche Bedeutungen verbunden sein, je nachdem
”
welche Prioritäten bei der Suche nach dem wahren λw gesetzt werden. Man könnte einerseits
an einer objektiven“ Bestimmung von λw interessiert sein. Andererseits sind z.B. Situationen
”
vorstellbar, in denen ein Überschätzen, bzw. ein Unterschätzen von λw weitestgehend vermieden
werden sollte. Auf diese Problematik wird in Beispiel 4.7 eingegangen
4.64Vgl. Abschnitt 2.6. X könnte beispielsweise eine Wartezeit modellieren. Der mathematische Hintergrund solcher Anwendungen wird in Beispiel 8.3 erklärt.
4.65Die Bestimmung eines Maximum-Likelihood-Schätzers für λ wird in Beispiel 4.3 diskutiert.
4.66Kleine λ’s dürfen mit einer Fehlerquote von höchsten α · 100% unerkannt bleiben.
4.67Vgl. Beispiele 3.14 und 3.15. Im vorliegenden Fall ist insbesondere für alle α ∈ (0, 1) und
alle λ > 0 das α-Quantil qα (λ) von Pλ eindeutig bestimmt.
26. Juli 2010
79
κα : (0, ∞) → (0, ∞) mit
κα (q) = inf λ ∈ (0, ∞) : qα (λ) ≤ q
1
= − log(1 − α), α ∈ (0, 1), q ∈ (0, ∞).
q
(4.11)
Zu einer Beobachtung 4.68 x ∈ (0, ∞) und α ∈ (0, 1) sei nun C α (x) = [κα (x), ∞).
Aus (4.10) und (4.11) folgt
λ ∈ C α (x)
⇐⇒
λ ≥ κα (x)
⇐⇒
qα (λ) ≤ x,
α ∈ (0, 1), λ ∈ (0, ∞),
bzw.
(4.12) λ 6∈ C α (x)
⇐⇒
⇐⇒
λ < κα (x)
qα (λ) > x,
α ∈ (0, 1), λ ∈ (0, ∞).
Daher gilt
Pλ [{x ∈ (0, ∞) : C α (x) 6∋ λ}] =
4.69
=
4.70
=
4.71
Pλ [{x ∈ (0, ∞) : x < qα (λ)}]
Pλ [{x ∈ (0, ∞) : x ≤ qα (λ)}]
α,
α ∈ (0, 1), λ ∈ (0, ∞),
d.h., für α ∈ (0, 1) ist durch [0, ∞) ∋ x → C α (x) = [κα (x), ∞) ein Konfidenzintervall zum Irrtumsniveau α gegeben.
Wenn der Parameter λ zuverlässig sowohl nach oben als auch nach unten abgegrenzt werden soll, ist es naheliegend, Konfidenzintervalle der Gestalt X = (0, ∞) ∋
x → [k(x), k(x)] = C ′ (x) mit geeigneten Funktionen k, k : (0, ∞) → (0, ∞) zu suchen. Als Konfidenzintervall zum Irrtumsniveau α kann in diesem Fall beispielsweise
C ′ (x) = [κα/2 (x), κ1−(α/2) (x)],
x ∈ (0, ∞),
gewählt werden 4.72.
Da die Funktionen qα und κα streng monoton sind, können die in diesem Beispiel bestimmten Konfidenzintervalle C( . ), bzw. C ′ ( . ) nicht durch kleinere Konfidenzbereiche 4.73 in (0, ∞) ersetzt werden, d.h., diese Konfidenzbereiche können
als optimal bezeichnet werden.
Im nächsten Beispiel 4.8 wird gezeigt, wie auf eine zwar nicht optimale, allerdings einfache Weise Konfidenzintervalle bestimmt werden können.
4.68x ist als beobachtete Realisierung der Zufallsvariable X zu betrachten.
4.69Vgl. (4.12).
4.70Da P eine Dichte bzgl. des Lebesguemaßes hat.
λ
4.71
Da qα (λ) ein α-Quantil von Pλ ist.
4.72Weil die Funktionen q , κ : (0, ∞) → (0, ∞), α ∈ (0, 1), stetig und streng monoton
α
α
fallend sind und weil qα (κα (x)) = x, x ∈ (0, ∞), α ∈ (0, 1), gilt:
ˆ
˜
Pλ {x ∈ (0, ∞) : [κα/2 (x), κ1−(α/2) (x)] 6∋ λ}
ˆ
˜
= Pλ {x ∈ (0, ∞) : κα/2 (x) > λ oder κ1−(α/2) (x) < λ}
ˆ
˜
= Pλ {x ∈ (0, ∞) : x < qα/2 (λ) oder x > q1−(α/2) (λ)}
= Pλ [(0, qα/2 (λ))] + Pλ [(q1−(α/2) (λ), ∞)]
{z
} |
{z
}
|
= α/2
= 1 − Pλ [(0, q1−(α/2) (λ)]]
|
{z
}
= 1 − (α/2)
= α,
λ > 0.
4.73Seien D( . ) und D ′ ( . ) Konfidenzbereiche zum Irrtumsniveau α. Wenn D(x) $ D ′ (x)
für alle x ∈ (0, ∞) ist, kann man sagen, daß D( . ) kleiner als D ′ ( . ) ist.
26. Juli 2010
80
Beispiel 4.8. Ein zu einem Erfolg oder zu einem Mißerfolg führendes Experiment wird unter gleichbleibenden Bedingungen N mal unabhängig wiederholt 4.74.
Es ist ein Konfidenzbereich für die Erfolgswahrscheinlichkeit p ∈ [0, 1] zu bestimmen.
Sei Z die Anzahl der Erfolge in den N Experimenten. Z ist binomialverteilt
mit den Parametern N und p 4.75. Man kann daher mit dem statistischen Modell
(X, Pot(X), (Pp )p∈[0,1] ), wobei X = {0, 1, . . . , N } und Pp = B(N, p), p ∈ [0, 1],
arbeiten. In dieser Situation ist Z die durch Z(x) = x, x ∈ X, gegebene Statistik.
Ausgangspunkt der folgenden Überlegungen ist die sich als Konsequenz der
Čebyšev’schen Ungleichung 4.76 ergebende Abschätzung
Z
1
1
(4.13) Pp − p ≥ ǫ ≤ 4.77 2 p(1 − p) ≤ 4.78
, ǫ > 0, p ∈ [0, 1].
N
ǫ N
4N ǫ2
Setzt man
"
x
C(x) =
−
N
r
1
x
,
+
4N α N
r
#
1
∩
4N α
4.79
[0, 1],
x ∈ X,
so folgt
Pp [{x ∈ X : C(x) 6∋ p}]
"(
)#
r
r
x
1
1
x
+
oder p <
−
= Pp x ∈ X : p >
N
4N α
N
4N α
"(
)#
r
x
1
= Pp x ∈ X : − p >
N
4N α
#
"
r
Z
1
≤ 4.80 α, p ∈ [0, 1],
= Pp − p >
N
4N α
d.h., {0, 1, . . . , N } = X ∋ x → C(x) ist ein Konfidenzintervall zum Irrtumsniveau α 4.81 4.82.
4.74M.a.W., man betrachtet den N -fachen, unabhängigen Münzwurf mit einer Erfolgswahrscheinlichkeit p ∈ [0, 1].
4.75Vgl. Abschnitt 1.1.2, insbesondere (1.5).
4.76Vgl. (1.10) und Satz 6.15.
4.77Vgl. (1.11).
4.78Da q(1 − q) ≤ 1/4, q ∈ [0, 1].
4.79Es sollte C(x) ⊆ [0, 1] sein.
√
4.80Zum Nachweis dieser Ungleichung setze ǫ = 1/ 4N α in (4.13).
4.81Zum Beobachtungswert x ist x/N der Maximum-Likelihood-Schätzer für p, vgl. Beispiel 1.8. Im vorliegenden Fall ist daher C(x) symmetrisch bzgl. des Maximum-LikelihoodSchätzers.
4.82
In Beispiel 4.7 wird sehr detailliert auf die spezielle Struktur des zugrundeliegenden statistischen Modells, insbesondere auf die Eigenschaften der Exponentialverteilung eingegangen.
Hingegen wird in Beispiel 4.8 im Rahmen einer speziellen Anwendung eine allgemeine, auf der
Čebyšev’schen Ungleichung basierende Methode zur Bestimmung von Konfidenzintervallen vorgestellt. Eine andere allgemeine Methode, die auf dem Zentralen Grenzwertsatz beruht, wird in
Abschnitt 9.5 anhand von zwei Beispielen erläutert.
26. Juli 2010
KAPITEL 5
Laplacesche Wahrscheinlichkeitsräume und
Kombinatorik
Sei (Ω, F, P) ein Laplacescher Wahrscheinlichkeitsraum 5.1, d.h.,
1
|Ω| < ∞, F = Pot(Ω), P[{ω}] =
, ω ∈ Ω.
|Ω|
Zur genauen Bestimmung von
5.2
(5.1)
P[A] =
|A|
,
|Ω|
A ∈ F,
sind durch kombinatorische Überlegungen Abzählmethoden zu entwickeln.
Beispiel 5.1. 5.3 Es sei angenommen, daß vier faire Würfel unabhängig voneinander geworfen werden. Zur Modellierung dieses Geschehens kann mit dem Wahrscheinlichkeitsraum (Ω, F, P), wobei Ω = {1, . . . , 6}4 5.4, F = Pot(Ω) und P die
Gleichverteilung auf (Ω, F) ist, gearbeitet werden.
Zu beantworten sei zunächst die Frage nach der Wahrscheinlichkeit p1 , daß alle
vier Augenzahlen verschieden sind. Aufgrund von (5.1) ist
|{ω ∈ Ω : ωi 6= ωj , falls i 6= j}|
|Ω|
Anzahl der Wurfsequenzen mit vier verschiedenen Augenzahlen
=
Anzahl aller Wurfsequenzen
6
·
5
·
4
·
3
5
= 5.5
=
.
64
18
p1 =
Die Würfel seien nun durchnumeriert 5.6. Bei der Klärung der Frage nach der
Wahrscheinlichkeit p2 , daß die geworfenen Augenzahlen streng monoton steigend
sind 5.7, führt (5.1) zu
|{ω ∈ Ω : ω1 < ω2 < ω3 < ω4 }|
|Ω|
Anzahl der 4-elementigen Teilmengen von {1, . . . , 6}
= 5.8
|Ω|
p2 =
5.1Vgl. Abschnitt 2.2.
5.2Für Terme wie auf der rechten Seite von (5.1) muß die Anzahl der Elemente in Ω, bzw. in
A bestimmt werden.
5.3Auf die Fragestellungen dieses Beispiels wird unter leicht veränderten Blickwinkeln auch
in den folgenden Beispielen 5.2, 5.3 und 5.7 eingegangen.
5.4Ω = {1, . . . , 6}4 = {(ω , . . . , ω ) : ω , . . . , ω = 1, 2, . . . , 6}. Für i = 1, . . . , 4 beschreibt ω
1
4
1
4
i
die Augenzahl des i-ten Würfels.
5.5Der Zähler ergibt sich folgendermaßen: Für den ersten Wurf gibt es 6 Möglichkeiten, danach
verbleiben für den zweiten Wurf noch 5 Möglichkeiten. Für den dritten und den vierten Wurf gibt
es schließlich noch 4, bzw. 3 Möglichkeiten.
5.6Bei der Lösung der ersten Frage war auch implizit angenommen worden, daß die Würfel
numeriert sind.
5.7D.h., daß ω < ω < ω < ω .
1
2
3
4
81
82
=
5.9
6
1
6!
5
4
= 4·
=
.
4
6
6 4! · 2!
432
Die Lösungen der Abzählprobleme in diesen und vielen anderen Beispielen der
elementaren Wahrscheinlichkeitstheorie 5.10 können häufig mit Hilfe der im folgenden Abschnitt 5.1 eingeführten sog. Urnenmodelle bestimmt werden.
5.1. Urnenmodelle
Einige Klassen von Abzählproblemen können gelöst werden durch die Bestimmung der Anzahl der Möglichkeiten, aus einer Urne, die N unterscheidbare Kugeln
enthält, n Kugeln zu ziehen. Hierbei entsprechen die unterschiedlichen Klassen der
Abzählprobleme verschiedenen Ziehungsstrategien. Es gibt:
• zwei
• zwei
-
Auswahlverfahren zum Ziehen der Kugeln:
gezogene Kugeln werden nach ihrer Ziehung zurückgelegt,
gezogene Kugeln werden nach ihrer Ziehung nicht zurückgelegt.
Anordnungsverfahren für die gezogenen Kugeln:
der Reihenfolge der gezogenen Kugeln wird Beachtung geschenkt 5.11,
der Reihenfolge der gezogenen Kugeln wird keine Beachtung geschenkt 5.12.
Damit ergeben sich vier verschiedene Ziehungsstrategien oder Urnenmodelle:
(U1 ) Ziehung mit Zurücklegen und mit Berücksichtigung der Reihenfolge der
gezogenen Kugeln,
(U2 ) Ziehung ohne Zurücklegen und mit Berücksichtigung der Reihenfolge der
gezogenen Kugeln,
(U3 ) Ziehung mit Zurücklegen und ohne Berücksichtigung der Reihenfolge der
gezogenen Kugeln,
(U4 ) Ziehung ohne Zurücklegen und ohne Berücksichtigung der Reihenfolge der
gezogenen Kugeln.
Für k = 1, 2, 3, 4 sei Wk (N, n) die Menge der für (Uk ) möglichen Ziehungsresultate 5.13. Während W1 (N, n) und W3 (N, n) für alle N, n ∈ N definiert sind, muß für
W2 (N, n) und W4 (N, n) die Einschränkung n ≤ N berücksichtigt werden 5.14.
5.1.1. Darstellung der Mengen Wk (N, n), k = 1, . . . , 4. Die Elemente
von Wk (N, n), k = 1 . . . , 4, besitzen eine Darstellung w = (w1 , . . . , wn ), wobei
5.8Die Augenzahl des ersten Wurfs wird identifiziert mit dem kleinsten Element einer 4elementigen Teilmenge von {1, . . . , 6}, die Augenzahl des zweiten Wurfs mit dem zweitkleinsten
Element . . . .
5.9
Details zur Berechnung der `Anzahl
r-elementiger Teilmengen einer N -elementigen Menge
´
mit Hilfe des Binomialkoeffizienten N
folgen in Abschnitt 5.1.2. Insbesondere wird in Beispiel 5.3
r
ein weiteres Mal auf die Bestimmung von p2 eingegangen.
5.10
Ein solches Beispiel wäre die Frage nach der Wahrscheinlichkeit, daß in einer Gruppe von
100 Personen zwei am gleichen Tag Geburtstag haben, vgl. Beispiel 5.5.
5.11Beispielsweise wird die Ziehung der Kugeln 1, 4, 2, 7, . . . (in dieser Reihenfolge) von der
Ziehung der Kugeln 1, 2, 7, 4, . . . (in dieser Reihenfolge) unterschieden.
5.12Beispielsweise wird die Ziehungssequenz 1, 4, 2, 7, . . . (in dieser Reihenfolge) mit der
Ziehungssequenz 1, 2, 7, 4, . . . (in dieser Reihenfolge) identifiziert.
5.13In Abschnitt 5.1.2 wird |W (N, n)|, k = 1, 2, 3, 4, N, n ∈ N, d.h., die Anzahl der jeweils
k
unterschiedlichen Ziehungsresultate berechnet.
5.14Offensichtlich können mit den Ziehungsstrategien (U ) und (U ) höchstens N Kugeln der
2
4
Urne entnommen werden.
26. Juli 2010
83
wl ∈ {1, . . . , N } 5.15. Allerdings sind für die verschiedenen Urnenmodelle 5.16 evtl.
nicht alle w’s möglich 5.17, bzw. sind unterschiedliche w’s miteinander zu identifizieren 5.18. Insbesondere ergeben sich die folgenden Darstellungen:
• W1 (N, n) = (w1 , . . . , wn ) : wl ∈ {1, . . . , N }, l = 1, . . . , n 5.19.
• W2 (N, n) = (w1 , . . . , wn ) ∈ W1 (N, n) : wi 6= wj für i 6= j 5.20.
• W3 (N, n) = (w1 , . . . , wn ) ∈ W1 (N, n) : 1 ≤ w1 ≤ w2 ≤ · · · ≤ wn ≤ N . Da
die Reihenfolge der gezogenen Kugeln keine Rolle spielt, können o.E.d.A.
die Ziehungszeitpunkte“ 5.21 so umgeordnet werden, daß die wl ’s monoton
”
ansteigend sind.
• W4 (N, n) = (w1 , . . . , wn ) ∈ W1 (N, n) : 1 ≤ w1 < w2 < . . . < wn ≤ N .
Nach einer Umordnung der Ziehungszeitpunkte“ sind die wl ’s streng mo”
noton ansteigend 5.22.
5.1.2. Berechnung von |Wk (N, n)|, k = 1, . . . , 4.
5.23
Zu |W1 (N, n)|: Es gibt
• N Möglichkeiten für die Wahl der 1. Kugel,
• N Möglichkeiten für die Wahl der 2. Kugel 5.24,
• ...
• N Möglichkeiten für die Wahl der n. Kugel.
Somit ist
(5.2)
|W1 (N, n)| = N n ,
N, n ∈ N.
Zu |W2 (N, n)|: Es gibt
• N Möglichkeiten für die Wahl der 1. Kugel,
• N − 1 Möglichkeiten für die Wahl der 2. Kugel 5.25,
• ...
• N − (n − 1) Möglichkeiten für die Wahl der n. Kugel 5.26.
Somit ist
N!
, N, n ∈ N, n ≤ N.
(5.3) |W2 (N, n)| = N (N − 1) · · · (N − (n − 1)) =
(N − n)!
Beispiel 5.2 (Rückblick auf Beispiel 5.1). Die Würfe des Würfels können modelliert werden, als Ziehungen aus einer Urne mit 6 Kugeln, wobei nach jeder Ziehung die gezogene Kugel wieder zurückgelegt wird. Damit folgt
p1 =
|W2 (6, 4)|
|W1 (6, 4)|
5.27
5.28
=
6! 1
5
· 4 =
.
2! 6
18
5.15w gibt die Nummer der im l-ten Zeitpunkt gezogenen Kugel an. Offensichtlich kann in
l
den hier vorgestellten Überlegungen angenommen werden, daß die Kugeln in aufeinanderfolgenden
Zeitpunkten gezogen werden.
5.16
Damit sind die in Abschnitt 5.1 unter (U1 ) - (U4 ) aufgeführten Ziehungsvarianten gemeint.
5.17Beispielsweise, wenn die Kugeln nicht mehr zurückgelegt werden.
5.18Beispielsweise, wenn es auf die Reihenfolge der gezogenen Kugeln nicht ankommt.
5.19Für k 6= l kann w = w sein, da die Kugeln zurückgelegt werden.
k
l
5.20Man beachte, daß die Kugeln nicht zurückgelegt werden, und daher alle w ’s verschieden
l
sind.
5.21D.h. die Koordinaten von w = (w , . . . , w ).
n
1
5.22Da die Kugeln nicht zurückgelegt werden, ist Gleichkeit zwischen zwei w ’s ausgeschlossen.
l
5.23Nach der Bestimmung von |W (N, n)|, k = 1, . . . , 4, sind Lösungen für Abzählprobleme,
k
wie sie beispielsweise in Beispiel 5.1 angesprochen wurden, möglich.
5.24Man beachte, daß die 1. Kugel wieder zurückgelegt wird.
5.25Nach der Entnahme der 1. Kugel verbleiben noch N − 1 Kugeln in der Urne.
5.26Nach dem Ziehen von n − 1 Kugeln sind noch N − (n − 1) Kugeln in der Urne.
26. Juli 2010
84
Zu |W4 (N, n)| 5.29 : Jedes w = (w1 , . . . , wn ) ∈ W4 (N, n) repräsentiert alle w′ =
(w1′ , . . . , wn′ ) ∈ W2 (N, n), deren Komponenten w1′ , . . . , wn′ sich durch eine
Permutation, d.h. Umordnung aus den Komponenten w1 , . . . , wn von w ergeben 5.30. Für alle w ∈ W4 (N, n) gibt es n! derartige Permutationen 5.31 5.32.
Andererseits ergibt sich jedes w′ ∈ W2 (N, n) aus genau einem w ∈ W4 (N, n)
durch eine Permutation 5.33.
Folglich zerfällt W2 (N, n) in disjunkte Klassen mit jeweils n! Elementen.
Jede Klasse entspricht genau einem Element in W4 (N, n). Daher ist
|W2 (N, n)|
(5.4) |W4 (N, n)| =
=
n!
5.34
N!
1
·
=:
(N −n)! n!
N
,
n
N, n ∈ N, n ≤ N.
Beispiel 5.3 (Weiterer Rückblick auf Beispiel 5.1 5.35). Eine streng monoton ansteigende Folge von Augenzahlen bei 4 Würfen eines Würfels entspricht genau einer in aufsteigender Reihenfolge angeordneten, 4-elementigen Teilmenge von
{1, . . . , 6}. Daher ist
p2 =
|W4 (6, 4)|
|W1 (6, 4)|
5.36
5.37
=
1
6
5
· 4 =
.
4
6
432
Zu |W3 (N, n)|: Wenn die in Abschnitt 5.1.1 angegebenen Darstellungen der Mengen W3 (. . . ) und W4 (. . . ) benutzt werden, wird deutlich, daß die Abbildung
W3 (N, n) ∋ (w1 , w2 , . . . , wn )
τ (N,n)
→
(w1 , w2 + 1, . . . , wn + n − 1) ∈ W4 (N + n − 1, n)
5.27Eine Wurfsequenz mit verschiedenen Augenzahlen entspricht einer Ziehungssequenz mit
verschiedenen gezogenen Kugeln, wobei in beiden Fällen die Reihenfolge beachtet wird.
5.28Jede Wurfsequenz entspricht genau einer Ziehungssequenz.
5.29Die etwas schwierigere Berechnung von |W (N, n)| wird zurückgestellt.
3
5.30In W (N, n) und W (N, n) werden Ziehungen ohne Zurücklegen betrachtet. In W (N, n)
2
4
4
wird allerdings die Reihenfolge nicht berücksichtigt, d.h., unterschiedliche Ziehungssequenzen aus
W2 (N, n) können in W4 (N, n) zusammenfallen.
5.31w kann an n Stellen in w ′ eingeordnet werden. Anschließend kann w noch an n − 1
1
2
Positionen gebracht werden. . . .
5.32
Jede Permutation entspricht einer Möglichkeit, aus n Objekten (Kugeln) ohne Zurücklegen n Objekte (Kugeln) mit Berücksichtigung der Reihenfolge auszuwählen. Folglich ist
Anzahl der Permutationen = |W2 (n, n)| =
n!
= n!,
0!
vgl. (5.3).
5.33Wenn die in Abschnitt 5.1.1 angegebenen Darstellungen der W (N, n), k = 1, . . . , 4,
k
′ in aufsteigender
benutzt werden, entsteht jenes w ∈ W4 (N, n) durch Anordnung von w1′ , . . . , wn
Reihenfolge.
5.34Vgl. (5.3).
5.35Vgl. auch Beispiel 5.2.
5.36|W (6, 4)| ist die Anzahl aller 4-elementigen Teilmengen von {1, . . . , 6}, d.h. aller Wurf4
sequenzen der Länge 4 mit streng monoton ansteigenden Augenzahlen.
5.37
|W1 (6, 4)| ist die Anzahl aller Wurfsequenzen der Länge 4.
26. Juli 2010
85
bijektiv ist
5.38
. Diese Beobachtung führt zu
N +n−1
,
|W3 (N, n)| = |W4 (N + n − 1, n)| = 5.39
n
(5.5)
N, n ∈ N.
5.2. Anwendungen von Urnenmodellen
Vor allem in Beispielen der elementaren Wahrscheinlichkeitstheorie, wenn mit
Laplaceschen Wahrscheinlichkeitsräumen gearbeitet wird, finden die verschiedenen
Urnenmodelle Anwendungen, um mit Hilfe von (5.1) Wahrscheinlichkeiten zu berechnen.
Beispiel 5.4 (Ein Problem zum Skatspiel 5.40). Beim Skatspiel kann es für
den Spieler, der das Spiel macht“ ein großer Vorteil sein, wenn zwei Buben im
”
Skat sind. Es ist die Frage nach der Wahrscheinlichkeit p3 dieses Ereignisses zu
beantworten 5.41.
Bei der Berechnung von p3 ist zu beachten, daß
• der Skat sich durch Auswahl von 2 aus 32 Karten ergibt und daß es somit |W4 (32, 2)| Möglichkeiten für seine Zusammensetzung gibt. Da alle
Möglichkeiten die gleiche Wahrscheinlichkeit besitzen, kann mit einem Laplaceschen Wahrscheinlichkeitsraum mit |W4 (32, 2)| Elementen gearbeitet
werden.
• Da 4 Buben im Spiel enthalten sind, gibt es weiterhin |W4 (4, 2)| Möglichkeiten, einen Skat mit zwei Buben zusammenzustellen.
Folglich ist
4
3
|W4 (4, 2)|
2
p3 =
= =
≈ 0, 012.
32
|W4 (32, 2)|
248
2
Beispiel 5.5 (Zusammenfallen zweier Geburtstage). Es ist die Frage nach der
Wahrscheinlichkeit p4,M , daß in einer Gruppe von M Personen mindestens zwei am
gleichen Tag des Jahres Geburtstag haben, zu beantworten 5.42.
Der Fall M > 365 ist trivial. Dann ist p4,M = 1. Für M ≤ 365 gilt:
p4,M = 1 − P[alle M Personen haben an verschiedenen Tagen Geburtstag]
=
5.43
1−
Anzahl der Möglichkeiten für M verschiedene Geburtstage 5.44
Anzahl aller Möglichkeiten für die Geburtstage von M Personen 5.45
5.38Wenn w ≤ w
l
l+1 für ein Element w ∈ W3 (N, n), so gilt wl +l−1 < wl +l ≤ wl+1 +l. Durch
die Abbildung τ (N, n) wird Luft“ in die Sequenz (w1 , . . . , wn ) hineingeblasen“. Eine monoton
”
”
ansteigende Folge mit Werten in {1, . . . , N } wird daher in eine streng monoton ansteigende Folge
mit Werten in {1, . . . , N + n − 1} abgebildet. Die Umkehrabbildung von τ (N, n) ist durch
′
W4 (N + n − 1, n) ∋ (w1′ , w2′ , . . . , wn
)
τ (N,n)−1
→
′
(w1′ , w2′ − 1, . . . , wn
− n + 1) ∈ W3 (N, n)
gegeben.
5.39Vgl. (5.4).
5.40Es sei daran erinnert, daß 32 Karten (4 Asse, 4 Könige, . . . , 4 Buben,. . . , 4 Siebener)
im Spiel sind. Diese werden gut gemischt. 3 Spieler erhalten dann jeweils 10 Karten. 2 Karten
verbleiben im Skat und werden später demjenigen Spieler, der das Spiel macht“ zugeteilt.
”
5.41p ist unter der Voraussetzung, daß die Spieler die ihnen
jeweils zugeteilten Karten noch
3
nicht kennen, zu bestimmen.
5.42Es sei angenommen, daß für einen Geburtstag jeder Tag des Jahres gleichwahrscheinlich
ist, d.h., ein Phänomen wie die Häufung von Geburtstagen im November im Rheinland als Folge
des Karnevals sei nicht berücksichtigt. Außerdem seien Schaltjahre vernachlässigt.
26. Juli 2010
86
|W2 (365, M )|
|W1 (365, M )|
365!
= 1−
365M · (365 − M )!
365 − M + 1
365 365 − 1 365 − 2
·
·
···
= 1−
.
365
365
365
365
|
{z
}
1 2 M − 1
=1· 1−
· 1−
··· 1 −
365
365
365
= 1−
Da
0 < 1 − x ≤ exp(−x),
ergibt sich
x ∈ [0, 1),
k exp −
365
k=1
M−1 M (M − 1)
1 X
.
k = 5.46 1 − exp −
= 1 − exp −
365
730
p4,M ≥ 1 −
M−1
Y
k=1
Speziell für M = 100 ist somit p4,100 ≥ 0.9999987.
Beispiel 5.6 (Gewinnchancen beim Zahlenlotto). Beim Zahlenlotto 6 aus
”
49“ werden aus 49 numerierten Kugeln mit gleicher Wahrscheinlichkeit 6 Kugeln
5.47
ausgewählt
. Für r = 1, . . . , 6, ist die Wahrscheinlichkeit p5,r , daß ein Tip mit 6
Zahlen genau r Richtige“ enthält, zu berechnen 5.48.
”
Ein Tip mit genau r Richtigen“ enthält auch 6 − r falsch getippte Zahlen.
”
Daher gilt:
p5,r = (Anzahl aller Ziehungsmöglichkeiten)−1
×(Anzahl aller Möglichkeiten, r der 6 gezogenen Zahlen zu tippen)
×(Anzahl aller Möglichkeiten, 6−r der 43 nicht gezogenen Zahlen zu tippen)
5.43Es wird nun so getan, als würden die M Personen in einer festen Reihenfolge nach Ihrem Geburtstag gefragt. Diese Reihenfolge wird im folgenden berücksichtigt. Da es insbesondere
|W1 (365, M )| Möglichkeiten gibt, die Geburtstage der M Personen festzulegen, wird letztendlich
in einem Laplaceschen Wahrscheinlichkeitsraum mit |W1 (365, M )| Elementen gearbeitet.
Wenn man sich auf den Standpunkt stellt, daß die Reihenfolge der Personen keine Rolle spielt,
könnte man versucht sein, mit einem Wahrscheinlichkeitsraum mit |W3 (365, M )| Elementen zu arbeiten. Allerdings haben dann die 1-elementigen Ereignisse unterschiedliche Wahrscheinlichkeiten,
d.h., die Arbeit mit einem Laplaceschen Wahrscheinlichkeitsraum wäre nun nicht möglich.
Beispielsweise haben für M = 2 die Ereignisse E1 = {(w1 , w1 )} und E2 = {(w1 , w2 )} mit
w1 < w2 die Wahrscheinlichkeiten P[E1 ] = 365−2 , bzw. P[E2 ] = 2 · 365−2 . Es ist zu beachten,
daß E1 eintritt, wenn beide Personen am Tag w1 Geburtstag haben und daß E2 eintritt, wenn
Person 1 am Tag w1 und Person 2 am Tag w2 oder wenn Person 1 am Tag w2 und Person 2 am
Tag w1 Geburtstag haben.
Die in dieser Fußnote 5.43 angesprochene Problematik wird im Rahmen einer Diskussion von
Beispiel 5.1 ausführlicher in Beispiel 5.7 diskutiert.
5.44
Dies ist die Anzahl der Möglichkeiten, unter Berücksichtigung der Reihenfolge aus einer
Menge von 365 Objekten (Tagen) M verschiedene auszuwählen.
5.45
Dies ist die Anzahl der Möglichkeiten, unter Berücksichtigung der Reihenfolge M mal
eines (einen) von 365 Objekten (Tagen) auszuwählen.
5.46Da PL l = L(L + 1)/2.
l=1
5.47Die Ziehung einer weiteren Kugel mit der Zusatzzahl bleibt hier unberücksichtigt.
5.48Da es insgesamt |W (49, 6)| gleichwahrscheinliche Möglichkeiten gibt, aus 49 Kugeln
4
6 auszuwählen, kann mit einem Laplaceschen Wahrscheinlichkeitsraum mit |W4 (49, 6)| Elementen
gearbeitet werden.
26. Juli 2010
87
6
43
·
|W4 (6, r)| · |W4 (43, 6 − r)|
r
6−r
=
=
.
49
|W4 (49, 6)|
6
Insbesondere ist
p5,3
p5,5
p5,6
6
43
·
3
3
≈ 1, 77 · 10−2 ,
=
49
6
6
43
·
5
1
=
≈ 1, 845 · 10−5 ,
49
6
6
43
·
1
6
0
=
= ≈ 7, 15 · 10−8 .
49
49
6
6
Das nächste Beispiel demonstriert insbesondere, daß auch bei elementaren Fragen, die üblicherweise auf Abzählprobleme reduziert und mit kombinatorischen Methoden behandelt werden, Sorgfalt geboten ist, und daß eine leichtfertige Argumentation schnell zu falschen Resultaten führt.
Beispiel 5.7 (Noch ein Rückblick auf Beispiel 5.1). Bei der Untersuchung
des unabhängigen Wurfs von 4 Würfeln in Beispiel 5.1, bzw. in Beispiel 5.2 ergab
sich 5.49
(5.6)
|W2 (6, 4)|
p1 = P1 alle Augenzahlen sind verschieden =
|W1 (6, 4)|
5.50
5.51
=
5
.
18
Bei den Berechnungen in (5.6) wird in dem Wahrscheinlichkeitsraum (W1 (6, 4),
Pot(W1 (6, 4)), P1 ) gearbeitet, wobei P1 die Gleichverteilung auf W1 (6, 4) ist 5.52.
Durch die Verwendung von W1 (. . . ) wird stillschweigend für die Würfe eine Reihenfolge festgelegt, die zunächst eigentlich nicht vorgegeben ist.
Es wäre daher naheliegend, wenn auf die Festlegung der Reihenfolge der Würfe
verzichtet werden soll, die Menge der möglichen Wurfkombinationen durch den
Stichprobenraum Ω = W3 (6, 4) 5.53 zu beschreiben. Wie die folgenden Überlegungen
zeigen, kann dieser Stichprobenraum zur Bestimmung von p1 in der Tat zwar verwendet, dann allerdings nicht mehr mit der Struktur eines Laplaceschen Wahrscheinlichkeitsraums versehen werden 5.54.
5.49Bei der Argumentation wurde der Wurf eines Würfels mit dem Ziehen einer Kugel aus
einer Urne mit 6 unterscheidbaren Kugeln identifiziert.
5.50Anzahl der Wurfsequenzen mit 4 verschiedenen Augenzahlen.
5.51Anzahl aller Wurfsequenzen.
5.52Damit ist (W (6, 4), Pot(W (6, 4)), P ) ein Laplacescher Wahrscheinlichkeitsraum.
1
1
1
5.53W (6, 4) ist die Menge der möglichen Resultate bei 4 Ziehungen aus einer Urne mit 6
3
Kugeln mit Zurücklegen (4 Würfe eines Würfels) ohne Berücksichtigung der Reihenfolge, vgl.
Abschnitt 5.1.
5.54Die einzelnen Elemente ω ∈ Ω = W (6, 4) sind dann nicht gleichwahrscheinlich.
3
26. Juli 2010
88
Wenn zunächst auf Ω = W3 (6, 4) die Gleichverteilung P3 betrachtet werden
würde, ergäbe sich die (5.6) widersprechende Beziehung 5.55
6
|W4 (6, 4)| 5.56
5
4
(5.7)
p1 =
= 5.57 =
.
9
|W3 (6, 4)|
42
4
Zur Korrektur von (5.7) kann folgendermaßen vorgegangen werden.
(a) Es sei angenommen, daß irgendeine Möglichkeit einer Unterscheidung der
vier Würfel
besteht 5.58.
6
(b) Die 4 in Ω = W3 (6, 4) paarweise verschiedenen Zustände ((1, 2, 3, 4)),
((1, 2, 3, 5)), ((1, 2, 3, 6)), . . . 5.59, die vier Würfe mit unterschiedlichen Augenzahlen beschreiben, sind Makrozustände 5.60, die jeweils 4! verschiedene Mikrozustände aus W1 (6, 4) 5.61 zusammenfassen. Diese Mikrozustände
werden nur dann unterscheidbar, wenn die in (a) genannten feinen Unterschiede zwischen den Würfeln sichtbar werden 5.62.
Beispielsweise faßt der Makrozustand ((1, 2, 3, 5)) solche Mikrozustände wie (1, 2, 3, 5), (1, 2, 5, 3), (1, 5, 2, 3), . . . zusammen, die im mit der
Gleichverteilung P1 versehenen Raum W1 (6, 4) jeweils die Wahrscheinlichkeit 6−4 besitzen 5.63.
(c) Einem Makrozustand wie ((1, 2, 3, 5)) muß damit in Ω = W3 (6, 4) die
Wahrscheinlichkeit 5.64 P2 [{((1, 2, 3, 5))}] = 4! · 6−4 = 1/54 zugewiesen
werden 5.65.
(d) Alternativ kann nun p1 gemäß
X
p1 = 5.66
(5.8)
P2 [{((ω1 , . . . , ω4 ))}]
((w1 ,...,w4 ))∈W3 (6,4),
1≤w1 <w2 <w3 <w4 ≤6
=
5
6·5·4·3
6
=
· 4! · 6−4 =
4
6
18
4
5.55Es ist leicht einzusehen, daß die Annahme der Gleichverteilung auf W (6, 4) nicht
3
vernünftig ist. Beispielsweise ist es offensichtlich schwieriger“, d.h. unwahrscheinlicher“, vier
”
”
mal eine 1 zu werfen als je zwei mal eine 1, bzw. eine 2 zu erhalten. Im zweiten Fall gibt es mehr
Möglichkeiten, das beschriebene Resultat zu erzielen. Ein ähnliches Argument wird in Fußnote 5.43
vorgebracht.
5.56W (6, 4) ist die Teilmenge jener Elemente von W (6, 4), die 4 verschiedenen Augenzahlen
4
3
darstellen.
5.57
Vgl. (5.4) und (5.5).
5.58
Beispielsweise bestehen die Würfel vermutlich aus unterschiedlich vielen Atomen.
5.59Die Notation ω = ((w , w , w , w )) für Elemente in Ω = W (6, 4) soll daraufhinweisen,
1
2
3
4
3
daß die Reihenfolge der Würfe nicht berücksichtigt zu werden braucht, d.h., daß o.E.d.A. 1 ≤
w1 ≤ w2 ≤ w3 ≤ w4 ≤ 6 angenommen werden kann, vgl. Abschnitt 5.1.1.
5.60
In den Makrozuständen ist keine Reihenfolge der Würfel ausgezeichnet.
5.61In den Mikrozuständen ist eine Reihenfolge der Würfel ausgezeichnet. Die Menge aller
Mikrozustände wird durch W1 (6, 4) repräsentiert.
5.62
Makro- und Mikrozustände sind bildliche Begriffsbildungen zur Erleichterung der mathematischen Argumentation.
5.63Offensichtlich sind alle Mikrozustände gleichwahrscheinlich.
5.64Die Wahrscheinlichkeit eines Makrozustandes ist die Summe der Wahrscheinlichkeiten
der durch ihn zusammengefaßten, sich gegenseitig ausschließenden Mikrozustände.
5.65Das Wahrscheinlichkeitsmaß P unterscheidet sich von der Gleichverteilung P auf
2
3
` ´−1
= 1/126, ω ∈ W3 (6, 4).
(W3 (6, 4), Pot(W3 (6, 4))). Z.B. gilt P3 [{ω}] = |W3 (6, 4)|−1 = 94
26. Juli 2010
89
berechnet werden, d.h., (5.6) wird bestätigt.
Solche ω ∈ W3 (6, 4), über die in (5.8) nicht summiert wird, besitzen i. allg.
verschiedene andere Wahrscheinlichkeiten unter P2 . Beispielsweise gilt:
P2 [{((1, 1, 1, 1))}] =
5.67
6−4 = 1/1296,
P2 [{((1, 2, 2, 4))}] =
5.68
4 · 3 · 6−4 = 1/108.
Die Überlegungen dieses Beispiels verdeutlichen wieder einmal, daß in konkreten Anwendungen immer unterschiedliche Wahrscheinlichkeitsräume benutzt werden können 5.69. Die Kunst besteht dann darin, einen für das jeweilige mathematische Vorhaben optimal geeigneten Wahrscheinlichkeitsraum herauszufinden 5.70.
5.3. Eine Alternative zu den Urnenmodellen
Die Urnenmodelle (U1 ) - (U4 ) 5.71 repräsentieren mathematische Modelle zur
Lösung gewisser Abzählprobleme. Diese Lösungen können auch mit Hilfe der in
diesem Abschnitt 5.3 vorgestellten und zu den Urnenmodellen äquivalenten Verteilungsmodelle gewonnen werden.
Gegeben seien N unterscheidbare Zellen, auf welche n Murmeln 5.72 verteilt
werden. Hierbei können die Zellen und die Murmeln folgende unterschiedliche physikalische Eigenschaften besitzen:
• Die Zellen erlauben nur Einfach-, bzw. auch Mehrfachbesetzungen.
• Die Murmeln sind unterscheidbar, bzw. nicht unterscheidbar.
Entsprechend den vier Urnenmodellen gibt es nun vier Verteilungsvarianten:
(V1 ) Für unterscheidbare Murmeln ist eine Mehrfachbelegung der Zellen erlaubt.
(V2 ) Für unterscheidbare Murmeln ist eine Mehrfachbelegung der Zellen nicht
erlaubt.
(V3 ) Für nicht unterscheidbare Murmeln ist eine Mehrfachbelegung der Zellen
erlaubt.
(V4 ) Für nicht unterscheidbare Murmeln ist eine Mehrfachbelegung der Zellen
nicht erlaubt.
fk (N, n) der Verteilungsmöglichkeiten
Für k = 1, . . . , 4 entspricht die Menge W
unter (Vk ) genau der Menge Wk (N, n) der Ziehungsmöglichkeiten unter (Uk ). Dazu
muß
• jede der N Kugeln in den Urnenmodellen mit einer der N Zellen und
5.66Die Summation erstreckt sich über die Menge der `6´ unterschiedlichen Elemente ω von
4
W3 (6, 4), deren Komponenten paarweise verschieden sind, und die damit durch W4 (6, 4) beschrieben werden können. Im Gegensatz zu den zu (5.7) führenden Überlegungen haben aufgrund von
(a) - (c) diese ω’s allerdings nicht mehr die Wahrscheinlichkeit |Ω3 (6, 4)|−1 sondern 4! · 6−4 .
5.67Dem Makrozustand ((1, 1, 1, 1)) entspricht nur der eine Mikrozustand (1, 1, 1, 1) in
W1 (6, 4), der die Wahrscheinlichkeit 6−4 besitzt.
5.68
Dem Makrozustand ((1, 2, 2, 4)) entsprechen 4 · 3 verschiedene Mikrozustände (1, 2, 2, 4),
(1, 2, 4, 2), (1, 4, 2, 2), . . . . Diese werden durch Wahl eines von 4 · 3 möglichen geordneten
Würfelpaaren für die Augenzahlen 1 und 4 bestimmt. Die zwei restlichen Würfel zeigen dann
automatisch 2.
5.69
Diese Beobachtung konnte auch in Beispiel 3.22 gemacht werden.
5.70
Zur Bestimmung von p1 ist offensichtlich die in Beispiel 5.1 vorgestellte Argumentation
leichter nachvollziehbar und daher besser geeignet als die zu (5.8) führenden Überlegungen (a) - (d)
dieses Beispiels.
5.71Vgl. Abschnitt 5.1
5.72Der Name Kugeln“ wird hier nicht gewählt, weil die nun benutzten Murmeln eine andere
”
mathematische Bedeutung als die Kugeln in den Urnenmodellen haben.
26. Juli 2010
90
• jede der n Ziehungen in den Urnenmodellen mit der Einordnung einer der
n Murmeln identifiziert werden 5.73.
Beispielsweise entspricht nun
• das Ziehen der r-ten Kugel bei der k-ten Ziehung dem Einlegen der k-ten
Murmel in die r-te Zelle,
• das k-fache Ziehen einer bestimmten Kugel dem Einlegen von k Murmeln
in die der Kugel zugeordnete Zelle,
• das Nichtberücksichtigen der Reihenfolge der gezogenen Kugeln der Verwendung ununterscheidbarer Murmeln,
• ...
Beispiel 5.8. Das Zahlenlotto 5.74 6 aus 49 läßt sich auch darstellen als die
Verteilung von 6 ununterscheidbaren Murmeln auf 49 Zellen, wobei eine Mehrfachbelegung der Zellen verboten ist.
5.4. Multinomialverteilung und hypergeometrische Verteilung
Die in diesem Abschnitt 5.4 vorgestellten Wahrscheinlichkeitsmaße sind auf
gewissen endlichen Teilmengen von Zn , n ∈ N, konzentriert. In ihren klassischen
Anwendungen 5.75 dienen sie der Modellierung der Resultate von Ziehungen aus
einer Urne, die Gruppen von Kugeln verschiedener Farben enthält. Je nachdem,
ob man gezogene Kugeln wieder zurücklegt oder nicht, beschreibt die Multinomialverteilung, bzw. die hypergeometrische Verteilung die Verteilung der möglichen
Ziehungsresultate 5.76.
Die Multinomialverteilung
Pn Mn (N, q1 , . . . , qn ) ist durch Parameter n, N ∈ N
und q1 , . . . , qn ∈ [0, 1] mit k=1 qk = 1 gekennzeichnet. Mn (N, q1 , . . . , qn ) ist ein
diskretes Wahrscheinlichkeitsmaß 5.77 auf
n
X
(5.9) Ωn,N = ω = (ω1 , . . . , ωn ) : ωk ∈ {0, 1, ..., N }, k = 1, . . . , n;
ωk = N
k=1
mit
5.78
(5.10)
Mn (N, q1 , . . . , qn )[{ω}] =
Die Größen
N
N!
,
(5.11)
:=
l1 ! . . . ln !
l 1 , . . . , ln
N!
q ω1 . . . qnωn ,
ω1 ! . . . ωn ! 1
l1 , . . . , ln = 0, 1, . . . , N,
n
X
k=1
werden als Multinomialkoeffizienten bezeichnet.
ω ∈ Ωn,N .
lk = N, n, N ∈ N,
5.73Insbesondere haben die Murmeln in den Verteilungsmodellen die Bedeutung der Ziehungszeitpunkte in den Urnenmodellen.
5.74Vgl. Beispiel 5.6.
5.75Auf diese klassischen“ Anwendungen wird in den Beispielen 5.10 und 5.12 eingegangen.
”
5.76Ein Ziehungsresultat“
gibt für alle Farben die jeweilige Anzahl gezogener Kugeln an.
”
Auf die Reihenfolge, in der die Kugeln mit den verschiedenen Farben gezogen werden, wird nicht
eingegangen.
5.77Vgl. Abschnitt 2.2.
5.78Da
N!
ωn
≥ 0, ω ∈ Ωn,N ,
q ω1 . . . q n
ω1 ! . . . ω n ! 1
und weil
X
N!
ωn
= (q1 + · · · + qn )N = 1,
q ω1 . . . q n
ω
!
.
. . ωn ! 1
1
ω∈Ω
n,N
ist durch (5.10) in der Tat ein Wahrscheinlichkeitsmaß definiert.
26. Juli 2010
91
Beispiel 5.9. Sei n = 2, q1 = q und q2 = 1 − q für ein q ∈ [0, 1]. Dann ist
N!
q k q N −k
k!(N −k)! 1 2
N k
=
q (1−q)N −k = B(N, q)[{k}],
k
5.79
Mn (N, q1 , q2 )[{(k, N −k)}] =
k = 0, 1, . . . , N.
Daher entspricht die Multinomialverteilung M2 (N, q, 1 − q) der Binomialverteilung
B(N, q) 5.80. I. allg. ist die Multinomialverteilung eine Verallgemeinerung der Binomialverteilung.
Beispiel 5.10. Gegeben sei eine Urne mit Kugeln der Farben 1, . . . , n. Für
k = 1, . . . , n sei qk der Anteil der Kugeln der Farbe k 5.81. Aus der Urne wird N
mal eine Kugel gezogen und anschließend wieder zurückgelegt. Es gilt
wobei
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen] 5.82
! n
Y
N
N − l1
N − l1 − · · · − ln−2
lk
,
···
=
qk
l1
l2
ln−1
k=1
|
|
|
{z
}
{z
}
{z
}
| {z }
...
(∗2 ) = (∗3 )
= (∗1 ) =
{z
}
|
= (∗)
• (∗1 ) die Wahrscheinlichkeit, in einer fest vorgegebenen Reihenfolge für
k = 1, . . . , n jeweils lk Kugeln der Farbe k zu ziehen 5.83,
• (∗2 ) die Anzahl der Möglichkeiten, l1 Zeitpunkte für das Ziehen einer
Kugel der Farbe 1 aus der Menge aller N Ziehungszeitpunkte auszuwählen,
• (∗3 ) die Anzahl der Möglichkeiten, l2 Zeitpunkte für das Ziehen einer
Kugel der Farbe 2 aus der Menge der verbliebenen N − l1 Ziehungszeitpunkte 5.84 auszuwählen, . . . , ist 5.85.
Da
N!
(N − l1 )!
(N − l1 − · · · − ln−2 )!
·
···
l1 !(N − l1 )! l2 !(N − l1 − l2 )!
ln−1 !(N − (l1 + · · · + ln−1 ))!
|
{z
}
= ln
N!
=
,
l1 ! . . . ln !
(∗) =
ist
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen]
= Mn (N, q1 , . . . , qn )[{(l1 , . . . , ln )}],
l1 , . . . , ln = 0, 1, . . . , N,
n
X
lk = N,
k=1
5.79Offensichtlich ist Ω
2,N = {(k, N − k) : k = 0, 1, . . . , N }, N ∈ N.
5.80Sicherlich wäre die Folgerung M (N, q, 1 − q) = B(N, q) falsch, da M (N, q, 1 − q) auf
2
2
einer Teilmenge von Z2 und B(N, q) auf einer Teilmenge von Z konzentriert ist.
5.81Für die hier behandelte Fragestellung ist die Zahl der Kugeln in der Urne irrelevant.
Die Struktur des Urneninhalts wird durch die Anteile q1 , . . . , qn beschrieben. Für k = 1, . . . n
entspricht qk der Wahrscheinlichkeit, beim einmaligen Ziehen einer Kugel die Farbe k zu erhalten.
5.82Die Reihenfolge, in der die Kugeln gezogen werden, spielt keine Rolle.
5.83P[Farbe der 1. Kugel = α, Farbe der 2. Kugel = β, . . . ] = q q . . . .
α β
5.84In l Zeitpunkten war schon vorher die Farbe 1 gewählt worden.
1
5.85
Bei der Bestimmung der Anzahl der Möglichkeiten für die Wahl der Zeitpunkte zum Ziehen von Kugeln der verschiedenen Farben 1, 2, . . . wird iterativ das Urnenmodell (U4 ) angewandt.
26. Juli 2010
92
d.h., die Farbverteilung“ der gezogenen Kugeln ist durch die Multinomialverteilung
”
Mn (N, q1 , . . . , qn ) gegeben.
Die hypergeometrische Verteilung Hn,M (N, m1 , . . . , mn ) P
mit den Parametern n,
n
M, N ∈ N, m1 , . . . , mn ∈ {1, . . . , M } mit n, N ≤ M und k=1 mk = M ist ein
5.86
Wahrscheinlichkeitsmaß auf
(
1 ,...,mn
(5.12) Ωm
=
n,N
ω = (ω1 , . . . , ωn ) :
ωk ∈ {0, 1, . . . , mk }, k = 1, . . . , n;
mit
(5.13)
Hn,M (N, m1 , . . . , mn )[{(ω1 , . . . , ωn )}]
mn
m2
m1
...
ωn
ω2
ω1
=
,
M
N
Beispiel 5.11. Beim Zahlenlotto 6 aus 49“ ist
” 6
43
r
6
−r
P[r Richtige] = 5.87
49
6
=
5.88
H2,49 (6, 6, 43)[{(r, 6 − r)}],
n
X
)
ωk = N ,
k=1
1 ,...,mn
.
ω ∈ Ωm
n,N
r = 0, 1, . . . , 6.
Beispiel 5.12. Eine naheliegende Modifikation von Beispiel 5.10 ergibt sich
nach der Forderung, die gezogenen Kugeln nicht wieder zurückzulegen 5.89.
Gegeben sei daher eine Urne mit M Kugeln der Farben 1, . . . , n. Für k =
1, . . . , n sei mk die Anzahl der Kugeln der Farbe k 5.90. Aus der Urne wird N mal
eine Kugel gezogen und anschließend nicht wieder zurückgelegt. Es gilt 5.91
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen]
5.92
= Hn,M (N, m1 , . . . , mn )[{(l1 , . . . , ln )}],
m1 ,...,mn
5.86Wenn die Stichprobenräume Ω
der Multinomialvertein,N , vgl. (5.9), und Ωn,N
lung Mn (N, q1 , . . . , qn ), bzw. der hypergeometrischen Verteilung Hn,M (N, m1 , . . . , mn ) verglichen werden, fällt auf, daß ω = (ω1 , . . . , ωn ) ∈ Ωn,N durch ωk ∈ {0, 1, ..., N }, k = 1, . . . , n, aber
1 ,...,mn
durch ωk ∈ {0, 1, . . . , mk }, k = 1, . . . , n, eingeschränkt werden.
ω ∈ Ωm
n,N
5.87Vgl. Beispiel 5.6.
5.88Vgl. (5.12) und (5.13).
5.89Anders als in Beispiel 5.10 ist es nun unerläßlich, für die verschiedenen Farben die Anzahl
der Kugeln mit dieser Farbe festzulegen.
5.90Offensichtlich muß M = Pn
k=1 mk gelten.
5.91Wenn die Kugeln nach dem Ziehen zurückgelegt werden würden, könnte
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen]
“
m1
mn ”
= Mn N,
[{(l1 , . . . , ln )}],
,...,
M
M
n
X
l1 , . . . , ln ∈ {0, 1, . . . , N },
lk = N,
k=1
aus Beispiel 5.10 geschlossen werden. Es ist hierbei zu beachten, daß für alle k = 1, . . . , n durch
qk = mk /M der Anteil der Kugeln der Farbe k gegeben ist.
26. Juli 2010
93
lk ∈ {0, 1, . . . , mk }, k = 1, . . . , n,
n
X
lk = N.
k=1
Beispiel 5.13 (Multinomialapproximation der hypergeometrischen Verteilung).
Wenn von jeder Farbe, verglichen mit der Anzahl der Ziehungen sehr viele“
”
Kugeln in der Urne sind, spielt es keine wesentliche Rolle, ob nach ihrem Ziehen die
5.94
Kugeln wieder zurückgelegt werden oder nicht
. Daher wird in diesem Grenzfall
die hypergeometrische Verteilung durch die Multinomialverteilung approximiert.
Sei n, N ∈ N. Für α ∈ N sei außerdem
5.93
N ≤ M α ∈ N,
und
α
α
mα
1 , . . . , mn ∈ {0, 1, . . . , M } mit
Es gelte
5.95
n
X
α
mα
k = M .
k=1
lim M α = ∞
α→∞
und
lim mα
l = ∞,
l = 1, . . . , n,
mα
l
= ql ,
α→∞ M α
l = 1, . . . , n.
α→∞
wobei
5.96
lim
Dann folgt
α
lim Hn,M α (N, mα
1 , . . . , mn )[{(l1 , . . . , ln )}]
α→∞
= Mn (N, q1 , . . . , qn )[{(l1 , . . . , ln )}],
l1 , . . . , ln ∈ {0, 1, . . . , N },
n
X
lk = N.
k=1
5.92Wie in Beispiel 5.10 spielt die Reihenfolge, in der die Kugeln gezogen werden, keine Rolle.
5.93Vgl. [5], Satz (2.14).
5.94Beispielsweise ist es eine vernachlässigbare Änderung, wenn in einer Urne mit 106 Kugeln
nach dem Ziehen einer Kugel nicht mehr 105 von 106 Kugeln sondern nur noch 105 − 1 von
106 − 1 Kugeln eine gegebene Farbe f besitzen. Da 105 /106 ≈ (105 − 1)/(106 − 1) ändert sich die
Wahrscheinlichkeit eine Kugel mit der Farbe f zu ziehen, nicht merklich.
5.95Man betrachtet eine Folge (Uα )
α∈N von Urnen, die asymptotisch bei α → ∞ für jede
Farbe eine unbeschränkt wachsende Anzahl von Kugeln enthalten.
5.96Bei α → ∞ stabilisiert“ sich für alle Farben l = 1, . . . , n der Anteil der Kugeln der Farbe
”
l bei ql .
26. Juli 2010
KAPITEL 6
Erwartungswert und Varianz
Beim üblichen Arbeiten mit zufälligen Meßwerten oder sonstigen, durch reelle
Zahlen beschriebenen Beobachtungen werden Mittelwerte“ zur Beschreibung ty”
”
pischer Beobachtungswerte“ verwendet. Dem Mittelwert“ entspricht in der Wahr”
scheinlichkeitstheorie der Erwartungswert. Die Genauigkeit der Approximation eines zufälligen Werts durch seinen Mittelwert kann durch seine mittlere quadrierte
”
Abweichung“ 6.1 von diesem Mittelwert charakterisiert werden. Diese Größe ent6.2
spricht der Varianz .
In den folgenden Abschnitten 6.1 - 6.5 sei (Ω, F, P) ein gegebener Wahrscheinlichkeitsraum, auf dem alle Zufallsvariablen, mit denen gearbeitet wird, definiert
sind. Diese Zufallsvariablen seien reellwertig 6.3.
6.1. Erwartungswert für diskrete Zufallsvariablen
Sei X eine diskrete Zufallsvariable, d.h., X(Ω) = {X(ω) : ω ∈ Ω} sei eine
höchstens abzählbare Teilmenge von R 6.4. Dann besitzt X einen (endlichen) Erwartungswert, wenn 6.5
X
|x| P[X = x] < ∞.
(6.1)
x∈X(Ω)
Wenn (6.1) gilt, nennt man X auch integrabel. Man definiert nun den Erwartungswert von X durch
X
X
x PX [{x}].
x P[X = x] = 6.7
(6.2)
E[X] := 6.6
x∈X(Ω)
x∈X(Ω)
Der Erwartungswert E[X] ist damit eine gewichtete Summe über den Wertebereich
X(Ω) von X, wobei die möglichen Werte von X mit den Wahrscheinlichkeiten, mit
denen sie angenommen werden, gewichtet werden 6.8.
6.1Man betrachtet quadrierte Abweichungen, damit nicht beispielsweise große negative und
große positive Abweichungen nach ihrer Mittelung ein geringe Ungenauigkeit bei der Approximation durch den Mittelwert vortäuschen.
6.2Erwartungswert und Varianz einer reellwertigen Zufallsvariable X wurden erstmals in den
Beispielen 1.4 und 1.5 vorgestellt.
6.3D.h., ihr Wertebereich ist (R, B(R)).
6.4In diesem Abschnitt 6.1 wird der Erwartungswert nur für diskrete Zufallsvariablen definiert. Zur Erweiterung auf beliebige (R, B(R))-wertige Zufallsvariablen vgl. Abschnitt 6.3.
6.5In (6.1) muß P[X = x] wohldefiniert sein, d.h., {X = x} ∈ F, x ∈ X(Ω). Diese Eigenschaft
folgt aus {x} = [x, x] ∈ B(R), x ∈ R, vgl. Abschnitt 2.4.3, und aus der Meßbarkeit von X :
(Ω, F) → (R, B(R)), vgl. (3.1).
6.6Wenn (6.1) gilt, konvergiert diese Reihe absolut, d.h., E[X] ist wohldefiniert.
6.7
Die Verteilung PX einer Zufallsvariable X wird in Abschnitt 3.1 beschrieben.
6.8Offensichtlich hängt der Erwartungswert E[X] nur von der Verteilung P ab. Der WahrX
scheinlichkeitsraum (Ω, F, P), auf dem die Zufallsvariable X definiert ist, tritt, wie insbesondere
die zweite Summe in (6.2) andeutet, nur indirekt in Erscheinung. Allgemeinere Überlegungen
in Abschnitt 3.5 zur Bedeutung von Wahrscheinlichkeitsräumen, auf denen zur Modellbildung
benutzte Zufallsvariablen X definiert sind, und deren Verteilung PX werden somit hier bestätigt.
95
96
Bemerkungen. (i) Für A ∈ F ist
(6.3)
E[IA ]
6.9
= 1 · P[IA = 1] + 0 · P[IA = 0] =
6.10
P[A].
(ii) Wenn 6.11 X ≥ 0, f.s., so ist die rechte Seite von (6.2) immer eindeutig
definiert 6.12, d.h., für positive, diskrete Zufallsvariablen X kann immer durch (6.2)
der Erwartungswert E[X] definiert werden. Allerdings kann in einem solchen Fall
E[X] = ∞ sein.
(iii) Da
X
X
(6.4)
y (P[X = −y] + P[X = y])
|x| P[X = x] = 6.13
y∈|X|(Ω)
x∈X(Ω)
=
6.14
=
6.15
X
y P[X ∈ {−y, y}]
|
{z
}
y∈|X|(Ω)
= P[|X| = y]
E[|X|],
ist eine Zufallsvariable X genau dann integrabel, wenn
6.16
E[|X|] < ∞ ist.
Beispiel 6.1. Die Zufallsvariable X habe eine Poissonverteilung mit Parameter
λ > 0. Dann folgt 6.17:
E[X] =
6.18
∞
X
k P[X = k] =
∞
X
k=0
k=0
k·
λk
exp(−λ)
k!
∞
X
λk−1
= λ exp(−λ)
= λ.
(k − 1)!
k=1
|
{z
}
∞
X
λn
=
= exp(λ)
n!
n=0
6.19
6.2. Eigenschaften der Abbildung X → E[X]
Seien X, Y , X1 , X2 , . . . , Y1 , Y2 , . . . diskrete, integrable, reellwertige Zufallsvariablen.
6.9I
A ist die Indikatorfunktion von A.
Man beachte, daß {IA = 1} = A.
6.11
Vgl. Abschnitt 3.2.5, insbesondere Fußnote 3.149.
6.12Höchstens abzählbare Summen positiver Zahlen sind immer wohldefiniert.
6.13|X|(Ω) ist der Wertebereich der Zufallsvariable |X|.
6.14
Für y ∈ |X|(Ω) mit y 6= 0 ist offensichtlich {|X| = y} = {X ∈ {−y, y}} = {X =
.
−y} ∪ {X = y}.
6.15
Vgl. die Definition des Erwartungswerts in (6.2).
6.16Da |X| eine positive Zufallsvariable ist, ist E[|X|] immer wohldefiniert, vgl. Bemerkung (ii).
6.17Da X ≥ 0, f.s., ist E[X] wohldefiniert, vgl. Bemerkung (ii).
6.18Vgl. (6.2).
6.19Die Abbildung X → E[X] ist auf einer Teilmenge A der Menge aller reellwertigen Zufallsvariablen auf dem Wahrscheinlichkeitsraum (Ω, F, P) definiert. A enthält zumindest die diskreten,
integrablen und die diskreten, positiven Zufallsvariablen, vgl. Abschnitt 6.1 und dort insbesondere
Bemerkung (ii). Weitere Zufallsvariablen in A werden in Abschnitt 6.3 vorgestellt.
6.10
26. Juli 2010
97
Monotonie des Erwartungswerts. Ist X ≤ Y , f.s.
6.20
, so folgt
6.21
:
E[X] ≤ E[Y ].
(6.5)
Linearität des Erwartungswerts. Die Zufallsvariablen 6.22 X+Y , bzw. cX mit c ∈ R
sind integrabel. Es gilt:
E[cX] =
6.23
cE[X],
E[X + Y ] =
6.24
E[X] + E[Y ].
(6.6a)
(6.6b)
6.20D.h., P[{ω ∈ Ω : X(ω) ≤ Y (ω)}] = 1.
6.21
Es gilt:
X
E[X] =
x∈X(Ω)
»[
•
= P[X = x, Y ∈ Y (Ω)] = P
X
=
(∗)
x P[X = x]
| {z }
X
x∈X(Ω) y∈Y (Ω)
X
≤
X
x P[X = x, Y = y]
|
{z
}
(
= 0, wenn x > y,
≥ 0,
wenn x ≤ y,
y∈Y (Ω)
–
{X = x, Y = y}
(σ-Additivität von P)
(da X ≤ Y , f.s.)
y P[X = x, Y = y]
x∈X(Ω) y∈Y (Ω)
= E[Y ].
Im letzten Schritt wird hier die zu (∗) führende Argumentation in umgekehrter Reihenfolge wiederholt. Da die Zufallsvariablen X und Y integrabel sind, konvergieren alle Reihen absolut, d.h.,
es ist gerechtfertigt, hierbei die Summationsreihenfolge zu vertauschen.
6.22Die Zufallsvariable X + Y ist durch (X + Y )(ω) = X(ω) + Y (ω), ω ∈ Ω, definiert.
6.23O.E.d.A. sei c 6= 0. Da
X
X
|z| P[cX = z] =
|cx| P[cX = cx] (man setze z = cx)
(∗1 )
|
{z
}
z∈(cX)(Ω)
x∈X(Ω)
= P[X = x]
X
= |c|
|x| P[X = x],
x∈X(Ω)
folgt nun die Integrabilität von cX aus der Integrabilität von X. Wenn anschließend in (∗1 ) die
Betragsstriche weggelassen werden, ergibt sich (6.6a).
6.24
Wie X und Y ist auch X + Y eine Zufallsvariable. Diese ist diskret, da (X + Y )(Ω) =
X(Ω) + Y (Ω) = {z ∈ R : z = x + y, x ∈ X(Ω), y ∈ Y (Ω)}. Weiterhin ist
X
E[|X + Y |] =
|z| P[X + Y = z] (vgl. (6.4))
z∈(X+Y )(Ω)
X
=
|z| P[X = x, Y = z −x]
z∈(X+Y )(Ω),x∈X(Ω)
(∗2 ) ≤
X
`
da {X +Y = z} =
(|x| + |z − x|) P[X = x, Y = z − x]
z∈(X+Y )(Ω),x∈X(Ω)
X
=
z∈(X+Y )(Ω),x∈X(Ω)
|
X
+
|x| P[X = x, Y = z − x]
{z
...
z∈(X+Y )(Ω),x∈X(Ω)
|
=
X
x∈X(Ω),y∈Y (Ω)
|
=
X
y∈Y (Ω)
|y|
}
|z − x| P[X = x, Y = z − x]
{z
|y| P[X = x, Y = y]
{z
X
x∈X(Ω)
}
(mit y = z − x)
}
P[X = x, Y = y]
{z
}
|
= P[X ∈ X(Ω), Y = y] = P[Y = y]
26. Juli 2010
•
S
x∈X(Ω) {X = x, Y
´
= z −x}
98
σ-Additivität des Erwartungswerts, bzw. Satz
von der monotonen Konvergenz. Sei
P∞
Xk ≥ 0, f.s., k ∈ N, und sei 6.25 X = n=1 Xn , f.s. In diesem Fall ist
(6.7)
E[X] =
∞
X
E[Xk ].
k=1
Wenn Yk ր Y , f.s., d.h., Y1 ≤ Y2 ≤ . . . , f.s., und
so folgt 6.27
(6.8)
6.26
limk→∞ Yk = Y , f.s.,
lim E[Yk ] = E[Y ].
k→∞
Die beiden Beziehungen (6.7) und (6.8) gehören zu jener Klasse mathematischer Resultate, die die Vertauschbarkeit von Limiten, unendlichen Summen
und Integralen beschreiben.
Produktregel für unabhängige Zufallsvariablen. Die Zufallsvariablen X und Y seien
unabhängig 6.28. Dann ist X · Y integrabel 6.29 mit
6.30
E[X · Y ] =
(6.9)
=
X
x∈X(Ω)
|x| P[X = x] +
X
y∈Y (Ω)
E[X] · E[Y ].
|y| P[Y = y] < ∞
(da X und Y integrabel sind),
d.h., die Zufallsvariable X + Y ist integrabel.
In den obigen Berechnungen gilt weiterhin überall Gleichheit, insbesondere auch in (∗2 ), wenn
die Betragsstriche weggelassen werden. Damit ist (6.6b) nachgewiesen.
6.25Diese Annahmen bedeuten, daß es ein Ω ∈ F mit P[Ω ] = 1 gibt, so daß X (ω) ≥ 0,
1
1
k
P
k ∈ N, und ∞
n=1 Xn (ω) = X(ω) für alle ω ∈ Ω1 .
6.26Die fast-sichere Konvergenz wird in Abschnitt 6.8(b) genau beschrieben.
6.27Zum Beweis von (6.8) mit Hilfe von (6.7) definiere man X := Y und X := Y − Y
n
n
1
1
n−1 ,
n = 2, 3, . . . . Bei den nun folgenden Argumenten spielt es keine Rolle, daß Y1 = X1 nicht unbedingt
P
f.s. nichtnegativ ist. Da Xk ≥ 0, f.s., k = 2, 3, . . . , und Yn = n
k=1 Xk , f.s., n ∈ N, gilt zunächst
(∗)
Y = lim
n→∞
n
X
k=1
Xk =
∞
X
Xk , f.s.
k=1
Mit
E[Y ] =
∞
X
E[Xk ]
(vgl. (∗) und (6.7))
k=1
= lim
n→∞
n
X
E[Xk ]
k=1
= lim E[Yn ]
n→∞
(da E[Xk ] ≥ 0, k = 2, 3, . . . )
(wegen (6.6b) und da Yn =
Pn
k=1
Xk )
ist dann (6.8) bewiesen.
6.28Vgl. (3.8).
6.29Die Integrabilität von X und Y war vorausgesetzt worden. Falls X und Y nicht unabhängig sind, braucht übrigens X · Y nicht integrabel zu sein. Wenn beispielsweise X integrabel
mit E[X 2 ] = ∞ ist, so ist X · Y mit Y = X nicht integrabel.
26. Juli 2010
99
Normierung des Erwartungswerts. Die Zufallsvariable X mit X = 1, f.s., ist integrabel mit
(6.10)
E[X] =
6.31
1.
6.3. Erwartungswert für allgemeine, reellwertige Zufallsvariablen
Zur Berechnung von E[X] wird eine allgemeine, nicht notwendigerweise diskrete, reellwertige Zufallsvariable X hinreichend fein diskretisiert“ und anschließend
”
die Asymptotik für die Erwartungswerte der Diskretisierungen untersucht.
Zu m ∈ N sei eine diskrete Zufallsvariable X(m) : (Ω, F, P) → (R, B(R))
gemäß 6.32
1
(6.11)
X(m) (ω) = ⌊mX(ω)⌋, ω ∈ Ω,
m
definiert. X(m) ist die größte diskrete Zufallsvariable, die Werte k/m, k ∈ Z, annimmt und kleiner oder höchstens gleich X ist.
Satz 6.2. (a) Bei n → ∞ konvergiert X(n) gegen die Zufallsvariable X. Insbesondere ist
1
(6.12)
X(n) ≤ X ≤ X(n) + , n ∈ N.
n
(b) Wenn X(n0 ) für ein n0 ∈ N integrabel 6.33 ist, so sind alle Zufallsvariablen
X(n) , n ∈ N, integrabel. In diesem Fall ist E[X(n) ], n ∈ N, eine Cauchy-Folge 6.34.
Satz 6.2 legt nahe, die Zufallsvariable X als integrabel zu bezeichnen, wenn für
ein n0 ∈ N ihre diskrete Approximation X(n0 ) integrabel ist. In diesem Fall kann
(6.13)
E[X] := lim E[X(n) ]
n→∞
definiert werden.
6.30Zunächst ist es offensichtlich, daß mit X und Y auch XY eine diskrete Zufallsvariable
ist. Da
X
X
X
|z| P[XY = z] =
|z|
P[X = x, Y = y]
z∈(XY )(Ω)
z∈(XY )(Ω)
x∈X(Ω),y∈Y (Ω)
xy=z
•
S
(da {XY = z} = x∈X(Ω),y∈Y (Ω),xy=z {X = x, Y = y})
X
=
|xy| P[X = x, Y = y]
{z
}
|
x∈X(Ω),y∈Y (Ω)
= P[X = x]P[Y = y] (X, Y unabhängig)
!
!
X
X
=
|x| P[X = x]
|y| P[Y = y]
x∈X(Ω)
y∈Y (Ω)
= E[|X|] · E[|Y |]
(vgl. (6.4)),
folgt die Integrabilität von XY aus der Integrabilität von X und Y . (6.9) ergibt sich nun, wenn
in diesen Berechnungen auf die Betragsstriche verzichtet wird.
6.31Man beachte, daß
E[|X|] = E[X] = 1 · P[X = 1] = 1.
| {z }
= P[Ω] = 1
6.32Für z ∈ R ist ⌊z⌋ = sup{n ∈ Z : n ≤ z}. ⌊z⌋ ist die größte ganze Zahl, die kleiner oder
höchstens gleich z ist.
6.33Vgl. (6.1) zur Definition der Integrabilität einer diskreten Zufallsvariable.
6.34Damit existiert lim
n→∞ E[X(n) ].
26. Juli 2010
100
Beweis (von Satz 6.2). (a) Die Abschätzungen (6.12) folgen aus
nX(n) (ω) =
6.35
⌊nX(ω)⌋ ≤ nX(ω)
≤ ⌊nX(ω)⌋ + 1 =
6.35
ω ∈ Ω,
nX(n) (ω) + 1,
nach Division durch n.
(b) Es sei nun angenommen, daß X(n0 ) integrabel ist, d.h., daß E[|X(n0 ) |] <
∞ 6.36. Aus (6.12) folgt für alle n ∈ N weiterhin
(6.14)
1
1
≤ |X(n0 ) | +
,
n0
n0
1
1
1
≤ −X + ≤ −X(n0 ) + ≤ |X(n0 ) | + ,
n
n
n
X(n) ≤ X ≤ X(n0 ) +
−X(n)
d.h.,
1 o
, n ∈ N.
n n0
Wegen der Monotonie des Erwartungswerts für diskrete Zufallsvariablen
somit
E[|X(n) |] ≤ E[|X(n0 ) |] + 1, n ∈ N.
|X(n) | ≤ |X(n0 ) | + max
n1
,
Daher sind alle Zufallsvariablen X(n) , n ∈ N, integrabel 6.38.
Wenn n0 in (6.14) durch m ∈ N ersetzt wird, ergibt sich
1
,
m
1
−E[X(n) ] ≤ − E[X(m) ] + ,
n
6.37
ist
6.39
E[X(n) ] ≤ E[X(m) ] +
n, m ∈ N,
woraus
n1 1 o
, n, m ∈ N,
|E[X(n) ] − E[X(m) ]| ≤ max ,
n m
folgt. Somit ist gezeigt, daß E[X(n) ], n ∈ N, eine Cauchy-Folge ist.
Bemerkungen. (i) Die in Abschnitt 6.2 zunächst nur für diskrete Zufallsvariablen vorgestellten Eigenschaften des Erwartungswerts gelten auch für allgemeine,
integrable Zufallsvariablen mit Werten in (R, B(R)) 6.40.
(ii) Den durch (6.5), (6.6) und (6.8) repräsentierten Eigenschaften 6.41 des Erwartungswerts, d.h., der reellwertigen Abbildung Y → E[Y ] auf dem Raum der reellwertigen, integrablen Zufallsvariablen auf dem Wahrscheinlichkeitsraum (Ω, F, P)
d
entsprechen völlig
R analoge Eigenschaften des Integrals auf R , d.h., der reellwertigen
Abbildung f → Rd dx f (x) auf dem Raum der integrablen, reellwertigen Funktionen auf Rd 6.42. Insbesondere definiert die Zuordnung Y → E[Y ] ein abstraktes
6.35Vgl. (6.11).
6.36Vgl. Bemerkung (iii) in Abschnitt 6.1.
6.37Vgl. (6.5). Hier wird außerdem noch max{1/n, 1/n } ≤ 1, die Linearität des Erwartungs0
werts, vgl. (6.6), und die Normierung des Erwartungswerts, vgl. (6.10), berücksichtigt.
6.38Vgl. Bemerkung (iii) in Abschnitt 6.1.
6.39Insbesondere müssen hier noch die Monotonie, die Linearität und die Normierung des
Erwartungswerts für diskrete Zufallsvariablen, vgl. (6.5), (6.6) und (6.10), benutzt werden.
6.40Zum Beweis vgl. [5], Satz (4.11).
6.41Damit sind die Monotonie, die Linearität und die Gültigkeit des Satzes von der monotonen Konvergenz gemeint.
6.42Die durch (6.9) beschriebene Faktorisierungseigenschaft des Erwartungswerts eines
R R
Produkts
unabhängiger
Zufallsvariablen entspricht der Beziehung Rd Rd dx dy f (x)g(y) =
R
R
Rd dx f (x) · Rd dy g(y).
Die Normierungseigenschaft (6.10) spiegelt die Tatsache wider, daß das zugrundeliegende
Maß P, bzgl. dessen auf (Ω, F) integriert“ wird, ein Wahrscheinlichkeitsmaß ist.
”
26. Juli 2010
101
Integral 6.43. Wenn in der Stochastik in komplexen Situationen Erwartungswerte
zu bearbeiten sind, wird somit die allgemeine Integrationstheorie oder Maßtheorie
benötigt.
(iii) Um die in (ii) genannte Integraleigenschaft des Erwartungswerts zu betonen, schreibt man für den Erwartungswert E[X] einer (R, B(R))-wertigen Zufallsvariablen X auf einem Wahrscheinlichkeitsraum (Ω, F, P) auch
Z
Z
X dP.
X(ω) P(dω) =
E[X] =
Ω
Ω
Beispiel 6.3 (Erwartungswert für eine reellwertige Zufallsvariable mit Dichte).
Die Verteilung PX einer reellwertigen Zufallsvariable X habe eine Dichte f bzgl.
des Lebesguemaßes 6.44, d.h.,
Z
dx f (x), A ∈ B(R).
(6.15)
PX [A] = P[X ∈ A] =
A
Es sei vorausgesetzt, daß X integrabel ist. Dies ist genau dann der Fall, wenn
Z ∞
dx |x|f (x) < ∞.
(6.16)
6.45
−∞
Nun folgt
E[X] =
6.46
=
6.47
=
6.48
=
6.49
=
6.50
lim E[X(2n ) ]
n→∞
k
k
lim
P X(2n ) = n
n→∞
2n
2
k=−∞
{z
}
|
−n
= PX [k2 , (k + 1)2−n )
Z (k+1)2−n
∞
X
k
lim
dx f (x)
n→∞
2n k2−n
k=−∞
Z ∞
1
lim
dx n ⌊x2n ⌋f (x)
n→∞ −∞
2
| {z }
ր x, falls n → ∞
Z ∞
dx xf (x).
∞
X
−∞
6.43Ein abstraktes Integral ist eine monotone, lineare Abbildung auf einem Stoneschen Vek-
torverband, für die eine geeignete Variante des Satzes von der monotonen Konvergenz gilt, vgl.
[2], §39.
6.44Vgl. Abschnitt 2.6.
6.45Nach (6.1) und Satz 6.2 ist zu prüfen, ob
(∗)
∞>
»
»
–
«–
∞ ˛
∞
˛ »
X
X
k k+1
k
|k|
˛ k ˛
P X∈
,
=
˛ ˛P X(n0 ) =
n0
n0
n
n0 n0
k=−∞
k=−∞ 0
Z ∞
Z
∞
X |k| (k+1)/n0
|⌊xn0 ⌋|
dx
dx f (x) =
f (x)
=
n
n0
0
−∞
k/n0
k=−∞
für ein n0 ∈ N. Da
|x| −
1
|⌊xn⌋|
1
≤
≤ |x| + ,
n
n
n
gilt (∗) genau dann, wenn (6.16) zutrifft.
26. Juli 2010
x ∈ R, n ∈ N,
102
Beispiel 6.4. Für eine Rd -wertige Zufallsvariable X mit Dichte f und eine
meßbare Funktion H : (Rd , B(Rd )) → (R, B(R)) ist die Zufallsvariable H(X) integrabel, wenn
Z
E[|H(X)|] =
dx |H(x)|f (x) < ∞.
Rd
In diesem Fall ist
E[H(X)] =
Z
dx H(x)f (x).
Rd
Für eine beliebige 6.51, positive Zufallsvariable kann man die Definition E[X] :=
∞ einführen, wenn E[X(n0 ) ] = ∞ 6.52 für ein n0 ∈ N 6.53.
Eine beliebige reellwertige Zufallsvariable X hat die Zerlegung X = X+ − X− ,
wobei X+ = max{X, 0} und X− = max{−X, 0} 6.54. Der Erwartungswert E[X] ist
nun auf eine eindeutige Weise durch 6.55
E[X] = E[X+ ] − E[X− ]
(6.17)
definierbar
6.56
, wenn nicht
E[X+ ] = E[X− ] = ∞.
(6.18)
Wenn (6.18) zutrifft, existiert der Erwartungswert von X nicht 6.57.
Eine Zufallsvariable X besitzt genau dann einen endlichen Erwartungswert
E[X], wenn E[X+ ] + E[X− ] = E[|X|] < ∞, d.h., wenn X integrabel ist 6.58.
6.46Vgl. (6.13). Die Folge X , k ∈ N, diskreter Approximationen für die Zufallsvariable X
(k)
wird in (6.11) beschrieben.
6.47
Hier wird die Definition des Erwartungswerts für diskrete Zufallsvariablen benutzt, vgl.
(6.2). Außerdem findet die Tatsache Verwendung, daß X(2n ) die Werte k2−n , k ∈ Z, jeweils
annimmt, wenn X ∈ [k2−n , (k + 1)2−n ), d.h. mit der Wahrscheinlichkeit P[X ∈ [k2−n , (k +
1)2−n )] = PX [[k2−n , (k + 1)2−n )].
6.48
Vgl. (6.15).
6.49
Beachte, daß k = ⌊x2n ⌋, falls x ∈ [k2−n , (k + 1)2−n ).
6.50
Nach dem Satz von der monotonen Konvergenz, vgl. (6.8). Beachte, daß dieser Satz auch
für allgemeine, reellwertige Zufallsvariablen gilt, vgl. obige Bemerkung (i). Er wird hier angewandt
auf die reellwertigen Zufallsvariablen Yn , n ∈ N, und Y auf (R, B(R), PX ) mit Yn (y) = ⌊y2n ⌋/2n ,
y ∈ R, n ∈ N, und Y (y) = y, y ∈ R.
Um die Anwendung des Satzes von der monotonen Konvergenz zu ermöglichen, wurde
übrigens die Folge (X(2n ) )n∈N zur Approximation von X benutzt. Bei Verwendung von (X(n) )n∈N
hätte sich die Tatsache, daß die Funktionen Yen , n ∈ N, mit Yen (y) = ⌊yn⌋/n, y ∈ R, nicht monoton
steigend gegen Y konvergieren, als Problem erwiesen.
6.51D.h. nicht notwendigerweise diskrete Zufallsvariable.
6.52In diesem Fall sollte also P
x∈X
(Ω) x P[X(n0 ) = x] = ∞ sein, vgl. Bemerkung (ii) in
(n0 )
Abschnitt 6.1. Diese Summe ist wohldefiniert, weil X(n) (Ω) ⊂ [0, ∞), n ∈ N.
P
6.53Nach Satz 6.2(b) ist dann E[X
(n) ] =
x∈X
(Ω) x P[X(n) = x] = ∞ für alle n ∈ N.
6.54X
(n)
und X− sind positive Zufallsvariablen.
6.55Bei der Definition (6.17) wird die allgemeine Gültigkeit der Linearität des Erwartungswerts, vgl. (6.6) und Bemerkung (i), zugrundegelegt.
6.56Die Werte ∞ oder −∞ für E[X] sind nun möglich.
6.57In Beispiel 6.8 wird (6.18) nachgewiesen für eine Zufallsvariable X mit einer CauchyVerteilung, d.h. mit einer Dichte f (x) = a/(π(a2 + x2 )), x ∈ R, für ein a > 0, vgl. Abschnitt 2.6.
6.58Angeregt durch Satz 6.2 wurde eine Zufallsvariable X als integrabel bezeichnet, wenn
eine diskrete Approximation X(n0 ) integrabel ist, d.h., wenn E[|X(n0 ) |] < ∞ für ein n0 ∈ N. Nun
impliziert (6.12), daß |X(n0 ) | − 1/n0 ≤ |X| ≤ |X(n0 ) | + 1/n0 , d.h., es gilt E[|X(n0 ) |] < ∞, genau
dann, wenn E[|X|] < ∞.
+
26. Juli 2010
103
6.4. Varianz und verwandte Begriffe
Neben dem Erwartungswert gibt es weitere Kenngrößen, die reellwertigen Zufallsvariablen, bzw. einer endlichen Menge X1 , . . . , Xn solcher Zufallsvariablen zu
deren Charakterisierung zugeordnet werden können 6.59.
Wenn für eine reellwertige Zufallsvariable X und ein r ∈ [1, ∞) die Zufallsvariable |X|r integrabel 6.60 ist, d.h., wenn E[|X|r ] < ∞ ist, so bezeichnet man E[X r ]
als das r-te Moment von X.
Bemerkungen. (i) Wenn eine Zufallsvariable X für ein r ∈ (1, ∞) ein (endliches) r-tes Moment besitzt, so besitzt X auch für alle s ∈ [1, r) ein (endliches)
s-tes Moment 6.61.
(ii) Für einen Wahrscheinlichkeitsraum (Ω, F, P) und p ∈ [1, ∞) ist Lp (Ω, F, P)
die Menge der reellwertigen Zufallsvariablen mit E[|X|p ] < ∞. Hierbei werden zwei
Zufallsvariablen X und X ′ mit X = X ′ , f.s., als identisch betrachtet. Ausgestattet
mit der Norm kXkp := E[|X|p ]1/p bildet Lp (Ω, F, P) einen Banachraum 6.62.
Der Raum L2 (Ω, F, P) ist sogar ein Hilbertraum, wenn durch hX, Y i := E[XY ],
X, Y ∈ L2 (Ω, F, P) ein Skalarprodukt definiert wird 6.63.
Für X ∈ L2 (Ω, F, P) bezeichnet
(6.19)
Var(X) := E[(X − E[X])2 ] =
6.64
E[X 2 ] − E[X]2
dieVarianz von X. Offensichtlich ist Var(X) ≥ 0, X ∈ L2 (Ω, F, P). Daher folgt aus
(6.19) die Cauchysche Ungleichung
(6.20)
E[X]2 ≤ E[X 2 ],
X ∈ L2 (Ω, F, P).
Weiterhin ist Var(X) = 0, genau dann, wenn X = E[X], f.s., d.h., wenn X deterministisch ist.
(6.21)
σX :=
p
Var(X)
heißt Standardabweichung oder Streuung von X. Sowohl Var(X) als auch σX charakterisieren die Größe der Abweichungen“ der Zufallsvariablen X von ihrem
”
Erwartungswert E[X] 6.65. Im Gegensatz zu Var(X) ist σX von der “gleichen
Größenordnung“ wie X − E[X]. Allerdings ist Var(X) in mathematischen Berechnungen leichter als σX zu bearbeiten.
6.59Eine eindeutige Charakterisierung von X , . . . , X ist mit diese Kenngrößen nicht
n
1
möglich. Allerdings können sie über gewisse Eigenschaften jener Zufallsvariablen informieren.
6.60Die Integrabilität einer Zufallsvariable wird insbesondere am Anfang von Abschnitt 6.1,
unmittelbar nach Satz 6.2, bzw. am Ende von Abschnitt 6.3 erläutert.
6.61Es gilt |X|s ≤ 1 + |X|r , 1 ≤ s ≤ r < ∞, d.h., die Monotonie des Erwartungswerts, vgl.
(6.5), die Linearität des Erwartungswerts, vgl. (6.6), und die Normierung des Erwartungswerts,
vgl. (6.10), ergeben
E[|X|s ] ≤ 1 + E[|X|r ] < ∞, 1 ≤ s ≤ r < ∞.
6.62Ein Banachraum ist ein vollständiger, normierter Vektorraum.
6.63Allgemein ist ein Hilbertraum H ein mit einem Skalarprodukt h., .i versehener Banach-
raum, dessen Norm k.k durch kxk =
6.64Diese Gleichheit folgt aus
p
hx, xi, x ∈ H, gegeben ist.
E[(X − E[X])2 ] = E[X 2 − 2XE[X] + E[X]2 ]
= E[X 2 ] − 2E[X]E[X] + E[X]2
2
(vgl. (6.6) und (6.10))
2
= E[X ] − E[X] .
6.65Der Erwartungswert E[X] beschreibt einen typischen“ Wert von X.
”
26. Juli 2010
104
Für X, Y ∈ L2 (Ω, F, P) bezeichnet
(6.22)
Cov(X, Y ) := E[(X − E[X])(Y − E[Y ])] =
6.66
E[XY ] − E[X]E[Y ]
die Kovarianz von X und Y .
(6.23)
ρX,Y :=
6.67
Cov(X, Y )
σX · σY
heißt Korrelation von X und Y .
Zufallsvariablen X, Y ∈ L2 (Ω, F, P) mit Cov(X, Y ) = ρX,Y = 0 werden unkorreliert genannt. Andererseits sind X und Y positiv korreliert, wenn 6.68 ρX,Y > 0,
d.h., wenn typischerweise“ X und Y gleichzeitig größer, bzw. kleiner als ihre Er”
wartungswerte E[X] und E[Y ] sind. Negative Korrelation ρX,Y < 0 bedeutet, daß
typischerweise“ X genau dann größer als E[X] ist, wenn Y kleiner als E[Y ] ist 6.69.
”
In (6.23) werden durch die Division durch σX und σY die Abweichungen X −
E[X], bzw. Y −E[Y ] der Zufallsvariablen X und Y von ihrem jeweiligen Erwartungswert normiert 6.70. Als Folge ist ρX,Y unabhängig“ 6.71 von den Größenordnungen
”
von X − E[X] und Y − E[Y ] und damit gut zu einer quantitativen Charakterisierung der Abhängigkeiten zwischen diesen Fluktuationen von X und Y geeignet 6.72.
Andererseits ist in mathematischen Berechnungen mit Cov(X, Y ) wesentlich besser
zu arbeiten.
Um Zusammenhänge“ in einer endlichen Menge X1 , . . . , Xn reellwertiger Zu”
fallsvariablen darzustellen, können die Kovarianzen für Paare dieser Zufallsvariablen
zu einer Kovarianzmatrix
Cov(X1 , . . . , Xn ) := Cov(Xk , Xl ) k,l=1,...,n
zusammengefaßt werden
6.73
.
Beispiel 6.5 (Unkorreliertheit und Unabhängigkeit). Unkorreliertheit, bzw.
Unabhängigkeit haben in anwendungsorientierten Überlegungen eine ähnliche Bedeutung. Als mathematische Begriffe betrachtet, sind sie jedoch sehr unterschiedlich.
Seien zunächst X und Y zwei unabhängige, reellwertige Zufallsvariablen mit
E[X 2 ], E[Y 2 ] < ∞. Dann ist ρX,Y = 0, d.h., X und Y sind unkorreliert 6.74.
6.66Diese Gleichheit folgt aus
E[(X − E[X])(Y − E[Y ])] = E[XY − XE[Y ] − E[X]Y + E[X]E[Y ]]
= E[XY ] − 2E[X]E[Y ] + E[X]E[Y ]
(vgl. (6.6) und (6.10))
= E[XY ] − E[X]E[Y ].
6.67Die Streuung σ einer Zufallsvariable X ∈ L2 (Ω, F, P) wird in (6.21) definiert.
X
6.68Aus (6.23) und der Positivität von σ und σ folgt, daß ρ
X
Y
X,Y > 0 genau dann, wenn
Cov(X, Y ) > 0.
6.69Die hier beschriebene Interpretation der Korrelation zweier Zufallsvariablen wird in Beispiel 6.6 verdeutlicht werden.
6.70Insbesondere ist (X − E[X])/σ ∼ 1, gleichgültig ob typischerweise“ (X − E[X]) ∼ 1010
X
”
oder (X − E[X]) ∼ 10−10 .
6.71 Unabhängigkeit“ ist hier in einem umgangssprachlichen und nicht mathematisch rigo”
rosen Sinn gemeint.
6.72Mit ρ
X,Y können Zusammenhänge zwischen X und Y verdeutlicht werden, auch wenn die
Werte jener Zufallsvariablen völlig unterschiedliche Größenordnungen besitzen, vgl. Fußnote 6.70.
6.73Für endlich viele gemeinsam normalverteilte, reellwertige Zufallsvariablen ist deren Kovarianzmatrix ein die gemeinsame Verteilung, eine mehrdimensionale Normalverteilung kennzeichnender Parameter, vgl. (3.15) und Fußnote 3.111.
6.74Nach der Produktregel für unabhängige Zufallsvariablen, vgl. (6.9), ist E[XY ] =
E[X]E[Y ]. Somit ist Cov(X, Y ) = E[XY ] − E[X]E[Y ] = 0, vgl. (6.22).
26. Juli 2010
105
Wie das folgende Beispiel zeigt, folgt umgekehrt aus der Unkorreliertheit nicht die
Unabhängigkeit.
Sei Ω = {1, 2, 3}, F = Pot(Ω) und P die Gleichverteilung auf (Ω, F). Die
reellwertigen Zufallsvariablen X und Y auf (Ω, F, P) seien durch
X(1) = 1,
X(2) = 0,
Y (1) = 0,
Y (2) = 1,
X(3) = −1,
Y (3) = 0,
gegeben. Diese Zufallsvariablen sind unkorreliert, da
E[XY ] = 0 = E[X] = E[X] · E[Y ],
aber nicht unabhängig, denn
P[X = 1, Y = 1] = 0 6=
1
= P[X = 1] · P[Y = 1].
9
Beispiel 6.6 (Korrelationen in einem Populationsmodell). 6.75 Ein Modell für
die zeitliche Entwicklung einer Population pflanzenfressender Tiere in einem abgeschlossenen Areal 6.76 ist zu entwerfen 6.77. Als Modell sei ein stochastischer Prozeß X = (Xn )n∈N0 mit Xn = (Pn , Nn , Vn , νn ), n ∈ N0 , zu bestimmen, wobei Pn
die Populationsgröße, Nn das Nahrungsangebot, Vn der Nahrungsverbrauch und
νn (≈ Nn /Pn ) das durchschnittliche Nahrungsangebot zur Zeit n ∈ N0 ist.
Auf eine konkrete Beschreibung eines geeigneten Prozesses X soll hier nicht
eingegangen werden. Allerdings sollen Eigenschaften festgehalten werden, die ein
vernünftiges“, die Realität widerspiegelndes Modell evtl. besitzen könnte. Insbe”
sondere sollen einige Korrelationen zwischen den einzelnen Zufallsvariablen Pn , Nn ,
Vn , νn , n ∈ N0 , diskutiert werden.
1. Fall. Für spezielle Populationen kann beispielsweise erwartet werden, daß 6.78
• ρPn ,Nn = 0 6.79 (Alternative: ρPn ,Nn+1 < 0 6.80),
• ρPn ,Vn > 0 6.81,
• ρPn ,νn < 0 6.82,
• ρNn ,νn ≥ 0 6.83, . . .
Wenn in einem vorgeschlagenen Modell eine dieser Beziehungen verletzt ist,
könnte dies ein Grund sein, jenes Modell zu überdenken und evtl. zu modifizieren.
6.75In diesem Beispiel soll erläutert werden, wie heuristische Überlegungen Eigenschaften
von Korrelationen zwischen zufälligen beobachtbaren Größen x1 , . . . , xn in einem realen Umfeld
aufdecken können. Zur Überprüfung eines mathematischen Modells wäre es dann notwendig, diese
Eigenschaften für jene Zufallsvariablen X1 , . . . , Xn , die x1 , . . . , xn modellieren, zu verifizieren.
6.76
Z.B. eine Insel.
6.77
Es sollen hier nur einige Gedankengänge vorgestellt werden, die bei der Entwicklung und
der Überprüfung eines Modells brauchbar sein können, vgl. Fußnote 6.75.
6.78Diese Beziehungen sollten zumindest dann gelten, wenn sich ein gewisses Gleichgewicht“
”
in dem betrachteten System eingestellt hat, also für große Zeiten n.
6.79Die Anzahl der Tiere hat keinen Einfluß auf das Wachstum der Pflanzen.
6.80Ein negativer Einfluß einer großen Tierpopulation auf das zukünftige Nahrungsangebot
kann dann eintreten, wenn die Tiere die Wurzeln der Pflanzen zerstören oder die jungen Triebe
wegfressen.
6.81Viele Tiere fressen viel.
6.82In einer größeren Population steht den einzelnen Tieren ein kleinerer Anteil des gesamten
Nahrungsangebots zur Verfügung.
6.83Wenn ein größeres Nahrungsangebot zur Verfügung steht, fällt für jedes einzelne Tier
mehr ab.
26. Juli 2010
106
2. Fall. In anderen Situationen könnte die Populationsgröße aufgrund externer Einflüsse 6.84 ständig auf einem relativ niedrigen Niveau bleiben. Dann sollten
die zeitlichen Entwicklungen der Tierpopulation und des Nahrungsangebots
unabhängig werden und somit Korrelationen wie ρPn ,Nk oder ρPn ,νk für alle n, k ∈ N0 verschwinden. Es könnte nun ausreichen, ein Modell für die
Dynamik von (Pn )n∈N0 allein zu entwerfen 6.85.
6.4.1. Rechenregeln für Varianz und Kovarianz. X, Y, X1 , . . . , Xn : (Ω,
F, P) → (R, B(R)) seien Zufallsvariablen in L2 (Ω, F, P) 6.86.
(a) Für a, b, c, d ∈ R gilt
(6.24)
Cov(aX + b, cY + d) = ac Cov(X, Y ).
Insbesondere ist
6.87
Var(aX + b) = a2 Var(X).
(6.25)
Varianz und Kovarianz sind daher invariant unter der Addition von Konstanten 6.88.
Beweis. Offensichtlich ist
Cov(aX + b, cY + d) = E (aX + b − E[aX + b])(cY + d − E[cY + d])
= 6.89 E (aX − E[aX])(cY − E[cY ])
= 6.90 ac E (X − E[X])(Y − E[Y ])
= ac Cov(X, Y ).
(b) Es gilt
(6.26)
Var(X1 + · · · + Xn ) =
n
X
Var(Xk ) +
k=1
X
Cov(Xk , Xl ).
k,l=1,...,n
k6=l
Insbesondere addieren sich für unkorrelierte Zufallsvariablen X1 , . . . , Xn ihre Varianzen, d.h.,
n
X
Var(Xk ).
(6.27)
Var(X1 + · · · + Xn ) =
k=1
Beweis. Einfache Überlegungen zeigen, daß
2 Var(X1 + · · · + Xn ) = E X1 + · · · + Xn − E[X1 + · · · + Xn ]
|
{z
}
= E[X1 ] + · · · + E[Xn ]
n
X = 6.91
E (Xk − E[Xk ])(Xl − E[Xl ])
k,l=1
6.84Beispielsweise als Resultat der Verfolgung durch Raubtiere oder durch Stress, bzw.
Anfälligkeit gegenüber Krankheiten bei größeren Populationsdichten.
6.85In einer derartigen Situation kann die das Nahrungsangebot bestimmende Umwelt als
zeitlich konstant betrachtet werden. Somit kann angenommen werden, daß die zeitliche Entwicklung von (Pn )n∈N0 nicht durch äußere Kräfte“ beeinflußt ist, d.h. einer autonomen Dynamik
”
unterliegt.
6.86Vgl. Bemerkung (ii) in Abschnitt 6.4.
6.87Man beachte, daß Var(Z) = Cov(Z, Z), Z ∈ L2 (Ω, F, P).
6.88Da Varianz und Kovarianz die Fluktuationen von Zufallsvariablen um ihren Erwartungswert beschreiben, ist dieses Verhalten auch zu erwarten.
6.89Wegen der Linearität des Erwartungswerts, vgl. (6.6), und der Normierung des Erwartungswerts, vgl. (6.10).
6.90Wegen der Linearität des Erwartungswerts, vgl. (6.6).
26. Juli 2010
107
n
X
=
X
Var(Xk ) +
k=1
Cov(Xk , Xl ).
k,l=1,...,n
k6=l
(c) Als Verallgemeinerung der Cauchyschen Ungleichung
6.92
gilt
2
Cov(X, Y ) ≤ Var(X) Var(Y ).
(6.28)
e = X − E[X] und Ye = Y − E[Y ] ergibt sich
Beweis. Mit X
Cov(X, Y )2 =
6.93
≤
6.96
e Ye )2 =
Cov(X,
6.94
e Ye ]2 =
E[X
6.95
e Ye i2
hX,
e 2 ]E[Ye 2 ] = Var(X) Var(Y ).
e 2 kYe k2 = E[X
kXk
2
2
(d) Als Anwendung von (6.28) folgt
6.97
|Cov(X, Y )|
p
|ρX,Y | = p
≤ 1,
Var(X) Var(Y )
(6.29)
d.h., für alle Zufallsvariablen X, Y mit E[X 2 ], E[Y 2 ] < ∞ ist ρX,Y ∈ [−1, 1].
6.5. Beispiele zum Erwartungswert und zur Varianz
Beispiel 6.7 (Exponentialverteilung). Sei X eine exponentiell verteilte Zufallsvariable 6.98, d.h., für ein λ > 0 besitze PX die Dichte
f (x) = I[0,∞) (x)λ exp(−λx),
Dann gilt
6.99
:
E[X] =
6.100
λ
Z
∞
x ∈ R.
dx x exp(−λx)
0
6.91Aufgrund der Linearität des Erwartungswerts, vgl. (6.6).
6.92Vgl. (6.20).
6.93Wegen (6.24).
6.94Da E[X]
e = E[Ye ] = 0.
6.95
Hier wird mit dem Skalarprodukt h., .i in L2 (Ω, F, P) gearbeitet, vgl. Bemerkung (ii) in
Abschnitt 6.4.
6.96
k.k2 bezeichnet die Norm in dem Hilbertraum L2 (Ω, F, P). Hier findet die CauchySchwarzsche Ungleichung, d.h.,
|hU, V i| ≤ kU k2 kV k2 ,
U, V ∈ L2 (Ω, F, P),
Verwendung. Diese folgt aus
s
‚2
‚ s
‚
kV k2
kU k2 ‚
‚
‚
±V
0 ≤ ‚U
‚
‚
kU k2
kV k2 ‚
2
s
s
s
* s
+
kV k2
kU k2
kV k2
kU k2
±V
,U
±V
= U
kU k2
kV k2
kU k2
kV k2
kU k2
kV k2
+ kV k22
± 2hU, V i
kU k2
kV k2
= 2kU k2 kV k2 ± 2hU, V i.
= kU k22
6.97
Die Korrelation ρX,Y zweier Zufallsvariablen X, Y ∈ L2 (Ω, F, P) ist in (6.23) definiert.
6.98Vgl. Abschnitt 2.6. Solche Zufallsvariablen können z.B. zur Modellierung des Zeitpunktes
eines ersten Telefonanrufs verwendet werden.
6.99Als positive Zufallsvariable besitzt X auf jeden Fall einen Erwartungswert, der zunächst
allerdings gleich ∞ sein könnte, vgl. die Erläuterungen am Ende von Abschnitt 6.3.
26. Juli 2010
108
=
6.101
=
1
,
λ
2
E[X ] =
6.102
=
6.103
=
2
.
λ2
∞
Z ∞
−y exp(−λy)
+
dx exp(−λx)
0
y=0
|
{z
}
|
{z
}
=
1/λ
=0
Z
∞
dx x2 exp(−λx)
∞
Z ∞
2
+2
dx x exp(−λx)
−y exp(−λy)
0
y=0
|
{z
}
{z
}
|
= E[X]/λ = 1/λ2
=0
λ
0
Folglich ist
Var(X) = E[X 2 ] − E[X]2 =
1
.
λ2
Beispiel 6.8 (Cauchy-Verteilung 6.104). Die Verteilung PX einer Zufallsvariable X besitze für ein a > 0 die Dichte 6.105
a
f (x) =
, x ∈ R.
2
π(a + x2 )
Da
Z
Z
a ∞
x
= ∞,
dx xf (x) =
dx 2
π
a
+
x2
0
0
ist 6.106 E[X+ ] = ∞. Ebenso ist E[X− ] = ∞. Folglich besitzt X keinen Erwartungswert 6.107.
Zur Beschreibung eines typischen, mittleren Werts“ bietet sich für Cauchy”
verteilte Zufallsvariablen der Median 6.108 m = 0 an.
∞
Beispiel 6.9 (Normalverteilung 6.109). Die Verteilung PX der Zufallsvariable
X besitze die Dichte
(x − µ)2 1
, x ∈ R,
exp −
f (x) = √
2σ 2
2πσ 2
wobei µ ∈ R und σ 2 > 0.
6.100Vgl. Beispiel 6.3.
6.101Mit Hilfe partieller Integration.
6.102Nach Beispiel 6.4. Im hier betrachteten Fall wird H(x) = x2 benutzt.
6.103
Mit Hilfe partieller Integration.
6.104Vgl. Abschnitt 2.6.
6.105Es wird hier nicht bewiesen, daß diese Funktion f eine Wahrscheinlichkeitsdichte auf R
R
∞
dx f (x) = 1.
ist, d.h., daß −∞
6.106X = max{X, 0}, bzw. X = max{−X, 0}, ist der Positivteil, bzw. der Negativteil einer
+
−
Zufallsvariablen X. Da X+ und X− nichtnegative Zufallsvariablen sind, sind E[X+ ] und E[X− ]
wohldefiniert, vgl. die Erläuterungen am Ende von Abschnitt 6.3.
6.107Man beachte, daß X 2 als nichtnegative Zufallsvariable sehr wohl einen Erwartungswert
besitzt. Allerdings ist E[X 2 ] = ∞.
6.108
Vgl. Abschnitt 3.3.4. Im vorliegenden Fall ist der Median m eindeutig durch
Z ∞
Z m
1
dx f (x) = .
dx f (x) =
2
m
−∞
bestimmt. Wegen der Symmetrie von f gilt m = 0.
6.109Vgl. Abschnitt 2.6.
26. Juli 2010
109
Existenz der Momente der Normalverteilung. Für alle r ≥ 1 gilt:
xµ x2 |x|r f (x) ≤ C|x|r exp − 2 exp 2
2σ | {zσ }
1 x2
+ µ2
≤ 6.110 C1 exp 2
σ
4
x2 x2 ≤ C2 |x|r exp − 2 exp − 2
8σ
{z 8σ }
|
≤ C3 , gleichmäßig in x ∈ R
x2 ≤ C4 exp − 2 , x ∈ R,
8σ
2
wobei
R ∞C, C1 , . . . nur 2von r, µ und σ abhängige positive Konstanten sind.
Da −∞ dx exp(−βx ) < ∞ für alle β > 0, existieren alle Momente der
Normalverteilung.
Erwartungswert der Normalverteilung.
Z ∞
(6.30)
E[X] =
dx xf (x)
−∞
Z
(x − µ)2 dx (x − µ) exp −
2σ 2
−∞
|
{z
}
= 6.111 0
Z ∞
(x − µ)2 1
+µ √
dx exp −
2σ 2
2πσ 2 −∞
|
{z
}
6.112
=
1
= µ.
1
= √
2πσ 2
∞
Varianz der Normalverteilung.
(6.31) Var(X) = E (X − E[X])2
Z ∞
(x − µ)2 6.113 √ 1
dx (x − µ)2 exp −
=
2σ 2
2πσ 2 −∞
2
2 Z ∞
z
σ
dz z 2 exp −
= 6.114 √
2
2π −∞
Z ∞
z2 2 ∞
2
y 1
σ
2
√
dz
exp
−
+σ
= 6.115 − √ y exp −
2 y=−∞
2
2π
2π −∞
|
{z
}
{z
}
|
6.116
=0
=
1
= σ2 .
6.110Beachte, daß
|ab| ≤
”
1 “ a2
+ αb2 ,
2 α
a, b ∈ R, α > 0,
was aus der Beziehung
„
«2
√
|a|
a2
0 ≤ √ − α|b|
=
+ αb2 − 2|ab|,
α
α
a, b ∈ R, α > 0,
folgt. Hier wird a = x, b = µ und α = 2 benutzt.
6.111Da der Integrand antisymmetrisch bzgl. µ ist.
6.112
Hier wird eine Wahrscheinlichkeitsdichte über den ganzen Raum R integriert.
26. Juli 2010
110
Die Parameter µ und σ 2 der Normalverteilung sind nun als Erwartungswert,
bzw. Varianz identifiziert worden.
Weiterhin ist nun das zweite Moment der Normalverteilung durch 6.117
E[X 2 ] = Var(X) + E[X]2 = σ 2 + µ2
gegeben.
6.6. Erwartungstreue Schätzer
Sei (X, G, (Pλ )λ∈Λ ) ein statistisches Modell 6.118, wobei Λ ⊆ R 6.119. Sei außerdem T : (X, G) → (R, B(R)) eine Statistik 6.120, die zur Schätzung von λ dient 6.121.
Z
6.122
6.123
(6.32)
Eλ [T ]
−λ=
Pλ (dx) T (x) − λ =: bλ (T ), λ ∈ Λ,
X
6.124
wird als Bias
0, λ ∈ Λ 6.125.
des Schätzers T bezeichnet. T heißt erwartungstreu, wenn bλ (T ) =
Beispiel 6.10. Für N ∈ N 6.126 sei X = {0, 1, . . . , N } und G = Pot(X). Für
q ∈ [0, 1] sei außerdem Pq die Binomialverteilung B(N, q) mit Parametern N und
q 6.127. T : X → [0, 1] mit T (x) = x/N , x ∈ X, ist der Maximum-Likelihood-Schätzer
für q 6.128. Da
N
X
l N l
Eq [T ] =
q (1 − q)N −l = 6.129 q, q ∈ [0, 1],
N l
l=0
ist T erwartungstreu.
Beispiel 6.11. Sei X = N und G = Pot(X). Für M ∈ N sei PM die Gleichverteilung auf {1, . . . , M } 6.130. Durch T : X → N mit T (x) = x, x ∈ X, ist der
6.113Wegen (6.30) und Beispiel 6.4. Hier wird H mit H(x) = (x − µ)2 benutzt.
6.114
6.115
√
Mit der Substitution z = (x − µ)/ σ2 .
Mit partieller Integration
Z b
˛b Z
˛
f ′ g = f g˛ −
a
a
b
f g′ .
a
Hier wird f (x) = − exp(−x2 /2) und g(x) = x benutzt.
6.116
Hier wird eine Wahrscheinlichkeitsdichte über den ganzen Raum integriert.
6.117Vgl. (6.19).
6.118Vgl. Abschnitt 4.1.
6.119Insbesondere liegt ein eindimensionales parametrisches statistisches Modell vor.
6.120Vgl. Abschnitt 4.1.
6.121T könnte z.B. ein Maximum-Likelihood-Schätzer, vgl. Abschnitt 4.2, sein.
6.122Für λ ∈ Λ bezeichnet E [T ] den Erwartungswert von T , falls auf (X, G) das Wahrscheinλ
lichkeitsmaß Pλ zugrundegelegt wird.
6.123
Diese Notation wird in Bemerkung (iii) in Abschnitt 6.3 eingeführt.
6.124
Der Bias bλ (T ) ist der mittlere oder auch systematische Fehler des Schätzers T , wenn
Pλ die zugrundeliegende Wahrscheinlichkeitsverteilung ist.
6.125Für einen erwartungstreuen Schätzer T von λ verschwindet für alle möglichen Parameter
λ der mittlere Fehler.
6.126N wird in diesem Beispiel als fest betrachtet.
6.127In diesem Beispiel wird daher mit dem statistischen Modell (X, G, (P )
q q∈[0,1] ) gearbeitet.
6.128Vgl. Beispiel 1.8.
6.129Vgl. Beispiel 1.4.
6.130Da {1, . . . , M } ⊆ X kann P
M als ein Wahrscheinlichkeitsmaß auf (X, G) betrachtet
werden. Demenstprechend wird in diesem Beispiel mit dem statistischen Modell (X, G, (PM )M ∈N )
gearbeitet.
26. Juli 2010
111
Maximum-Likelihood-Schätzer für M bestimmt 6.131. Da
M
M
1 X
M +1
1 X
1 M (M + 1)
EM [T ] =
=
,
T (l) =
l=
M
M
M
2
2
l=1
l=1
ist T nicht erwartungstreu.
Verwendet man andererseits T1 : X → N mit T1 (x) = 2x−1, x ∈ X, als Schätzer
für M 6.132, so beobachtet man
EM [T1 ] =
M
M
1 X
2 M (M + 1)
1 X
− 1 = M.
T1 (l) =
(2l − 1) =
M
M
M
2
l=1
l=1
T1 ist daher ein erwartungstreuer Schätzer für M .
Beispiel 6.12. Nicht für alle Schätzprobleme existiert ein erwartungstreuer
Schätzer. Beispielsweise ist für das statistische Modell (X, G, (Pq )q∈[0,1] ), wobei 6.133
X = {0, 1, . . . , N }, G = Pot(X) und Pq die Binomialverteilung B(N, q) mit Parametern N ∈ N und q ist, für jeden Schätzer 6.134 T : X → R der Erwartungswert
PN
Eq [T ] = l=0 T (l) Nl q l (1 − q)N −l ein Polynom in q ∈ [0, 1]. Da andererseits die
p
Standardabweichung 6.135 σq = q(1 − q) kein Polynom in q ∈ [0, 1] ist, existiert
für sie kein erwartungstreuer Schätzer 6.136.
Beispiel 6.13 (Erwartungstreue Schätzung von Erwartungswert und Varianz von i.i.d. Zufallsvariablen). Eine zufällige reelle Größe G werde N mal unabhängig gemessen 6.137. Zu einer quantitativen Beurteilung von G ist es naheliegend, zunächst den Mittelwert“ und die Größe der Schwankungen“ der Messungen
”
”
von G zu schätzen 6.138.
In einer mathematisch präziseren Formulierung seien X1 , . . . , XN i.i.d. Zufallsvariablen mit Erwartungswert µ und Varianz σ 2 6.139. Die Verteilung der Zufallsvariablen X1 , . . . , XN sei unbekannt, zu schätzen seien µ und σ 2 6.140.
6.131Wenn P
M als ein Wahrscheinlichkeitsmaß auf X betrachtet wird, ist
PM [{y}] =
(
1/M,
0,
falls y = 1, . . . , M,
falls y = M + 1, M + 2, . . . .
Die Likelihood-Funktion zum Beobachtungswert x ist daher
(
0,
falls M = 1, . . . , x − 1,
Lx (M ) = PM [{x}] =
1/M, falls M = x, x + 1, . . . .
c für M zu gegebenem Beobachtungswert x durch
Somit ist der Maximum-Likelihood-Schätzer M
c = x gegeben.
M
6.132Dieser Schätzer ergibt sich aus der Vermutung, daß im Fall der Beobachtung von x die
Lücke“ x − 1 zum kleinsten Element 1 ähnlich groß ist, wie die Lücke“ M − x zum größten
”
”
c = 2x − 1
Element M , d.h., daß x − 1 ≈ M − x, Damit ergibt sich M
als Schätzer.
6.133N ∈ N sei fest.
6.134D.h., für jede Statistik.
6.135Vgl. Beispiel 1.5 und (6.21).
6.136In diesem Beispiel wird nicht direkt der Parameter q sondern mit
p
q(1 − q) eine Funktion dieses Parameters geschätzt. Damit liegt eine Verallgemeinerung der bisher behandelten
Schätzprobleme vor.
6.137In einer konkreten Anwendung könnte G die Lebensdauer eines speziellen Gebrauchsgegenstandes, z.B. eines Autoreifens oder einer Kinderschaukel, oder die Hitzebeständigkeit einer
Keramik sein.
6.138Dieses umgangssprachlich beschriebene Ziel muß jetzt mathematisch formuliert werden.
6.139Insbesondere sei angenommen, daß E[X 2 ] < ∞.
1
6.140Als statistisches Modell könnte hier (RN , B(RN ), (P )
λ λ∈Λ
R ) benutzt werden, wobei
Λ die Menge aller Wahrscheinlichkeitsmaße λ auf (R, B(R)) mit R λ(dx) |x|2 < ∞ und Pλ
die gemeinsame Verteilung von unabhängigen, reellwertigen, identisch verteilten Zufallsvariablen
Y1 , . . . , YN mit PY1 = λ, ist. Zu schätzen ist nicht, wie dies in den meisten bisher behandelten
26. Juli 2010
112
Als Schätzer von µ und σ 2 seien
(6.33)
µ
e :=
definiert. Da
N
1 X
Xk
N
k=1
6.141
N
f2 :=
und σ
6.142
Eµ,σ2 [e
µ] =
6.143
1 X
(Xk − µ
e)2
N −1
k=1
N
N
1 X
1 X
Eµ,σ2 [Xk ] =
µ=µ
N
N
k=1
k=1
und
N
1 X
Eµ,σ2 [Xk2 ] − 2Eµ,σ2 [Xk µ
e] + Eµ,σ2 [e
µ2 ]
N −1
k=1
N
σ2
σ2
1 X 6.144 2
2
2
2
6.146
6.145
+µ +
+µ
(σ + µ ) −
2
=
N −1
N
N
f2 ] =
Eµ,σ2 [σ
6.143
k=1
=
N
1 2
1 X
σ = σ2 ,
1−
N −1
N
k=1
Schätzproblemen üblich war, der wahre Parameter“ λw und damit ein Wahrscheinlichkeitsmaß
R
”
auf (R, B(R)). Hingegen sind mit dem wahren Erwartungswert“ µ = Eλw = R λw (dx) x, bzw.
R
”
der wahren Varianz“ σ2 = Vλw = R λw (dx) (x − Eλw )2 zwei spezielle Funktionale von λw zu
”
bestimmen. Eine einfachere Variante eines solchen verallgemeinerten Schätzproblems wird auch
in Beispiel 6.12 diskutiert. Man vergleiche hierzu insbesondere auch Fußnote 6.136.
Um die im vorangehenden Absatz angedeutete komplizierte Formulierung des Schätzproblems
dieses Beispiels zu umgehen, wird einfach das Ziel verfolgt, als Schätzer von µ und σ2 geeignete Funktionen T = T (X1 , . . . , XN ) (der beobachteten Realisierungen) der Zufallsvariablen
X1 , . . . , XN zu suchen, bzw. zu untersuchen.
6.141Als empirischer Mittelwert ist µ
e ein naheliegender Schätzer für µ. Ebenso ist der Mittelwert der quadrierten Schwankungen der Zufallsvariablen X1 , . . . , XN um den geschätzten ErwarP
P
tungswert µ
e ein erster Kandidat als Schätzer für σ2 . Da aber N
µ) = N
e = 0,
k=1 (Xk −e
k=1 Xk −N µ
sind die Zufallsvariablen X1 − µ
e, . . . , XN − µ
e nicht linear unabhängig. Beispielsweise ist X1 − µ
e
PN
eine Linearkombination von Xk − µ
e, k = 2, . . . , N . Somit besitzt
e)2 nur N − 1
k=1 (Xk − µ
Freiheitsgrade“. Dadurch wird die Normierung mit (N − 1)−1 anstelle von N −1 verständlich.
”
6.142Die Bezeichnung E
µ,σ 2 [. . . ] deutet an, daß hier angenommen wird, daß die (unbekannte)
Verteilung von X1 , . . . und XN den Erwartungswert µ und die Varianz σ2 hat. Bezüglich dieser
Verteilung wird der Erwartungswert betrachtet.
6.143Wegen der Linearität des Erwartungswerts, vgl. (6.6).
6.144Da σ2 = Var
2
2
2
2
µ,σ 2 (Xk ) = Eµ,σ 2 [Xk ] − Eµ,σ 2 [Xk ] = Eµ,σ 2 [Xk ] − µ , k = 1, . . . , N .
6.145
Da
Eµ,σ 2 [Xk µ
e] =
=
N
1
1
1 X
E 2 [Xk Xl ] =
E 2 [Xk2 ] +
N l=1 µ,σ
N µ,σ
N
X
Eµ,σ 2 [Xk ]Eµ,σ 2 [Xl ]
l=1,...,N
l6=k
1
1 2
N −1 2
(Varµ,σ 2 (Xk ) + Eµ,σ 2 [Xk ]2 ) +
µ =
σ + µ2 ,
N
N
N
k = 1, . . . , N,
wobei die Überlegung in Fußnote 6.144 und die Unabhängigkeit der Zufallsvariablen X1 , . . . , XN
benutzt wurden. Insbesondere findet die Produktregel für unabhängige Zufallsvariablen, vgl. (6.9),
Verwendung.
26. Juli 2010
113
f2 erwartungstreue Schätzer
sind µ
e und σ
6.147
.
6.6.1. Mittlerer quadratischer Fehler eines Schätzers. Ein statistisches
Modell (X, G, (Pλ )λ∈Λ ) mit Λ ⊆ R sei gegeben. Außerdem sei T : (X, G) → (R, B(R))
eine Statistik, die zur Schätzung von λ dient. Die Genauigkeit dieses Schätzers kann
durch den mittleren quadratischen Fehler
Z
Pλ (dx) (T (x) − λ)2 =: Rλ (T ), λ ∈ Λ,
(6.34)
Eλ (T − λ)2 =
X
ausgedrückt werden. Offensichtlich sollte von zwei sonst gleichwertigen“ Schätzern
”
derjenige mit dem kleineren mittleren quadratischen Fehler als der bessere bewertet
werden. Da
2 Rλ (T ) = Eλ (T − Eλ [T ]) + ( Eλ [T ] − λ )
(6.35)
| {z }
= 6.148 bλ (T )
= Eλ (T − Eλ [T ])2 + 2bλ (T ) Eλ T − Eλ [T ] +bλ (T )2 ,
|
{z
}
6.149
=
0
= Varλ (T ) + bλ (T )2 , λ ∈ Λ,
fallen für erwartungstreue Schätzer mittlerer quadratischer Fehler und Varianz zusammen 6.150.
Beispiel 6.14 (Untere Abschätzung des mittleren quadratischen Fehlers bei
erwartungstreuen Schätzern 6.151). Sei (X, G, (Pλ )λ∈Λ ) ein diskretes statistisches
Modell 6.152. Weiterhin sei Λ ein Intervall in R und T : X → Λ ein erwartungstreuer
Schätzer für λ, d.h.,
X
Eλ [T ] =
T (x)Pλ [{x}] = λ, λ ∈ Λ.
x∈X
Zum Beobachtungswert x ∈ X ist die Likelihood-Funktion Lx durch Λ ∋ λ →
Pλ [{x}] = Lx (λ) und weiterhin die Log-Likelihood-Funktion 6.153 ℓx ( . ) = log Lx ( . )
gegeben 6.154. Betrachtet man nun für festes λ ∈ Λ die Log-Likelihood-Funktion
6.146Aus Fußnote 6.144 und mit der Unabhängigkeit der Zufallsvariablen X , . . . , X ergibt
1
N
sich
Eµ,σ 2 [e
µ2 ] =
=
N
1
1 X
E 2 [Xk Xl ] = 2
2
N k,l=1 µ,σ
N
N
X
Eµ,σ 2 [Xk2 ] +
k=1
X
k,l=1,...,N
l6=k
Eµ,σ 2 [Xk ]Eµ,σ 2 [Xl ]
!
´
1 2
1` 2
σ + µ2 + (N − 1)µ2 =
σ + µ2 .
N
N
6.147Durch die Überlegungen in diesem Beispiel werden letztendlich die Definitionen (A.1)
und (A.2) von empirischem Mittelwert, bzw. empirischer Varianz reller Daten begründet.
6.148b (T ) ist der Bias des Schätzers T , vgl. (6.32).
λ
6.149
Aufgrund der Linearität des Erwartungswerts, vgl. (6.6), und der Normierung des Erwartungswerts, vgl. (6.10).
6.150
Man beachte, daß erwartungstreue Schätzer T durch bλ (T ) = 0, λ ∈ Λ, charakterisiert
sind.
6.151
In diesem Beispiel soll erläutert werden, wie gut“ ein erwartungstreuer Schätzer sein
”
kann. M.a.W., es soll untersucht werden, wie klein der mittlere quadratische Fehler eines solchen
Schätzers werden kann. Eine detailliertere Darstellung findet sich in [10], Abschnitt 4.5.
6.152Vgl. Abschnitt 4.1. Diese Annahme wird zur Vereinfachung der Notation gemacht.
6.153Damit ℓ ( . ) > −∞ sei P [{x}] = L (λ) > 0, x ∈ X, λ ∈ Λ, angenommen.
x
x
λ
6.154Beim Bestimmen eines Maximum-Likelihood-Schätzers für λ betrachtet man L, bzw. ℓ
zu einem festen x ∈ X als Funktion von λ ∈ Λ, vgl. Abschnitt 4.2.
26. Juli 2010
114
ℓ = ℓ. (λ) und auch deren Ableitung ℓ′ = ℓ′. (λ) 6.155 als Funktionen von x ∈ X, so
läßt sich mit
X
I(λ) = Eλ [ℓ′ (λ)2 ] =
ℓ′x (λ)2 Pλ [{x}], λ ∈ Λ,
x∈X
die Fisher-Information einführen. Ist
I(λ) ∈ (0, ∞),
λ ∈ Λ,
so gilt für jeden erwartungstreuen Schätzer T von λ die sog. Informationsungleichung
1
(6.36)
Varλ (T ) ≥
, λ ∈ Λ.
I(λ)
Die Varianz und damit der mittlere quadratische Fehler eines erwartungstreuen
Schätzers 6.156 des Parameters λ kann daher niemals kleiner als das Inverse der
Fisher-Information sein.
Die Informationsungleichung ist optimal, d.h., es gibt es Fälle mit Gleichheit.
I. allg. kann daher die Abschätzung (6.36) nicht durch die Angabe einer größeren
rechten Seite präzisiert werden.
6.7. Elementare Ungleichungen in der Wahrscheinlichkeitstheorie
Oft werden in wahrscheinlichkeitstheoretischen Überlegungen keine exakten
Wahrscheinlichkeiten oder Erwartungswerte benötigt, sondern nur evtl. relativ einfach zu bestimmende Abschätzungen. Aus diesem Grund sind in der Wahrscheinlichkeitstheorie viele verschiedene Ungleichungen abgeleitet worden. Speziell werden in diesem Abschnitt mit der Markov-Ungleichung und der daraus folgenden
Čebyšev-Ungleichung zwei einfache, aber nützliche Ungleichungen eingeführt 6.157.
Satz 6.15. (a) Markov-Ungleichung. Sei X eine reellwertige Zufallsvariable
und f : [0, ∞) → [0, ∞) eine monoton wachsende Funktion mit f (x) > 0 für x > 0.
Dann gilt 6.158:
(6.37)
P[|X| ≥ ǫ] ≤
E[f (|X|)]
,
f (ǫ)
ǫ > 0.
(b) Čebyšev-Ungleichung. Für jede reellwertige Zufallsvariable X gilt:
(6.38)
P[|X| ≥ ǫ] ≤
E[X 2 ]
,
ǫ2
ǫ > 0.
Beweis. Offensichtlich folgt (b) aus (a), wenn f mit f (x) = x2 , x ∈ [0, ∞),
verwendet wird. (a) ergibt sich aus
f (ǫ)P[|X| ≥ ǫ] =
6.159
=
6.160
≤
6.162
f (ǫ)E[I{|X|≥ǫ} ]
E[ f (ǫ)I{|X|≥ǫ} ]
|
{z
}
≤ 6.161 f (|X|), f.s.
E[f (|X|)].
6.155ℓ′ bezeichnet die Ableitung der Funktionen Λ ∋ λ → ℓ (λ), x ∈ X, nach λ. In den
x
folgenden Ausführungen werden ℓ und ℓ′ für festes λ als Funktionen von x ∈ X betrachtet.
6.156Mit (6.35) wurde verdeutlicht, daß bei erwartungstreuen Schätzern Varianz und mittlerer
quadratischer Fehler übereinstimmen. Für einen erwartungstreuen Schätzer T ist bλ (T ) = 0.
6.157Mit der Cauchyschen Ungleichung war eine weitere Ungleichung in (6.20), bzw. in (6.28)
vorgestellt worden.
6.158Da f (|X|) ≥ 0, ist der Erwartungswert auf der rechten Seite von (6.37) immer definiert.
Wenn allerdings E[f (|X|)] = ∞, ist diese Ungleichung nutzlos.
26. Juli 2010
115
Für eine reellwertige Zufallsvariable X ∈ L2 (Ω, F, P) gibt es mit
P[|X − E[X]| ≥ ǫ] ≤
(6.39)
Var(X)
,
ǫ2
6.163
ǫ > 0,
eine Variante der Čebyšev-Ungleichung.
6.8. Konvergenzbegriffe in der Wahrscheinlichkeitstheorie
In der Wahrscheinlichkeitstheorie werden etliche unterschiedlich starke“ Kon”
vergenzbegriffe benutzt. In diesem Abschnitt 6.8 werden die wichtigsten beschrie6.164
ben
.
(a) Stochastische Konvergenz 6.165. Seien X und Xn , n ∈ N, reellwertige Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F, P). Die Folge Xn , n ∈ N,
konvergiert stochastisch oder in Wahrscheinlichkeit gegen X, wenn
(6.40)
lim P[|Xn − X| > ǫ] = 0,
n→∞
ǫ > 0.
P
Man schreibt dann auch 6.166 Xn → X.
(b) Fast-sichere Konvergenz 6.167. Seien X und Xn , n ∈ N, reellwertige Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F, P). Die Folge Xn , n ∈ N,
konvergiert fast sicher (f.s.) gegen X, wenn 6.168
hn
oi
(6.41)
P ω ∈ Ω : lim Xn (ω) = X(ω) = 1.
n→∞
f.s.
Man schreibt dann auch Xn → X, f.s., oder Xn → X.
Wie durch die beiden folgenden Resultate belegt wird, ist im Vergleich zum
stochastischen der fast-sichere Konvergenzbegriff der stärkere 6.169.
Beispiel 6.16. Sei (Ω, F, P) = ([0, 1), B([0, 1)), λ), wobei λ das Lebesguemaß
auf [0, 1) bezeichnet. Für k = 2n + m mit n ∈ N0 und m = 0, 1, . . . , 2n − 1 sei
Xk (ω) = I[m2−n ,(m+1)2−n ) (ω), ω ∈ [0, 1). Der Graph dieser Zufallsvariablen ist eine
Rechtecksfunktion“, die mit wachsendem n immer enger“ wird und mit steigen”
”
dem m von 0 nach rechts“ gegen 1 wandert und dann wieder nach 0 zurückspringt.
”
6.159Vgl. (6.3).
6.160Wegen der Linearität des Erwartungswerts, vgl. (6.6).
6.161Da f eine monoton wachsende, positive Funktion ist.
6.162
Aufgrund der Monotonie des Erwartungswerts, vgl. (6.5).
6.163Zum Beweis ist (6.38) für die Zufallsvariable X−E[X] anzuwenden und E[(X−E[X])2 ] =
Var(X), vgl. (6.19), zu beachten.
6.164Die vorgestellten Konvergenzbegriffe sind genau diejenigen, die im schwachen Gesetz
der großen Zahlen, beim starken Gesetz der großen Zahlen, bzw. im Zentralen Grenzwertsatz
verwendet werden.
6.165Dieser Konvergenzbegriff wird z.B. beim schwachen Gesetz der großen Zahlen verwendet, vgl. Beispiel 1.6 und Abschnitt 7.1.
6.166Diese Notation erinnert an die englische Bezeichnung Convergence in Probability“.
”
6.167Dieser Konvergenzbegriff tritt u.a. beim starken Gesetz
der großen Zahlen in Erscheinung, vgl. die Bemerkung in Abschnitt 7.1.
6.168Es kann nachgewiesen werden, daß die Menge {ω ∈ Ω : lim
ˆ˘
¯˜ n→∞ Xn (ω) = X(ω)} meßbar
ist. Damit ist insbesondere P ω ∈ Ω : limn→∞ Xn (ω) = X(ω) wohldefiniert.
6.169Damit sind die Bezeichnungen schwaches, bzw. starkes Gesetz der großen Zahlen gerechtfertigt, vgl. Fußnoten 6.165 und 6.167.
26. Juli 2010
116
Die Folge Xk , k ∈ N, konvergiert stochastisch 6.170 aber nicht f.s.
gegen die Zufallsvariable X mit X ≡ 0.
6.171
gegen 0, d.h.
Satz 6.17. 6.172 Eine f.s. gegen eine Zufallsvariable X konvergente Folge von
Zufallsvariablen Xn , n ∈ N, konvergiert auch stochastisch gegen X. Umgekehrt
existiert zu einer stochastisch gegen eine Zufallsvariable X konvergierenden Folge Xn , n ∈ N, von Zufallsvariablen eine Teilfolge Xnk , k ∈ N, die f.s. gegen X
konvergiert 6.173.
(c) Konvergenz in Verteilung 6.174. Die in (a) und (b) vorgestellten Konvergenzbegriffe beziehen sich auf Zufallsvariablen Xn , n ∈ N, die alle auf dem gleichen
Wahrscheinlichkeitsraum (Ω, F, P) definiert sind. Wenn die Zufallsvariablen Xn ,
n ∈ N, verschiedene Wahrscheinlichkeitsräume als Definitionsbereiche besitzen, ist
das Konzept der Konvergenz in Verteilung nützlich.
Für n ∈ N sei Xn eine reellwertige Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ωn , Fn , Pn ). Die Folge Xn , n ∈ N, konvergiert in Verteilung gegen eine
Zufallsvariable X, wenn 6.175 6.176
(6.42)
lim E[h(Xn )] = E[h(X)],
n→∞
h ∈ Cb (R).
d
Man schreibt dann auch 6.177 Xn → X.
Zur Verifizierung der Konvergenz in Verteilung kann in speziellen Fällen der
folgende Satz 6.18 verwendet werden. In jenem Resultat werden insbesondere auch
charakteristische Funktionen benutzt, wobei für eine reellwertige Zufallsvariable Y
deren charakteristische Funktion ψY : R → C durch 6.178 6.179
(6.43)
definiert ist
ψY (z) = E[exp(izY )],
6.180
z ∈ R,
.
6.170λ[{ω ∈ [0, 1) : |X (ω)| > ǫ}] = 2−n , falls k = 2n + m mit m = 0, 1, . . . , 2n − 1 und
k
ǫ ∈ (0, 1).
6.171
Zu einem festen ω ∈ [0, 1) gibt es beliebig große k, so daß Xk (ω) = 1, nämlich k =
n
2 + ⌊ω2n ⌋, n ∈ N. Ebenso ist Xk (ω) = 0 für beliebig große k. Die Existenz von limk→∞ Xk bzgl.
der fast-sicheren Konvergenz ist daher ausgeschlossen.
6.172Vgl. [9], Lemma 4.2.
6.173Für die in Beispiel 6.16 diskutierte Folge X , n ∈ N von Zufallsvariablen, erhält man
n
mit nk = 2k , k ∈ N, eine f.s. gegen X ≡ 0 konvergente Teilfolge Xnk = I[0,2−k ) , k ∈ N.
6.174
Dieser Konvergenzbegriff findet z.B. beim Zentralen Grenzwertsatz Verwendung, vgl.
Beispiel 1.7 und Abschnitt 9.3.
6.175Mit C (R) wird der Raum der stetigen, beschränkten, reellwertigen Funktionen auf R
b
bezeichnet. Für eine nicht-stetige Funktion h braucht (6.42) nicht zu gelten.
6.176
Um anzudeuten, daß E[h(Xn )] einen Erwartungswert bzgl. des Wahrscheinlichkeitsmaßes
Pn auf dem meßbaren Raum (Ωn , Fn ) bezeichnet, könnte auch die Notation En [h(Xn )] verwendet
werden.
6.177Diese Notation erinnert an Convergence in Distribution“.
6.178Offensichtlich ist exp(izY ) ”= cos(zY ) + i sin(zY ) eine beschränkte, C-wertige Zufallsvariable. Für eine beliebige integrable, C-wertige Zufallsvariable Z = Z1 + iZ2 mit dem Realteil
Z1 und dem Imaginärteil Z2 definiert man unter Verwendung der Linearität des Erwartungswerts
E[Z] := E[Z1 ] + iE[Z2 ].
6.179
Wenn die Verteilung PY der Zufallsvariable Y eine Dichte f bzgl. des Lebesguemaßes
besitzt, so folgt aus Beispiel 6.4 die Darstellung
Z
dx exp(izx)f (x), z ∈ R,
ψY (z) =
R
von ψY . Die charakteristische Funktion der Zufallsvariable Y entspricht somit der Fouriertransformierten der Dichte ihrer Verteilung.
6.180In Abschnitt 9.3 werden charakteristische Funktionen als wesentliches Hilfsmittel beim
Beweis des Zentralen Grenzwertsatzes in Erscheinung treten. Insbesondere wird die Äquivalenz
zwischen (1) und (3) in Satz 6.18 verwendet werden.
26. Juli 2010
117
Satz 6.18. 6.181 Für reellwertige Zufallsvariablen X, Xn , n ∈ N, sind die folgenden Aussagen äquivalent:
d
(1) Xn → X.
(2) limn→∞ FXn (y) = FX (y), y ∈ R, FX stetig in y
(3) limn→∞ ψXn (y) = ψX (y), y ∈ R.
6.182
.
Das nächste Resultat verdeutlicht den Zusammenhang zwischen stochastischer
Konvergenz und Konvergenz in Verteilung.
Satz 6.19. 6.183. Eine stochastisch gegen eine Zufallsvariable X konvergente
Folge von Zufallsvariablen Xn , n ∈ N, konvergiert auch in Verteilung gegen X.
Satz 6.17 und Satz 6.19 lassen sich zusammenfassen in
(6.44)
f.s.
Xn → X
=⇒
P
Xn → X
=⇒
d
Xn → X.
6.181Vgl. [9], Theorem 4.25, und [6], Section 5.9, Theorem (5).
6.182F ist die Verteilungsfunktion der Zufallsvariable Y , vgl. Abschnitt 3.3. Die hier beY
schriebene Konvergenz muß nur in den Stetigkeitspunkten von FX gelten.
6.183Vgl. [9], Lemma 4.7.
26. Juli 2010
KAPITEL 7
Gesetz der großen Zahlen
Ein Hauptthema der Wahrscheinlichkeitstheorie ist die zusammenfassende Beschreibung einer großen Menge von Zufallsvariablen 7.1. In diesem Zusammenhang
wird in diesem Kapitel mit einem schwachen Gesetz der großen Zahlen ein erstes
Resultat vorgestellt 7.2.
7.1. Ein schwaches Gesetz der großen Zahlen
Unter dem Begriff schwaches Gesetz der großen Zahlen“ kann man eine ganze
”
Klasse von Resultaten zusammenfassen. In diesen Resultaten wird für eine Folge Xn , n ∈ N, von Zufallsvariablen die Asymptotik der empirischen Mittelwerte
PN
(1/N ) k=1 Xk bzgl. der stochastischen Konvergenz 7.3 bei N → ∞ untersucht.
Daher sollte das nun vorgestellte Resultat nur als eine Variante des schwachen Gesetzes der großen Zahlen verstanden werden 7.4.
Satz 7.1. 7.5 Seien X1 , X2 , . . . reellwertige, paarweise unkorrelierte 7.6 Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F, P) mit E[Xk2 ] < ∞, k ∈ N.
Sei 7.7
v := sup Var(Xn ) < ∞.
(7.1)
n∈N
Dann gilt
(7.2)
7.8
:
"
#
N
1 X
v
P Xk − E[Xk ] ≥ ǫ ≤
N
N ǫ2
k=1
N →∞
→ 0,
ǫ > 0.
Wenn E[Xk ] = µ, k ∈ N, für ein µ ∈ R, so folgt insbesondere 7.9:
"
#
N
1 X
v N →∞
(7.3)
P → 0, ǫ > 0.
Xk − µ ≥ ǫ ≤
N
N ǫ2
k=1
7.1Das Ziel ist die Komprimierung von Informationen und damit auch die Herausarbeitung
der wesentlichen Details.
7.2Vgl. Satz 7.1. Weitere Beiträge sind z.B. das starke Gesetz der großen Zahlen, vgl. (7.4),
und der Zentrale Grenzwertsatz, vgl. Satz 9.2.
7.3Vgl. Abschnitt 6.8(a).
7.4Schon in Beispiel 1.6 wurde für i.i.d., {0, 1}-wertige Zufallsvariablen, d.h., in einem Spezialfall, das schwache Gesetz der großen Zahlen hergeleitet. Die dort angedeutete, auf der ČebyševUngleichung, vgl. Satz 6.15 und (6.39), basierende Methode eines Beweises ist auch in allgemeineren Fällen wie dem nun folgenden Satz 7.1 anwendbar.
7.5
Vgl. [5], Satz (5.6).
7.6Vgl. Abschnitt 6.4. Es wird gefordert, daß Cov(X , X ) = 0 für k, l ∈ N mit k 6= l.
k
l
7.7Da E[X 2 ] < ∞, k ∈ N, ist Var(X ) < ∞, k ∈ N. In (7.1) wird zusätzlich gefordert, daß
k
k
die Varianzen der Zufallsvariablen Xk , k ∈ N, gleichmäßig beschränkt sind.
7.8(7.2) besagt, daß die Zufallsvariablen (1/N ) PN (X − E[X ]) bei N → ∞ stochastisch
k
k
k=1
gegen 0 konvergieren.
7.9(7.3) besagt, daß die Zufallsvariablen (1/N ) PN X bei N → ∞ stochastisch gegen µ
k=1 k
konvergieren.
119
120
PN
Beweis. Sei ZN = (1/N ) k=1 (Xk − E[Xk ]), N ∈ N. Offenbar ist
L2 (Ω, F, P), N ∈ N, mit 7.11 E[ZN ] = 0, N ∈ N, und
X
N
2
7.12 1
E[ZN ] = Var(ZN ) =
Var
Xk
N2
7.10
ZN ∈
k=1
=
7.13
N
1 X
Var(Xk ) ≤
N2
k=1
7.14
v
.
N
(7.2) folgt nun durch eine Anwendung der Čebyšev-Ungleichung (6.38) auf die Zufallsvariablen ZN , N ∈ N.
Bemerkung. Unter den Voraussetzungen von Satz 7.1 gilt sogar das starke
Gesetz der großen Zahlen, d.h., 7.15
N
1 X
Xk − E[Xk ] = 0, f.s.
N →∞ N
(7.4)
lim
k=1
7.2. Anwendungen des schwachen Gesetzes der großen Zahlen
In diesem Abschnitt werden zwei Anwendungen des Gesetzes der großen Zahlen
beschrieben. Es wird mit der Berechnung des Integrals einer meßbaren Funktion ein
Problem der Numerik und mit der Approximation einer stetigen Funktion durch
Polynome ein Problem der Analysis mit Methoden der Wahrscheinlichkeitstheorie,
genauer dem schwachen Gesetz der großen Zahlen, gelöst. Beide Probleme haben
primär nichts mit Stochastik zu tun, d.h., der Zufall“ wird als ein mathematisches
”
Hilfsmittel benutzt.
7.2.1. Monte-Carlo-Integration. Für eine meßbare Funktion 7.16 h : ([0, 1],
B([0, 1])) → ([−c, c], B([−c, c])), wobei c ∈ (0, ∞) eine Konstante ist, soll 7.17
R1
0 dx h(x) berechnet werden.
Hierzu seien Xk , k ∈ N, unabhängige, auf [0, 1] gleichverteilte Zufallsvariablen.
In diesem Fall sind die Zufallsvariablen h(Xk ), k ∈ N, unabhängig und identisch
verteilt 7.18 mit 7.19
Z 1
E[h(X1 )] = 7.20
(7.5)
dx h(x) := µh ,
0
Var(h(X1 )) = E[(h(X1 ) − µh )2 ] = E[h(X1 )2 ] − µ2h
Z 1
2
Z 1
2
7.20
=
dx h(x) −
dx h(x) ≤ c2 .
0
0
7.10Weil E[X 2 ] < ∞, k ∈ N.
k
7.11Aufgrund von (6.6) und (6.10).
7.12Wegen (6.25).
7.13Wegen (6.27). Man beachte, daß die Zufallsvariablen X , k ∈ N, unkorreliert sind.
k
7.14
Aufgrund der Annahme (7.1).
7.15Vgl. [5], Satz (5.15). Die fast-sichere Konvergenz wird in Abschnitt 6.8(b) erläutert. Da
die fast-sichere Konvergenz stärker“ als die stochastische Konvergenz ist, folgt (7.4) nicht aus
”
Satz 7.1.
7.16Die Meßbarkeit einer Funktion wird in (3.1) definiert.
7.17R 1 dx h(x) ist als Lebesgue-Integral aufzufassen. Die Annahme, daß h beschränkt ist,
0
könnte abgeschwächt werden. Ebenso könnte auch mit einem allgemeineren Integrationsbereich
gearbeitet werden.
7.18I. allg. besitzen h(X ), k ∈ N, natürlich keine Gleichverteilung.
k
7.19
Da die Zufallsvariablen h(Xk ), k ∈ N, identisch verteilt sind, reicht es, E[h(X1 )] und
Var(h(X1 )) zu untersuchen.
26. Juli 2010
121
Somit sind für die Zufallsvariablen h(Xk ), k ∈ N, die Voraussetzungen von Satz 7.1
erfüllt und es folgt 7.21:
#
"
Z 1
N
1 X
c2 N →∞
→ 0, ǫ > 0.
h(Xk ) −
dx h(x) ≥ ǫ ≤
(7.6)
P N
N ǫ2
0
k=1
Die zu (7.6) führenden Überlegungen können in einem Verfahren zur numeriR1
schen Bestimmung des Integrals 0 dx h(x) mit Hilfe von Simulationen zusammengefaßt werden. Dieses Verfahren wird als Monte-Carlo-Integration 7.22 bezeichnet.
(1) Bestimmung einer Folge x1 , x2 , . . . unabhängiger, in [0, 1] gleichverteilter
”
Pseudozufallszahlen“R 7.23.
PN
1
(2) Approximation von 0 dx h(x) durch (1/N ) k=1 h(xk ) mit einem hin”
reichend großen“ N ∈ N 7.24.
Bemerkungen (zur Qualität der Monte-Carlo-Integration). (i) Das MonteCarlo-Verfahren ist besser als es (7.6) erkennen läßt. Da unter den Voraussetzungen
von Satz 7.1 auch das starke Gesetz der großen Zahlen gilt 7.25, ergibt sich sogar
Z 1
N
1 X
(7.7)
lim
h(Xk ) =
dx h(x), f.s.
N →∞ N
0
k=1
(ii) Die Konvergenzgeschwindigkeit kann mit Hilfe des Zentralen Grenzwertsatzes bestimmt werden 7.26. Es gilt:
Z 1
N
1 X
(7.8)
h(Xk ) −
dx h(x) = O(N −1/2 ), N → ∞.
N
0
k=1
(iii) Das Monte-Carlo-Verfahren zur Integration ist sinnvoll, wenn h keine Regularitätseigenschaften besitzt und wenn Wert auf einfache Programmierbarkeit
gelegt wird. Für reguläre (d.h., stetige, differenzierbare, . . . ) Integranden h stellt
R1
die Numerik wesentlich bessere Methoden zur Bestimmung von 0 dx h(x) bereit.
Insbesondere sind dann höhere Konvergenzgeschwindigkeiten als in (7.8) erreichbar 7.27.
7.2.2. (∗) Bernstein-Polynome und Approximationssatz von Weierstraß. 7.28 Eine stetige Funktion f : [0, 1] → R ist durch Polynome gleichmäßig in
7.20Vgl. Beispiel 6.4. Es ist zu beachten, daß die Gleichverteilung auf [0, 1] die Dichte f = I
[0,1]
besitzt.
7.21(7.6) ist eine Konsequenz von (7.3).
7.22Dieser Name verweist auf Monte Carlo mit seinem Casino. Dort werden am Roulette-
Tisch insbesondere auch Zufallszahlen erzeugt.
7.23Vgl. Fußnote 3.52.
7.24Zur Wahl von N in einer konkreten Anwendung muß die Konvergenzgeschwindigkeit
der Monte-Carlo-Integration bestimmt werden. Für eine vorgegebene Approximationsgenauigkeit
kann dann N bestimmt werden. Vgl. hierzu (7.8).
7.25
Vgl. (7.4).
7.26Vgl. Beispiel 9.5.
7.27Die Theorie hinter diesen Methoden aus der Numerik ist allerdings ebenso wie der Programmieraufwand zu ihrer Implementierung i. allg. wesentlich aufwendiger.
7.28Der Weierstraß’sche Approximationssatz sichert zu jeder stetigen Funktion f : [0, 1] → R
und jeder vorgegebenen Approximationsgenauigkeit ǫ > 0 die Existenz eines Polynoms fP,ǫ , so
daß
sup |f (x) − fP,ǫ (x)| ≤ ǫ.
x∈[0,1]
26. Juli 2010
122
[0, 1] zu approximieren 7.29. Hierzu werden Methoden der Wahrscheinlichkeitstheorie und insbesondere das schwache Gesetz der großen Zahlen angewandt.
7.2.2.1. Ein wahrscheinlichkeitstheoretischer Rahmen. 7.30 Sei Ω = {0, 1}N 7.31
und sei außerdem Xn , n ∈ N, mit
Xn (ω) = ωn ,
ω = (ωk )k∈N ∈ Ω, n ∈ N,
die Familie der Projektionen von Ω auf die einzelnen Komponenten {0, 1}.
Die übliche σ-Algebra F in Ω wird durch die Funktionen Xn , n ∈ N, erzeugt.
Dies bedeutet, daß F die kleinste σ-Algebra ist, die die Mengen 7.32
e ∗ = {ω ∈ Ω : Xk (ω) = ηk , . . . , Xk (ω) = ηk } :
F
n
n
1
1
k1 , . . . , kn ∈ N, 1 ≤ k1 < . . . < kn , ηk1 , . . . , ηkn ∈ {0, 1}, n ∈ N
enthält. Insbesondere sind die Projektionen Xn , n ∈ N, meßbare, {0, 1}-wertige
Funktionen auf (Ω, F).
Auf dem meßbaren Raum (Ω, F) ist für jedes p ∈ [0, 1] ein Wahrscheinlichkeitsmaß Pp definiert, so daß der Wahrscheinlichkeitsraum (Ω, F, Pp ) den ∞-fachen,
unabhängigen Wurf einer Münze mit Erfolgswahrscheinlichkeit“ p beschreibt 7.33.
”
Die Funktionen Xn , n ∈ N, auf Ω sind von p unabhängig. Werden sie hingegen als
Zufallsvariablen auf den Wahrscheinlichkeitsräumen (Ω, F, Pp ), p ∈ [0, 1], betrachtet, so hängt ihre Verteilung natürlich von p ab. Sie modellieren dann jeweils für
die Erfolgswahrscheinlichkeit p die Ergebnisse der einzelnen Würfe der Münze 7.34.
Im folgenden sei ein bzgl. des Wahrscheinlichkeitsmaßes Pp definierter Erwartungswert mit Ep [ . ] bezeichnet.
7.2.2.2. Anmerkungen zur Funktion f und Einführung der Bernstein-Polynome.
Wenn der Wahrscheinlichkeitsraum (Ω, F, Pp ) zugrundegelegt wird, besitzt die ZuP
7.35
fallsvariable N
. Insbesondere ist
n=1 Xn die Binomialverteilung B(N, p)
X
N
N
k N X
1
Ep f
Xn
(7.9)
pk (1 − p)N −k
=
f
N n=1
N
k
k=0
= : fN (p),
p ∈ [0, 1], N ∈ N.
Die Funktionen [0, 1] ∋ p → fN (p), N ∈ N, sind Polynome. Man bezeichnet sie als
Bernstein-Polynome 7.36.
7.29Da diese Polynome explizit angegeben werden, wird im folgenden sogar eine konstruktive
Version des Weierstraß’schen Satzes behandelt.
7.30Zunächst werden für die spätere Arbeit in diesem Abschnitt 7.2.2 Wahrscheinlichkeitsräume (Ω, F, Pp ), p ∈ [0, 1], und Zufallsvariablen Xn , n ∈ N, vorgestellt. Die Wahrscheinlichkeitsräume wurden bereits in Abschnitt 2.4.2 betrachtet, um den ∞-fachen, unabhängigen
Münzwurf zu beschreiben. Die Zufallsvariablen wurden hierzu passend in Beispiel 3.2 eingeführt,
um die Ergebnisse der einzelnen Würfe der Münze zu modellieren.
7.31{0, 1}N = {(ω )
k k∈N : ωk ∈ {0, 1}, k ∈ N} ist die Menge der {0, 1}-wertigen Folgen.
7.32F
e ∗ und das in (2.15) eingeführte Mengensystem F∗ sind identisch.
7.33Die Wahrscheinlichkeitsmaße P , p ∈ [0, 1], werden in Abschnitt 2.4.2 eingeführt. Sie sind
p
e ∗ = F∗ , vgl. (2.16), eindeutig charakterisert.
durch ihre Einschränkung auf Ereignisse in F
7.34Vgl. Beispiel 3.2.
7.35Vgl. Abschnitt 1.1.2, insbesondere (1.5). Die dort bestimmte Verteilung der Anzahl defekter Produktionsstücke ist gleich der Verteilung der Anzahl der Erfolge in der hier betrachteten
Situation.
7.36Die Definition (7.9) von f läßt schon jetzt die Konvergenz von f gegen f bei N → ∞
N
N
vermuten:
P
N→∞
• (1/N ) N
n=1 Xn −−−−→ Ep [X1 ] = p aufgrund des Gesetzes der großen Zahlen (bzgl.
(Ω, F, Pp )) und daher
P
N→∞
• fN (p) = Ep [f ((1/N ) N
∼ Ep [f (p)] = f (p), p ∈ [0, 1].
n=1 Xn )]
Im folgenden werden diese formalen Argumente präzisiert.
26. Juli 2010
123
Auf dem kompakten Intervall [0, 1] ist die stetige Funktion f sogar gleichmäßig
stetig, d.h., zu ǫ > 0 gibt ein δ > 0, so daß
|f (x) − f (y)| ≤ ǫ,
(7.10)
Daher gilt:
falls |x − y| ≤ δ.
7.37 7.38
N
X
f 1
Xn − f (p) ≤ ǫ + 2kf k∞I{|(1/N ) PN Xn −p|≥δ} .
N
n=1
(7.11)
n=1
7.2.2.3. Anwendung des schwachen Gesetzes der großen Zahlen. Nun kann die
gleichmäßige Konvergenz der Polynome fN gegen die Funktion f bei N → ∞, d.h.,
(7.12)
lim
sup |fN (p) − f (p)| = 0
N →∞ p∈[0,1]
nachgewiesen werden. Hierzu ergibt sich zunächst
|fN (p) − f (p)| =
(7.13)
=
≤
≤
N
X
Ep f 1
− f (p)
Xn
N n=1
X
N
Ep f 1
Xn − f (p) N n=1
X
N
1
7.40
Ep f
Xn − f (p)
N n=1
i
h
7.41
ǫ + 2kf k∞ Ep I{|(1/N ) PN Xn −p|≥δ}
n=1
|
{z
}
X
1 N
Xn − p ≥ δ
= Pp N n=1
7.39
1
ǫ + 2kf k∞ Varp (X1 )
| {z } N δ 2
= p(1 − p) ≤ 1/4
kf k∞
≤ ǫ+
, p ∈ [0, 1].
2N δ 2
≤
7.42
7.37kf k
7.38
∞ = sup{|f (x)| : x ∈ [0, 1]}.
Die Beziehung (7.11) ist eine abgekürzte Version von
˛ „
˛
«
N
X
˛
˛
˛f 1
Xn (ω) − f (p)˛˛ ≤ ǫ + 2kf k∞ I{ω ′ ∈Ω:|(1/N) PN Xn (ω ′ )−p|≥δ} (ω),
˛
n=1
N
n=1
ω ∈ Ω.
P
P
Für jedes ω ∈ Ω ist entweder |(1/N ) N
− p| < δ oder |(1/N ) N
n=1 Xn (ω)
n=1 Xn (ω) − p| ≥ δ.
PN
Aufgrund von (7.10) gilt im ersten Fall |f ((1/N ) n=1 Xn (ω)) − f (p)| ≤ ǫ, während im zweiten
P
Fall |f ((1/N ) N
n=1 Xn (ω)) − f (p)| ≤ 2kf k∞ ist.
26. Juli 2010
124
Zu einer vorgegebenen Approximationsgenauigkeit η > 0 in (7.12) ist nun zuerst
• ǫ = η/2 zu definieren, dann zu diesem ǫ ein
• δ > 0 so zu bestimmen, daß (7.10) gilt, und letztendlich ein
• N ≥ kf k∞ /(ηδ 2 ) zu wählen.
Dann führt (7.13) zu
|fN (p) − f (p)| ≤ η, p ∈ [0, 1].
Damit ist der Approximationssatz von Weierstraß bewiesen.
(∗)
7.39Wegen (7.9).
7.40Für eine Zufallsvariable Z in L1 (Ω, F, P), d.h. mit E[|Z|] < ∞, gilt:
|E[Z]| ≤ E[|Z|].
Beweis. Da Z ≤ |Z| und −Z ≤ |Z|, folgen aus der Monotonie und der Linearität des
Erwartungswerts, vgl. (6.5), (6.6) und die Bemerkung (i) in Abschnitt 6.3, die Beziehungen E[Z] ≤
E[|Z|] und −E[Z] = E[−Z] ≤ E[|Z|]. Damit ist (∗) bewiesen.
Bemerkung. Wie die Cauchysche Ungleichung (6.20) ist (∗) ein Spezialfall der Jensenschen
Ungleichung, die besagt, daß
ϕ(E[X]) ≤ E[ϕ(X)],
falls ϕ : R → R konvex und X eine reellwertige, integrable Zufallsvariable mit E[|ϕ(X)|] < ∞ ist.
7.41
Wegen (7.11) und der Monotonie, der Linearität und der Normierung des Erwartungswerts, vgl. (6.5), (6.6) und (6.10).
7.42
Wegen des schwachen Gesetzes der großen Zahlen, vgl. (7.3). Beachte, daß auf dem Wahrscheinlichkeitsraum (Ω, F, Pp ) die Zufallsvariablen Xn , n ∈ N, unabhängig und identisch verteilt
mit Ep [X1 ] = p und Varp (X1 ) = p(1 − p) sind.
26. Juli 2010
KAPITEL 8
Bedingte Wahrscheinlichkeiten
I. allg. muß die Wahrscheinlichkeit eines Ereignisses A neu bewertet werden,
wenn bekannt wird, daß ein anderes Ereignis B eingetreten ist. Dies ist insbesondere
dann der Fall, wenn eine Abhängigkeit zwischen A und B besteht 8.1.
Man bezeichnet mit P[A|B] die Wahrscheinlichkeit für A unter der Bedingung,
daß B eingetreten ist 8.2.
Beispiel 8.1. Für k = 1, . . . , N beschreibe die {0, 1}-wertige Zufallsvariable
Xk das Ergebnis des k-ten Wurfs einer fairen Münze, wobei die einzelnen Würfe
unabhängig sind. Sei 8.3 A = {X1 + · · · + XN = N } und 8.4 B = {X1 = 0}.
Es gilt 8.5 P[A] = 2−N , aber 8.6 P[A|B] = 0 8.7.
Beispiel 8.2. 8.8 Den Überlegungen in Abschnitt 2.1 folgend wird zur Modellierung des 2-maligen, unabhängen Wurfs eines fairen Würfels mit dem Wahrscheinlichkeitsraum (Ω, F, P), wobei Ω = {1, . . . , 6}2 , F = Pot(Ω) und P die Gleichverteilung auf (Ω, F) ist, gearbeitet. (Ω, F, P) ist ein Laplacescher Wahrscheinlichkeitsraum, d.h.,
(8.1)
P[C] =
|C|
|C|
=
,
|Ω|
36
C ∈ F.
Sei A = {ω = (ω1 , ω2 ) ∈ Ω : ω1 + ω2 = 6} und B = {ω ∈ Ω : ω1 = 3}. In diesem
Beispiel soll speziell P[A|B] und allgemeiner P[C|B], C ∈ F, bestimmt werden.
Wenn der 1. Wurf durchgeführt worden ist und 3 ergeben hat, d.h., wenn B eingetreten ist, müssen, wenn die dann gewonnene Information nicht ignoriert werden
soll, die Wahrscheinlichkeiten der Ereignisse in F neu bestimmt werden. Es ergibt
sich ein Wahrscheinlichkeitsmaß PB = P[ . |B] auf dem meßbaren Raum (Ω, F) 8.9.
Intuitiv wird beispielsweise erwartet, daß
(i) PB [{ω ∈ Ω : ω1 =
6 3}] = PB [Ω \ B] = 0 8.10,
(ii) PB [{ω ∈ Ω : ω1 = 3}] = PB [B] = 1 8.11 und
(iii) PB [{ω ∈ Ω : ω2 = k}] = 1/6, k = 1, . . . , 6 8.12.
8.1D.h., wenn A und B nicht stochastisch unabhängig sind, vgl. Abschnitt 3.2.3.
8.2Ein erstes Problem ist die Bestimmung von P[A|B], d.h. die Angabe einer Formel“.
”
8.3A , es wird N mal Zahl“ geworfen“.
”
”
beim ersten Wurf wird Kopf“ geworfen“.
”
”
(2.3).
8.6Wenn X = 0, kann niemals X + · · · + X = N sein.
1
1
N
8.7Beispiel 8.1 verdeutlicht somit, daß i. allg. P[A] und P[A|B] verschieden sind.
8.8
Mit diesem Beispiel soll die allgemeine Formel (8.4) zur Berechnung bedingter Wahrscheinlichkeiten motiviert werden.
8.9Man betrachtet hier die bedingten Wahrscheinlichkeiten P[C|B] simultan für alle C ∈ F.
8.10Die bedingte Wahrscheinlichkeit, daß B nicht eintritt unter der Bedingung, daß B eingetreten ist, sollte 0 sein.
8.11P ist daher auf B konzentriert.
B
8.12Da die beiden Würfe unabhängig sind.
8.4B ,
8.5Vgl.
125
126
Als Präzisierung von (i) - (iii) kann
PB [{ω ∈ Ω : ω1 = l, ω2 = k}] =
(8.2)
(
0,
falls l 6= 3,
k = 1, . . . , 6,
1/6, falls l = 3,
festgehalten werden.
Aus (8.2) folgt zunächst
P[A|B] = PB [A] = PB
"
k,l=1,...,6; l+k=6
X
=
[
k,l=1,...,6
l+k=6
{ω ∈ Ω : ω1 = l, ω2 = k}
#
PB [{ω ∈ Ω : ω1 = l, ω2 = k}]
= PB [{ω ∈ Ω : ω1 = 3 = ω2 }] =
1 5
6=
=
6
36
8.13
P[A] .
Weiterhin bedeutet (8.2), daß die
• ω ∈ B unter PB gleichwahrscheinlich sind, und die
• ω∈
6 B unter PB die Wahrscheinlichkeit 0 besitzen.
Somit gilt
(8.3)
P[C|B] = PB [C] =
8.14
=
8.15
|C ∩ B|/|Ω|
|C ∩ B|
=
|B|
|B|/|Ω|
P[C ∩ B]
, C ∈ F,
P[B]
für die bedingte Wahrscheinlichkeit von C ∈ F unter der Bedingung B
8.16
.
8.1. Bestimmung bedingter Wahrscheinlichkeiten
8.17
Sei (Ω, F, P) ein Wahrscheinlichkeitsraum. Allgemein ist für ein B ∈ F mit
P[B] > 0 8.18 die unter B bedingte Wahrscheinlichkeit P[ . |B] ein Wahrscheinlichkeitsmaß auf dem meßbaren Raum (Ω, F) 8.19. Für dieses Wahrscheinlichkeitsmaß
P[ . |B] sind außerdem folgende Eigenschaften zu erwarten:
(i) P[B|B] = 1
8.20
.
8.13Vgl. (8.1). Es ist zu beachten, daß |A| = 5.
8.14Nur die ω ∈ B besitzen unter P eine positive Wahrscheinlichkeit. Diese ist 1/|B|, da
B
unter PB alle solchen ω’s gleichwahrscheinlich sind. Man beachte hier auch, daß genau |C ∩ B|
Elemente von C auch in B enthalten sind.
8.15
Vgl. (8.1).
8.16Im nächsten Abschnitt 8.1 wird demonstriert, daß (8.3) allgemeingültig ist.
8.17In diesem Abschnitt werden die Überlegungen aus Beispiel 8.2 in einem allgemeinen
Rahmen wiederholt. Insbesondere wird die Allgemeingültigkeit von (8.3) nachgewiesen.
8.18Die Notwendigkeit dieser Bedingung ergibt sich aus der letztendlich P[ . |B] charakterisierenden Beziehung (8.4).
8.19Insbesondere erfüllt P[ . |B] die Beziehungen (2.2).
8.20Wenn B eingetreten ist, ist B ein sicheres Ereignis.
26. Juli 2010
127
(ii) Es gibt eine Konstante cB > 0, so daß P[A|B] = cB P[A], falls A ∈ F,
A ⊆ B 8.21 8.22.
Aus (i) und (ii) für A = B folgt 1 = P[B|B] = cB P[B], d.h., cB = 1/P[B].
Damit ergibt sich
(8.4)
8.23
P[A ∩ B|B] + P[A ∩ (Ω \ B)|B]
|
{z
}
= 8.24 0
= cB P[A ∩ B]
P[A|B] =
=
P[A ∩ B]
,
P[B]
A ∈ F.
Diese Überlegungen zeigen, daß für B ∈ F mit P[B] > 0 durch (i) und (ii)
ein eindeutiges Wahrscheinlichkeitsmaß P[ . |B] auf (Ω, F) bestimmt wird. Dieses
Wahrscheinlichkeitsmaß genügt der Beziehung (8.4). Es wird die unter B bedingte
Wahrscheinlichkeit genannt 8.25.
Beispiel 8.3 (Gedächtnislose Wartezeiten). Gewisse regelmäßig wiederkehrende Ereignisse können jederzeit eintreten, unabhängig davon, welche Zeitspanne seit
ihrem letzten Auftreten schon verstrichen ist 8.26. Somit ist die verbleibende Wartezeit T bis zum nächsten Eintreten eines derartigen Ereignisses gedächtnislos.
Diese Gedächtnislosigkeit bedeutet, daß
P[T > t + s|T > t] = P[T > s],
0 < s, t < ∞,
und folglich
P[T > t + s] =
8.27
P[T > t]P[T > t + s|T > t]
= P[T > t]P[T > s],
0 < s, t < ∞.
8.21Mit dem Beobachten, daß B eingetreten ist, sind keine weiteren Erkenntnisse über tiefergehende Details, d.h. Ereignisse A ⊆ B, verbunden. Für A, A′ ∈ F mit A, A′ ⊆ B sollte folglich
das Verhältnis der Wahrscheinlichkeiten vor und nach dem Gewinn des Wissens um das Eintreten
von B gleich sein, d.h.,
P[A|B]
P[A]
=
,
P[A′ ]
P[A′ |B]
A, A′ ∈ F, A, A′ ⊆ B.
Diese Relation ist gleichbedeutend mit (ii), wobei cB = P[A′ |B]/P[A′ ] für ein beliebiges, fest
gewähltes A′ ⊆ B mit P[A′ ] > 0.
8.22
Im Rahmen des Beispiel 8.2 sind die dortigen vor (8.3) aufgeführten Eigenschaften
äquivalent zu (i) und (ii).
.
8.23Wegen der Additivität des Wahrscheinlichkeitsmaßes P[ . |B] und weil A = (A ∩ B) ∪
(A ∩ (Ω \ B)).
8.24
Wegen (i) ist die gesamte Masse“ des Wahrscheinlichkeitsmaßes P[ . |B] auf B konzen”
triert, d.h., P[C|B] = 0, falls C ⊆ Ω \ B.
8.25Gelegentlich wird auch einfach (8.4) als Definition der unter B bedingten Wahrscheinlichkeit P[ . |B] benutzt.
8.26
Beispiele wären Telefonanrufe, Zerfälle in einem radioaktiven Präparat, Meteoriteneinschläge, . . .
26. Juli 2010
128
Daher ist die durch w(t) = P[T > t], t > 0, definierte Funktion w : (0, ∞) → [0, 1]
eine rechtsstetige 8.28 Lösung der Funktionalgleichung
(8.5a)
mit
0 < s, t < ∞,
w(t + s) = w(t)w(s),
8.29
(8.5b)
lim w(t) = 1 und
tց0
lim w(t) = 0.
tր∞
w hat daher notwendigerweise die Darstellung
(8.6)
8.30
w(t) = exp(−λt),
t > 0,
für ein λ > 0. Als Konsequenz hat die Verteilungsfunktion FT von T die Gestalt
FT (t) = P[T ≤ t] = 1 − P[T > t] = 1 − exp(−λt),
d.h., T ist exponentiell verteilt mit Parameter λ
8.31
t > 0,
.
8.1.1. Rechenregeln für bedingte Wahrscheinlichkeiten. Beim konkreten Arbeiten mit bedingten Wahrscheinlichkeiten muß häufig auf die im folgenden
Satz zusammengefaßten Rechenregeln zurückgegriffen werden 8.32.
•
S
Satz 8.4. Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und Ω = i∈I Bi eine
höchstens abzählbare Zerlegung von Ω in disjunkte Ereignisse Bi ∈ F mit P[Bi ] > 0,
8.27Vgl. (8.4). Man beachte, daß {T > t + s} ⊆ {T > t} und damit
P[T > t + s|T > t] =
P[{T > t + s} ∩ {T > t}]
P[T > t + s]
=
.
P[T > t]
P[T > t]
8.28Da
w(t) = P[T > t] = 1 − P[T ≤ t] = 1 − FT (t),
t > 0,
mit der Verteilungsfunktion FT von T , ist die Rechtsstetigkeit von w eine Konsequenz der Rechtsstetigkeit beliebiger Verteilungsfunktionen, vgl. Abschnitt 3.3.1.
8.29Da w(t) = P[T > t], t > 0, für die Wartezeit T auf ein sicher eintretendes Ereignis sind
diese Eigenschaften offensichtlich und auch eine Konsequenz entsprechender Eigenschaften von
Verteilungsfunktionen.
8.30Für eine Lösung w von (8.5) führt (8.5a) zunächst durch Iteration zu
(∗1 )
Insbesondere ist
w(p/q) = w(1/q) . . . w(1/q) = w(1/q)p ,
{z
}
|
p mal
w(1) = w(q/q) = w(1/q)q ,
p, q ∈ N.
q ∈ N,
d.h.,
(∗2 )
w(1/q) = w(1)1/q ,
q ∈ N.
Sei nun λ = − log w(1). Als Konsequenz von (8.5a) ist w(1) = P[T > 1] ∈ (0, 1), d.h. λ ∈ (0, ∞).
Außerdem folgt
w(p/q) = w(1)p/q = exp(−λ)p/q = exp(−λp/q),
p, q ∈ N,
aus (∗1 ) und (∗2 ). Somit ist (8.6) für t ∈ Q ∩ (0, ∞) nachgewiesen. Die Gültigkeit dieser Beziehung
für alle t > 0 ist dann eine Konsequenz der Rechtsstetigkeit von w.
8.31Man beachte, daß F in (0, ∞) stetig differenzierbar mit F ′ (t) = λ exp(−λt), t > 0, ist,
T
T
und berücksichtige Abschnitt 3.3.1(vi).
8.32
In Beispiel 8.5 werden diese Regeln benutzt werden, um aus gegebenen bedingten Wahrscheinlichkeiten andere zunächst unbekannte, nützliche Informationen liefernde bedingte Wahrscheinlichkeiten zu berechnen.
26. Juli 2010
129
i ∈ I. Dann gilt die Fallunterscheidungsformel, d.h. 8.33,
X
(8.7)
P[A] =
P[Bi ]P[A|Bi ], A ∈ F,
i∈I
und die Formel von Bayes (1763), d.h.,
(8.8)
P[Bk ]P[A|Bk ]
P[A]
P[Bk ]P[A|Bk ]
,
= P
i∈I P[Bi ]P[A|Bi ]
P[Bk |A] =
8.34
k ∈ I, A ∈ F, P[A] > 0.
Beweis. (8.7) folgt aus
X
X
P[Bi ] P[A|Bi ] =
P[A ∩ Bi ]
| {z }
i∈I
i∈I
P[A ∩ Bi ]
= 8.35
P[Bi ]
" •
#
[
= 8.36 P
(A ∩ Bi ) =
| i∈I {z
}
[
•
=A∩
Bi
8.37
P[A].
i∈I
Die erste Beziehung in (8.8) ist eine Konsequenz aus
P[Bk |A] =
8.38
P[Bk ∩ A] P[Bk ∩ A] P[Bk ]
=
.
·
P[A]
P[Bk ]
P[A]
| {z }
= 8.38 P[A|Bk ]
Die zweite Identität in (8.8) ergibt sich nun mit (8.7).
Beispiel 8.5 (Verwendung eines medizinischen Diagnoseverfahrens). 8.39 Eine
spezielle Krankheit trete bei 4% der Bevölkerung auf. Ein auf diese Krankheit zugeschnittenes Diagnoseverfahren ergebe bei 90% (20%) der Erkrankten (Gesunden)
ein positives Ergebnis.
Wichtige Fragen zu diesem Verfahren sind beispielsweise:
• Was ist die Bedeutung eines positiven (negativen) Befundes für einen Patienten? 8.40
• Was kann das Diagnoseverfahren in der Praxis leisten?
8.33Man beachte, daß genau ein B eintreten muß, wenn das Ereignis A geschieht. Daher
i
ergibt sich P[A] durch Summation über alle i ∈ I der Wahrscheinlichkeiten P[Bi ] für das Eintreten
von Bi jeweils multipliziert mit der Wahrscheinlichkeit P[A|Bi ] für A unter der Bedingung, daß
Bi schonPeingetreten ist. M.a.W., da jeder Weg nach A genau durch ein Bi führt, ist P[A] die
”
Summe i∈I P[Bi ]P[A|Bi ] der Wahrscheinlichkeiten für die verschiedenen möglichen Wege“.
8.34Hier wird der Zusammenhang zwischen P[B |A] und P[A|B ] dargelegt.
k
k
8.35Vgl. (8.4).
8.36Da die Ereignisse B , i ∈ I, und daher auch A ∩ B , i ∈ I, disjunkt sind und aufgrund
i
i
der σ-Additivität von P.
•
S
8.37
Da i∈I Bi = Ω.
8.38Vgl. (8.4).
8.39Das hier vorgestellte Beispiel ist eine etwas ausführlichere Version von Beispiel (3.4) in
[5].
8.40Ein Arzt will wissen, was er einem Patienten bei einem positiven, bzw. einem negativen Befund mitteilen soll. Einerseits sollte er diesen Patienten beim Vorliegen einer Erkrankung
aufklären, aber andererseits sollte er ihn auch nicht unnötig verunsichern.
26. Juli 2010
130
Zu einer wissenschaftlich fundierten Beantwortung dieser Fragen werden die
vorliegenden Kenntnisse zunächst in ein mathematisches, d.h. wahrscheinlichkeitstheoretisches Modell übersetzt. Anschließend werden die Fragen im Rahmen dieses
Modells beantwortet.
Wenn bei der Modellbildung Einfachheit“ 8.41 angestrebt wird, bietet es sich
”
an, ein Laplacesches Modell mit der Gesamtbevölkerung als Stichprobenraum Ω zu
verwenden. In diesem Rahmen werden Personen ω ∈ Ω gemäß der Gleichverteilung
auf Ω ausgewählt und getestet.
In Ω können die Ereignisse 8.42
Tk =
8.43
Tg =
8.44
T+ =
8.45
{ω ∈ Ω : ω krank},
{ω ∈ Ω : ω gesund} und
{ω ∈ Ω : ω mit positivem Befund}
beschrieben werden. Aufgrund der vorliegenden Informationen sind hierzu zunächst
die folgenden bedingten, bzw. unbedingten Wahrscheinlichkeiten bekannt:
P[Tk ] = 0.04,
P[T+ |Tk ] = 0.9,
P[Tg ] = 0.96,
P[T+ |Tg ] = 0.2.
Als Konsequenzen können darüberhinaus folgende Schlüsse gezogen werden 8.46:
(8.9)
P[Tk ]P[T+ |Tk ]
P[Tk ]P[T+ |Tk ] + P[Tg ]P[T+ |Tg ]
0.04 · 0.9
=
0.04 · 0.9 + 0.96 · 0.2
≈ 0.158,
P[Tk |T+ ]
8.47
=
P[Tk |Ω \ T+ ]
8.49
=
8.48
P[Tk ]P[Ω \ T+ |Tk ]
P[Tk ]P[Ω \ T+ |Tk ] + P[Tg ]P[Ω \ T+ |Tg ]
0.04 · 0.1
=
0.04 · 0.1 + 0.96 · 0.8
≈ 0.0052.
Bei der Untersuchung beliebiger, zufällig ausgewählter Patienten bedeutet dies,
daß
8.41Bei der mathematischen Modellierung realer Vorgänge sollte man immer zuerst versuchen, mit möglichst elementaren Modellen zu arbeiten. Dadurch bleiben alle mathematischen
Überlegungen und Berechnungen übersichtlicher“ und einfacher zu überprüfen. Insbesondere
”
wird es dann auch leichter, einem Anwender“ die Ergebnisse der Modellierung zu vermitteln.
”
Erst wenn ein elementares Modell nicht mehr mit der Realität in Einklang gebracht werden kann,
sollten komplexere Modelle in Betracht gezogen werden.
8.42Man beachte, daß wie üblich Ereignisse mit Teilmengen des Stichprobenraums identifiziert
werden.
8.43T ist das Ereignis, daß eine zufällig ausgewählte Person krank ist.
k
8.44
Tg ist das Ereignis, daß eine zufällig ausgewählte Person gesund ist.
8.45
T+ ist das Ereignis, daß eine zufällig ausgewählte Person einen positiven Befund hat.
8.46Die nun berechneten bedingten Wahrscheinlichkeiten ergeben sich durch Anwendung der
Formel von Bayes, vgl. (8.8).
8.47Dies ist die Wahrscheinlichkeit für das Vorliegen einer Erkrankung, falls sich ein positiver
Befund ergibt.
8.48Setze hierzu B = T , B = T und A = T in (8.8).
g
1
2
+
k
8.49
Dies ist die Wahrscheinlichkeit für eine Erkrankung, falls ein negativer Befund vorliegt.
26. Juli 2010
131
• ein positiver Befund nur mit geringer Wahrscheinlichkeit 0.158 auf eine
Erkrankung hindeutet 8.50, während
• bei einem negativen Befund mit hoher Wahrscheinlichkeit 0.9948 = 1 −
0.0052 eine Erkrankung ausgeschlossen werden kann.
Folglich eignet sich das vorliegende Diagnoseverfahren, um
• bei einem negativen Befund eine Erkrankung auszuschließen, während
• bei einem positiven Befund eine weitere Beobachtung des Patienten zu
empfehlen ist.
8.2. Markovketten
Ein stochastischer Prozeß 8.51 X = (Xt )0≤t<∞ wird Markovprozeß genannt,
wenn in jedem Zeitpunkt s ≥ 0 die zukünftige Entwicklung, d.h., Xu , u > s, bei
gegebenem gegenwärtigen Zustand Xs nicht von der Vergangenheit Xu , u < s,
abhängt. Die elementarsten Beispiele für solche Prozesse sind Markovketten, d.h.
Markovprozesse in diskreter Zeit mit Werten in einem diskreten, d.h., höchstens
abzählbaren Raum.
Ein stochastischer Prozeß 8.52 X = (Xn )n∈N0 in diskreter Zeit 8.53 mit Werten
in einem höchstens abzählbaren Zustandsraum 8.54 S heißt Markovkette, falls 8.55
(8.10) P Xn+k = s′ | X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn
{z
}
|
| {z } |
{z
}
Gegenwart
Zukunft
Vergangenheit
′
= P Xn+k = s |Xn = sn , n ∈ N0 , k ∈ N, s0 , s1 , . . . , sn , s′ ∈ S.
Zur Charakterisierung der zukünftigen Entwicklung einer Markovkette reicht also
die Kenntnis des gegenwärtigen Zustandes aus. Die Kenntnis der zeitlichen Entwicklung in der Vergangenheit bringt in diesem Fall keinen Informationsgewinn.
Die Größen
(8.11)
Pn (s1 , s2 ) = P Xn+1 = s2 |Xn = s1 , s1 , s2 ∈ S, n ∈ N0 ,
heißen (1-Schritt-)Übergangswahrscheinlichkeiten. Sie werden zu den (1-Schritt-)
Übergangsmatrizen Pn = (Pn (s, s′ ))s,s′ ∈S , n ∈ N0 , zusammengefaßt. Eine Markovkette besitzt stationäre Übergangswahrscheinlichkeiten, falls Pn = P unabhängig
von n ist 8.56 8.57.
Im folgenden werden nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden.
8.50Die Ursache für diese vielleicht überraschende Eigenschaft des Diagnoseverfahrens ist die
Tatsache, daß ein relativ hoher Anteil der Bevölkerung gesund ist und daß bei diesen Gesunden
mit einer nicht vernachlässigbaren Wahrscheinlichkeit sich ein positiver Befund ergibt, vgl. (8.9).
Ein positiver Befund hat somit bei diesem Diagnoseverfahrens nur eine geringe Aussagekraft.
8.51Vgl. Abschnitt 3.4.
8.52Die Zufallsvariablen X , n ∈ N , seien auf einem Wahrscheinlichkeitsraum (Ω, F, P)
n
0
definiert.
8.53Als Menge aller Zeitpunkte kommt oft auch N oder Z vor.
8.54
Als abzählbare Menge wird S natürlich mit der σ-Algebra Pot(S) versehen.
8.55Stillschweigend sei darüberhinweggesehen, daß aufgrund von (8.4) die linke Seite von
(8.10) nur wohldefiniert ist, wenn P[X0 = s0 , . . . , Xn−1 = sn−1 , Xn = sn ] > 0. In diesem Fall ist
auch die rechte Seite von (8.10) wohldefiniert und stimmt mit der linken Seite überein, wenn X
eine Markovkette ist.
8.56In diesem Fall besitzt die Markovkette X eine zeitlich homogene Dynamik.
8.57
Man beachte, daß eine Markovkette mit stationären Übergangswahrscheinlichkeiten kein
stationärer stochastischer Prozeß, vgl. Abschnitt 3.4.1, zu sein braucht. Für die in Beispiel 3.18
und dem folgenden Beispiel 8.7 beschriebene Irrfahrt in Z wird dies in Beispiel 3.20 demonstriert.
26. Juli 2010
132
Beispiel 8.6. Zum Parameter p ∈ (0, 1) seien Yn , n ∈ N, unabhängige, Bernoulli-verteilte Zufallsvariablen in {−1, 1}, d.h. mit P[Yn = 1] = 1 − P[Yn = −1] = p,
n ∈ N. Der Bernoulli-Prozeß 8.58 Y = (Yn )n∈N (mit Parameter p) ist eine Markovkette mit Werten in S = {−1, 1}. Es gilt P (a, 1) = p, P (a, −1) = 1 − p, a ∈ S 8.59.
P
Beispiel 8.7. Die Irrfahrt 8.60 X = (Xn )n∈N0 , wobei Xn = nk=1 Yk , n ∈ N0 ,
für die Zufallsvariablen Yn , n ∈ N, aus Beispiel 8.6, ist eine Markovkette mit Werten
in S = Z. Es gilt 8.61


falls k ∈ S, l = k + 1,
p,
P (k, l) = 1 − p, falls k ∈ S, l = k − 1,


0,
sonst.
Beispiel 8.8 (Verallgemeinerte Irrfahrt). Sei ζn , n ∈ N, eine Folge von unabhängigen, identisch verteilten Zufallsvariablen mit Werten in Z, wobei P[ζ1 =
k] = ak , k ∈ Z.
Weiterhin sei X = (Xn )n∈N0 durch
X0 = 0,
Xk =
k
X
ζl ,
k = 1, 2, . . . ,
l=1
definiert. X ist offensichtlich eine Verallgemeinerung der in Beispiel 8.7 beschriebenen Irrfahrt 8.62. Insbesondere ist X eine Markovkette mit dem Zustandsraum Z
und der Übergangsmatrix 8.63

..
..
..
.
.
 .
..
 . a0
a1

. . . a−1 a0
P =
. . . . . . . . . a−1

. . . . . . . . . . . . . . .

.............
a2
a1
a0
a−1
....................
.......
a2 . . .
a1 . . .
a0 . . .
.. ..
.
.






.




8.58Vgl. Beispiel 3.17.
8.59Offensichtlich sind, wenn die anschauliche Beschreibung von Markovprozessen am Anfang
dieses Abschnitts 8.2 zugrundegelegt wird, auch die in Fußnote 3.226 erwähnten verallgemeinerten
Bernoulli-Prozesse markovsch. In diesen Fällen braucht weder die Menge der Zeitpunkte noch der
Zustandsraum diskret zu sein.
8.60Vgl. Beispiel 3.18.
8.61Die Irrfahrt springt in ihrem Zustandsraum Z in jedem Zeitpunkt jeweils mit Wahrscheinlichkeit p um 1 nach rechts, bzw. mit Wahrscheinlichkeit 1 − p um 1 nach links. Andere Sprünge
sind nicht möglich.
8.62Wie bei der Irrfahrt ergibt sich in jedem Zeitpunkt n ∈ N der zukünftige Zustand X
0
n+1
aus dem gegenwärtigen Zustand Xn durch Addieren eines Zuwachses ζn+1 , wobei diese Zuwächse
unabhängige, identisch verteilte Zufallsvariablen sind.
8.63Da P[X
n+1 = k + l|Xn = k] = P[ζn+1 = l] = P[Xn+1 = k + 1 + l|Xn = k + 1], n ∈ N0 ,
k, l ∈ Z, entsteht die (k + 1)-te Zeile in der Matrix P aus der k-ten Zeile durch eine Verschiebung
”
um 1 nach rechts“.
26. Juli 2010
133
Die Verteilung PX einer Markovkette 8.64 X = (Xn )n∈N0 ist durch ihre Übergangsmatrix und ihre Anfangsverteilung PX0 eindeutig bestimmt. Es gilt
(8.12) P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn
= PX0 [{s0 }]P (s0 , s1 ) · · · P (sn−1 , sn ),
8.65
s0 , s1 , . . . , sn ∈ S, n ∈ N0 .
Diese Beziehung ergibt sich aus
P X0 = s0 , X1 = s1 , . . . , Xn−1 = sn−1 , Xn = sn
= P X0 = s0 , . . . , Xn−1 = sn−1 P Xn = sn |X0 = s0 , . . . , Xn−1 = sn−1
= P X0 = s0 , . . . , Xn−2 = sn−2 P Xn−1 = sn−1 |X0 = s0 , . . . , Xn−2 = sn−2
P Xn = sn |Xn−1 = sn−1
= ...
= P[X0 = s0 ]P X1 = s1 |X0 = s0 . . . P (sn−1 , sn )
= PX0 [{s0 }]P (s0 , s1 ) · · · P (sn−1 , sn ),
s0 , s1 , . . . , sn ∈ S, n ∈ N0 .
Als Verallgemeinerung der (1-Schritt-)Übergangswahrscheinlichkeiten werden
die n-Schritt-Übergangswahrscheinlichkeiten durch 8.66
(8.13)
P n (s1 , s2 ) = P[Xn+m = s2 |Xm = s1 ],
8.67
0
m, n ∈ N0 , s1 , s2 ∈ S,
definiert. Für n = 0 setzt man hierbei
P (s1 , s2 ) = δs1 ,s2 , s1 , s2 ∈ S. Die
n-Schritt-Übergangswahrscheinlichkeiten genügen der Chapman-Kolmogorov-Gleichung, d.h., 8.68
X
(8.14)
P k+l (s1 , s2 ) =
P k (s1 , s)P l (s, s2 ), k, l ∈ N0 , s1 , s2 ∈ S.
s∈S
Bemerkungen. (i) Die Übergangsmatrix P = (P (s, s′ ))s,s′ ∈S einer S-wertigen
Markovkette X = (Xn )n∈N0 ist eine stochastische Matrix, d.h., es gilt 8.69
′
′
(a) P
P(s, s ) ≥ 0, ′s, s ∈ S,
8.70
.
(b)
s′ ∈S P (s, s ) = 1, s ∈ S
8.64Mit der Verteilung P einer Markovkette oder allgemeiner der Verteilung eines stochastiX
schen Prozesses X = (Xn )n∈N0 ist die gemeinsame Verteilung der Zufallsvariablen {Xn : n ∈ N0 },
vgl. (3.7), gemeint. Für ein festes n ∈ N0 beschreiben die Größen auf der linken Seite von (8.12) die
gemeinsame Verteilung von X0 , X1 , . . . , Xn . Diese gemeinsamen Verteilungen werden als endlichdimensionale Verteilungen von X bezeichnet. Sie bestimmen eindeutig die Verteilung PX des
stochastischen Prozesses X.
8.65Hier wird insbesondere mehrmals die bedingte Wahrscheinlichkeiten charakterisierende
Relation (8.4) und die Markoveigenschaft (8.10) benutzt.
8.66Da hier nur Markovketten mit stationären Übergangswahrscheinlichkeiten betrachtet werden, ist die rechte Seite von (8.13) von m unabhängig.
8.67δ bezeichnet das Kronecker-Symbol, d.h.,
.,.
(
1, falls s = s′ ,
δs,s′ =
0, sonst.
8.68Der Übergang von s nach s in k + l Schritten führt durch einen Zwischenzustand s ∈ S
1
2
nach k Schritten. Wegen der Markoveigenschaft (8.10), bzw. wegen (8.12) hat für alle m ∈ N0
k Schritte
l Schritte
bedingt unter Xm = s1 der Weg s1 −−−−−−−→ s −−−−−−→ s2 für ein festes s die Wahrscheinlichkeit
P[Xm+k = s, Xm+k+l = s2 |Xm = s1 ] = P[Xm+k = s|Xm = s1 ] · P[Xm+k+l = s2 |Xm+k = s] =
P k (s1 , s)P l (s, s2 ). Die Übergänge durch verschiedene Zwischenzustände s entsprechen disjunkten
Ereignissen, d.h., ihre jeweiligen Wahrscheinlichkeiten addieren sich zur Gesamtwahrscheinlichkeit
P k+l (s1 , s2 ).
8.69Die Komponenten von P sind nichtnegativ und ihre Zeilen addieren sich zu 1.
P
8.70Weil P
′
′
s′ ∈S P (s, s ) =
s′ ∈S P[Xn+1 = s |Xn = s] = P[Xn+1 ∈ S|Xn = s] = 1 für alle
n ∈ N0 .
26. Juli 2010
134
(ii) Für n ∈ N ist die Matrix P n der n-Schritt-Übergangswahrscheinlichkeiten
das n-fache Matrixprodukt der 1-Schritt-Übergangsmatrix P 8.71.
(iii) Das zeitliche Verhalten einer S-wertigen Markovkette X = (Xn )n∈N0 wird
durch die algebraischen Eigenschaften ihrer Übergangsmatrix P = (P (s, s′ ))s,s′ ∈S
bestimmt. Sei beispielsweise µ = (µs )s∈S ein linker Eigenvektor von P mit Eigenwert 1, d.h. mit
X
(8.15)
µs P (s, s′ ) = µs′ , s′ ∈ S,
s∈S
wobei außerdem
8.72
µs ≥ 0, s ∈ S,
(8.16)
und
X
µs = 1
s∈S
gelte. Dann beschreibt µ eine invariante Verteilung von X, d.h., PX0 [{s}] = P[X0 =
s] = µs , s ∈ S, impliziert 8.73
(8.17)
PXn [{s}] = P[Xn = s] = µs ,
s ∈ S, n ∈ N0 .
8.3. Modellbildung mit Markovketten
Anhand von drei Beispielen wird gezeigt, wie sich Markovketten bei der Bildung
einfacher Modelle für zufällige, sich zeitlich entwickelnde Phänomene anwenden
lassen.
Beispiel 8.9 (Ehrenfestsches Modell für die Diffusion durch eine Membran).
Es seien zwei durch eine durchlässige
Membran getrennte Behälter, die zuB2
B1
sammen 2N Teilchen (Moleküle) enthalten, gegeben. Diese Teilchen können
zwischen den Boxen hin und her wechseln.
Zur Modellierung der Dynamik der Teilchenzahlen in B1 und B2 kann als Zustandsraum 8.74 S = {−N, −N + 1, . . . , 0, 1, . . . , N − 1, N } gewählt werden. k ∈ S
beschreibt die Situation, in der N + k Teilchen in B1 enthalten sind 8.75.
Eine einfache Dynamik ist folgendermaßen gegeben: Zu jedem Zeitpunkt wird
aus der Menge aller Teilchen gemäß der Gleichverteilung ein Teilchen zufällig ausgewählt. Dieses Teilchen wird in den jeweils anderen Behälter gebracht 8.76. Durch
8.71Dies folgt durch vollständige Induktion aus (8.14). Offensichtlich zeigt (8.14), daß die
Matrix P k+l das Produkt der Matrizen P k und P l ist.
8.72µ entspricht damit einem Wahrscheinlichkeitsmaß auf S.
8.73(8.17) folgt zunächst für n = 1 aus
X
PX1 [{s}] = P[X1 = s] = P[X0 ∈ S, X1 = s] =
P[X0 = s′ , X1 = s]
=
X
s′ ∈S
′
′
PX0 [{s }]P (s , s) =
X
s′ ∈S
s′ ∈S
µs′ P (s′ , s) = µs ,
s ∈ S,
wobei u.a. (8.12) Verwendung findet. Durch Iteration dieser Argumente ergibt sich (8.17) schließlich für alle weiteren n = 2, 3, . . . .
8.74Da die Gesamtzahl 2N aller Teilchen fest ist, genügt es, die zeitliche Entwicklung der
(Anzahl der Teilchen in B1 ) - N zu beschreiben.
8.75In diesem Fall ist die Anzahl der Teilchen in B gleich 2N − (N + k) = N − k.
2
8.76
Die räumliche Bewegung innerhalb der Behälter wird nicht modelliert.
26. Juli 2010
135
diese Beschreibung wird eine Markovkette X = (Xn )n∈N0 charakterisiert. Deren
Übergangswahrscheinlichkeiten sind:

N +i


, falls i = −N + 1, . . . , N, j = i − 1 8.77,


2N





P[Xn+1 = j|Xn = i] = N − i , falls i = −N, . . . , N − 1, j = i + 1 8.78,


2N






0,
sonst.
Fragen 8.79. Stellt sich für große Zeiten ein Gleichgewicht ein? Was ist überhaupt ein Gleichgewicht“? 8.80 Konvergiert die Verteilung PXn von Xn bei n →
”
∞ gegen eine Grenzverteilung? Ist diese Grenzverteilung invariant 8.81 unter der
Dynamik? Gibt es weitere invariante Verteilungen?
Beispiel 8.10 (Ein Warteschlangenmodell). Es sei angenommen, daß an einem
Servicepunkt (Postschalter, Internetserver, Telefon-Hotline, . . . )
- pro Zeiteinheit ein Kunde bedient werden kann und daß weiterhin
- ständig neue Kunden ankommen, wobei ζn die Anzahl der neuen Kunden
im Zeitintervall (n, n + 1] sei. ζn , n ∈ N0 , seien i.i.d. Zufallsvariablen 8.82.
Sei nun Xn die Größe der Warteschlange zum Zeitpunkt n, n ∈ N0 . Offensichtlich gilt 8.83 8.84:
(8.18)
Xn+1 = (Xn − 1)+ + ζn ,
n ∈ N0 .
Diese Beziehung verdeutlicht, daß X = (Xn )n∈N0 eine Markovkette mit dem Zustandsraum S = N0 ist.
Falls P[ζ1 = l] = al , l ∈ N0 , ergibt sich aus (8.18) für die Übergangswahrscheinlichkeiten:
(
al+1 8.85, falls k = 1, 2, . . . , l ∈ N0 ∪ {−1},
P[Xn+1 = k + l|Xn = k] =
al ,
falls k = 0, l ∈ N0 .
8.77Ein Teilchen wird von B nach B gebracht.
1
2
8.78
Ein Teilchen wird von B2 nach B1 gebracht.
Für die Beispiele dieses Abschnitts 8.3 werden jeweils Fragen formuliert, die mit Hilfe
der in weiterführenden Veranstaltungen zu entwickelnden allgemeinen wahrscheinlichkeitstheoretischen Resultate beantwortet werden können.
8.80
Offensichtlich kann dies kein fester, deterministischer Zustand sein. Vielmehr muß Gleich”
gewicht“ in einem stochastischen Sinn definiert werden, d.h., zufällige Fluktuationen sollten
möglich sein.
8.81Vgl. Bemerkung (iii) in Abschnitt 8.2.
8.82Insbesondere im Bereich der Informationstechnologie gibt es etliche Anwendungen für
Warteschlangenmodelle. Das hier vorgestellte Modell beschreibt beispielsweise eine Warteschlange
an einem Drucker, für den die Druckaufträge alle etwa gleich groß sind. Andere Modelle sind
beispielsweise für solche FTP- oder HTTP-Server notwendig, die nur eine beschränkte Anzahl
gleichzeitiger Zugriffe zulassen und darüberhinausgehende Anfragen abweisen.
8.83Beachte: Wenn kein Kunde wartet, d.h., wenn X = 0, wird auch keiner bedient. Aus
n
diesem Grund taucht der Beitrag (. . . )+ in (8.18) auf.
8.84
(8.18) kann in der Form
8.79
Xn+1 − Xn = −I{1,2,... } (Xn ) + ζn ,
n ∈ N0 ,
geschrieben werden, d.h., (8.18) ist als eine stochastische Differenzengleichung eine zeitlich diskretisierte Version einer stochastischen Differentialgleichung.
8.85Wenn die Länge der Warteschlange k = 1, 2, . . . beträgt, wird in der nächsten Zeiteinheit
ein Kunde bedient. Dieser scheidet anschließend aus der Warteschlange aus. Damit in dem betrachteten Zeitraum die Länge der Warteschlange um l anwächst, müssen daher l + 1 Neukunden
hinzukommen.
26. Juli 2010
136
3000
2500
2000
1500
1000
500
0
0
20
40
60
80
100
20 Simulationen eines Verzweigungsprozesses mit b0 = 0.25, b1 = 0.5,
b2 = 0.2, b3 = 0.05 und X0 = 1. In 4 Fällen überlebt die Population
bis zum Zeitpunkt 100 und scheint exponentiell zu wachsen.
Fragen. Unter welchen Bedingungen wird die Warteschlange im Verlauf der
Zeit immer länger? Mit anderen Worten, wann gilt limn→∞ Xn = ∞? Gilt diese
Konvergenz f.s. oder nur mit positiver Wahrscheinlichkeit? In welchen Situationen
stellt sich ein Gleichgewicht“ ein?
”
Beispiel 8.11 (Ein Verzweigungsprozeß). Zur Modellierung der zeitlichen Entwicklung einer Population sei angenommen, daß
•
•
•
•
die Menge der Zeitpunkte diskret ist, daß es
keine Unterschiede zwischen den einzelnen Individuen gibt
die Individuen voneinander unabhängig sind und daß
die Lebensdauer gleich 1 ist 8.87.
8.86
, daß
Diese Annahmen werden mathematisch dadurch realisiert, daß angenommen wird,
daß zu jedem Zeitpunkt n ∈ N0 jedes dann lebende Individuum unabhängig von den
anderen eine zufällige Anzahl von Nachkommen hat und dann stirbt. Die Anzahl
der Nachkommen eines Individuums habe die Verteilung b = (bk )k∈N0 .
Sei nun Xn die Größe der Population zum Zeitpunkt n ∈ N0 , und sei 8.88 ζnl ,
n ∈ N0 , l ∈ N, eine Familie von i.i.d. Zufallsvariablen mit der Verteilung b, d.h.,
P[ζnl = m] = bm , n, m ∈ N0 , l ∈ N. Der stochastische Prozeß X = (Xn )n∈N0 , dessen
8.86Insbesondere gibt es nur ein Geschlecht.
8.87Der auf diesen Modellannahmen basierende, hier vorgestellte einfache Verzweigungspro-
zeß läßt sich auf Bemühungen im 18. und 19. Jahrhundert zurückführen, das Anwachsen und
Aussterben von Adelsfamilien zu beschreiben. In einem solchen Zusammenhang entspricht eine
Zeiteinheit einer Generation.
8.88Für n ∈ N und l ∈ N soll ζ l die Größe der Nachkommenschaft des l-ten der zur Zeit
0
n
n lebenden Individuen modellieren. Da die Größe Xn der Population zum Zeitpunkt n a priori
l für alle l ∈ N eingeführt.
jeden Wert in N0 annehmen kann, werden die Zufallsvariablen ζn
26. Juli 2010
137
Dynamik durch die Beziehung
(8.19)
8.89
Xn+1 =
Xn
X
ζnl ,
l=1
n ∈ N,
repräsentiert werden kann, ist eine Markovkette mit Zustandsraum S = N0 und
den Übergangswahrscheinlichkeiten
(8.20) P[Xn+1 = k|Xn = j] = P[ζn1 + · · · + ζnj = k]

X
8.90

bl1 · · · blj , j ∈ N, n, k ∈ N0 ,


l1 ,...,lj =0,1,...,k
=
l1 +···+lj =k


8.91 δ ,
j = 0, n, k ∈ N0 .
k,0
Das durch (8.19) oder (8.20) zusammengefaßte Modell wird auch Galton-Watson-Prozeß genannt.
Fragen. Unter welchen Bedingungen stirbt die Population f.s. aus, bzw., wann
stirbt sie mit positiver Wahrscheinlichkeit nicht aus? 8.92 Wie sieht unter der Bedingung, daß die Population nicht ausstirbt, das asymptotische Verhalten von Xn
bei n → ∞ aus?
8.89(8.19) verdeutlicht, daß die Größe X
n+1 der Bevölkerung zum Zeitpunkt n+1 die Summe
l , l = 1, . . . , X , der zum Zeitpunkt n lebenden Individuen
der Größen der Nachkommenschaften ζn
n
ist. Insbesondere treten die zum Zeitpunkt n lebenden Individuen zum Zeitpunkt n+1 selbst nicht
mehr in Erscheinung.
8.90Die Wahrscheinlichkeit, daß das 1. Individuum l Nachkommen, das 2. Individuum l
1
2
Nachkommen, . . . und das j-te Individuum lj Nachkommen hat, ist aufgrund der Unabhängigkeit
der Individuen gleich bl1 bl2 · · · blj . Die hier betrachteten Ereignisse sind für unterschiedliche Sequenzen l1 , l2 , . . . , lj disjunkt, so daß sich ihre jeweiligen Einzelwahrscheinlichkeiten addieren.
8.91
Wenn Xn = 0, so ist die Population zum Zeitpunkt n ausgestorben, d.h., es gilt insbesondere auch 0 = Xn+1 = Xn+2 = . . . .
8.92
Falls b0 > 0, hat eine vorgegebene Anzahl N von Individuen mit Wahrscheinlichkeit bN
0
keine Nachkommen. In diesem Fall stirbt die Population somit mit positiver Wahrscheinlichkeit
aus.
26. Juli 2010
KAPITEL 9
Zentraler Grenzwertsatz
Ein Ziel dieses Kapitels ist die Präzisierung der im Gesetz der großen Zahlen
formulierten Konvergenz. Insbesondere wird für i.i.d., reellwertige,
quadratintegra√
ble Zufallsvariablen Xn , n ∈ N, gezeigt, daß der mit N multiplizierte Abstand
P
9.1
zwischen dem empirischen Mittelwert (1/N ) N
E[X1 ]
k=1 Xk und dem Grenzwert
9.2
asymptotisch bei N → ∞ normalverteilt ist .
9.1. (∗) Konvergenzgeschwindigkeit beim Gesetz der großen Zahlen
9.3
Sei Xn , n ∈ N, eine Folge unabhängiger, {0, 1}-wertiger Zufallsvariablen mit
Bernoulli-Verteilung zum Parameter 1/2. Damit gilt insbesondere 9.4
1
1
(9.1)
E[Xn ] = , Var(Xn ) = , n ∈ N.
2
4
In diesem Fall ist nach dem schwachen Gesetz der großen Zahlen 9.5
"
#
N
1 X
1 lim P Xn − ≥ ǫ = 0, ǫ > 0.
n→∞
N
2
n=1
Eine erste Antwort zur Frage nach der Geschwindigkeit der Konvergenz von (1/N )
PN
n=1 Xn gegen 1/2 gibt das folgende Resultat.
Satz 9.1. 9.6 Sei αN , N ∈ N, eine Folge reeller Zahlen mit αN > 0, N ∈ N,
und limN →∞ αN = 0. Dann gilt:
#
(
"
√
N
1 X
1, falls 9.7 αN N → ∞,
1 N →∞
√
→
(9.2)
P Xn − ≤ αN
N
2
0, falls αN N → 0 9.8.
n=1
Bemerkung. Als Konsequenz aus (9.2) scheint es zur genaueren Untersuchung
PN
der Fluktuationen von (1/N ) n=1 Xn um den Grenzwert 1/2 bei N → ∞ sinnvoll
√
PN
zu sein, die Asymptotik von N (1/N ) n=1 Xn − (1/2) zu betrachten 9.9.
9.1E[X ] wird im Gesetz der großen Zahlen als Grenzwert von (1/N ) PN X bei N → ∞
1
k=1 k
identifiziert, vgl. Satz 7.1.
9.2Vgl. Satz 9.2. Somit wird nachgewiesen, daß für i.i.d., reellwertige, quadratintegrable ZuP
fallsvariablen Xn , n ∈ N, die Differenz zwischen dem empirischen Mittelwert (1/N ) N
k=1 Xk und
√
E[X1 ] bei N → ∞ wie 1/ N klein wird.
√
9.3In diesem Abschnitt soll u.a. die Wahl von N zur Skalierung von (1/N ) PN X −E[X ]
1
k=1 k
beim Zentralen Grenzwertsatz motiviert werden.
9.4Vgl. Fußnoten 1.47(c) und 1.49(c).
9.5Vgl. Satz 7.1.
9.6Vgl. [5], Bemerkung (5.18).
√
9.7Hier wird angenommen, daß α bei N → ∞ langsamer als 1/ N gegen 0 strebt.
N
˛
˜
ˆ˛
PN
9.8
Wegen (9.2) kann P ˛(1/N ) n=1 Xn − (1/2)˛ ≤ αN nur dann einen nichttrivialen Limes
√
√
in (0, 1) bei N → ∞ haben, wenn αN N = O(1), d.h., wenn αN = O(1/ N ).
9.9Aufgrund von (9.2) kann erwartet werden, daß
!
#
"
!
#
"
N
N
√
1 X
1
1
u
1 X
N
Xn −
≤u =P
Xn −
≤ √
P
N n=1
2
N n=1
2
N
139
140
Beweis. Nach (9.1) und dem schwachen Gesetz der großen Zahlen
"
#
N
1 X
1
1 P Xn − > αN ≤
2 N,
N
2
4α
N
n=1
d.h.,
"
N
1 X
Xn −
P N
n=1
#
1
1 ≤ αN ≥ 1 − 2
2
4αN N
N →∞
→ 1,
9.10
gilt:
√
falls αN N → ∞.
Damit ist der erste Teil von (9.2) bewiesen 9.11.
P
Weil die Zufallsvariable N
n=1 Xn binomialverteilt mit den Parametern N und
1/2 9.12 ist, folgt:
#
" N
"
#
N
X
1 X
1 N P Xn − ≤ αN = P Xn − ≤ αN N
N
2
2
n=1
n=1
X
N
1 N
= 9.13
2
k
{k:|k−(N/2)|≤N αN }
N
1 N
≤ 9.14 (2N αN + 1)
⌊N/2⌋ 2
r
r
r
√
2
2
2
N →∞ 9.15
∼
(2N αN + 1)
=2
αN N +
πN
π
πN
√
N →∞
→ 0, falls αN N → 0.
Damit ist auch der zweite Teil von (9.2) verifiziert.
bei N → ∞ für alle u ∈ (−∞, ∞) einen Grenzwert in (0, 1) besitzt.
9.10
Vgl. insbesondere (7.3).
9.11Offensichtlich gilt, falls 1/2 durch E[X ] ersetzt wird, dieser Teil von (9.2) für beliebige
1
i.i.d., reellwertige, quadratintegrable Zufallsvariablen Xn , n ∈ N. Sie brauchen keine BernoulliVerteilung zu besitzen.
9.12Vgl. Abschnitt 1.1.2, insbesondere (1.5).
9.13Diese Summe enthält höchstens 2N α + 1 Summanden.
N
9.14
Weil
“N ” “ N ”
, k = 0, 1, . . . , N.
≤
(∗)
⌊N/2⌋
k
Die Abschätzung (∗) ist eine Konsequenz aus der Symmetrie der Binomialkoeffizienten um N/2,
d.h.,
”
” “
“
N
N
, α ∈ R mit (N/2) ± α ∈ N0 ,
=
(N/2) − α
(N/2) + α
` ´
und der Tatsache, daß {0, 1, . . . , ⌊n/2⌋} ∋ k → n
für alle n ∈ N monoton steigend ist. Diese
k
Behauptung folgt aus
`n´
jnk
n!
(k + 1)!(n − k − 1)!
k+1
k ´
` n
=
− 1.
·
=
≤ 1, k = 0, 1, . . . ,
k!(n
−
k)!
n!
n
−
k
2
k+1
9.15
Wegen der Stirling Formel
lim
n→∞
Insbesondere beachte man, daß
“ N ” N gerade
N!
=
⌊N/2⌋
((N/2)!)2
“ n ”n
1√
2πn
= 1.
n!
e
N→∞
∼
√
√
2 N
2πN (N/e)N
= √
p
2 ,
πN
( 2πN/2(N/(2e))N/2 )2
und daß für ungerade N analoge Überlegungen durchgeführt werden können.
26. Juli 2010
141
9.2. Eigenschaften charakteristischer Funktionen
In diesem Abschnitt werden einige Eigenschaften von charakteristischen Funktionen 9.16 vorgestellt, die im folgenden Abschnitt 9.3 beim Beweis des Zentralen
Grenzwertsatzes für i.i.d., reellwertige, quadratintegrable Zufallsvariablen mit positiver Varianz benötigt werden.
(i) Seien X und Y unabhängige, reellwertige Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, F, P). Dann gilt 9.17
(9.3)
ψX+Y (z) = ψX (z)ψY (z),
z ∈ R.
Beweis. (9.3) folgt aus
ψX+Y (z) = E[exp(iz(X + Y ))] = E[exp(izX) exp(izY )]
=
9.18
E[exp(izX)]E[exp(izY )]
= ψX (z)ψY (z),
z ∈ R.
(ii) Sei X eine reellwertige Zufallsvariable mit E[|X|2 ] < ∞. Dann ist ψX ∈
und es gilt insbesondere
Cb2 (R)
ψX (z) = 1 + izE[X] −
(9.4)
z2
E[X 2 ] + o(|z|2 ),
2
bei |z| → 0.
Begründung. Nach einem formalen Vertauschen von Differentiation und Erwartungswert folgt 9.19
′
′′
ψX
(z) = iE[X exp(izX)], ψX
(z) = −E[X 2 exp(izX)],
z ∈ R,
d.h.,
′
′′
ψX (0) = 1, ψX
(0) = iE[X], ψX
(0) = −E[X 2 ].
(9.4) ist damit die Taylorentwicklung der Ordnung 2 von ψX in 0.
(iii) Sei X eine reellwertige Zufallsvariable. Weiterhin sei Y = aX + b für
a, b ∈ R. Dann ist
(9.5)
ψY (z) = exp(izb)ψX (az),
z ∈ R.
Beweis.
ψY (z) = E[exp(iz(aX + b))] = E[exp(izb) exp(izaX)]
= exp(izb)E[exp(izaX)] = exp(izb)ψX (az),
z ∈ R.
9.16
Charakteristische Funktionen wurden in (6.43) eingeführt. Insbesondere zeigt Satz 6.18,
daß die Konvergenz in Verteilung reellwertiger Zufallsvariablen mit Hilfe der Konvergenz ihrer
charakteristischen Funktionen nachgewiesen werden kann.
9.17(9.3) besagt, daß die charakteristische Funktion einer Summe unabhängiger Zufallsvariablen faktorisiert.
9.18Wegen der Unabhängigkeit von X und Y , vgl. (6.9) und Bemerkung (i) in Abschnitt 6.3.
Man beachte, daß für jedes feste z ∈ R mit X und Y auch die Zufallsvariablen exp(izX) und
exp(izY ) unabhängig sind.
9.19Bei einem rigorosen Beweis kann der Satz von der beschränkten Konvergenz, vgl. [3],
Appendix A.5, Theorem (5.3), herangezogen werden.
26. Juli 2010
142
(iv) Eine reellwertige Zufallsvariable X sei gemäß der standard Normalverteilung N(0, 1) verteilt. Dann gilt 9.20
ψX (z) = exp(−z 2 /2),
(9.6)
Begründung.
z ∈ R.
9.21
1
√
2π
Z
∞
dx exp(izx) exp(−x2 /2)
|
{z
}
2
= exp(izx − x /2) = exp((−(x − iz)2 − z 2 )/2)
Z ∞
1
dx exp(−(x − iz)2 /2) .
= exp(−z 2 /2) √
2π −∞
|
{z
}
Z ∞−iz
1
dy exp(−y 2 /2)
= 9.23 √
2π −∞−iz
|
{z
}
Z ∞
1
= 9.24 √
dy exp(−y 2 /2) = 1
2π −∞
ψX (z) =
9.22
−∞
(v) Durch die charakteristische Funktion ψX ist die Verteilung PX einer reellwertigen Zufallsvariable X eindeutig bestimmt.
Begründung. Schreibt man
(9.7)
ψX (z) = E[exp(izX)]
Z
= 9.25
PX (dx) exp(izx),
R
z ∈ R,
so wird deutlich, daß die charakteristische Funktion ψX einer Zufallsvariable X
der Fouriertransformierten ihrer Verteilung PX entspricht. Die Behauptung (v)
folgt daher aus der Tatsache, daß ein endliches Maß auf (R, B(R)) durch seine
Fouriertransformierte eindeutig charakterisiert ist.
Details zu den obigen Überlegungen und weitere Eigenschaften charakteristischer Funktionen finden sich beispielsweise in [6], Abschnitte 5.7 - 5.9.
9.20Wegen (9.6) haben für die standard Normalverteilung die Dichte und die charakteristische
Funktion die gleiche Struktur. Aufgrund von (9.5) gilt dies auch für andere Normalverteilungen.
Mit der hyperbolischen Cosinusverteilung wird in [4], Chapter XV, Section 2, ein weiteres Wahrscheinlichkeitsmaß mit dieser Eigenschaft angegeben. Es besitzt die Dichte R ∋ x → (π cosh(x))−1
und die charakteristische Funktion R ∋ z → (cosh(πz/2))−1 mit cosh(x) = (exp(x) + exp(−x))/2,
x ∈ R.
9.21Ein mathematisch korrekter Beweis von (9.6) ergibt sich z.B. aus [3], Section 2.3, Example 3.3, und Appendix A.9, Example 9.1.
9.22Diese Darstellung von ψ ergibt sich aus Beispiel 6.4. Vgl. dazu auch Fußnote 6.179.
X
9.23
Mit der Variablentransformation y = x − iz. Nach dieser Transformation ist der Integrationsbereich die Gerade {ζ = η − iz : η ∈ R} in C.
R ∞−iz
9.24
dy exp(−y 2 /2) von z ∈ R kann mit dem
Die Unabhängigkeit des Integrals −∞−iz
Cauchyschen Integralsatz, vgl. z.B. [1], Chapter 4, Section 1.4, bewiesen werden.
9.25Auf der rechten Seite von (9.7) ist der Erwartungswert E[W ] der Zufallsvariable W =
exp(izX) als ein Integral bzgl. des Wahrscheinlichkeitsmaßes PX dargestellt. Diese Darstellung ist
eine offensichtliche Verallgemeinerung der in Abschnitt 6.3, Bemerkung (iii), angegebenen Schreibweise des Erwartungswerts. Falls PX eine Dichte bzgl. des Lebesguemaßes besitzt, so ist (9.7)
äquivalent zu der in Fußnote 6.179 angegebenen Darstellung von ψX .
26. Juli 2010
143
9.3. Zentraler Grenzwertsatz für i.i.d. Zufallsvariablen
Das am Anfang dieses Kapitels 9 angekündigte Resultat wird nun präzisiert.
Satz 9.2. Seien Xn , n ∈ N, unabhängige, identisch verteilte, reellwertige Zufallsvariablen mit E[X1 ] = µ und Var(X1 ) = σ 2 ∈ (0, ∞). Sei weiter ZN =
PN
(1/N ) k=1 Xk , N ∈ N. Dann gilt
r
N
(ZN − µ) = X in Verteilung, wobei PX = N(0, 1).
(9.8)
lim
N →∞
σ2
Beweis. Im folgenden werden insbesondere verschiedene Eigenschaften von
charakteristischen Funktionen 9.26 verwendet.
Sei Yn = (Xn − µ)/σ, n ∈ N. Die Zufallsvariablen Yn , n ∈ N, sind i.i.d. und
quadratintegrabel mit E[Y1 ] = 0 und Var(Y1 ) = 1. Weiterhin gilt 9.27
! r
r
N
N
1 X
N 1 X
N
√
(9.9)
(ZN − µ), N ∈ N,
(Xk − µ) =
Yk =
2
2
σ
N
σ
N k=1
k=1
und
(9.10)
ψ(1/√N ) PN
k=1
Yk (z)
=
9.28
=
9.29
ψPN
k=1
N
Y
Yk (z/
√
N)
√
ψYk (z/ N )
k=1
|z|2 N
z2
+o
= 9.30 1 −
2N
N
N
2
z
N →∞ 9.31
1−
∼
2N
N →∞ 9.32
→
exp(−z 2 /2),
z ∈ R.
p
Mit (9.9) und (9.10) ist gezeigt, daß die charakteristische Funktion von N/σ 2 (ZN
−µ) bei N → ∞ gegen die charakteristische Funktion einer gemäß N(0, 1) verteilten
Zufallsvariablen X konvergiert 9.33, d.h., Satz 9.2 ist nun bewiesen 9.34.
9.26Die hier benutzten Eigenschaften von charakteristischen Funktionen werden in Satz 6.18
und in Abschnitt 9.2 erläutert.
√
9.27Zum Beweis von (9.8) muß somit die Asymptotik von (1/ N ) PN Y bei N → ∞
k=1 k
untersucht werden.
√
9.28Hier wird (9.5) mit X = PN Y , a = 1/ N und b = 0 angewandt.
k=1 k
9.29
Da ebenso wie Xn , n ∈ N, auch die Zufallsvariablen Yn , n ∈ N, unabhängig sind, vgl.
(9.3).
9.30
Aufgrund von (9.4). Hier ist zu beachten, daß E[Yn ] = 0, n ∈ N, und Var(Yn ) = E[Yn2 ] =
1, n ∈ N.
9.31
Man beachte, daß für festes z ∈ R und ǫ ∈ (0, 1) für hinreichend großes N ∈ N die
Abschätzungen
“ |z|2 ”
z 2 (1 − ǫ)
z2
z 2 (1 + ǫ)
≤1−
≤1−
+o
1−
2N
2N
N
2N
gelten. Wenn außerdem mit
“
x ”N
= exp(x), x ∈ R,
(∗)
lim 1 +
N→∞
N
eine der möglichen Definitionen der Exponentialfunktion berücksichtigt wird, wird deutlich, daß
für jedes feste z der Term o(|z|2 /N ) bei N → ∞ vernachlässigt werden kann.
9.32
Vgl. (∗) in Fußnote 9.31.
9.33Vgl. (9.6) und Abschnitt 9.2(v).
9.34Vgl. Satz 6.18.
26. Juli 2010
144
Bemerkungen. (i) Für eine Folge Xn , n ∈ N, paarweise unabhängiger 9.35,
identisch verteilter, reellwertiger Zufallsvariablen braucht der Zentrale Grenzwertsatz, d.h. die Beziehung (9.8), nicht zu gelten 9.36. Andererseits gibt es unzählige
Verallgemeinerungen von Satz 9.2. In jenen Resultaten wird nachgewiesen, daß gewisse Zufallsvariablen ζN , N ∈ N, die sich aus vielen kleinen Beiträgen, die hinreichend wenig voneinander abhängig sind, unter geeigneten Bedingungen bei N → ∞
in Verteilung gegen eine normalverteilte Zufallsvariable ζ konvergieren 9.37.
(ii) Der Zentrale Grenzwertsatz ist ein herausragendes Resultat in der Mathematik.
• Ausgehend von recht allgemeinen Annahmen 9.38 wird eine bemerkenswerte Konsequenz nachgewiesen 9.39.
• Nachdem eine geeignete Methode feststeht 9.40, kann in überraschend wenigen, einfachen Schritten der Beweis abgeschlossen werden 9.41.
• Der Zentrale Grenzwertsatz besitzt vielfältige Anwendungsmöglichkeiten
in zahlreichen Bereichen der menschlichen Erfahrung 9.42.
(iii) Die Konvergenz in Verteilung kann auf unterschiedliche Weise formuliert
werden 9.43. Insbesondere besagt (9.8), daß 9.44 9.45
"r
#
Z a
N
1
√
(9.11)
lim P
dx exp(−x2 /2), a ∈ R,
(Z
−
µ)
≤
a
=
N
N →∞
σ2
2π −∞
bzw.
9.46
"r
(9.12) P
#
Z b
N
1
N →∞
dx exp(−x2 /2),
(ZN −µ) ∈ (a, b)
∼ √
σ2
2π a
−∞ < a < b < ∞.
9.35Eine Folge Y , n ∈ N, von Zufallsvariablen heißt paarweise unabhängig, wenn Y und
n
k
Yl für alle k, l ∈ N mit k 6= l (stochastisch) unabhängig sind. Der Begriff der paarweisen Unabhängigkeit von Ereignissen wurde in Beispiel 3.7 eingeführt.
9.36
Ein Gegenbeispiel wird in [3], Section 2.4, Example 4.5, angegeben.
9.37Vgl. z.B. [3], Section 2.4, Theorem (4.5). In komplexeren Verallgemeinerungen des hier
vorgestellten Zentralen Grenzwertsatzes nehmen die Zufallsvariablen ζN , N ∈ N, und ζ Werte in
hochdimensionalen Räumen wie z.B. in Funktionenräumen an, vgl. z.B. [3], Section 7.6, Theorem (6.6) oder [3], Section 7.7, Theorem (7.8).
9.38Der Ausgangspunkt der Überlegungen ist eine beliebige Folge X , n ∈ N, von i.i.d.,
n
quadratintegrablen Zufallsvariablen mit positiver Varianz.
9.39
In der im Limes N → ∞ in Erscheinung tretenden Normalverteilung spielen Details der
Verteilung der Zufallsvariablen Xn , n ∈ N, keine Rolle mehr.
9.40Damit ist die Verwendung von charakteristischen Funktionen gemeint.
9.41Natürlich gibt es auch viele andere Beweise des Zentralen Grenzwertsatzes, vgl. z.B. [10],
Abschnitt 12.3, oder den Beweis von Satz (5.28) in [5].
9.42Wenn eine zufällige reellwertige Größe G die Summe vieler kleiner, wenig voneinander
abhängiger Beiträge ist, können ihre Schwankungen um ihren mittleren Wert durch eine normalverteilte Zufallsvariable modelliert werden. Beispielsweise ist es gerechtfertigt,
– die Schwankungen vieler quantitativer Merkmale der Mitglieder der Bevölkerung eines Landes (Körpergröße, -gewicht, . . . von Männern, bzw. Frauen einer bestimmten Altersklasse),
– die Fluktuationen der Meßwerte von Temperatur, Luftdruck, . . . an einer Wetterstation (in
einem nicht zu großen Zeitraum des Kalenderjahres) oder auch
– die Schwankungen des Kurses einer Aktie (in einem Zeitraum ohne Börsencrash, bzw. ohne
gravierende wirtschaftliche Probleme des Unternehmens)
durch normalverteilte Zufallsvariablen zu modellieren.
9.43
Vgl. Satz 6.18.
9.44
Bei
von Satz 6.18 beachte man, daß die Verteilungsfunktion R ∋ y →
R y der Anwendung
(2π)−1/2 −∞
dx exp(−x2 /2) der standard Normalverteilung in ganz R stetig ist.
9.45
Die Formulierung (9.11), bzw. (9.12) des Zentralen Grenzwertsatzes wurde auch schon in
Beispiel 1.7 gewählt.
9.46Wie in Abschnitt 9.4 erläutert werden wird, gilt (9.12) auch für Intervalle (a, b) =
√
(aN , bN ), deren Längen bei N → ∞ wie 1/ N immer kleiner werden.
26. Juli 2010
145
9.4. (∗) Lokale Normalapproximation
9.47
In vielen Fällen gilt eine lokale Variante des Zentralen Grenzwertsatzes.
Insbesondere bleibt√(9.12) auch dann gültig, wenn die Länge des Intervalls (a, b)
bei N → ∞ wie 1/ N klein wird.
Satz 9.3. 9.48 Seien Xn , n ∈ N, unabhängige, identisch verteilte, reellwertige
Zufallsvariablen mit E[X1 ] = µ, Var(X1 ) = σ 2 ∈ (0, ∞) und 9.49 9.50
(9.13)
PN
|ψX1 (λ)| < 1,
falls λ 6= 0.
Sei weiter ZN = (1/N ) k=1 Xk , N ∈ N. Dann gilt
"r
#
√
N
α
β
lim N P
(ZN − µ) ∈ x + √ , x + √
(9.14)
N →∞
σ2
N
N
β−α
exp(−x2 /2),
= √
2π
x ∈ R, −∞ < α < β < ∞.
Insbesondere kann (9.14) in der an (9.12) erinnernden Form
"r
#
α
β
N
(ZN − µ) ∈ x + √ , x + √
(9.15)
P
σ2
N
N
N →∞
∼
präsentiert werden
9.53
β−α 1
√
√ exp(−x2 /2),
2π
N
9.51 9.52
x ∈ R, −∞ < α < β < ∞,
.
9.5. Bestimmung von Konfidenzintervallen
In diesem Abschnitt werden Anwendungen des Zentralen Grenzwertsatzes in
der Statistik vorgestellt. Insbesondere werden in zwei Beispielen Situationen betrachtet, wo eine zufällige Größe N mal unabhängig gemessen und ein Parameter
durch den empirischen Mittelwert dieser N Messungen
geschätzt wird. Aufgrund
√
des Zentralen Grenzwertsatzes sind die mit N reskalierten Fluktuationen jenes
empirischen Mittelwerts für N → ∞ normalverteilt. Als Konsequenz können in
9.47Das in diesem Abschnitt vorgestellte Resultat wird auch als Lokaler Zentraler Grenzwertsatz bezeichnet.
9.48Vgl. [3], Section 2.5, Theorem (5.4).
9.49ψ mit ψ (λ) = E[exp(iλY )], λ ∈ R, ist die charakteristische Funktion einer reellwerY
Y
tigen Zufallsvariable Y , vgl. (6.43) und insbesondere Abschnitt 9.2. Es sei daran erinnert, daß in
Abschnitt 9.3 charakteristische Funktionen das wesentliche Hilfsmittel beim Beweis des Zentralen
Grenzwertsatzes waren.
9.50
Nach Theorem (5.1) in [3], Section 2.5, besagt die Bedingung (9.13), daß die Zufallsvariable X1 nicht f.s. konstant ist und auch nicht auf einem Gitter in R konzentriert ist, d.h., es gibt
kein b ∈ R und kein h > 0, so daß P[X1 ∈ {b + hk : k ∈ Z}] = 1.
9.51(9.14) zeigt, daß der Quotient der beiden Seiten von (9.15) bei N → ∞ gegen 1
konvergiert.
√
√
9.52
Wenn in (9.12) das Intervall (a, b) durch (x + (α/ N ), x + (β/ N )) ersetzt und die
Stetigkeit von R ∋ x → exp(−x2 /2) mit der Konsequenz
Z x+(β/√N)
1
N→∞ β − α 1
√
√
√
exp(−x2 /2)
dy exp(−y 2 /2) ∼
√
2π x+(α/ N )
2π
N
berücksichtigt wird, ergibt sich (9.15) auf eine formale Weise.
9.53Wenn (9.13) nicht gilt und wenn X nicht f.s. konstant ist, gibt es ein Gitter G
1
b,h = {b +
hk : k ∈ Z} ⊂ R mit b ∈ R und h > 0, so daß P[X1 ∈ Gb,h ] = 1, vgl. [3], Section 2.5, Theorem (5.1).
Auch in diesem Fall gilt ein (9.14) entsprechendes Resultat, vgl. [3], Section 2.5, Theorem (5.2).
Der Fall von i.i.d. Zufallsvariablen Xn , n ∈ N, die eine Bernoulli-Verteilung besitzen, wird auch
in [5], Satz (5.19), betrachtet.
26. Juli 2010
146
diesem Grenzfall Konfidenzintervalle mit Hilfe der standard Normalverteilung bestimmt werden 9.54 9.55.
Beispiel 9.4 (Konfidenzintervalle für den Erwartungswert von i.i.d. Zufallsvariablen). Eine zufällige reelle Größe werde wiederholt unabhängig gemessen. Die
Meßwerte seien durch durch i.i.d. Zufallsvariablen X1 , X2 , . . . mit E[X1 ] = µ ∈ R
und Var(X1 ) = σ 2 ∈ (0, ∞) modelliert. σ 2 sei bekannt 9.56, während µ durch
Angabe eines Konfidenzintervalls zu schätzen sei.
PN
Nach N Messungen ist µ
eN = (1/N ) k=1 Xk ein erwartungstreuer Schätzer für
µ 9.57. Nun soll zu α ∈ (0, 1) für große N ein Konfidenzintervall zum Irrtumsniveau
α für µ 9.58 bestimmt werden.
Aus dem Zentralen Grenzwertsatz 9.59 folgt:
"r
#
N
P
(9.16)
(e
µN − µ) ∈ (a, b)
σ2
Z b
1
N →∞
∼ √
dx exp(−x2 /2), −∞ < a < b < ∞.
2π a
Wählt man zu α ∈ (0, 1) nun U (α) mit 9.60
Z U(α)
1
√
dx exp(−x2 /2) = 1 − α,
(9.17)
2π −U(α)
und definiert dann
(9.18)
r r
σ2
σ2
,
,µ
eN + U (α)
CN (e
µN ) = µ
eN − U (α)
N
N
so ergibt sich
P[CN (e
µN ) 6∋ µ]
9.61
N ∈ N,
r
r σ2
σ2
=P µ≤µ
eN − U (α)
oder µ ≥ µ
eN + U (α)
N
N
9.54Konfidenzbereiche wurden in Beispiel 1.9 erstmals vorgestellt und dann in Abschnitt 4.3
detaillierter betrachtet.
9.55Die Überlegungen in den folgenden Beispielen 9.4 und 9.5 ähneln jenen in Beispiel 4.8.
Nun wird allerdings der Zentrale Grenzwertsatz und nicht die Čebyšev’sche Ungleichung als Basis benutzt. Als Konsequenz ergeben sich kleinere“ Konfidenzintervalle, d.h., die statistischen
”
Aussagen werden präziser.
9.56Dies ist eine in vielen Fällen unrealistische Annahme, die jedoch die Überlegungen in
diesem Beispiel wesentlich vereinfacht. Vgl. Fußnote 9.64 für den Fall eines unbekannten Parameters σ2 .
9.57Vgl. Beispiel 6.13.
9.58Zur Erläuterung vgl. (4.9). Ein statistisches Modell, mit dem in diesem Beispiel 9.4 gearbeitet werden könnte, wird in Fußnote 6.140 beschrieben. Zur Vereinfachung der Argumentation
wird allerdings wie schon in Beispiel 6.13 auch im folgenden ein derartiges statistisches Modell
stillschweigend umgangen.
9.59Vgl. insbesondere (9.12).
9.60U (α) kann statistischen Tabellen entnommen, bzw. mit Hilfe von Statistik-Software ermittelt werden.
Ra
dx exp(−x2 /2), a ∈ R, der standard
Oft ist die Verteilungsfunktion φ(a) = (2π)−1/2 −∞
Normalverteilung tabelliert, vgl. z.B. Tabelle II in [10]. Da
Z U
1
dx exp(−x2 /2) = φ(U ) − φ(−U ) = 2φ(U ) − 1, U > 0,
√
| {z }
2π −U
= 1 − φ(U ) (Symmetrie von x → exp(−x2 /2))
ist U (α) so zu bestimmen, daß
1 − α = 2φ(U (α)) − 1,
d.h.,
gilt.
26. Juli 2010
φ(U (α)) = 1 −
α
,
2
147
r r
σ2
σ2
, U (α)
=P µ
eN − µ 6∈ −U (α)
N
N
r
N
=P
(e
µN − µ) 6∈ (−U (α), U (α))
σ2
Z U(α)
1
N →∞ 9.62
dx exp(−x2 /2)
∼
1− √
2π −U(α)
=
9.63
α.
Für große N ist somit CN (e
µN ) ein Konfidenzintervall zum Irrtumsniveau α für
µ 9.64.
Beispiel 9.5 (Konfidenzintervalle für die Monte-Carlo-Integration). In diesem
Beispiel wird die Approximationsgenauigkeit des in Abschnitt 7.2.1 vorgestellten
Monte-Carlo-Verfahrens zur numerischen Integration untersucht 9.65.
Sei h : [0, 1] → R eine meßbare, beschränkte Funktion und Xn , n ∈ N, eine
Folge unabhängiger, in [0, 1] gleichverteilter Zufallsvariablen. Die Zufallsvariablen
h(Xn ), n ∈ N, sind dann i.i.d. mit 9.66
Z 1
(9.19)
E[h(X1 )] =
dx h(x) = µ(h),
0
Var(h(X1 )) =
Z
0
1
dx h(x)2 −
Z
0
1
2
dx h(x) = σ 2 (h) ≤
9.67
khk2∞ .
R1
Genau wie in Beispiel 6.13 kann µ(h) = 0 dx h(x) erwartungstreu durch
PN
µ
eN (h) = (1/N ) k=1 h(Xk ) geschätzt werden. Bei der Bestimmung eines Konfidenzintervalls zum Irrtumsniveau α ∈ (0, 1) für µ(h) können allerdings die Überlegungen aus Beispiel 9.4 nicht direkt angewandt werden, da neben µ(h) auch σ 2 (h)
als unbekannt zu betrachten ist 9.68. Andererseits ist für σ 2 (h) die obere Schranke
9.61Eigentlich könnte hier eine Notation wie P [ . ] benutzt werden, um anzudeuten, daß µ
µ
als wahrer“ Parameter zugrunde gelegt wird.
” 9.62
Vgl. (9.16).
9.63
Vgl. (9.17).
9.64Für den Fall von i.i.d., normalverteilten Zufallsvariablen X , . . . , X , wobei neben
1
N
µ = E[X1 ] auch σ2 = Var(X1 ) unbekannt ist, wird in [5], Beispiel (8.4) und Satz (8.5), ein Konfidenzintervall für µ angegeben. Hierbei findet insbesondere auch der in Beispiel 6.13 eingeführte
erwartungstreue Schätzer für die Varianz eine Anwendung.
Wenn nun für allgemeinere, i.i.d., quadratintegrable Zufallsvariablen X1 , . . . , XN sowohl µ =
E[X1 ] als auch σ2 = Var(X1 ) unbekannt sind, bleiben jene Überlegungen in [5] zur Bestimmung
eines Konfidenzintervalls für µ zumindest bei N → ∞ anwendbar. Zur Begründung kann wie in
diesem Beispiel 9.4 der Zentrale Grenzwertsatz herangezogen werden.
9.65
In Abschnitt 7.2.1 wurde mit Hilfe des schwachen Gesetzes der großen Zahlen nachgewiesen, daß
Z 1
N
1 X
P
h(Xk ) →
dx h(x) bei N → ∞,
(∗)
N k=1
0
falls h : [0, 1] → R eine meßbare, beschränkte Funktion und Xn , n ∈ N, eine Folge unabhängiger,
in [0, 1] gleichverteilter Zufallsvariablen ist.
Im folgenden wird insbesondere als Anwendung der Überlegungen in Beispiel 9.4, d.h. durch
Angabe von Konfidenzintervallen, die mit Hilfe des Zentralen
Grenzwertsatzes bestimmt werden,
√
die Geschwindigkeit der Konvergenz in (∗) durch C/ N abgeschätzt.
9.66Vgl. (7.5).
9.67khk = sup
∞
x∈[0,1] |h(x)|.
9.68Wenn µ(h) = R 1 dx h(x) nicht direkt berechnet werden kann, so kann offensichtlich auch
0
´2
`R
R
σ2 (h) = 01 dx h(x)2 − 01 dx h(x) nicht exakt bestimmt werden.
26. Juli 2010
148
khk2∞ bekannt
"
9.69
. Es gilt somit
9.70 9.71
:
#
khk∞
khk∞
(9.20) P µ(h) ≤ µ
oder µ(h) ≥ µ
eN (h) + U (α) √
eN (h) − U (α) √
N
N
"
#
khk∞
khk∞
=P µ
eN (h) − µ(h) ∈
/ −U (α) √ , U (α) √
N
N
"
r
r
#
σ 2 (h)
σ 2 (h)
9.72
≤
P µ
eN (h) − µ(h) ∈
/ −U (α)
, U (α)
N
N
"s
#
N
=P
(e
µN (h) − µ(h)) ∈
/ (−U (α), U (α))
σ 2 (h)
Z U(α)
1
N →∞ 9.73
∼
1− √
dx exp(−x2 /2) = 9.74 α.
2π −U(α)
Für N → ∞ kann daher
khk∞
khk∞
√
√
CN (e
µN (h)) = µ
eN (h) − U (α)
,µ
eN (h) + U (α)
N
N
als Konfidenzintervall zum Irrtumsniveau α für µ(h) gewählt werden 9.75.
Bemerkungen. (i) Die Überlegungen dieses Beispiels deuten an, daß das
Monte-Carlo-Verfahren zur numerischen Integration eine recht langsame Konvergenzgeschwindigkeit besitzt, da der
√ Approximationsfehler, d.h. die Länge des Konfidenzintervalls sich wie khk∞ / N verhält 9.76. Im Gegensatz dazu ist bei anderen klassischen“ numerischen Integrationsverfahren der Approximationsfehler
”
≃ kh(m) k∞ N −k für geeignete m = 1, 2, . . . und k ≥ 1 9.77. Solche Verfahren konvergieren schnell für glatte Integranden h, sind aber ungeeignet, wenn h irregulär
wird.
(ii) Um bessere, d.h., kleinere Konfidenzintervalle zu erhalten, kann auch die
unbekannte Varianz σ 2 (h) geschätzt werden 9.78.
9.69Vgl. (9.19). khk2 wird in den Überlegungen dieses Beispiels als bekannt vorausgesetzt.
∞
9.70
Für α ∈ (0, 1) ist U (α) durch (9.17) definiert.
In (9.20) bezeichnet P das Wahrscheinlichkeitsmaß auf dem Wahrscheinlichkeitsraum, auf
welchem die Zufallsvariablen Xn , n ∈ N, definiert sind.
9.72Da σ2 (h) ≤ khk2 , vgl. (9.19), und wegen der Monotonie von P, vgl. (2.13).
∞
9.73
Aufgrund des Zentralen Grenzwertsatzes für die Zufallsvariablen h(Xn ), n ∈ N, vgl. (9.12)
und (9.19).
9.74
Wegen (9.17).
9.75Dieses Konfidenzintervall ist asymptotisch bei N → ∞ evtl. größer als notwendig, weil in
der dritten Zeile von (9.20)
“ nicht auszuschließen ist.
”
9.76Um den Approximationsfehler
zu halbieren, muß daher der Stichprobenumfang N vervierfacht werden.
9.77Vgl. z.B. [12], Kapitel 3.
9.78Ein erwartungstreuer Schätzer für σ2 (h) wurde in Beispiel 6.13 vorgestellt. Hinweise zur
Vorgehensweise bei der Bestimmung von Konfidenzintervallen finden sich in Fußnote 9.64.
9.71
26. Juli 2010
Anhang
In diesem Anhang werden einige Ergänzungen zu den Kapiteln 1 - 9 zusammengestellt.
A.1. Ergänzungen zu Kapitel 1
A.1.1. Deskriptive Statistik. In der deskriptiven, beschreibenden oder empirischen Statistik werden gegebene Daten in Tabellen, Graphiken oder Kennzahlen
zusammengefaßt. Es wird versucht, die Daten auf eine übersichtliche Weise aufzubereiten, so daß interessante Strukturen und Zusammenhänge deutlich werden. Die
Suche nach Mechanismen oder allgemeineren Gesetzen, welche in einer konkreten
Situation zu den vorliegenden Daten geführt haben, und insbesondere auch die
Entwicklung von Methoden zur Herleitung von mathematisch fundierten, quantitativen Folgerungen ist nicht die Aufgabe der deskriptiven, sondern der induktiven,
mathematischen oder schließenden Statistik A.1.1, die neben der Wahrscheinlichkeitstheorie das Thema dieser Vorlesung ist.
In empirischen Wissenschaften, wie z.B. den Sozial- oder den Wirtschaftswissenschaften liegen oft Daten vor, die nicht oder nur auf eine sehr aufwendige Weise
durch ein statistisches Modell A.1.2 beschrieben werden können. Dann kommt die
beschreibende Statistik zur Anwendung. Insbesondere auch in der öffentlichen Verwaltung stellt sie wichtige Methoden zum Ordnen und Auswerten großer Datenmengen zur Verfügung.
Beispiele für Kennzahlen, die sich zur Charakterisierung einer Folge ξ = (x1 ,
. . . , xN ) reeller Daten anbieten, sind:
Empirischer Mittelwert
(A.1)
A.1.3
.
M (ξ) =
N
1 X
xk
N
k=1
Der empirische Mittelwert beschreibt den durchschnittlichen Wert der Folge
ξ.
Empirischer Median. Sei A.1.4 x1 ≤ · · · ≤ xN .
(
(1/2)(XN/2 + X(N/2)+1 ), falls N gerade ist,
Med(ξ) =
X(N +1)/2 ,
falls N ungerade ist.
A.1.1Mit Methoden der mathematischen Statistik kann man versuchen, die gegebenen Daten
durch ein statistisches Modell, vgl. Abschnitte 1.1.4 und 4.1, für alle in der speziellen vorliegenden Situation möglichen Daten zu erklären. Innerhalb dieses Modells können anschließend unter
Zuhilfenahme der gegebenen Daten Schlüsse gezogen werden, beispielsweise Schätzer oder Konfidenzintervalle bestimmt werden.
A.1.2Vgl. z.B. Abschnitte 1.1.4 und 4.1.
A.1.3Vgl. Fußnote 6.147.
A.1.4Gegebenenfalls ist die Folge (x , . . . , x ) umzuordnen.
1
N
159
160
Der empirische Median liegt in der Mitte“ der Daten A.1.5. Im Vergleich zum
”
Mittelwert hat er den Vorteil, robust, d.h. unempfindlich gegenüber extrem
abweichenden Daten zu sein.
Empirische Varianz.
N
(A.2)
Var(ξ) =
A.1.6
1 X
(xk − M (ξ))2
N −1
k=1
Die empirische Varianz charakterisiert die Schwankungen der Daten ξ um
ihren empirischen Mittelwert.
Empirische Schiefe.
N
1 X
1
(xk − M (ξ))3
Schiefe(ξ) =
Var(ξ)3/2 N k=1
Die empirische Schiefe beschreibt, wie unsymmetrisch die Daten ξ bzgl. ihres
empirischen Mittelwerts verteilt sind A.1.7 A.1.8.
Beispiel A.1.1. Die Noten der Hörer einer Vorlesung liegen zunächst in einer
Tabelle vor A.1.9. Innerhalb der Gesamtheit aller Hörer werden zwei Teilgruppen A
und B speziell untersucht A.1.10.
Die jeweiligen Notenverteilungen können in Diagrammen A.1.11 graphisch dargestellt werden. Deren Informationsfülle umfaßt auch viele zum Teil irrelevante Details. Wesentliche Eigenschaften können allerdings durch Kennzahlen ausgedrückt
werden A.1.12.
Mit den Kennzahlen ist es insbesondere möglich, die Unterschiede zwischen
den drei Gruppen quantitativ zu beschreiben. Beispielsweise erzielen die Hörer in
Gruppe A sowohl im Vergleich zu allen Hörern und noch ausgeprägter im Vergleich
mit den Hörern in Gruppe B im Mittel“ merklich schlechtere Noten A.1.13. Die
”
Gruppe A ist außerdem recht heterogen A.1.14, d.h., die Notenverteilung streut sehr
stark um den Mittelwert.
Vergleicht man abschließend genauer die Diagramme für die verschiedenen Notenverteilungen, so zeigt sich, daß die Gruppe A einen überproportional hohen
Anteil an Hörern mit guten, bzw. auch mit schlechten Noten hat A.1.15. Insgesamt
scheint die Gruppe A neben etlichen Hörern mit überdurchschnittlichen Leistungen
auch relativ viele untalentierte, bzw. uninteressierte Hörer zu enthalten. Die Gruppe B enthält geringere Anteile von Hörern mit sehr guten, bzw. sehr schlechten
A.1.5Jeweils die Hälfte der Daten ist größer, bzw. kleiner als der Median.
A.1.6Der Faktor 1/(N − 1) wird anstelle des zunächst evtl. zu erwartenden Faktors 1/N
gewählt, weil nun, vom Standpunkt der mathematischen Statistik aus betrachtet, zumindest für
unabhängige, identisch verteilte Daten durch (A.2) ein erwartungstreuer Schätzer für die Varianz
definiert ist, vgl. Beispiel 6.13.
A.1.7Wenn die Daten ξ symmetrisch bzgl. M (ξ) verteilt sind, ist Schiefe(ξ) = 0. Ansonsten
wird Schiefe(ξ) mit wachsender Asymmetrie der Daten größer.
A.1.8
Offensichtlich ist Schiefe(ξ) = Schiefe(ξα ), wobei ξα = (αx1 , . . . , αxN ) durch Reskalierung mit einem Faktor α > 0 aus ξ entsteht. Diese Skalierungsinvarianz kann als ein Grund für
die Wahl von Var(ξ)−3/2 zur Normierung der Schiefe betrachtet werden.
A.1.9
Vgl. Abbildung A.1.1.
A.1.10
Insgesamt gibt es 138 Hörer. Die Gruppe A (B) umfaßt hierbei 35 (41) Hörer.
A.1.11
Vgl. Abbildungen A.1.2 - A.1.4.
A.1.12
Vgl. Abbildung A.1.5.
A.1.13
Diese Aussage ergibt sich durch einen Vergleich der Mittelwerte und der Mediane.
A.1.14
Man vergleiche die Varianzen. Die Notenverteilung der Gruppe A besitzt insbesondere
eine wesentlich größere Varianz als die Notenverteilung der Gruppe B.
A.1.15Die Gruppe A enthält 3 (5) von zusammengenommen 8 (12) Hörern mit der Note 1
(5). Im Gegensatz dazu sind 0 (1) solche Hörer in der Gruppe B zu finden.
26. Juli 2010
161
Name
Vorname
Matrikelnummer
Abschluß
Hauptfächer
...
...
...
Diplom
Diplom
Diplom
Lehramt
Diplom
LA
Diplom
Lehramt
Diplom
Diplom
Lehramt
Mathematik
Mathematik
Mathe
Mathematik
Mathe
Mathe/Engl
Physik
Mathe
Mathematik
Physik
Mathematik
...
...
...
...
...
...
...
...
...
...
...
...
Diplom
Mathematik
Mathe
Lehramt
Lehramt
Mathematik
Mathe/Spanisch
LA
Bachelor Computer Linguistik
Mathe
Lehramt
Diplom
Mathematik
Mathe
Diplom
Mathe/Biologie
LA
Mathe
Lehramt
Master
Informatik
Mathe
Lehramt
Mathe
Lehramt
Diplom
Physik
Lehramt
Mathematik
Mathe
Lehramt
Mathe/Chemie
LA
Mathe
Lehramt
Bachelor
Informatik
Mathe/Chemie
LA
Diplom
Physik
Lehramt
Mathematik
Lehramt
Mathematik
BachMast
Mathe
...
...
Punkte
Übungen
110,5
100,5
119,5
78,0
83,5
72,5
85,5
102,0
69,0
67,5
114,5
72,0
126,5
127,5
121,0
113,5
75,5
100,0
120,5
103,0
106,0
90,5
124,0
48,0
62,0
105,0
111,0
128,0
111,0
77,5
84,0
91,5
85,0
97,0
100,0
113,0
...
Punkte
Klausur
17,5
19,5
28,0
19,0
24,5
16,0
16,0
23,0
12,0
9,0
15,5
2,0
22,0
23,5
23,0
23,5
3,5
13,5
17,0
21,0
23,5
15,0
23,5
17,5
19,0
22,5
23,5
24,5
20,5
19,0
2,0
23,0
11,0
25,0
21,0
19,5
...
Note
Übungen
1,84
2,26
1,45
3,23
2,99
3,46
2,91
2,20
3,61
3,68
1,66
3,49
1,15
1,11
1,39
1,71
3,34
2,29
1,41
2,16
2,03
2,69
1,26
4,51
3,91
2,07
1,81
1,09
1,81
3,25
2,97
2,65
2,93
2,41
2,29
1,73
...
Note
Klausur
2,98
2,68
1,44
2,76
1,95
3,20
3,20
2,17
3,78
4,22
3,27
5,24
2,32
2,10
2,17
2,10
5,02
3,56
3,05
2,46
2,10
3,34
2,10
2,98
2,76
2,24
2,10
1,95
2,54
2,76
5,24
2,17
3,93
1,88
2,46
2,68
...
Vorläufige
Note
2,60
2,54
1,44
2,91
2,30
3,28
3,10
2,18
4,00
5,00
2,73
5,00
1,93
1,77
1,91
1,97
5,00
3,14
2,50
2,36
2,07
3,13
1,82
3,49
3,14
2,19
2,00
1,66
2,30
2,92
5,00
2,33
4,00
2,06
2,40
2,36
...
Note
2,50
2,50
1,50
3,00
2,50
3,50
3,00
2,00
4,00
5,00
2,50
5,00
2,00
2,00
2,00
2,00
5,00
3,00
2,50
2,50
2,00
3,00
2,00
3,50
3,00
2,00
2,00
1,50
2,50
3,00
5,00
2,50
4,00
2,00
2,50
2,50
...
Abbildung A.1.1. Notenliste einer Vorlesung. Die persönlichen
Daten sind gelöscht.
Gesamtnotenverteilung
40
35
Häufigkeit
30
25
20
15
10
5
0
1,0
1,5
2,0
2,5
3,0
3,5
4,0
5,0
Noten
Abbildung A.1.2. Notenverteilung aller Hörer der Vorlesung.
26. Juli 2010
6,0
162
Notenverteilung Gruppe A
10
9
8
Häufigkeit
7
6
5
4
3
2
1
0
1,0
1,5
2,0
2,5
3,0
3,5
4,0
5,0
6,0
Noten
Abbildung A.1.3. Notenverteilung der Hörer der Gruppe A.
Notenverteilung Gruppe B
16
14
Häufigkeit
12
10
8
6
4
2
0
1,0
1,5
2,0
2,5
3,0
3,5
4,0
5,0
6,0
Noten
Abbildung A.1.4. Notenverteilung der Hörer der Gruppe B.
Noten. Eine Tendenz zu guten Noten ist allerdings deutlich zu erkennen A.1.16. Die
A.1.16Diese Aussage wird auch durch den niedrigen Mittelwert und die geringe Varianz der
Notenverteilung der Gruppe B deutlich.
26. Juli 2010
163
Alle Hörer
Gruppe A
Gruppe B
Mittelwert Median Varianz Schiefe
2,66
2,50
1,09
0,74
2,97
3,00
1,40
0,17
2,52
2,50
0,56
1,27
Abbildung A.1.5. Kennzahlen für die einzelnen Gruppen von Hörern.
Gruppe B scheint viele Hörer zu umfassen, denen es gelingt, durch konzentriertes
Arbeiten ihre Leistung wesentlich zu verbessern.
In den Diagrammen und den Kennzahlen wird die in der ursprünglichen Notenliste A.1.17 enthaltene Information komprimiert und daher verringert. Ein interessantes Detail, das nur dieser Gesamtliste entnommen werden kann, ist die Tatsache,
daß die beiden leistungsstärksten Hörer der Vorlesung der Gruppe A angehören.
Bei einer abschließenden Bewertung der in diesem Beispiel A.1.1 vorgestellten
Daten und Überlegungen sollte auch berücksichtigt werden, daß die Klausur, deren
Ergebnisse ganz wesentlich in die Notengebung einfließen, am Ende des Semesters,
d.h. in einem Zeitraum, in dem die Belastung der Hörer besonders hoch ist, geschrieben wird. Welchen Wert die einzelnen Hörer der Scheinnote zugewiesen haben und
welchen Aufwand zu ihrer Vorbereitung sie daher im Vergleich mit dem Aufwand
für andere Prüfungen, bzw. ihre Freizeit als angemessen betrachtet haben, geht aus
den vorliegenden Daten nicht hervor A.1.18.
A.1.17Vgl. Abbildung A.1.1.
A.1.18Der genannte Aufwand zur Vorbereitung der Klausur bestimmt natürlich ganz wesent-
lich die Note.
26. Juli 2010
Literaturverzeichnis
[1] L.V. Ahlfors. Complex Analysis, 2nd Edition. McGraw-Hill, 1966.
[2] H. Bauer. Wahrscheinlichkeitstheorie und Grundzüge der Maßtheorie, 2. Auflage. De Gruyter,
1974.
[3] R. Durrett. Probability: Theory and Examples, 2nd Edition. Duxbury Press, 1995.
[4] W. Feller. An Introduction to Probability Theory and its Applications, Volume II, 2nd Edition. Wiley, 1971.
[5] H.-O. Georgii. Stochastik. De Gruyter, 2002.
[6] G. Grimmett, D. Stirzaker. Probability and Random Processes, 3rd Edition. Oxford University Press, 2003.
[7] C. Hesse. Angewandte Wahrscheinlichkeitstheorie. Vieweg 2003.
[8] E. Hewitt, K. Stromberg. Real and Abstract Analysis, Springer Verlag, 1965.
[9] O. Kallenberg. Foundations of Modern Probability, 2nd Edition. Springer, 2002.
[10] U. Krengel. Einführung in die Wahrscheinlichkeitstheorie und Statistik, 7. Auflage. Vieweg
Verlag, 2003.
[11] M. Matsumoto, T. Nishimura. Mersenne twister: a 623-dimensionally equidistributed uniform
pseudo-random number generator. ACM Transactions on Modeling and Computer Simulation 8 (Special issue on uniform random number generation), 3 - 30, 1998.
[12] J. Stoer. Numerische Mathematik 1, 5. Auflage. Springer, 1989.
165