Wahrscheinlichkeitstheorie WS 2009/10

Wahrscheinlichkeitstheorie
WS 2009/10
Vorlesung von Priv.-Doz. Dr. J. Dippon
25. März 2010
Inhaltsverzeichnis
1 Wahrscheinlichkeitsräume
1
2 Kombinatorische Wahrscheinlichkeitsrechnung
9
3 Zufallsvariablen und Verteilungen
12
3.1
Meßbare Abbildungen und Zufallsvariablen . . . . . . . . .
12
3.2
Bildmaße und Verteilungen . . . . . . . . . . . . . . . . . .
14
4 Erwartungswerte und Dichten
17
5 Unabhängigkeit
24
6 Erzeugende und charakteristische Funktionen, Faltungen
28
6.1
Erzeugende Funktionen . . . . . . . . . . . . . . . . . . . .
28
6.2
Charakteristische Funktionen . . . . . . . . . . . . . . . .
30
7 Spezielle Verteilungen
35
7.1
Diskrete Verteilungen . . . . . . . . . . . . . . . . . . . . .
35
7.2
Totalstetige Verteilungen . . . . . . . . . . . . . . . . . . .
38
8 Gesetze der großen Zahlen
42
8.1
Konvergenzbegriffe . . . . . . . . . . . . . . . . . . . . . .
42
8.2
Schwache und starke Gesetze der großen Zahlen . . . . . .
43
9 Zentrale Grenzwertsätze
46
9.1
Schwache Konvergenz von Wahrscheinlichkeitsmaßen in Rd
46
9.2
Zentrale Grenzwertsätze . . . . . . . . . . . . . . . . . . .
48
9.3
Multivariate zentrale Grenzwertsätze . . . . . . . . . . . .
50
10 Bedingte Erwartungen
52
11 Martingale
57
A Begriffe und Sätze der Maß- und Integrationstheorie
63
Literatur
65
2
1
Wahrscheinlichkeitsräume
Definition 1.1. Sei Ω eine nichtleere Menge. Ein System A von Teilmengen von Ω heißt eine Algebra, wenn
1) ∅ ∈ A
2) A ∈ A =⇒ Ac := Ω\A ∈ A
3) A, B ∈ A =⇒ A∪B ∈ A
m
∪ An ∈ A,
oder — äquivalent — A1 , . . . , Am ∈ A =⇒
n=1
das System A heißt σ-Algebra, falls zusätlich gilt
∞
3’) An ∈ A (n = 1, 2, . . .) =⇒ ∪ An ∈ A .
n=1
Bemerkung 1.1. A σ-Algebra =⇒ A Algebra.
Lemma 1.1.
a) Sei A eine Algebra.
m
A1 , . . . , Am ∈ A =⇒ ∩ An ∈ A
n=1
A, B ∈ A =⇒ A\B ∈ A .
b) Sei A eine σ-Algebra.
∞
An ∈ A (n = 1, 2, . . .) =⇒ ∩ An ∈ A .
n=1
Eine Algebra [σ-Algebra] enthält ∅, Ω und ist abgeschlossen gegenüber endlich [abzählbar] vielen üblichen Mengenoperationen.
Definition 1.2. Es sei Ω eine nichtleere Menge, A eine σ-Algebra in Ω.
Das Paar (Ω, A) heißt Messraum (measurable space); die Elemente ∈ A
heißen A-messbare Mengen.
Lemma 1.2.
1
a) Aα Algebren in Ω (α ∈ I) =⇒ ∩ Aα Algebra in Ω.
α∈I
b) C Mengensystem in Ω =⇒ es existiert eine kleinste C enthaltende
Algebra.
Entsprechend für σ-Algebren.
Definition 1.3. C sei ein Mengensystem in Ω. Die kleinste der C enthaltenden Algebren heißt die von C erzeugte Algebra; C heißt ein Erzeugersystem dieser Algebra. —
Entsprechend für σ-Algebren;
Bezeichnung: F(C) . . . die von C erzeugte σ-Algebra.
Definition 1.4. On := System der offenen Mengen des Euklidischen Raumes Rn ; Bn := F(On ), B := B1 . Bn wird als σ-Algebra der Borelschen
Mengen in Rn bezeichnet.
Bn enthält alle abgeschlossenen Mengen und alle höchstens abzählbaren
Mengen in Rn .
Es gilt Bn ⊂ P(Rn ).
6=
Satz 1.1. Das System Jn der halboffenen Intervalle (a, b] := {(x1 , . . . , xn ) ∈
Rn | ai < xi ≤ bi (i = 1, . . . , )} in Rn (a = (a1 , . . . , an ), b = (b1 , . . . , bn ) ∈
Rn mit ai < bi ) [oder auch das System der offenen Intervalle, der abgeschlossenen Intervalle, der Intervalle (−∞, a] oder der Intervalle (−∞, a)]
ist ein Erzeugersystem von Bn .
Definition 1.5. C sei ein Mengensystem in Ω mit ∅ ∈ C. Eine Mengenfunktion µ : C → R := R ∪ {+∞, −∞} heißt (mit a + ∞ = ∞ (a ∈ R),
∞ + ∞ = ∞ usw.)
a) ein Inhalt (content) auf C, wenn
• µ ist nulltreu, d.h. µ(∅) = 0,
2
• µ positiv, d.h. ∀
µ(A) ≥ 0,
A∈C
• µ additiv, d.h. für alle paarweise disjunkte An ∈ C (n = 1, 2, . . . , m)
P
Pm
Pm
mit m
n=1 An ∈ C gilt µ (
n=1 An ) =
n=1 µ(An ).
b) ein Maß (measure) auf C, wenn
• µ ist nulltreu, d.h. µ(∅) = 0,
• µ positiv, d.h. ∀
µ(A) ≥ 0,
A∈C
• µ σ-additiv, d.h. für alle paarweise disjunkte An ∈ C (n =
P
P∞
P∞
1, 2, . . .) mit ∞
A
∈
C
gilt
µ
(
A
)
=
n=1 n
n=1 n
n=1 µ(An ) .
“Natürliche” Definitionsbereiche für Inhalt und Maß sind Algebren bzw. σP
P∞
Algebren (dann Verzicht auf Voraussetzung m
A
∈
C
bzw.
n=1 n
n=1 An ∈
C). Häufig werden nur diese Definitionsbereiche verwendet.
Jedes Maß ist ein Inhalt.
Definition 1.6. Ist A eine σ-Algebra in Ω, µ ein Maß auf A, so heißt
(Ω, A, µ) ein Maßraum (measure space). Ist (Ω, A) ein Messraum, Z =
{z1 , z2 , . . .} eine höchstens abzählbare Teilmenge von Ω, so heißt µ : A → R
mit µ(A) := Anzahl der zi ∈ A, A ∈ A, ein abzählendes Maß (counting
measure).
Bemerkung 1.2. A Algebra in Ω, µ endlicher Inhalt auf A.
A, B ∈ A, A ⊂ B =⇒ µ(B\A) = µ(B) − µ(A) . . . Subtraktivität.
Definition 1.7. Sei A eine σ-Algebra in Ω. Eine Abbildung P : A → R
heißt ein Wahrscheinlichkeitsmaß (W-Maß) auf A, wenn
• P (∅) = 0,
• P positiv, d.h. P (A) ≥ 0,
3
• P σ-additiv, d.h. für alle paarweise disjunkte An ∈ A (n = 1, 2, . . .)
gilt
!
∞
∞
X
X
P (An ),
P
An =
n=1
n=1
• P normiert, d.h. P (Ω) = 1.
(Ω, A, P ) heißt dann ein Wahrscheinlichkeitsraum (W-Raum) (probability space).
Ein W-Raum ist ein normierter Maßraum.
Ist (Ω, A, P ) ein W-Raum, so bezeichnet man die Grundmenge Ω auch als
Merkmalraum, Stichprobenraum (sample space), die Mengen A ∈ A als
Ereignisse, P (A) als Wahrscheinlichkeit von A, die Elemente ω ∈ Ω bzw.
die 1-Punkt-Mengen {ω} ⊂ Ω (nicht notwendig ∈ A) als Elementarereignisse (auch Realisierungen).
1
(ω ∈ Ω)
Ein W-Raum (Ω, A, P ) mit Ω endlich, A = P(Ω), P ({ω}) = |Ω|
(|Ω| = Anzahl der Elemente in Ω) heißt Laplacescher W-Raum:
Für A ∈ A gilt P (A) =
Anzahl der “günstigen” Fälle
|A|
=
|Ω| Anzahl der “möglichen” Fälle
Es sei (Ω, A) = (R, B) und (pk )k∈N0 (N0 := {0, 1, . . .}) eine Zahlenfolge mit
P
pk ≥ 0 (k ∈ N0 ), ∞
k=0 pk = 1. Dann ist P : B → R mit
X
P (A) :=
pk , A ∈ A ,
k∈A∩N0
ein W-Maß. (pk ) heißt Zähldichte zu P .
k
Ist speziell pk = e−λ λk! , (k ∈ N0 ) bei festem λ > 0, so heißt P PoissonVerteilung mit Parameter λ . . . Bezeichnung π(λ).
Bezeichnung [für Mengen An (n = 1, 2, . . .), A]
4
∞
An ↑ A : A1 ⊂ A2 ⊂ A3 ⊂ . . . , ∪ An = A
n=1
∞
An ↓ A : A1 ⊃ A2 ⊃ A3 ⊃ . . . , ∩ An = A.
n=1
Satz 1.2. Sei A eine Algebra in Ω, µ ein endlicher (d.h. µ(Ω) < ∞)
Inhalt auf A. Dann sind die folgenden Aussagen a), . . . , d) äquivalent:
a) µ σ-additiv
b) µ stetig von unten,
d.h. [An ∈ A, An ↑ A ∈ A =⇒ µ(An ) → µ(A)]
c) µ stetig von oben,
d.h. [An ∈ A, An ↓ A ∈ A =⇒ µ(An ) → µ(A)]
d) µ ∅-stetig,
d.h. [An ∈ A, An ↓ ∅ =⇒ µ(An ) → 0] .
Auch ohne die Voraussetzung der Endlichkeit von µ gilt a) ⇐⇒ b).
Lemma 1.3. Sei A eine Algebra in Ω, µ ein Inhalt auf A.
a) µ ist monoton,
d.h. [A, B ∈ A, A ⊂ B =⇒ µ(A) ≤ µ(B)] .
b) µ ist subadditiv,
m
m
P
n=1
n=1
d.h. [A1 , . . . , Am ∈ A =⇒ µ( ∪ An ) ≤
µ(An )] .
c) Ist µ ein Maß, dann ist µ sogar σ-subadditiv,
∞
∞
∞
P
n=1
n=1
n=1
d.h. [An ∈ A (n = 1, 2, . . .), ∪ An ∈ A =⇒ µ( ∪ An ) ≤
µ(An )] .
Satz 1.3 (1. Lemma von Borel und Cantelli).
W-Raum (Ω, A, P ); An ∈ A (n ∈ N) . Mit
∞
∞
lim An := ∩ ∪ Ak = {ω ∈ Ω | existieren unendlich viele n ∈ N mit ω ∈ An }
n=1 k=n
=
“Ereignis, dass unendlich viele An eintreten”
5
gilt dann:
∞
X
P (An ) < ∞
=⇒ P (lim An ) = 0,
n=1
d.h. P-f.s. gilt: An tritt nur endlich oft auf
Satz 1.4. (Fortsetzungs- und Eindeutigkeitssatz) [Verallgemeinerung
siehe Bauer (Maß- und Integrationstheorie) §5, Elstrodt Kap. II §4, Hinderer §16] Sei P ein normiertes [d.h. P (Ω) = 1] Maß auf einer Algebra A
in Ω. Dann existiert genau ein W-Maß P ∗ auf F(A), das P fortsetzt [d.h.
∀ P ∗ (A) = P (A)].
A∈A
Bemerkung 1.3. P ∗ in Satz 1.4 ist gegeben durch
(∞
)
X
P (Bn ) | Bn ∈ A (n = 1, 2, . . .) mit A ⊂ ∪ Bn , A ∈ F(A) .
P ∗ (A) = inf
n
n=1
Bemerkung 1.4. Es ist im allgemeinen nicht möglich, P fortzusetzen von
A auf P(Ω).
Satz 1.5. Es gibt genau ein Maß λ auf Bn , das jedem beschränkten (nach
rechts halboffenen) Intervall in Rn seinen elementargeometrischen Inhalt
zuordnet.
Definition 1.8. Das Maß λ in Satz 1.5 heißt Lebesgue–Borel–Maß (LB-Maß) in Rn .
Definition 1.9. Eine Funktion F : R → R, die monoton wachsend (im
Sinne von nicht fallend) und rechtsseitig stetig ist mit
lim F (x) = 0,
lim F (x) = 1 ,
x→−∞
x→+∞
heißt (eindimensionale) Verteilungsfunktion (VF).
Satz 1.6. Zu jedem W-Maß P auf B gibt es genau eine VF F : R → R, so
dass
(∗)
F (b) − F (a) = P ((a, b]), a ≤ b, a, b ∈ R
6
gilt, und umgekehrt . . . Bijektion P ←→ F . Hierbei F (x) = P ((−∞, x]), x ∈
R.
Beispiel: Φ : R → [0, 1] mit
1
Φ(x) := √
2π
Zx
t2
e− 2 dt, x ∈ R,
−∞
ist eine VF. Das zugehörige W-Maß auf B ist die sogenannte standardisierte Normalverteilung . . . Bezeichnung N (0, 1).
Verallgemeinerung: Normalverteilung (Gauß-Verteilung) N (a, σ 2 ) (a, σ ∈
R, σ > 0) mit durch
1
F (x) := √
2πσ
Zx
e−
(t−a)2
2σ 2
dt, x ∈ R,
−∞
gegebener VF F .
Bemerkung 1.5. Definition 1.9, Satz 1.6 lassen sich auf Bn und Rn als
Definitionsbereiche von P bzw. F verallgemeinern statt B bzw. R. Dabei
ist die VF F zu einem W-Maß P auf Bn gegeben durch
F (x1 , . . . , xn ) = P ({(u1 , . . . , un ) ∈ Rn | u1 ≤ x1 , . . . , un ≤ xn })
für (x1 , . . . , xn ) ∈ Rn .
Definition 1.10. Es sei (Ω, A, P ) ein W-Raum, A ∈ A, B ∈ A mit P (B) >
0. Dann heißt
P (A ∩ B)
P (A | B) :=
P (B)
die bedingte Wahrscheinlichkeit (conditional probability) von A unter
der Bedingung B.
Satz 1.7. Sei (Ω, A, P ) ein W-Raum.
a) Bei festem B ∈ A mit P (B) > 0 ist P (· | B) ein W-Maß auf A, das
auf B konzentriert ist [d.h. P (B | B) = 1].
7
b) Für A, B ∈ A mit P (A) > 0, P (B) > 0 gilt
P (A | B) = P (B | A) ·
P (A)
.
P (B)
m−1
c) Für An ∈ A (n = 1, . . . , m) mit P ( ∩ An ) > 0 gilt
n=1
m
m−1
n=1
n=1
P ( ∩ An ) = P (A1 ) · P (A2 | A1 ) · P (A3 | A1 ∩ A2 ) · . . . · P (Am | ∩ An ) .
Satz 1.8. Es sei (Ω, A, P ) ein W-Raum, {Bn ; n ∈ I} eine höchstens
abzählbare Familie paarweise disjunkter Ereignisse Bn ∈ A mit P (Bn ) >
P
0 (n ∈ I) und
Bn = Ω. Dann gilt
n∈I
a) die Formel von der totalen Wahrscheinlichkeit
X
P (A) =
P (Bn )P (A | Bn ) (A ∈ A)
n∈I
b) die Formel von Bayes
P (Bk ) · P (A | Bk )
, k ∈ I (A ∈ A mit P (A) > 0)
P (Bk | A) = P
P (Bn )P (A | Bn )
n∈I
Bezeichnungen [Maßraum (Ω, A, µ), W-Raum (Ω, A, P )]:
µ-fast überall (µ-f.ü.) in Ω bzw. P -fast sicher (P -f.s.) in Ω . . . überall bis
auf eine Menge ∈ A vom µ-Maß bzw. P -Maß Null [oder eine Teilmenge
hiervon].
L-fast überall (L-f.ü.) in Rn . . . überall bis auf eine Menge ∈ Bn vom L-BMaß Null [oder eine Teilmenge hiervon].
8
2
Kombinatorische Wahrscheinlichkeitsrechnung
Zugrundegelegt werden Laplacesche W-Räume; die Abzählung der “günstigen” und der “möglichen” Fälle erfolgt systematisch mit Hilfe der Kombinatorik.
Definition 2.1. Gegeben seien n — nicht notwendig verschiedene — Elemente a1 , . . . , an . Das n-tupel (ai1 , . . . , ain ) mit ij ∈ {1, . . . , n}, ij 6= ik für
j 6= k (j, k = 1, . . . , n) heißt eine Permutation der gegebenen Elemente.
Satz 2.1. Die Anzahl der Permutationen von n verschiedenen Elementen
ist n!.
Verallgemeinerung:
Satz 2.2. Gegeben seien n Elemente; die verschiedenen Elemente darunter
seien mit a1 , . . . , ap bezeichnet (p ≤ n). Tritt ai ni -fach auf (i = 1, . . . , p,
p
P
wobei
ni = n), dann können die n Elemente auf
i=1
n!
n1 ! . . . np !
verschiedene Arten permutiert werden.
Definition 2.2. Sei A eine n-elementige Menge, k ∈ N.
a) [b)] Jedes k-tupel (a1 , . . . , ak ) mit nicht notwendig verschiedenen [lauter verschiedenen] ai ∈ A heißt eine Kombination k-ter Ordnung
aus A mit [ohne] Wiederholung und mit Berücksichtigung
der Anordnung.
(c) [d)] Werden in a) [b)] Kombinationen, welche dieselben Elemente in
verschiedener Anordnung enthalten, als äquivalent aufgefasst, so heißen die einzelnen Äquivalenzklassen Kombinationen k-ter Ordnung aus A mit [ohne] Wiederholung und ohne Berücksichtigung der Anordnung.
9
Interpretation (mit A = {1, . . . , n}): Aufteilung von k Kugeln auf n Zellen, wobei in a) [b)] die Zellen mehrfach [nicht mehrfach] besetzt werden
dürfen und die Kugeln unterscheidbar sind (ai . . . Nummer der Zelle, in
der die i-te Kugel liegt), in c) [d)] die Zellen mehrfach [nicht mehrfach]
besetzt werden dürfen und die Kugeln nicht unterscheidbar sind (ein Repräsentant der Äquivalenzklasse ist gegeben durch ein k-tupel von Zahlen
aus {1, . . . , n}, in dem die Zellennummern so oft auftreten, wie die zugehörige Zelle besetzt ist).
Satz 2.3. Die Anzahl der Kombinationen k-ter Ordnung aus der n-elementigen Menge A — mit [ohne] Wiederholung und mit [ohne] Berücksichtigung
der Anordnung — ist gegeben durch
m. Berücksichtigung der Anordnung
o. Berücksichtigung der Anordnung
m. Wiederholung
o. Wiederholung (1 ≤ k ≤ n)
nk
n(n − 1) . . . (n − k + 1)
n
n+k−1
k
k
Bestimmung von Fakultäten durch Tabellen für log n! und — bei großem n
— durch die Stirlingsche Formel
n n √
∼
n! =
2πn (n → ∞)
e
und ihre Verschärfung
exp
1
n!
1
< n √
< exp
,
12n + 1 ( e )n 2πn
12n
n ∈ N.
Anwendung in der Physik. Man beschreibt das makroskopische Verhalten von k Teilchen in der Weise, dass man den (der Darstellung des Momentanzustandes dienenden) Phasenraum in n kongruente würfelförmige
Zellen zerlegt und die Wahrscheinlichkeit p(k1 , . . . , kn ) bestimmt, dass sich
genau ki der Teilchen in der i-ten Zelle befinden (i ∈ {1, . . . , n}). Sei Ω0 die
n
P
n
Menge aller n-tupel (k1 , . . . , kn ) ∈ N0 von Besetzungszahlen mit
ki = k.
W-Maße auf P(Ω0 ) (charakterisiert durch p):
10
i=1
1) Maxwell-Boltzmann-Statistik (Unterscheidbarkeit der Teilchen, Mehrfachbesetzbarkeit von Zellen)
p(k1 , . . . , kn ) =
1
k!
k1 ! . . . kn ! n k
2) Bose-Einstein-Statistik zur Beschreibung des Verhaltens von Photonen (keine Unterscheidbarkeit der Teilchen, jedoch Mehrfachbesetzbarkeit von Zellen)
−1
n+k−1
p(k1 , . . . , kn ) =
k
3) Fermi-Dirac-Statistik zur Beschreibung des Verhaltens von Elektronen, Protonen und Neutronen (keine Unterscheidbarkeit der Teilchen, keine Mehrfachbesetzbarkeit von Zellen )
( −1
n
, ki ∈ {0, 1}
k
p(k1 , . . . , kn ) =
0
, sonst.
Die Binomialverteilung b(n, p) mit Parametern n ∈ N, p ∈ (0, 1) ist ein
W-Maß auf B mit der Zähldichte
( n
k
n−k
, k = 0, 1, . . . , n
k p (1 − p)
k→
0
, k = n + 1, n + 2, . . . ;
durch diese wird für n “unabhängige” Versuche mit jeweiliger Erfolgswahrscheinlichkeit p die Wahrscheinlichkeit von k Erfolgen angegeben.
11
3
Zufallsvariablen und Verteilungen
3.1
Meßbare Abbildungen und Zufallsvariablen
Definition 3.1. Zwei nichtleere Mengen Ω, Ω0 ; A0 ⊂ Ω0 ; Abbildung X :
Ω → Ω0 . Die Menge
{ω ∈ Ω | X(ω) ∈ A0 } =: X −1 (A0 ) =: [X ∈ A0 ]
(in Ω) heißt das Urbild von A0 bezüglich der Abbildung X; die somit
definierte Abbildung X −1 : P(Ω0 ) → P(Ω) heißt Urbildfunktion (zu
unterscheiden von einer inversen Funktion!).
Bezeichnung. Sei X : Ω → Ω0 , C 0 Mengensystem in Ω0 .
X −1 (C 0 ) := {X −1 (A0 ) | A0 ∈ C 0 }.
| {z }
ein Mengensystem in Ω
Satz 3.1. Sei X : Ω → Ω0 .
P
a) X −1 und Mengenoperationen ∪, , ∩, c , \ sind vertauschbar;
z.B. X −1 ( ∪ A0α ) = ∪ X −1 (A0α ) (A0α ⊂ Ω0 , α ∈ Indexbereich I).
α∈I
b) X −1 (∅) = ∅;
α∈I
X −1 (Ω0 ) = Ω;
A0 ⊂ B 0 ⊂ Ω0 =⇒ X −1 (A0 ) ⊂ X −1 (B 0 ).
c) A0 σ-Algebra in Ω0 =⇒ X −1 (A0 ) σ-Algebra in Ω.
d) C 0 ⊂ P(Ω0 ) =⇒ X −1 (FΩ0 (C 0 )) = FΩ (X −1 (C 0 )) .
Definition 3.2. Messräume (Ω, A), (Ω0 , A0 ). Die Abbildung X : Ω → Ω0
heißt A-A0 -messbar [kurz: messbar; measurable], wenn gilt:
−1
0
∀ X (A ) ∈ A,
d.h. X −1 (A0 ) ⊂ A,
A0 ∈A0
d.h. Urbilder von messbaren Mengen in Ω0 sind messbare Mengen in Ω.
In diesem Falle Schreibweise X: (Ω, A) → (Ω0 , A0 ).
12
Bemerkung 3.1. In Satz 3.1c ist X −1 (A0 ) die kleinste der σ-Algebren A
in Ω mit A − A0 -Messbarkeit von X.
Definition 3.3. Es sei (Ω, A, P ) ein W-Raum, (Ω0 , A0 ) ein Messraum.
Die Abbildung X : (Ω, A) → (Ω0 , A0 ) heisst Zufallsvariable (ZV ) auf
(Ω, A, P ) [mit Zustandsraum Ω0 ] (ausführlich: (Ω0 , A0 )-ZV auf (Ω, A, P );
random variable).
X : (Ω, A) → (R, B) heißt reelle ZV (oft auch nur ZV);
X : (Ω, A) → (R, B) heißt erweitert-reelle ZV;
X : (Ω, A) → (Rn , Bn ) heißt n-dimensionaler Zufallsvektor.
X(ω) für ein ω ∈ Ω heißt eine Realisierung der ZV X.
Bezeichnung B := {B, B ∪ {+∞}, B ∪ {−∞}, B ∪ {−∞, +∞} | B ∈ B}.
Satz 3.2. Messräume (Ω, A), (Ω0 , A0 ); X : Ω → Ω0 ; C 0 Erzeugersystem von
A0 . Dann gilt:
X messbar ⇐⇒ ( ∀ X −1 (C 0 ) ∈ A)
0
0
|C ∈C
{z
}
−1 0
d.h. X (C ) ⊂ A
Satz 3.3. Messraum (Ω, A), X : Ω → R. Dann gilt
X A-B-messbar ⇐⇒ ∀ [X ≤ α] ∈ A
α∈R
⇐⇒ ∀ [X < α] ∈ A
α∈R
⇐⇒ ∀ [X ≥ α] ∈ A.
α∈R
Korollar 3.1. Für zwei Abbildungen X, Y : (Ω, A) → (R, B) gilt
[X < Y ], [X ≤ Y ], [X = Y ],
| {z }
:= {ω ∈ Ω | X(ω) < Y (ω)}.
[X 6= Y ] ∈ A.
Satz 3.4. Sei ∅ =
6 A ⊂ Rm , A ∩ Bm := {A ∩ B | B ∈ Bm }.
Jede stetige Abbildung g : A → Rn ist A ∩ Bm -Bn -messbar.
13
Satz 3.5. X : (Ω1 , A1 ) → (Ω2 , A2 ), Y : (Ω2 , A2 ) → (Ω3 , A3 ).
Die zusammengesetzte Abbildung Y ◦ X : Ω1 → Ω3 ist dann A1 -A3 messbar.
Korollar 3.2. Für X : (Ω, A) → (Rm , Bm ) und eine stetige Abbildung
g : Rm → Rn ist g ◦ X : Ω → Rn A-Bn -messbar.
Satz 3.6. Messraum (Ω, A).
a) Sei Xn : (Ω, A) → (R, B) (n = 1, . . . , m).
Dann ist Y : Ω → Rm mit Y (ω) := (X1 (ω)), . . . , Xm (ω)), ω ∈ Ω,
A-Bm -messbar, und für g : (Rm , Bm ) → (R, B) ist g ◦ Y : Ω → R
A-B-messbar.
b) Seien X1,2 : (Ω, A) → (R, B).
Dann sind αX1 + βX2
(α, β ∈ R), X1 X2 ,
messbar.
X1
(falls existent) A-BX2
Satz 3.7. Messraum (Ω, A); Xn : (Ω, A) → (R, B) (n = 1, 2, . . .) .
Dann sind inf Xn , sup Xn , lim Xn , lim Xn A-B-messbar, ebenso lim Xn (falls
n
n
n
n
n
existent).
3.2
Bildmaße und Verteilungen
Satz 3.8. Messräume (Ω, A), (Ω0 , A0 ); Abbildung X : (Ω, A) → (Ω0 , A0 );
Maß µ auf A. Durch
µX (A0 ) := µ(X −1 (A0 ))
= µ({ω ∈ Ω | X(ω) ∈ A0 }) =: µ[X ∈ A0 ];
A0 ∈ A 0 ,
wird ein Maß (das sogenannte Bildmaß) µX auf A0 definiert.
Ist µ ein W-Maß auf A, dann ist µX ein W-Maß auf A0 .
Definition 3.4. Sei X eine (Ω0 , A0 )-ZV auf dem W-Raum (Ω, A, P ).
Das W-Maß PX im Bild-W-Raum (Ω0 , A0 , PX ) heißt Verteilung der ZV X.
14
Sprechweise: Die ZV X liegt in A0 ∈ A0 , nimmt Werte in A0 ∈ A0 an mit
Wahrscheinlichkeit PX (A0 ) = P [X ∈ A0 ]. P [X ∈ A0 ] = 1 . . . P -fast sicher
(P -f.s.) liegt X in A.
Bemerkung 3.2. W-Raum (Ω, A, P ), Messräume (Ω0 , A0 ), (Ω00 , A00 ); X :
(Ω, A) → (Ω0 , A0 ), Y : (Ω0 , A0 ) → (Ω00 , A00 ). Dann gilt
PY ◦X = (PX )Y .
Definition 3.5. Messräume (Ωi , Ai ) (i = 1, . . . , n).
n
Die Produkt-σ-Algebra ⊗ Ai wird definiert als die von dem Mengeni=1
system
n
n
Q
Q
Ωi erzeugte σ-Algebra.
Ai | Ai ∈ Ai (i = 1, . . . , n) in
i=1
i=1
n
n
n
Q
⊗ (Ωi , Ai ) :=
Ωi , ⊗ Ai heißt Produkt-Messraum.
i=1
i=1
i=1
Beispiel: (Rn × Rm , Bn ⊗ Bm ) = (Rn+m , Bn+m ).
Bemerkung 3.3. Abbildung Xi : (Ω, A) → (Ωi , Ai ) (i = 1, . . . , n). Die
n
Q
Abbildung X : Ω →
Ωi mit
i=1
X(ω) := (X1 (ω), . . . , Xn (ω)), ω ∈ Ω
n
ist A- ⊗ Ai -messbar.
i=1
Bemerkung 3.4. Messräume (Ωi , Ai ) (i = 1, . . . , n). Ein W-Maß auf
n
⊗ Ai ist eindeutig festgelegt durch seine Werte auf dem Mengensystem
i=1
n
Q
Ai | Ai ∈ Ai (i = 1, . . . , n) .
i=1
Definition 3.6. Seien Xi (Ωi , Ai )-ZVn auf einem W-Raum (Ω, A, P ) (i =
1, . . . , n). Die Verteilung PX der ZV X := (X1 , . . . , Xn ) auf (Ω, A, P ) —
erklärt durch
PX (A) := P [(X1 , . . . , Xn ) ∈ A]
15
n
n
Q
i=1
i=1
für A ∈ ⊗ Ai oder auch nur für A =
Ai (Ai ∈ Ai , i = 1, . . . , n) —
heißt die gemeinsame Verteilung der ZVn Xi . Die Verteilungen PXi —
erklärt durch
PXi (Ai ) := P [Xi ∈ Ai ] = P [X ∈ Ω1 × . . . × Ωi−1 × Ai × Ωi+1 × . . . × Ωn ]
für Ai ∈ Ai — heißen Randverteilungen von PX
(i = 1, . . . , n).
Wichtiger Spezialfall in Definition 3.6: (Ωi , Ai ) = (R, B) (i = 1, . . . , n).
Bemerkung 3.5. Bezeichnungen wie in Definition 3.6.
a) Die Verteilung PX ist ohne Zusatzvoraussetzung durch ihre Randverteilungen nicht eindeutig festgelegt.
n
Q
b) Ist πi :
Ωk → Ωi die (messbare!) Projektionsabbildung.
k=1
(ω1 , . . . , ωn ) → ωi , so gilt PXi = (PX )πi (i = 1, . . . , n).
Bemerkung 3.6.
a) Sei Q ein W-Maß auf (Rn , Bn ). Dann existieren reelle ZVn X1 , . . . , Xn
auf einem geeigneten W-Raum (Ω, A, P ) so, dass ihre gemeinsame
Verteilung mit Q übereinstimmt:
(Ω, A, P ) := (Rn , Bn , Q), Xi : Ω → R wird definiert als die Projektionsabbildung
(x1 , . . . , xn ) → xi (i = 1, . . . , n);
hierbei ist also X := (X1 , . . . , Xn ) die auf Rn definierte identische
Abbildung.
b) Möglichkeit der unmittelbaren
Verallgemeinerung
von a) auf einen
n
n
Q
Ωi , ⊗ Ai statt (Rn , Bn ).
Produkt-Meßraum
i=1
i=1
c) Sonderfall zu b): Ist (Ω, A, Q) ein W-Raum, X : Ω → Ω die identische
Abbildung, so gilt PX = Q. Jedes W-Maß lässt sich somit als eine
Verteilung auffassen (und — definitionsgemäß — umgekehrt).
16
4
Erwartungswerte und Dichten
Gegeben seien ein W-Raum (Ω, A, P ) und eine reelle ZV X auf (Ω, A, P )
mit Verteilung PX (auf B) und VF F : R → R.
Bezeichnungen:

X(ω), falls X(ω) > 0
+
X (ω) :=
0
sonst

−X(ω), falls X(ω) < 0
−
X (ω) :=
0
sonst.
Der Erwartungswert EX der ZV X gibt einen “mittleren Wert” von X
bezüglich P an, die Varianz V (X) gibt die “Schwankung” der ZV X als
“mittleren Wert” ihrer quadratischen Abweichung von EX an.
Definition 4.1 des Erwartungswertes EX von X als Integral
Z
x PX (dx).
R
1. Schritt: Sei X ≥ 0 (also PX (R+ ) = 1, F (x) = 0 (x < 0)).
Z
Z
R
EX :=
x PX (dx) :=
x dF (x) := lim
[0,a] x dF (x)
| {z }
a→∞
|
{z
}
R(+)
R(+)
Riemann−Stieltjes−Integral
F (dx)
(somit 0 ≤ EX ≤ ∞)
2. Schritt: Seien EX + , EX − nicht beide ∞.
Z
EX :=
xPX (dx) := EX + − EX −
R
Definition 4.2 des Erwartungswertes EX von X als Integral
Z
Z
X(ω)P (dω) =:
XdP
Ω
Ω
17
0. Schritt: Sei X ≥ 0, und X nehme nur endlich viele Werte an. Dann
existiert Darstellung
X=
PN
PN
i=1 αi 1Ai
i=1 Ai
mit αi ∈ R, Ai ∈ A (i = 1, . . . , N ), paarweise disjunkt,
= Ω.
Z
EX :=
X dP :=
Ω
N
X
αi P (Ai )
i=1
1. Schritt: Sei X ≥ 0. Dann existieren ZVn Xn ≥ 0, die jeweils nur endlich
viele Werte annehmen mit Xn (ω) ↑ X(ω) (n → ∞), ω ∈ Ω(!):
Z
EX :=
X dP := lim EXn
n→∞
Ω
2. Schritt: Seien EX + , EX − nicht beide ∞.
Z
EX :=
X dP := EX + − EX −
Ω
Bemerkung 4.1. (zu Definition 4.1.2)
a) Die einzelnen Schritte — insbesondere bei der 2. Definition — sind
sinnvoll.
b) Die beiden Definitionen sind äquivalent.
R
c) Das Integral R xPX (dx) in der 1. Definition ändert seinen Wert nicht,
wenn man es gemäß der 2. Definition erklärt.
R
d) Der Begriff Ω XdP in Definition 4.2 lässt sich unmittelbar verallgeR
meinern auf den Fall eines Maßraumes (Ω, A, µ) und liefert Ω X(ω) µ(dω) =:
R
Ω X dµ. Wichtiger Spezialfall:
1) (Ω, A) = (Rn , Bn ) oder etwas allgemeiner Ω = B mit B ∈ Bn ,
A = σ-Algebra der Borelschen Mengen in B; µ = λ := (ReR
R
striktion des) L-B-Maß(es) auf A. Rn X dλ bzw. B X dλ wird als
Lebesgue–Integral bezeichnet.
R
R
Im Falle n = 1 Schreibweise R X(x) dx bzw. B X(x) dx.
18
2) (Ω, A) = (R, B), H : R → R maßdefinierende Funktion mit zugehörigem Maß µ, d.h. H(b)−H(a) = µ((a, b]), −∞ < a < b < ∞.
Schreibweise
Z
Z
X(x) dH(x) :=
R
Z
X(x) H(dx) :=
R
X dµ
R
Verallgemeinerung auf Ω = B ∈ B.
e) Sei X eine erweitert-reelle ZV auf einem W-Raum (Ω, A, P ) mit
(
X(ω), falls |X(ω)| < ∞, ω ∈ Ω,
P [|X| = ∞] = 0; Y (ω) :=
0
sonst.
Man definiert EX := EY , falls EX existiert.
Bemerkung 4.2. W-Raum (Ω, A, P ). Für A ∈ A gilt P (A) = E1A .
Definition 4.3. Existiert für die reelle ZV X auf dem W-Raum (Ω, A, P )
ein endlicher Erwartungswert EX, so heißt X integrierbar (bezüglich P ).
R
Analog für Ω X dµ in Bemerkung 4.1d.
Lemma 4.1. Für eine reelle ZV X ≥ 0 mit VF F gilt
Z ∞
EX =
(1 − F (x)) dx .
0
Satz 4.1. Sei X eine reelle ZV auf einem W-Raum (Ω, A, P ).
a) X integrierbar ⇐⇒ X + und X − integrierbar ⇐⇒ |X| integrierbar,
b) existiert reelle integrierbare ZV Y ≥ 0 mit |X| ≤ Y P-f.s. =⇒ X
integrierbar,
c) X integrierbar, |{z}
Y = X P-f.s. =⇒ existiert EY = EX.
reelle ZV
19
Satz 4.2. Seien X, Y reelle integrierbare ZVn auf einem W-Raum (Ω, A, P ).
a) Es existiert E(X + Y ) = EX + EY .
b) Es existiert E(αX) = αEX (α ∈ R).
c) X ≥ Y =⇒ EX ≥ EY .
d) |EX| ≤ E|X|.
e) X = Y P-f.s. =⇒ EX = EY .
f) X ≥ 0, EX = 0 =⇒ X = 0 P-f.s.
Satz 4.3. (Satz von der monotonen Konvergenz; B. Levi) Für reelle ZVn Xn auf (Ω, A, P ) mit Xn ≥ 0 (n ∈ N), Xn ↑ X (n → ∞)
existiert EX = lim EXn . Hierbei EX := ∞, falls P [X = ∞] > 0. Entspren
R
chend für Reihen von nichtnegativen ZVn. — Analog für Ω X(n) dµ gemäß
Bemerkung 4.1d.
Definition 4.4. Sei X ein n-dimensionaler Zufallsvektor mit Verteilung
PX auf Bn und VF F : Rn → R.
a) Nimmt (eventuell nach Vernachlässigung einer P -Nullmenge in Ω) X
höchstens abzählbar viele Werte an, so ist PX eine sogenannte diskrete W-Verteilung.
Ist X eine reelle ZV und PX auf N0 konzentriert (d.h. PX (N0 ) = 1),
so heißt die Folge (pk ) mit pk := PX ({k}) = P [X = k], k ∈ N0 , (wobei
P
pk = 1) Zähldichte von X bzw. PX .
b) Gibt es eine Funktion f : (Rn , Bn ) → (R+ , B+ ) [mit B+ := R+ ∩ B],
R
für die das uneigentliche Riemann-Integral Qn
f (y) dy – allge(−∞,xi ]
i=1
R
meiner das Lebesgue-Integral Qn
f dλ [λ L-B-Maß auf Bn ] –
(−∞,xi ]
i=1 n
Q
existiert und mit PX
(−∞, xi ] = F (x1 , . . . , xn ) übereinstimmt
i=1
((x1 , . . . , xn ) ∈ Rn ), so heißt f Dichte(funktion) von X bzw. PX
20
bzw. F . — PX und F heißen totalstetig, falls sie eine Dichtefunktion
besitzen.
Bemerkung 4.3.
a) Eine totalstetige VF ist stetig.
b) Besitzt die n-dimensionale VF F : Rn → R eine Dichtefunktion f :
∂ nF
Rn → R+ , so existiert L-f.ü.
, und L-f.ü. — insbesondere
∂x1 . . . ∂xn
∂ nF
= f.
an den Stetigkeitsstellen von f —
∂x1 . . . ∂xn
c) Ein uneigentliches R-Integral einer nichtnegativen Bn -B-messbaren
Funktion lässt sich als L-Integral deuten.
Satz 4.4. Sei X eine reelle ZV mit Verteilung PX .
a) Ist PX auf N0 konzentriert mit Zähldichte (pk ), dann gilt
X
EX =
kpk .
k
b) Besitzt X eine Dichtefunktion f : R → R+ , so existiert das LebesgueR
R
Integral R xf (x) dx =: R xf (x) λ(dx) [λ L-B-Maß auf B] genau dann,
wenn EX existiert, und es gilt hierbei
Z
EX =
xf (x) dx .
R
Beispiel zu Satz 4.4. ZV X auf (Ω, A, P ).
a) X sei b(n, p)-verteilt, d.h. P [X = k] =
mit n ∈ N, p ∈ [0, 1]. EX = np.
n
k
pk (1−p)n−k (k = 0, 1, . . . , n)
−λ λ
b) X sei π(λ)-verteilt, d.h. P [X = k] = e
EX = λ.
k
k!
(k ∈ N0 ), mit λ > 0.
c) X sei N (a, σ 2 )-verteilt, d.h. X habe Dichtefunktion f : R → R+ mit
2
1
− (x−a)
2
f (x) := √
e 2σ x ∈ R ,
2πσ
mit a ∈ R, σ > 0. EX = a.
21
Satz 4.5. X sei eine reelle ZV mit Verteilung PX und VF F ; g : (R, B) →
R
(R, B). E(g ◦ X) existiert genau dann, wenn R g dPX existiert, und es gilt
hierbei nach dem Transformationssatz für Integrale
Z
Z
Z
E(g ◦ X) =
g dPX =:
g dF =:
g(x) dF (x) ,
| {z }
R
R
R
F (dx)
P

g(k)pk
unter der Voraussetzung von Satz 4.4a.



k


Z
g(x)f (x) dx unter der Voraussetzung von Satz 4.4b.
E(g ◦ X) =




{z
}
|R


 Lebesgue-Integral
Insbesondere gilt (mit g = 1A , wobei A ∈ B)
 P

pk
unter Vorauss. von Satz 4.4a



k∈A∩N
0

Z
R
P [X ∈ A] = PX (A) =
1A (x)f (x) dx =: A f (x) dx unter Vorauss. von Satz 4.4b



{z
}
|R


 Lebesgue-Integral
Zusatz. X sei ein n-dimensionaler Zufallsvektor auf (Ω, A, P ) mit Dichtefunktion f : Rn → R+ ; A ∈ Bn . Dann gilt:
Z
Z
1A (x)f (x) dx =:
f (x) dx.
P [X ∈ A] = PX (A) =
Rn
A
[Falls das entsprechende R-Integral existiert, dann R-Integral = L-Integral.]
R
Bemerkung 4.5. A f (x) dx in Satz 4.4 ist gleich dem L-B-Maß der Ordinatenmenge {(x, y) ∈ R2 | x ∈ A, 0 ≤ y ≤ f (x)} von f |A in R2 .
Lemma 4.2. X sei eine reelle ZV; 0 ≤ α < β < ∞. Dann gilt
E|X|β < ∞ =⇒ E|X|α < ∞ .
Definition 4.5. X sei eine reelle ZV; k ∈ N. Im Falle der Existenz heißt
EX k das k-te Moment von X und E(X − EX)k das k-te zentrale
22
Moment von X. Ist X integrierbar, dann heißt V (X) := E(X − EX)2 die
p
Varianz von X und σ(X) :=+ V (X) die Streuung von X.
Satz 4.6. X sei eine reelle integrierbare ZV.
a) V (X) = EX 2 − (EX)2 .
b) V (aX + b) = a2 V (X) (a, b ∈ R).
Beispiel zu Satz 4.6.
a) X sei b(n, p)-verteilt mit n ∈ N, p ∈ [0, 1]. V (x) = np(1 − p).
b) X sie π(λ)-verteilt mit λ > 0. V (X) = λ.
c) X sei N (a, σ 2 )-verteilt mit a ∈ R, σ > 0.
k
Q
2k−1
2k
2k
E(X − a)
= 0, E(X − a) = σ
(2j − 1) (k ∈ N).
j=1
Satz 4.7. X sei eine reelle ZV auf einem W-Raum (Ω, A, P ). Dann gilt
für jedes ε > 0, r > 0:
P [|X| ≥ ε] ≤ ε−r E|X|r
(Markoffsche Ungleichung).
Für r = 2 erhält man die sog. Tschebyschevsche Ungleichung, die bei
integrierbarem X auch in der Variante
P [|X − EX| ≥ ε] ≤ ε−2 V (X)
angegeben wird.
Satz 4.8. (Transformationssatz für Dichten). [Verallgemeinerung s.
Hinderer S. 148]
Es sei Q ein W-Maß auf B2 und T : R2 → R2 eine injektive stetigdifferenzierbare Abbildung. Es sei R := QT das Bild-W-Maß von Q bzgl.
T [d.h. R(B) = Q(T −1 (B)), B ∈ B2 ] und ∆ der Betrag der Funktionaldeterminante von T . Hat R die Dichte g, so hat Q die Dichte (g ◦ T )∆.
23
5
Unabhängigkeit
Definition 5.1. W-Raum (Ω, A, P ). Eine Familie {Ai | i ∈ I} von Ereignissen Ai ∈ A heißt unabhängig (ausführlich: stochastisch unabhängig
bzgl. P ), falls für jede nichtleere endliche Menge K ⊂ I gilt
!
Y
\
P (Ak ) .
Ak =
P
k∈K
k∈K
Definition 5.2. W-Raum (Ω, A, P ). Eine Familie {Xi | i ∈ I} von (Ωi , Ai )
- ZVn auf (Ω, A, P ) heißt unabhängig, wenn gilt: Für jede nichtleere
endliche Indexmenge {i1 , . . . , in } ⊂ I und jede Wahl von Mengen Aiν ∈ Aiν
(ν = 1, . . . , n) ist
n
Y
P [Xi1 ∈ Ai1 , . . . , Xin ∈ Ain ] =
P Xiν ∈ Aiν .
ν=1
Sprechweise: Unabhängigkeit der ZVn statt Unabhängigkeit der Familie
der ZVn.
Lemma 5.1. Eine Familie von Ereignissen ist genau dann unabhängig,
wenn jede endliche Teilfamilie unabhängig ist. Entsprechendes gilt für Zufallsvariablen.
Bemerkung 5.1 zu Definition 5.1 bzw. Definition 5.2.
Paarweise Unabhängigkeit 6⇒ Unabhängigkeit
Bemerkung 5.2. W-Raum (Ω, A, P ); Ereignisse Ai ∈ A, i ∈ I, mit (reellen) ZVn 1Ai (Indikatorfunktionen) auf (Ω, A, P ).
{Ai | i ∈ I} unabhängig ⇐⇒ {1Ai | i ∈ I} unabhängig
Satz 5.1. Gegeben seien (Ωi , Ai ) - ZVn Xi auf einem W-Raum (Ω, A, P )
und Abb. gi : (Ωi , Ai ) → (Ω0i , A0i ), i ∈ I. Dann gilt:
{Xi | i ∈ I} unabhängig =⇒ {gi ◦ Xi | i ∈ I} unabhängig
24
Satz 5.2. Gegeben seien eine unabhängige Familie {Xi | i ∈ I} reeller ZVn
P
auf einem W-Raum (Ω, A, P ) und eine Zerlegung I =
Ij mit |Ij | < ∞.
j∈J
Das |Ij |-tupel {Xk | k ∈ Ij } sei mit Yj bezeichnet, j ∈ J.
a) Die Familie {Yj | j ∈ J} ist unabhängig.
b) Sind Abb. gj : (R|Ij | , B|Ij | ) → (R, B), j ∈ J, gegeben, so ist (nach Satz
5.1) die Familie {gj ◦ Yj | j ∈ J} unabhängig.
Bemerkung 5.3. Satz 5.2 lässt sich auf (Ωi , Ai ) - ZVn und Abb. gj :
N
(Ωi , Ai ) → (Ω0j , A0j ) verallgemeinern.
i∈Ij
Satz 5.3. Seien Xi (i = 1, . . . , n) reelle ZVn auf einem W-Raum (Ω, A, P )
mit Verteilungsfunktionen Fi . Der Zufallsvektor X := (X1 , . . . , Xn ) habe
die n-dimensionale VF F.
n
Q
F (x1 , . . . , xn ) =
Fi (xi ) .
a) {X1 , . . . , Xn } unabhängig ⇐⇒ (∗)
∀
(x1 ,...,xn )∈Rn
i=1
b) Existieren zu Fi (i = 1, . . . , n), F Dichten fi bzw. f , dann gilt

n
Q

f (x1 , . . . , xn ) =
fi (xi )



i=1
(∗) ⇐⇒
für Lebesgue - fast alle (x1 , . . . , xn ) ∈ Rn .

|
{z
}



λ-fast alle mit λ = L-B-Maß auf Bn
Satz 5.4. Seien X1 , . . . , Xn unabhängige reelle ZVn auf einem W-Raum
(Ω, A, P ) mit endlichen Erwartungswerten. Dann existiert
E(X1 . . . Xn ) = EX1 · . . . · EXn .
— Entsprechendes gilt für komplexe ZVn Xk : (Ω, A) → (R2 , B2 ), wobei
EXk := E Re Xk + iE Im Xk
(k = 1, . . . , n)
Satz 5.5. Seien X1 , . . . , Xn unabhängige reelle ZVn mit endlichen Erwartungswerten. Dann gilt
!
n
n
X
X
V
Xj =
V (Xj ) .
j=1
j=1
25
Bemerkung 5.4. In Satz 5.5 genügt statt der Unabhängigkeit von {X1 , . . . , Xn }
die sog. paarweise Unkorreliertheit, d.h.
∀ E(Xj − EXj )(Xk − EXk ) = 0 .
j6=k
Definition 5.3. Sind X, Y zwei unabhängige reelle ZVn auf einem WRaum (Ω, A, P ) mit Verteilungen PX , PY , so wird die Verteilung PX+Y =:
PX ∗ PY der ZV X + Y als Faltung von PX und PY bezeichnet.
Bemerkung 5.5. Die Faltungsoperation ist kommutativ und assoziativ.
Satz 5.6. Seien X, Y zwei unabhängige reelle ZVn.
a) Besitzen X und Y Dichten f bzw. g, so besitzt X +Y eine [als Faltung
von f und g bezeichnete] Dichte h mit
Z
Z
g(t − x)f (x) dx, t ∈ R .
h(t) =
f (t − y)g(y) dy =
R
R
{z
} |
{z
}
|
Lebesgue-Integrale
b) Besitzen X und Y Zähldichten (pk )k∈N0 bzw. (qk )k∈N0 , so besitzt X +Y
eine [als Faltung von (pk ) und (qk ) bezeichnete] Zähldichte (rk )k∈N0 mit
rk =
k
X
pk−j qj =
j=0
k
X
qk−i pi , k ∈ N0 .
i=0
Bemerkung 5.6. Gegeben seien Messräume (Ωi , Ai ) und W-Maße Qi auf
Ai , i ∈ I. Dann existiert ein W-Raum (Ω, A, P ) und (Ωi , Ai ) — ZVn Xi
auf (Ω, A, P ), i ∈ I, mit Unabhängigkeit von {Xi | i ∈ I} und PXi = Qi
(Andersen und Jessen).
Satz 5.7. (2. Lemma von Borel und Cantelli) W-Raum (Ω, A, P ).
Die Familie {An ; n ∈ N} von Ereignissen (∈ A) sei unabhängig. Dann
gilt:
∞
X
P (An ) = ∞ (⇐⇒
)
P (limAn ) = 1 .
|
{z
}
n=1
P-f.s. tritt An unendlich oft auf
26
Definition
∞ 5.4.Messraum (Ω, A). σ-Algebren An ⊂ A (n ∈ N).
Tn := F ∪ Ak . . . die von An , An+1 , . . . erzeugte σ-Algebra.
∞
k=n
T∞ := ∩ Tn heißt die σ-Algebra der terminalen Ereignisse (tail events)
n=1
der Folge (An ).
Beispiele
1) Xn : (Ω, A) → (R, B); An := F(Xn ) := Xn−1 (B) (n ∈ N)
a) [
P
Xn konv.] ∈ T∞
b) [(Xn ) konv.] ∈ T∞
2) Messraum (Ω, A). Ereignisse An ∈ A (n ∈ N);
An := {∅, An , Acn , Ω} (n ∈ N).
∞
∞
lim sup An := ∩ ∪ Ak = {ω ∈ Ω | ω ∈ An für unendliche viele
n→∞
n=1 k=n
n} ∈ T∞
∞
∞
lim inf An := ∪ ∩ Ak = {ω ∈ Ω | ω ∈ An von einem Index an} ∈ T∞
n→∞
n=1 k=n
Satz 5.8 (Null-Eins-Gesetz von Kolmogorov) W-Raum (Ω, A, P ).
Sei (An ) eine unabhängige Folge von σ-Algebren An ⊂ A.
Dann gilt für jedes terminale Ereignis A von (An ) entweder P (A) = 0 oder
P (A) = 1.
27
6
Erzeugende und charakteristische Funktionen, Faltungen
Die erzeugenden und charakteristischen Funktionen sind ein methodisches
Hilfsmittel zur Untersuchung von W-Maßen.
6.1
Erzeugende Funktionen
Definition 6.1. Es sei µ : B → R ein auf N0 konzentriertes W-Maß mit
Zähldichte (bk )k∈N0 bzw. X eine reelle ZV auf einem W-Raum (Ω, A, P ),
deren Verteilung PX auf N0 konzentriert ist, mit Zähldichte (bk )k∈N0 . Dann
heißt die auf [0, 1] (oder auch {s ∈ C | |s| ≤ 1}) definierte Funktion g mit
P

µ({k})sk


∞

X
k
g(s) :=
bk s =
bzw.


k=0

 P P [X = k]sk = P P ({k})sk = EsX
X
die erzeugende Funktion von µ bzw. X.
Bemerkung 6.1. In Definition 6.1 gilt |g(s)| ≤
|s| ≤ 1 .
P
bk |s|k ≤
P
bk = 1,
Bemerkung 6.2.
a) Die Binomialverteilung b(n, p) mit n ∈ N, p ∈ [0, 1] hat — mit q :=
1 − p — die erzeugende Funktion g mit
g(s) = (q + ps)n .
b) Die Poissonverteilung π(λ) mit λ ∈ (0, ∞) hat die erzeugende Funktion g mit
g(s) = e−λ+λs .
28
c) Als negative Binomialverteilung oder Pascal-Verteilung N b(r, p)
mit Parametern r ∈ N, p ∈ (0, 1) wird ein W-Maß auf B (oder auch
B) bezeichnet, das auf N0 konzentriert ist und — mit q := 1 − p —
die Zähldichte
r+k−1 r k
k → N b(r, p; k) :=
p q , k ∈ N0
k
besitzt. Speziell wird N b(1, p) — mit Zähldichte
k → p(1 − p)k , k ∈ N0
— als geometrische Verteilung mit Parameter p ∈ (0, 1) bezeichnet. Ist (Xn )n∈N eine unabhängige Folge von b(1, p)-verteilten ZVn,
n
P
Xk = r} − r
so ist die erweitert-reelle ZV X := inf {n ∈ N |
k=1
mit inf ∅ := ∞ N b(r, p)-verteilt. X gibt die Anzahl der Misserfolge
bis zum r-ten Erfolg bei der zu (Xn ) gehörigen Folge von Bernoullirq
rq
Versuchen an. EX = , V (X) = 2 .
p
p
N b(r, p) hat die erzeugende Funktion g mit g(s) = pr (1 − qs)−r .
Satz 6.1 (Eindeutigkeitssatz für erzeugende Funktionen).
Besitzen zwei auf B definierte, aber auf N0 konzentrierte W-Maße bzw.
Verteilungen dieselbe erzeugende Funktion, so stimmen sie überein.
Satz 6.2. Sei X eine reelle ZV, deren Verteilung auf N0 konzentriert ist,
mit erzeugender Funktion g.
a) g ist in {s ∈ C | |s| < 1} unendlich oft differenzierbar; für j ∈ N gilt
g (j) (1−) :=
lim
0≤s→1−0
0
g (j) (s) = E[X(X − 1) . . . (X − j + 1)] (≤ ∞) ,
insbesondere g (1−) = EX.
b) EX < ∞ =⇒ V (X) = g 00 (1−) + g 0 (1−) − (g 0 (1−))2 .
Satz 6.3. Seien X1 , . . . , Xn unabhängige reelle ZVn, deren Verteilungen
jeweils auf N0 konzentriert sind, mit erzeugenden Funktionen g1 , . . . , gn .
n
Q
Für die erzeugende Funktion g der Summe X1 +. . .+Xn gilt dann g =
gj
j=1
.
29
6.2
Charakteristische Funktionen
Definition 6.2. Es sei µ ein W-Maß auf B bzw. X eine reelle ZV mit
VF F . Dann heißt die auf −∞ < u < ∞ definierte (i.a. komplexwertige)
Funktion ϕ mit
Z
eiux µ(dx)
ϕ(u) :=
R
bzw.
iuX
Z
iux
Z
eiux dF (x)
R
}
| R {z
L-S-Integral oder uneig. R-S-Integral
die charakteristische Funktion von µ bzw. X.
ϕ(u) := Ee
=
e
PX (dx) =
Bemerkung 6.3. In Definition 6.2 gilt
a) ϕ(0) = 1,
b) | ϕ(u) |≤ 1, u ∈ R,
c) ϕ gleichmäßig stetig in R,
d) ϕ(−u) = ϕ(u), u ∈ R.
Bemerkung 6.4. Die Normalverteilung N (a, σ 2 ) mit a ∈ R, σ 2 ∈ (0, ∞)
hat die charakteristische Funktion ϕ mit
2 2
iau − σ 2u
ϕ(u) = e
e
.
u2
Insbesondere hat N (0, 1) die charakteristische Funktion ϕ mit ϕ(u) = e− 2 .
Bemerkung 6.5. Als Exponentialverteilung exp(λ) mit Parameter λ ∈
(0, ∞) wird ein W-Maß auf B oder B bezeichnet, das eine Dichtefunktion
f mit

λe−λx , x > 0
f (x) =
0,
x≤0
30
besitzt.
Die zufällige Lebensdauer eines radioaktiven Atoms wird durch eine exponentialverteilte ZV angegeben.
Ist X eine erweitert-reelle ZV, deren Verteilung auf R+ konzentriert ist,
mit P [0 < X < ∞] > 0, so gilt
P [X > t + s | X > s] = P [X > t]
∀
(“Gedächtnislosigkeit”)
s,t∈(0,∞)
⇐⇒ PX ist eine Exponentialverteilung.
Für eine ZV X mit PX = exp(λ) gilt EX = λ1 , V (X) = λ12 .
λ
.
exp (λ) hat die charakteristische Funktion ϕ mit ϕ(u) = λ−iu
Bemerkung 6.6. Als Gamma-Verteilung Γλ,ν mit Parametern λ, ν ∈
(0, ∞) wird ein W-Maß auf B oder B bezeichnet, das eine Dichtefunktion
f mit

 λν xν−1 e−λx , x > 0
f (x) = Γ(ν)
0,
x≤0
besitzt. Hierbei Γλ,1 = exp(λ). Γ 21 , n2 wird als Chi-Quadrat-Verteilung
χ2n mit n(∈ N) Freiheitsgraden bezeichnet.
Für eine ZV X mit PX = Γλ,ν gilt EX = λν , V (X) = λν2 .
ν
λ
Γλ,ν hat die charakteristische Funktion ϕ mit ϕ(u) = λ−iu
.
Satz 6.4. (Eindeutigkeitssatz für charakteristische Funktionen)
Besitzen zwei auf B definierte W-Maße bzw. Verteilungen dieselbe charakteristische Funktion, so stimmen sie überein. — Ist µ ein W-Maß auf
B bzw. PX die Verteilung einer reellen ZV X mit zugehöriger VF F und
zugehöriger charakteristischer Funktion ϕ und sind a, b mit a < b Stetigkeitsstellen von F , so gilt die Umkehrformel
Z U −iua
e
− e−iub
1
F (b) − F (a)
= lim
ϕ(u) du .
|
{z
}
U →∞ 2π −U
iu
= µ((a, b]) bzw. PX ((a, b])
31
Satz 6.5. Gegeben sei eine VF F mit charakteristischer Funktion ϕ; es
R∞
sei −∞ | ϕ(u) | du < ∞. Dann besitzt F eine Dichte f , die stetig und
beschränkt ist, und es gilt die Umkehrformel
Z
1
f (x) =
e−iux ϕ(u) du, x ∈ R
2π R
R
[vgl. die Formel ϕ(u) = R eiux f (x) dx, u ∈ R, bei existierender Dichte f ].
Satz 6.6. Sei X eine reelle ZV mit Verteilung PX und charakteristischer
Funktion ϕ. Für j ∈ N gilt:
E | X |j < ∞
=⇒ ϕ hat eine stetige j-te Ableitung ϕ(j) mit
Z
ϕ(j) (u) = ij xj eiux PX (dx), u ∈ R,
R
insbesondere ϕ(j) (0) = ij EX j .
Satz 6.7. Seien X1 , . . . , Xn unabhängige reelle ZVn mit charakteristischen
Funktionen ϕ1 , . . . , ϕn . Für die charakteristische Funktion der Summe X1 +
. . . + Xn gilt dann
n
Y
ϕ=
ϕj .
j=1
Definition 6.3. Zu zwei W-Maßen P, Q auf B wird das W-Maß P ∗ Q auf
B, die sog. Faltung von P und Q, folgendermaßen definiert:
a) sei T : R × R → R mit T (x, y) = x + y;
P ∗ Q := (P ⊗ Q)T
(P ⊗Q W-Maß auf B2 mit (P ⊗Q)(B1 ×B2 ) = P (B1 )Q(B2 ), B1,2 ∈ B,
sog. Produkt-W-Maß von P und Q)
oder — äquivalent —
b) man wähle ein unabhängiges Paar reeller ZVn X, Y mit PX = P ,
PY = Q und setze
P ∗ Q := PX+Y .
32
Satz 6.8.
a) Die Faltungsoperation ist kommutativ und assoziativ.
b) Es sei (X, Y ) ein unabhängiges Paar reeller ZVn. Für X, Y , X+Y seien
die Verteilungsfunktionen mit F, G, H, die Dichten — falls existent —
mit f, g, h und die Zähldichten — falls PX , PY auf N0 konzentriert
sind — mit (pk ), (qk ), (rk ) bezeichnet. Dann gilt
Z
Z
H(t) =
F (t − y) G(dy) =
G(t − x) F (dx), t ∈ R.
R
R
Falls f existiert, so existiert h mit
Z
h(t) =
f (t − y) G(dy) für (L-f.a.) t ∈ R;
R
falls zusätzlich g existiert, so gilt
Z
Z
h(t) =
f (t − y)g(y) dy =
g(t − x)f (x) dx für (L-f.a.) t ∈ R.
R
R
Falls (pk )k∈N0 , (qk )k∈N0 existieren, so existiert (rk )k∈N0 mit
rk =
k
X
pk−i qi =
i=0
k
X
qk−i pi (k ∈ N0 ).
i=0
Bemerkung 6.7.
a) Für n1,2 ∈ N, p ∈ [0, 1] gilt b(n1 , p) ∗ b(n2 , p) = b(n1 + n2 , p).
Die Summe von n unabhängigen b(1, p) verteilten ZVn ist also b(n, p)verteilt.
b) Für λ1,2 > 0 gilt π(λ1 ) ∗ π(λ2 ) = π(λ1 + λ2 ).
c) Für r1,2 ∈ N, p ∈ (0, 1) gilt N b(r1 , p) ∗ N b(r2 , p) = N b(r1 + r2 , p).
Die Summe von r unabhängigen N b(1, p)-verteilten ZVn ist also N b(r, p)verteilt.
2
d) Für a1,2 ∈ R, σ1,2
∈ (0, ∞) gilt
N (a1 , σ12 ) ∗ N (a2 , σ22 ) = N (a1 + a2 , σ12 + σ22 ).
33
e) Für λ ∈ (0, ∞), ν1,2 ∈ (0, ∞) gilt Γλ,ν1 ∗ Γλ,ν2 = Γλ,ν1 +ν2 .
Die Summe von n unabhängigen exp(λ)-verteilten ZVn ist Γλ,n -verteilt.
Die Summe der Quadrate von n unabhängigen jeweils N (0, 1)-verteilten
ZVn ist χ2n -verteilt.
34
7
Spezielle Verteilungen
7.1
Diskrete Verteilungen
Definition 7.1. Als Binomialverteilung b(n, p) mit Parametern n ∈
N, p ∈ (0, 1) oder auch [0, 1] wird ein W-Maß auf B bezeichnet, das auf
{0, 1, . . . , n} konzentriert ist und die Zähldichte
n k
k 7→ b(n, p; k) :=
p (1 − p)n−k , k ∈ N0
k
besitzt.
Satz 7.1. Sei n ∈ N, p ∈ [0, 1]; q := 1 − p.
a) Ist (X1 , . . . , Xn ) ein n-tupel unabhängiger reeller ZVn mit P [Xi =
1] = p, P [Xi = 0] = q — d.h. mit jeweiliger b(1, p)-Verteilung —
P
(i = 1, . . . , n), so ist ni=1 Xi b(n, p)-verteilt.
b) Für eine ZV X mit PX = b(n, p) gilt EX = np, V (X) = npq.
c) b(n, p) hat die erzeugende Funktion g mit g(s) = (q + ps)n .
d) Für n1,2 ∈ N gilt
b(n1 , p) ∗ b(n2 , p) = b(n1 + n2 , p),
d.h. für zwei unabhängige ZVn X1 , X2 mit PX1 = b(n1 , p), PX2 =
b(n2 , p) gilt
PX1 +X2 = b(n1 + n2 , p).
Bemerkung 7.1. Das n-tupel (X1 , . . . , Xn ) von ZVn aus Satz 7.1 beschreibt ein n-tupel von Bernoulli-Versuchen, d.h. Zufallsexperimenten ohne gegenseitige Beeinflussung mit Ausgängen 1 (“Erfolg”) oder 0 (“MisserP
folg”) und jeweiliger Erfolgswahrscheinlichkeit p; nk=1 Xi gibt die Anzahl
der Erfolge in n Bernoulli-Versuchen an.
35
Definition 7.2. Als Poisson-Verteilung π(λ) mit Parameter λ > 0 wird
ein W-Maß auf B bezeichnet, das auf N0 konzentriert ist und die Zähldichte
−λ λ
k 7→ π(λ; k) := e
k
k!
, k ∈ N0
besitzt.
Satz 7.2. Sei λ > 0.
a) Ist (b(n, pn )) eine Folge von Binomialverteilungen mit npn → λ (n →
∞), dann konvergiert
b(n, pn ; k) → π(λ; k) (n → ∞) für alle k ∈ N0 .
b) Für eine ZV X mit PX = π(λ) gilt EX = V (X) = λ.
c) π(λ) hat die erzeugende Funktion g mit g(s) = e−λ+λs .
d) Für λ1,2 > 0 gilt
π(λ1 ) ∗ π(λ2 ) = π(λ1 + λ2 ) .
Bemerkung 7.2. Bei einer rein zufälligen Aufteilung von n unterscheidbaren Teilchen auf m gleichgroße mehrfach besetzbare Zellen in einem Euklidischen Raum wird die Anzahl der Teilchen in einer vorgegebenen Zelle
durch eine b(n, m1 )-verteilte ZV angegeben. Der Grenzübergang n → ∞,
n
→ λ > 0 führt gemäß Satz 7.2a zu
m → ∞ mit Belegungsintensität m
einer π(λ)-verteilten ZV.
Definition 7.3. Als negative Binomialverteilung oder Pascal-Verteilung
N b(r, p) mit Parametern r ∈ N, p ∈ (0, 1) wird ein W-Maß auf B (oder
auch B) bezeichnet, das auf N0 konzentriert ist und — mit q := 1 − p —
die Zähldichte
r+k−1 r k
k 7→ N b(r, p; k) :=
p q , k∈N
k
besitzt. Speziell wird N b(1, p) — mit Zähldichte k 7→ p(1 − p)k , k ∈ N0 —
als geometrische Verteilung mit Parameter p ∈ (0, 1) bezeichnet.
36
Satz 7.3. Sei r ∈ N, p ∈ (0, 1), q := 1 − p.
a) Sei (Xn )n∈N eine unabhängige Folge von b(1, p)-verteilten ZVn. Die
P
erweitert-reelle ZV X := inf{n ∈ N | nk=1 Xk = r}−r mit inf ∅ := ∞
ist N b(r, p)-verteilt.
b) Für eine ZV X mit PX = N b(r, p) gilt EX =
rq
p,
V (X) =
rq
p2 .
c) N b(r, p) hat die erzeugende Funktion g mit g(s) = pr (1 − qs)−r .
d) Für r1,2 ∈ N gilt
N b(r1 , p) ∗ N b(r2 , p) = N b(r1 + r2 , p) .
Die Summe von r unabhängigen N b(1, p)-verteilten ZVn ist somit
N b(r, p)-verteilt.
Bemerkung 7.3. Für die Folge (Xn ) in Satz 7.3a wird durch die erweitertP
reelle ZV T := inf{n ∈ N | nk=1 Xk = r} mit inf ∅ := ∞ die Wartezeit bis
zum r-ten Auftreten der Eins in (Xn ) und durch die erweitert-reelle ZV
X = T − r die Anzahl der Misserfolge bis zum r-ten Erfolg bei der zu (Xn )
gehörigen Folge von Bernoulli-Versuchen angegeben.
Definition 7.4. Als hypergeometrische Verteilung mit Parametern
n, r, s ∈ N, wobei n ≤ r + s, wird ein W-Maß auf B bezeichnet, das auf
{0, 1, . . . , n} — sogar auf {max (0, n − s), . . . , min (n, r)} — konzentriert
ist und die Zähldichte
 r s 
 k n−k
, k = 0, 1, . . . , n
r+s
k 7→
n


0
, k = n + 1, n + 2, . . .
besitzt.
Bemerkung 7.4. Werden aus einer Urne mit r roten und s schwarzen
Kugeln rein zufällig n Kugeln ohne Zurücklegen gezogen (n, r, s wie in
Definition 7.4), so wird die Anzahl der gezogenen roten Kugeln durch eine ZV angegeben, die eine hypergeometrische Verteilung mit Parametern
37
n, r, s besitzt. Anwendung der hypergeometrischen Verteilung in der Qualitätskontrolle.
7.2
Totalstetige Verteilungen
Definition 7.5. Als Gleichverteilung auf (a, b) mit −∞ < a < b < ∞
1
wird ein W-Maß auf B bezeichnet, das eine Dichte f =
1(a,b) besitzt.
b−a
Satz 7.4. Für eine ZV X mit Gleichverteilung auf (a, b) gilt EX =
V (X) =
(b − a)2
.
12
a+b
,
2
Definition 7.6. Als (eindimensionale) Normalverteilung oder GaußVerteilung N (a, σ 2 ) mit Parametern a ∈ R, σ > 0 wird ein W-Maß auf B
bezeichnet, das eine Dichte f mit
2
1
− (x−a)
2
2σ
f (x) = √
e
,
2πσ
x∈R
besitzt. Speziell heißt N (0, 1) standardisierte Normalverteilung.
Bemerkung 7.5.
a) Sei f wie in Definition 7.6. Der Graph von f heißt Gaußsche Glocken1
kurve. Im Fall a = 0 ist f (0) = √
und hat f zwei Wendepunkte
2πσ
1
(±σ; √
).
2πeσ
b) Die Dichtefunktion und die VF φ von N (0, 1) sind tabelliert.
c) Ist die ZV X N (a, σ 2 )-verteilt, so ist
hierbei
P [a − σ ≤ X ≤ a + σ]
X −a
N (0, 1)-verteilt. Es gilt
σ
= 2φ(1) − 1 ≈ 0, 683
P [a − 2σ ≤ X ≤ a + 2σ] = 2φ(2) − 1 ≈ 0, 954
P [a − 3σ ≤ X ≤ a + 3σ] = 2φ(3) − 1 ≈ 0, 997 .
38
d) Anwendung der Normalverteilung z.B. in der Theorie der Beobachtungsfehler.
Satz 7.5. Sei a ∈ R, σ > 0.
a) Für eine ZV X mit Verteilung N (a, σ 2 ) gilt:
2k−1
E(X − a)
2k
= 0, E(X − a)
k
Y
(2j − 1),
=σ
2k
k ∈ N;
j=1
insbesondere EX = a, V (X) = σ 2 ; die ZV cX + b mit 0 6= c ∈ R,
b ∈ R hat die Verteilung N (ca + b, c2 σ 2 ).
b) Die charakteristische Funktion von N (a, σ 2 ) ist ϕ mit
iau
ϕ(u) = e
e
σ 2 u2
2
.
c) Für a1,2 ∈ R, σ1,2 > 0 gilt
N (a1 , σ12 ) ∗ N (a2 , σ22 ) = N (a1 + a2 , σ12 + σ22 ) .
Definition 7.7. Als Exponentialverteilung exp(λ) mit Parameter λ > 0
wird ein W-Maß auf B oder B bezeichnet, das eine Dichtefunktion f mit

 λe−λx , x > 0
f (x) =

0, x ≤ 0
besitzt.
Satz 7.6. Sei λ > 0.
a) Sei X eine erweitert-reelle ZV, deren Verteilung auf R+ konzentriert
sei, mit P [0 < X < ∞] > 0. Dann gilt:
∀
P [X > t+s | X > s] = P [X > t] ⇐⇒ PX ist eine Exponentialverteilung.
s,t∈(0,∞)
“Gedächtnislosigkeit”
b) Für eine ZV X mit PX = exp(λ) gilt EX =
39
1
1
, V (X) = 2 .
λ
λ
c) exp(λ) hat die charakteristische Funktion ϕ mit
ϕ(u) =
λ
.
λ − iu
Bemerkung 7.6. Die zufällige Lebensdauer eines radioaktiven Atoms wird
durch eine exponentialverteilte ZV angegeben.
Definition 7.8. Als Gamma-Verteilung Γλ,ν mit Parametern λ, ν > 0
wird ein W-Maß auf B oder B bezeichnet, das eine Dichtefunktion f mit
 ν
 λ xν−1 e−λx , x > 0
Γ(ν)
f (x) =

0,
x≤0
besitzt. Hierbei Γλ,1 = exp(λ). Γ 12 , n2 wird als Chi-Quadrat-Verteilung χ2n
mit n(∈ N) Freiheitsgraden bezeichnet.
Satz 7.7. Seien λ, ν > 0, n ∈ N.
a) Für eine ZV X mit PX = Γλ,ν gilt EX = λν , V (X) =
ν
λ2
.
b) Γλ,ν hat die charakteristische Funktion ϕ mit
ν
λ
ϕ(u) =
.
λ − iu
c) Für ν1,2 > 0 gilt
Γλ,ν1 ∗ Γλ,ν2 = Γλ,ν1 +ν2 .
Insbesondere ist Γλ,n die n-fache Faltung von exp(λ).
d) Die Summe der Quadrate von n unabhängigen jeweils N (0, 1)-verteilten
reellen ZVn ist χ2n -verteilt.
Bemerkung 7.7. Sind X, Y zwei unabhängige reelle ZVn mit PX =
X
als t-Verteilung
N (0, 1) und PY = χ2n , so wird die Verteilung der ZV p
Y /n
oder Student-Verteilung tn bzw. Stn mit n Freiheitsgraden bezeichnet
40
(n ∈ N). t1 bzw. St1 ist eine sogenannte Cauchy-Verteilung. — Anwendung von χ2n und Stn in der Statistik.
Sei {Tn | n ∈ N} eine unabhängige Folge nichtnegativ-reeller Zufallsvariablen (d.h. Ti und Tj haben jeweils dieselbe Verteilung) mit P [Tn = 0] < 1.
Definiere die ZV Nt := sup{n ∈ N | T1 + . . . + Tn ≤ t} (mit sup ∅ = 0),
t ∈ R+ .
Beispiel. In einem technischen System wird ein Bauelement mit endlicher
zufälliger Lebensdauer bei Ausfall durch ein gleichartiges Element ersetzt.
Die einzelnen Lebensdauern seien Realisierung der ZVn Tn . Nt gibt die
Anzahl der Erneuerungen im Zeitintervall [0, t] an.
Satz 7.8. Ist — mit den obigen Bezeichnungen — Tn exp(λ)-verteilt (λ >
0), so ist Nt π(λt)-verteilt, t ∈ R+ .
Bemerkung 7.8. Die Familie {Nt | t ∈ R+ } aus Satz 7.8 ist ein sogenannter Poisson-Prozess.
41
8
Gesetze der großen Zahlen
8.1
Konvergenzbegriffe
Definition 8.1. Seien Xn (n ∈ N), X reelle ZVn auf einem W -Raum
(Ω, A, P ). Die Folge (Xn ) heißt gegen X
P
a) vollständig konvergent, wenn für jedes > 0 gilt n∈N P [|Xn − X| ≥
c
] < ∞ . . . Schreibweise Xn →X,
b) konvergent P -fast sicher (P -f.s., f.s.), wenn P [Xn → X (n → ∞)] = 1;
c) konvergent nach Wahrscheinlichkeit oder stochastisch konvergent, wenn
für jedes > 0 gilt P [|Xn − X| ≥ ] → 0 (n → ∞)
P
. . . Schreibweise Xn →X,
d) konvergent im r-ten Mittel (r > 0), wenn E|Xn |r < ∞ ∀n, E|X|r < ∞
und E|Xn − X|r → 0 (n → ∞) [r = 2 . . . konv. im quadr. Mittel],
e) konvergent nach Verteilung, wenn für jede beschränkte stetige Funktion g : R → R
Eg(Xn ) → Eg(X) (n → ∞)
oder — hier äquivalent — wenn für die Verteilungsfunktionen Fn und
F von Xn bzw. X gilt
Fn (x) → F (x) (n → ∞)
D
in jedem Stetigkeitspunkt x von F . . . Schreibweise Xn →X.
Bemerkung 8.1.
a) Fn VF (n ∈ N), (Fn ) konv. impliziert nicht: lim Fn VF
n
b) Die Grenz-VF in Def. 8.1. e) ist eindeutig bestimmt.
Satz 8.1. Seien Xn (n ∈ N), X reelle ZVn auf einem W -Raum (Ω, A, P).
c
a) Xn →X =⇒ Xn → X f.s.
42
b) Xn → X f.s. =⇒ Xn → X nach Wahrsch.
c) r > 0. Xn → X im r-ten Mittel =⇒ Xn → X nach Wahrsch.
d) Xn → X nach Wahrsch. =⇒ Xn → X nach Verteilung.
e) Xn → X nach Wahrsch. ⇐⇒ Zu jeder Teilfolge (Xnk )k∈N von (Xn )n∈N
gibt es eine P -f.s. konvergente Teilteilfolge (Xnki )i∈N .
8.2
Schwache und starke Gesetze der großen Zahlen
Definition 8.2. Eine Folge (Xn )n∈N von integrierbaren reellen ZVn auf
einem W-Raum (Ω, A, P ) genügt dem schwachen bzw. starken Gesetz
der großen Zahlen, wenn
n
1X
(Xk − EXk ) → 0 (n → ∞) nach Wahrscheinlichkeit bzw. P-f.s.
n
k=1
Bemerkung 8.2. Genügt eine Folge von ZVn dem starken Gesetz der
großen Zahlen, dann genügt sie auch dem schwachen Gesetz der großen
Zahlen.
Satz 8.2 (Kriterium von Kolmogorov für das starke Gesetz der
großen Zahlen). Eine unabhängige Folge (Xn )n∈N quadratisch integrierbarer reeller ZVn mit
∞
X
n−2 V (Xn ) < ∞
n=1
genügt dem starken Gesetz der großen Zahlen.
Satz 8.3 (Kolmogorovsches starkes Gesetz der großen Zahlen).
Für eine unabhängige Folge (Xn )n∈N identisch verteilter integrierbarer reeller ZVn gilt
n
1X
Xk → EX1 (n → ∞) f.s.
n
k=1
43
Bemerkung 8.3.
a) In Satz 8.3 darf die Integrierbarkeitsvoraussetzung nicht weggelassen
werden.
b) Die Voraussetzung der Unabhängigkeit in Satz 8.3 kann zur Voraussetzung der paarweisen Unabhängigkeit abgeschwächt werden (Etemadi).
P −2
c) In Satz 8.2 kann bei
n V (Xn )(log n)2 < ∞ die Unabhängigkeitsvoraussetzung zur Voraussetzung der paarweisen Unkorreliertheit (s.u.)
abgeschwächt werden (Rademacher, Menchov).
Satz 8.4 (Tschebyschev). Eine Folge (Xn )n∈N quadratisch integrierbarer
paarweise unkorrelierter [d.h. es gilt ∀ E(Xj − EXj )(Xk − EXk ) = 0]
j6=k
reeller ZVn mit
n
−2
n
X
V (Xk ) → 0 (n → ∞)
k=1
genügt dem schwachen Gesetz der großen Zahlen.
Bemerkung 8.4 (Folgerung aus obigen Sätzen). Für eine unabhängige
Folge (Xn ) identisch verteilter reeller ZVn mit P [X1 = 1] = p, P [X1 = 0] =
1 − p (festes p ∈ [0, 1]) gilt
n
1X
Xk → p (n → ∞) P-f.s. und nach Wahrscheinlichkeit
n
k=1
(Borelsches starkes Gesetz der großen Zahlen bzw. Bernoullisches schwaches Gesetz der großen Zahlen).
Bemerkung 8.4 stellt ein theoretisches Gegenstück zu der Erfahrungstatsache dar, dass i.a. die relative Häufigkeit eines Ereignisses bei großer Zahl
der unter gleichen Bedingungen unabhängig durchgeführten Zufallsexperimente näherungsweise konstant ist.
44
Beispiele zu Satz 8.3 und Bemerkung 8.4.
a) Es seien X1 , X2 , . . . unabhängige identisch verteilte ZVn mit existierenden (endlichen) EX1 =: a und V (X1 ) =: σ 2 . Aufgrund der beobachteten Realisierungen x1 , . . . , xn von X1 , . . . , Xn wird a geschätzt
durch
n
1X
xi (sog. empirisches Mittel)
x :=
n i=1
und σ 2 durch
n
1 X
s :=
(xi − x)2
n − 1 i=1
2
Für
n
1X
X :=
Xi ,
n i=1
(sog. empirische Varianz).
n
1 X
S :=
(Xi − X)2
n − 1 i=1
2
gilt
EX = a,
ES 2 = σ 2
(sog. Erwartungstreue der Schätzungen),
ferner für n → ∞
X → a f.s.,
S 2 → σ 2 f.s. (sog. starke Konsistenz der Schätzfolgen).
b) Für eine Menge von n radioaktiven Atomen mit unabhängigen exp(λ)verteilten Lebensdauern (mit VF F ) gebe — bei festem T > 0 — die
Zufallsvariable Zn die zufällige Anzahl der Atome an, die von jetzt
(Zeitpunkt 0) an bis zum Zeitpunkt T zerfallen. Die Wahrscheinlichkeit, dass ein gewisses Atom im Zeitintervall [0, T ] zerfällt, ist
p = F (T ) = 1 − e−λT . Nach Bemerkung 8.4 konvergiert mit Wahrscheinlichkeit Eins Zn /n → p (n → ∞). Wählt man T so, dass
F (T ) = 12 , d.h. T = (ln 2)/λ (T sog. Median von exp.(λ)), dann gilt
Zn
1
→
(n → ∞).
n
2
Dieses T wird als Halbwertszeit des radioaktiven Elements bezeichnet
(nach T Zeiteinheiten ist i.a. bei großem n ungefähr die Hälfte der
Atome zerfallen).
f.s.
45
9
Zentrale Grenzwertsätze
9.1
Schwache Konvergenz von Wahrscheinlichkeitsmaßen in Rd
Definition 9.1.
a) W-Maße Qn (n ∈ N), Q auf der σ-Algebra B der Borelschen Mengen
in R. Die Folge (Qn ) heißt gegen Q schwach konvergent (weakly
convergent) — Schreibweise Qn → Q schwach — , wenn für jede
beschränkte stetige Funktion g : R → R gilt
Z
Z
g dQn →
g dQ (n → ∞).
R
R
b) Reelle ZVn Xn (n ∈ N), X (nicht notwendig auf demselben W-Raum
definiert). Die Folge (Xn ) heißt gegen X nach Verteilung konvergent (convergent in distribution, convergent in law) — Schreibweise
D
Xn → X (n → ∞) — , wenn PXn → PX schwach, d.h. für jede
beschränkte stetige Funktion g : R → R gilt
Z
Z
g dPXn →
g dPX (n → ∞)
R
R
oder (äquivalent nach dem Transformationssatz für Integrale)
Eg(Xn ) → Eg(X) (n → ∞) .
Bemerkung 9.1. a) In Definition 9.1a ist das Grenz-W-Maß Q eindeutig
bestimmt.
b) In Definition 9.1b können Xn , X durch reelle ZVn Xn0 , X 0 mit PXn0 =
PXn , PX 0 = PX ersetzt werden.
Satz 9.1. Reelle ZVn Xn (n ∈ N), X auf (Ω, A, P ). Aus Xn → X nach
D
Wahrscheinlichkeit (Schreibweise Xn → X) folgt Xn → X.
P
Satz 9.2. W-Maße Qn (n ∈ N), Q auf B bzw. reelle ZVn Xn (n ∈ N), X
mit VFn Fn , F .
46
D
Qn → Q schwach bzw. Xn → X (n → ∞) gilt genau dann, wenn Fn (x) →
F (x) (n → ∞) für alle Stetigkeitspunkte x von F .
Satz 9.3. Reelle ZVn Xn (n ∈ N), X auf (Ω, A, P ). Ist X P-f.s. konstant,
so gilt:
D
Xn → X ⇐⇒ Xn → X .
P
Satz 9.4. Reelle ZVn Xn , Yn (n ∈ N), X auf (Ω, A, P )

D

Xn → X
D
=⇒ Yn → X .
|Xn − Yn | → 0 
P
Satz 9.5 (Spezialfall des Darstellungssatzes von Skorokhod). Reelle
D
ZVn Xn (n ∈ N), X mit Xn → X. Dann existiert ein W-Raum (Ω∗ , A∗ , P ∗ )
— wobei man Ω∗ = [0, 1], A∗ = [0, 1] ∩ B, P ∗ = L-B-Maß auf A∗ wählen
kann — und reelle ZVn Xn∗ (n ∈ N), X ∗ auf (Ω∗ , A∗ , P ∗ ) derart, dass
∗
∗
∗
∗
∀ PXn = PXn∗ , PX = PX ∗ , Xn → X
(n → ∞) P ∗ -f.s.
n
Satz 9.6 (Satz von der stetigen Abbildung). Reelle ZVn Xn (n ∈ N),
D
X mit Xn → X; Abbildung h : (R, B) → (R, B) sei PX -f.ü. stetig. Dann
gilt
D
h(Xn ) → h(X)
Satz 9.7 (Satz von Slutsky). Reelle ZVn Xn , Yn , X auf (Ω, A, P ); c ∈ R.


D
D

 Xn + Yn →
Xn → X
X +c
=⇒
D
Y X →
Yn → c 
cX .
n
n
P
Satz 9.8. Für reellwertige Zufallsvariablen Xn (n ∈ N) und X gilt:
D
fn → f λ-f.ü. =⇒ Xn → X
47
Satz 9.9. Für reellwertige Zufallsvariablen Xn (n ∈ N) und X gilt:
D
Xn → X ⇐⇒ Ef (Xn ) → Ef (X) für alle beschränkten gleichmäßig stetigen Funktionen f : R → R
Satz 9.10 (Satz von Lévy-Cramér; Stetigkeitssatz). W-Maße Qn
(n ∈ N), Q auf B mit charakteristischen Funktionen ϕn , ϕ : R → C. Dann
gilt:
Qn → Q schwach ⇐⇒ ∀
u∈R
ϕn (u) → ϕ(u).
Bemerkung 9.2. Die obigen Definitionen und Sätze lassen sich auf WMaße auf Bk bzw. k-dim. Zufallsvektoren übertragen.
9.2
Zentrale Grenzwertsätze
Ausssagen über die Approximation von Verteilungen, insbesondere der Verteilungen von Summen von Zufallsvariablen, durch die Normalverteilung
im Sinne der schwachen Konvergenz werden als zentrale Grenzwertsätze
bezeichnet.
Satz 9.11 (Zentraler Grenzwertsatz von Lindeberg-Lévy im 1dim. Fall). Sei (Xn )n∈N eine unabhängige Folge identisch verteilter quadratisch integrierbarer reeller ZVn mit EX1 =: a, V (X1 ) =: σ 2 mit σ > 0.
Dann
n
1 X
D
√
(Xk − a) → N (0, 1)-verteilte reelle ZV.
nσ
k=1
Korollar 9.2 (Zentraler Grenzwertsatz von de Moivre und Laplace). Für eine unabhängige Folge (Xn )n∈N identisch verteilter reeller
ZVn auf (Ω, A, P ) mit P [X1 = 1] = p, P [X1 = 0] = 1 − p =: q (0 < p < 1)
gilt
Pn
Z β
X
−
np
1
2
k
e−t /2 dt (n → ∞).
<β →√
∀ P α < k=1√
α<β
npq
(=)
(=)
2π α
∈R
48
Hilfsformel
∀
k∈N
ix
(ix)k−1
|x|k
|e − 1 −
− ... −
|≤
1!
(k − 1)!
k!
ix
∀
x∈R
Satz 9.11 folgt aus
Satz 9.12 (Zentraler Grenzwertsatz von Lindeberg). Die Folge (Xn )
quadratisch integrierbarer reeller ZVn mit EX12 > 0, ∀ EXn = 0 sei
n
P
unabhängig und erfülle — mit s2n := ni=1 EXi2 (n ∈ N) — die LindebergBedingung
n
(LB)
1 X
E(Xi2 1[|Xi |>εsn ] ) → 0.
2
sn i=1
∀
ε>0
Dann
n
1 X
D
Xi → N (0, 1)-verteilte ZV.
sn i=1
Bemerkung 9.3.
a) In Satz 9.12 dient die Folge (sn ) zur Normierung. Die LindebergBedingung (LB) schränkt den Einfluss der einzelnen ZVn ein.
b) In Satz 9.12 — mit am Erwartungswert zentrierten ZVn — impliziert
die Lindeberg-Bedingung (LB) die Feller-Bedingung
1
2
max
EXi → 0
(n → ∞)
i=1,...,n s2n
und wird ihrerseits durch die Ljapunov-Bedingung
∃
δ>0
n
1 X
s2+δ
n
i=1
E|Xi |2+δ → 0
(n → ∞)
impliziert. Bei nicht am Erwartungswert zentrierten ZVn ist jeweils
Xi durch Xi − EXi , auch in der Definition von sn , zu ersetzen.
Satz 9.12 folgt aus
49
Satz 9.13 (Zentraler Grenzwertsatz von Lindeberg für Dreiecksschemata von Zufallsvariablen). Für jedes n ∈ N seien Xn,1 , . . . , Xn,mn
unabhängige quadratisch integrierbare reelle ZVn mit mn → ∞ für n → ∞.
P n
2
Ferner seien EXn,i = 0, m
n=1 EXn,i = 1 und die Lindeberg-Bedingung
∀
ε>0
erfüllt. Dann
mn
X
mn
X
2
E Xn,i
1[|Xn,i |>ε] ) → 0.
i=1
D
Xn,i → N (0, 1)-verteilte ZV.
i=1
9.3
Multivariate zentrale Grenzwertsätze
Ist X ein d-dimensionaler integrierbarer Zufallsvektor, d.h. EkXk < ∞, so
heißt EX = (EX1 , . . . , EXd )t Erwartungsvektor von X.
Ist X ein d-dimensionaler quadratisch integrierbarer Zufallsvektor, d.h.
EkXk2 < ∞, so heißt Cov(X) := (Cov(Xi , Xj ))i,j∈{1,...,d} Kovarianzmatrix von X, wobei die einzelnen Einträge die Kovarianzen cov(Xi , Xj ) :=
E(Xi − EXi )(Xj − EXj ) der reellwertigen Zufallsvariablen Xi und Xj darstellen.
Definition 9.2. Ein d-dimensionaler Zufallsvektor X = (X1 , . . . , Xd )t
heißt multivariat normalverteilt (oder auch d-dimensional normalverP
teilt), falls für jedes u ∈ Rd die Zufallsvariable hu, Xi = ut X = di=1 ui Xi
eindimensional normalverteilt ist, wobei eine 1-dimensionale Normalverteilung mit Varianz 0 als eine Dirac-Verteilung δa im Punkt a interpretiert
wird.
Satz 9.14 (Cramér-Wold-Device). Für d-dimensionale Zufallsvektoren
D
D
Xn und X gilt Xn → X genau dann, wenn hu, Xn i → hu, Xi für alle
u ∈ Rd .
50
Satz 9.15 (Multivariater zentraler Grenzwertsatz). Für jedes n ∈ N
seien Xn,1 , . . . , Xn,mn unabhängige quadratisch integrierbare d-dimensionale
ZVn mit mn → ∞ für n → ∞. Desweiteren gelte
∀
n
∀
i∈{1,...,mn }
mn
X
Cov(Xn,i ) = C ∈ Rd×d
∀
n
mn
X
∀
ε>0
EXn,i = 0
i=1
E kXk2n,i 1[kXi k>ε] ) → 0.
i=1
Dann
mn
X
D
Xn,i → N (0, C)-verteilten Zufallsvektor (n → ∞)
i=1
Korollar 9.3. Ist (Xn )n∈N eine unabhängige Folge identisch verteilter quadratisch integrierbarer Zufallsvektoren, so gilt
n
1 X
D
√
(Xi − EXi ) → N (0, Cov(X1 ))-verteilte ZV.
n i=1
51
10
Bedingte Erwartungen
Satz 10.1. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B).
σ-Algebra C ⊂ A. Dann existiert eine ZV Z : (Ω, A, P ) → (R, B) mit
folgenden Eigenschaften:
(∗) Z ist integrierbar und C-B-messbar,
Z
Z
(∗∗) ∀
X dP =
Z dP .
C∈C
C
C
Z ist eindeutig bis auf die Äquivalenz “= Rest C P -f.ü.”.
Definition 10.1. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) →
(R, B). σ-Algebra C ⊂ A. Die Äquivalenzklasse (im oberen Sinne) der ZVn
Z: (Ω, A, P ) → (R, B) mit (∗) und (∗∗) — oder auch ein Repräsentant
dieser Äquivalenzklasse — heißt bedingte Erwartung von X bei gegebenem C . . . E(X | C).
Häufig wird ein Repräsentant dieser Äquivalenzklasse als eine Version von
E(X | C) bezeichnet.
E(X | C) ist eine “Vergröberung” von X.
Beispiele
a) C = A . . . E(X | C) = X f.s.
b) C = {∅, Ω} . . . E(X | C) = EX
c) C = {∅, B, B c , Ω} mit 0 < P (B) < 1.

Z
1



 P (B) X dP =: E(X | B), ω ∈ B
B
(E(X | C))(ω) =
Z

1


X dP, ω ∈ B c

c
P (B ) B c
E(X | B) heißt bedingter Erwartungswert von X unter der
Hypothese B.
52
Satz 10.2. W-Raum (Ω, A, P ). X, Xi integrierbar; σ-Algebra C ⊂ A;
c, α1,2 ∈ R.
Z
Z
a) ∀
E(X | C)dP =
X dP
C∈C
C
C
b) X = c P-f.s. =⇒ E(X | C) = c f.s.
c) X ≥ 0 P-f.s. =⇒ E(X | C) ≥ 0 f.s.
d) E(α1 X1 + α2 X2 | C) = α1 E(X1 | C) + α2 E(X2 | C) f.s.
e) X1 ≤ X2 P-f.s. =⇒ E(X1 | C) ≤ E(X2 | C) f.s.
f) X C-B-messbar =⇒ X = E(X | C) f.s.
g) X integrierbar, Y C-B-messbar, XY integrierbar =⇒ E(XY | C) =
Y E(X | C) f.s.
g’) X, X 0 integrierbar, XE(X 0 | C) integrierbar
=⇒ E(XE(X 0 | C) | C) = E(X | C)E(X 0 | C) f.s.
h) σ-Algebra C1,2 mit C1 ⊂ C2 ⊂ A, X integrierbar
E(E(X | C1 ) | C2 ) = E(X | C1 ) f.s.
E(E(X | C2 ) | C1 ) = E(X | C1 ) f.s.
Hier f.s. . . . Rest C2 P-f.s. bzw. Rest C1 P-f.s.
Definition 10.2. W-Raum (Ω, A, P ). σ-Algebra C ⊂ A. A ∈ A.
P (A | C) := E(1A | C) heißt bedingte Wahrscheinlichkeit von A bei
gegebenem C.
Bemerkung 10.1. Zu Definition 10.2.
Z
P (A | C) dP = P (A ∩ C).
∀
C∈C
C
Beispiel. C = {∅, B, B c , Ω} mit 0 < P (B) < 1.

P (A ∩ B)



 P (B) =: P (A | B), ω ∈ B
(P (A | C))(ω) =

P (A ∩ B c )


=: P (A | B c ), ω ∈ B c .

P (B c )
53
Definition 10.3. W-Raum (Ω, A, P ).
a) Integrierbare ZV X: (Ω, A, P ) → (R, B). ZV Y : (Ω, A, P ) → (Ω0 , A0 ).
E(X | Y ) := E(X | Y −1 (A0 )) . . . bedingte Erwartung von X bei
| {z }
gegeb. Y .
[kleinste σ-Algebra in Ω, bzgl. der Y messbar ist . . . F(Y )(⊂ A)]
b) Integrierbare ZV X: (Ω, A, P ) → (R, B). ZVn Yi : (Ω, A, P ) → (Ω0i , A0i ) (i ∈
I)
C(⊂ A) sei die kleinste σ-Algebra in Ω, bzgl. der alle Yi messbar sind
[C = F( ∪ Yi−1 (Ai )) . . . F(Yi , i ∈ I)]
i∈I
E(X | (Yi )i∈I ) := E(X | C) . . . bedingte Erwartung von X bei
gegebenem Yi , i ∈ I.
c) A ∈ A; ZV Y : (Ω, A, P ) → (Ω0 , A0 ).
P (A | Y ) := E(1A | Y ) . . . bedingte Wahrscheinlichkeit von A
bei gegeb. Y .
Bemerkung 10.2. Integrierbare ZV X: (Ω, A, P ) → (R, B).
a) σ-Algebra C in A
(X −1 (B), C) unabhängig =⇒ E(X | C) = EX f.s.
b) ZV Y : (Ω, A, P ) =⇒ (Ω0 , A0 )
(X, Y ) unabhängig → E(X | Y ) = EX f.s.
Satz 10.3. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B).
ZV Y : (Ω, A, P ) → (Ω0 , A0 ). Dann ex. Abb. g: (Ω0 , A0 ) → (R, B) mit E(X |
Y)=g◦Y.
g ist die sog. Faktorisierung der bedingten Erwartung.
g ist eindeutig bis auf die Äquivalenz “= PY -f.ü. ”.
Definition 10.4. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) →
(R, B) bzw. A ∈ A. ZV Y : (Ω, A, P ) → (Ω0 , A0 ). Sei g bzw. gA eine — bis
54
auf Äquivalenz “= PY - f.ü.” eindeutig bestimmte — Faktorisierung von
E(X|Y ) bzw. von P (A|Y ).
E(X | Y = y) := g(y) . . . bedingte Erwartung von X unter der
Hypothese Y = y
P (A | Y = y) := gA (y) . . . bed. Wahrscheinlichkeit von A unter der
Hypoth. Y = y
E(X | Y = ·) = g
P (A | Y = ·) = gA
Satz 10.4. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B)
bzw. A ∈ A. ZV Y : (Ω, A, P ) → (Ω0 , A0 )
R
R
a) ∀
E(X
|
Y
=
y)
P
(dy)
=
0
Y
A
Y −1 (A0 ) X dP ,
A0 ∈A0
R
insbesondere Ω0 E(X | Y = y) PY (dy) = EX .
R
−1
(A0 ) ∩ A) ,
b) ∀
A0 P (A | Y = y) PY (dy) = P (Y
0
0
A ∈A
R
insbesondere Ω0 P (A | Y = y) PY (dy) = P (A) .
Beispiel. X bzw. A sowie Y wie zuvor. Sei y ∈ Ω0 mit {y} ∈ A0 und
PY ({y}) > 0.
a) E(X | Y = y) = E(X | [Y = y])
|
{z
}
|
{z
}
s. Def. 10.4. s. Beispiel nach Def. 10.1.
b) P (A | Y = y) = P (A | [Y = y])
|
{z
}
|
{z
}
s. Def. 10.4. s. Beispiel nach Def. 10.2.
Satz 10.5. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B).
ZV Y : (Ω, A) → (Ω0 , A0 ).
a) X = c f.s. =⇒ E(X | Y = ·) = c PY -f.ü.
b) X ≥ 0 f.s. =⇒ E(X | Y = ·) ≥ 0 PY -f.ü.
c) E(αX1 + βX2 | Y = ·) = αE(X1 | Y = ·) + βE(X2 | Y = ·) PY -f.ü.
55
d) X1 ≤ X2 f.s. =⇒ E(X1 | Y = ·) ≤ E(X2 | Y = ·) PY -f.ü.
Satz 10.6. W-Raum (Ω, A, P ), Sub-σ-Algebra C(⊂ A), X, Xn (n ∈ N)
integrierbare Zufallsvariablen. Dann gilt:
a) Ist 0 ≤ Xn ↑ X fast sicher (n → N), so folgt
E(Xn | C) → E(X | C) fast sicher
(Satz von der monotonen Konvergenz für bedingte Erwartungen).
b) Ist Xn → X fast sicher (n → N) und |Xn | ≤ Y fast sicher für alle
n ∈ N und Y eine integrierbare Zufallsvariable (d.h. E|Y | < ∞), so
folgt
E(Xn | C) → E(X | C) fast sicher
(Satz von der dominierten Konvergenz für bedingte Erwartungen).
Satz 10.7. W-Raum (Ω, A, P ), Sub-σ-Algebra C(⊂ A), I ⊂ R ein Intervall
und f : I → R eine konvexe Funktion und X : Ω → I eine integrierbare
Zufallsvariable. Dann ist E(X | C) ∈ I fast sicher. Ist f (X) integrierbar,
so gilt
f (E(X | C)) ≤ E(f (X) | C) fast sicher
56
11
Martingale
Definition 11.1. W-Raum (Ω, A, P ). Eine Folge (Xn )n∈N von integrierbaren ZVn Xn : (Ω, A, P ) → (R, B) heißt bei gegebener nonoton wachsender
Folge (An )n∈N von σ-Algebren An ⊂ A mit An -B-Messbarkeit von Xn
[wichtiger Fall An = F(X1 , . . . , Xn ) (n ∈ N)]
a) ein Martingal bzgl. (An ), wenn
∀
n∈N
E(Xn+1 | An ) = Xn f.s.
Z
[d.h.
∀
Z
Xn+1 dP =
∀
n∈N C∈An
C
Xn dP ] ,
C
b) ein Submartingal bzgl. (An ), wenn
∀
n∈N
E(Xn+1 | An ) ≥ Xn f.s.
Z
[d.h.
∀
Z
Xn+1 dP ≥
∀
n∈N C∈An
C
Xn dP ] ,
C
c) ein Supermartingal bzgl. (An ), wenn (−Xn ) ein Submartingal bzgl.
(An ) ist.
Bemerkung 11.1. Ein Martingal (Xn ) bzgl. (An ) ist auch ein Martingal
bzgl. (F(X1 , . . . , Xn )). Entsprechend für Sub-, Supermartingal.
Satz 11.1. W-Raum (Ω, A, P ), Folge (Vn )n∈N von ZVn Vn : (Ω, A, P ) →
n
P
(R, B) . Die Partialsummenfolge ( Vj )n∈N ist genau dann ein Martingal
j=1
bzw. Submartingal bzgl. (F(V1 , V1 +V2 , . . . , V1 +. . .+Vn )) = (F(V1 , . . . , Vn )),
wenn
∀
n∈N
Vn integrierbar und ∀
n∈N
E(Vn+1 | V1 , . . . , Vn ) = 0 bzw. ≥ 0 f.s.
Definition 11.2. Ein Spiel mit zufälligen Gewinnständen X1 , X2 , . . . nach
dem 1., 2., . . . Schritt heißt fair, wenn EX1 = 0 und (Xn )n∈N ein Martingal [bzgl. (F(X1 , . . . , Xn ))] ist, d.h. EX1 = 0 und ∀ E(Xn+1 | X1 =
n
x1 , . . . , Xn = xn ) = xn für P(X1 ,...,Xn ) -f.a. (x1 , . . . , xn ).
57
Satz 11.2. W-Raum (Ω, A, P ), Folge (Vn ) von quadratisch integrierP
baren ZVn Vn : (Ω, A, P ) → (R, B). Die Partialsummenfolge ( nj=1 Vj ) sei
ein Martingal.
Dann gilt ∀ EVi Vj = 0.
i6=j
P
Beispiel für ein Martingal: Partialsummenfolge ( nj=1 Vj )n∈N zu einer unabhängigen Folge (Vn )n∈N von integrierbaren reellen ZVn mit Erwartungswerten 0.
Satz 11.3 ((Sub-)Martingalkonvergenztheorem (Doob)). W-Raum
(Ω, A, P ).
(Xn ) sei ein Submartingal mit limn E|Xn | < ∞.
Dann existiert eine integrierbare reelle ZV X mit Xn → X P-f.s.
Zusatz: Ist das Martingal (Xn ) bzgl. der Folge (An ) gleichgradig integrierbar, d.h.
lim sup E(|Xn |1{|Xn |>c} ) = 0,
c→∞
n
so gilt zusätzlich
Xn → X in L1 und Xn = E(X|An ) für alle n.
Zum Beweis von Satz 11.3: Definition 11.3, Definition 11.4., Satz 11.4, Satz
11.5.
Definition 11.3. W-Raum (Ω, A, P ). Monoton wachsende Folge (An )n∈N
von σ-Algebren An ⊂ A. Eine ZV T : (Ω, A, P ) → (N := N ∪ {∞}, P(N))
heißt Stoppzeit bzgl. (An ), wenn ∀ [T = k] ∈ Ak ; hierbei heißt T
k∈N
Stoppzeit im engeren Sinne, falls P [T < ∞] = 1
die Zukunft”].
[“Kein Vorgriff auf
Wichtiger Fall: An = F(X1 , . . . , Xn ) (n ∈ N) mit ZVn Xn
Deutung (Xn ) . . . Folge der Gewinnstände in einem Spiel.
58
Ein Spieler ohne prophetische Gaben bricht das Spiel im zufälligen Zeitpunkt T aufgrund des bisherigen Spielverlaufs ab.
Beispiel: T (ω) = inf{n ∈ N: Xn (ω) ∈ B}, ω ∈ Ω — festes messbares B.
Definition 11.4. W-Raum (Ω, A, P ). Folge (Xn )n∈N von ZVn Xn : (Ω, A, P ) →
(R, B);
Folge (Tn )n∈N von Stoppzeiten bzgl. (Xn ) [d.h. bzgl. (F(X1 , . . . , Xn ))] mit
T1 ≤ T2 ≤ . . . < ∞. Neue Folge: Folge (XTn )n∈N von ZVn definiert durch
(XTn )(ω) := XTn (ω) (ω), ω ∈ Ω .
Übergang von (Xn ) zu (XTn ) heißt optional sampling [frei gewählte
Stichprobenbildung]
Deutung . . . Testen des Spielverlaufs zu den Zeitpunkten Tn (ω).
Satz 11.4 (Optional sampling theorem). Submartingal (Xn )n∈N . Festes M ∈ N. Folge (Tn )n∈N von Stoppzeiten bzgl. (Xn ) mit T1 ≤ T2 ≤ . . . ≤
M.
Die durch optional sampling erhaltene Folge (XTn )n∈N ist ebenfalls ein Submartingal. — Entsprechend für Martingal statt Submartingal (Deutung:
die Fairness eines Spielverlaufs wird nicht geändert).
Satz 11.5 (“upcrossing inequality” (von Doob)). Sei (X1 , . . . , Xn ) ein
— beim festen Index n ∈ N abbrechendes — Submartingal. Feste reelle
Zahlen a, b mit a < b. Die ZV U [a, b] gebe die Anzahl der aufsteigenden
Überquerungen des Intervalls [a, b] durch X1 , . . . , Xn an (d.h. die Anzahl
der Übergänge der abbrechenden Folge von einem Wert ≤ a zu einem Wert
≥ b). Dann gilt
(b − a)EU [a, b] ≤ E(Xn − a)+ − E(X1 − a)+ .
Korollar 11.1. Ist (Un ) eine Folge integrierbarer nichtnegativ-reeller Zufallsvariablen auf (Ω, A, P ) und (An ) eine monoton wachsende Folge von
59
Unter-σ-Algebren von A mit An -B+ -Messbarkeit von Un (n ∈ N) und gilt
E(Un+1 | An ) ≤ (1 + αn )Un + βn (n ∈ N)
P
P
wobei αn , βn ∈ R+ mit
αn < ∞,
βn < ∞, dann konvergiert (Un ) f.s.
— (Un ) ist “fast ein nichtnegatives Supermartingal”.
Auch (EUn ) konvergiert.
Satz 11.6. Folge (Vn ) von quadratisch integrierbaren reellen ZVn mit
P
V (Vn ) < ∞. Dann ist
X
(Vn − E(Vn | V1 , . . . , Vn−1 )) f.s. konvergent.
P
[Falls zusätzlich (Vn ) unabhängig, dann ist (Vn − EVn ) f.s. konvergent]
Satz 11.7. Folge (Vn ) von quadratisch integrierbaren reellen ZVn mit
P −2
n V (Vn ) < ∞. Dann
n
1X
(Vj − E(Vj | V1 , . . . , Vj−1 )) → 0 f.s.
n j=1
Falls zusätzlich (Vn ) unabhängig, dann
1
n
n
P
(Vj − EVj ) → 0 f.s.
j=1
(Kriterium von Kolmogorov zum starken Gesetz der großen Zahlen)
Beweis von Satz 11.7 mit Satz 11.6 und dem folgenden — etwas spezialisierten —
Lemma von Kronecker. Folge (cn )n∈N reeller Zahlen.
X cn
n
1X
konv. =⇒
cj → 0 (n → ∞).
n
n j=1
Bemerkung 11.2. Aus Satz 11.6 bzw. 11.7 ergibt sich unmittelbar für
eine Folge (Vn ) quadratisch integrierbarer reeller ZVn eine hinreichende
n
P
P
Vj → 0
Bedingung für die f.s. Konvergenz der Reihe
Vn bzw. für n1
j=1
f.s.
60
Satz 11.8 (Kriterium von Kolmogorov für das starke Gesetz der
großen Zahlen). Eine unabhängige Folge (Xn )n∈N quadratisch integrierbarer reeller ZVn mit
∞
X
n−2 V (Xn ) < ∞
n=1
genügt dem starken Gesetz der großen Zahlen.
Satz 11.9 (Kolmogorovsches starkes Gesetz der großen Zahlen).
Für eine unabhängige Folge (Xn )n∈N identisch verteilter integrierbarer reeller ZVn gilt
n
1X
Xk → EX1 (n → ∞) f.s.
n
k=1
Zum Abschluss noch ein zentraler Grenzwertsatz für Martingale (ohne Beweis):
Satz 11.10 (B.M. Brown 1971, Gänssler-Stute 1977). Das Schema reeller
ZVn Xnj (j = 1, . . . , jn ; n ∈ N) auf einem W-Raum (Ω, A, P ) und das
Schema der σ-Algebren Anj in Ω (j = 0, . . . , jn ; n ∈ N) mit F(Xnj ) ⊂
Anj ⊂ An,j+1 ⊂ A sollen die folgenden Bedingungen erfüllen:
(1) ∀ Xnj quadr. int., Ej−1 Xnj := E(Xnj | An,j−1 ) = 0
n,j
[die Xnj bilden ein sog. Martingaldifferenzschema],
(2)
jn
P
2
Ej−1 Xnj
→ 1,
P
j=1
(3) ∀
jn
P
ε>0 j=1
2
Ej−1 [Xnj
1[|Xnj |>ε] ] → 0 (n → ∞)
P
[eine sog. bedingte Lindeberg-Bedingung].
Dann
jn
X
D
Xnj → N (0, 1)-verteilte reelle ZV.
j=1
61
Bemerkung 11.3. Schema quadr. int. am Erwartungswert zentrierter reeller ZVn Xni (i = 1, . . . , in ; n ∈ N) auf W-Raum (Ω, A, P ), Schema von σAlgebren Ani in Ω (i = 0, . . . , in ; n ∈ N) mit F(Xni ) ⊂ Ani ⊂ An,i+1 ⊂ A.
Es gelten die folgenden Implikationen:
in
P
a) ∃
E(|Xni |2+δ | An,i−1 ) → 0 ( bedingte Ljapunov-Bedingung) =⇒
δ>0
∀
ε>0
i=1
in
P
P
2
E(Xni
1[|Xni |>ε] | An,i−1 ) → 0 (bedingte Lindeberg-Bedingung)
P
i=1
=⇒ max
i=1,...,in
b) ∃
δ>0
in
P
2
E(Xni
| An,i−1 ) → 0 (bedingte Feller-Bedingung)
P
E(|Xni |2+δ ) → 0 (Ljapunov-Bedingung)
i=1
=⇒ ∀
ε>0
=⇒ max
in
P
2
E(Xni
1[|Xni |>ε] ) → 0 (Lindeberg-Bedingung)
i=1
i=1,...,in
2
E(Xni
) → 0 (Feller-Bedingung).
Ljapunov-Bedingung =⇒ bedingte Ljapunov-Bedingung
Lindeberg-Bedingung =⇒ bedingte Lindeberg-Bedingung
c) Bei nicht am Erwartungswert zentrierten ZVn ist in a), b) jeweils Xni
durch Xni − EXni zu ersetzen.
Bemerkung 11.4.
a) Wird in Satz 11.4 für jedes n ∈ N die Unabhängigkeit des in -tupels
(Xn1 , . . . , Xnin ) vorausgesetzt, so können — bei An0 = {∅, Ω}, Ani =
F(Xn1 , . . . , Xni ) (i = 1, . . . , in , n ∈ N) — (1), (2), (3) in äquivalenter
Weise mit Erwartungswerten statt bedingter Erwartungen und Konvergenz in R statt stochastischer Konvergenz formuliert werden.
b) In Satz 11.4 dient die Bedingung (2) der Normierung und schränkt die
Bedingung (3) vom Lindeberg-Typ den Einfluss der einzelnen ZVn ein.
62
A
Begriffe und Sätze der Maß- und Integrationstheorie
Sei (Ω, A, µ) ein Maßraum.
Satz von der monotonen Konvergenz (B. Levi). Für erweitert reellwertige messbare Funktionen fn mit fn ≥ 0 (n ∈ N), fn ↑ f (n → ∞)
R
existiert lim fn dµ und es gilt
n
Z
Z
lim fn dµ = lim fn dµ
n
n
Lemma von Fatou. Für jede Folge (fn ) von erweitert reellwertigen messbaren Funktionen mit fn ≥ 0 µ-f.ü. gilt
Z
Z
lim inf fn dµ ≤ lim inf fn dµ
Satz von der dominierten Konvergenz (Lebesgue). Für erweitertreellwertige messbare Funktionen fn (n ∈ N), f und g mit fn → f µ-f.ü.
R
(n → ∞), |fn | ≤ g µ-f.ü. für alle n und g dµ < ∞ existiert limn→∞ fn dµ
und es gilt
Z
Z
lim
n→∞
fn dµ =
f dµ
Definition. Das Maß µ heißt σ-endlich, wenn es ein Folge von Mengen
An ∈ A (n ∈ N) gibt mit An ↑ Ω und µ(An ) < ∞.
Ein Maß ν auf A heißt µ-stetig, falls
∀
µ(A) = 0 ⇒ ν(A) = 0.
A∈A
Satz von Radon-Nikodym. Messraum (Ω, A), σ-endliche Maße µ und ν
auf A, ν sei µ-stetig. Dann existiert eine Funktion f : (Ω, A) → (R+ , B+ )
mit
Z
ν(A) =
f dµ
∀
A∈A
A
63
f ist eindeutig bis auf Äquivalenz “=µ-f.ü.”.
f ist die sog. Radon-Nikodym-Ableitung von ν nach µ und wird häufig
kurz durch
dν
dµ
angegeben.
64
Literatur
[1] Bauer, H. Wahrscheinlichkeitstheorie; de Gruyter, Berlin (1990), 4.
Aufl.
[2] Bauer, H. Maß- und Integrationstheorie; de Gruyter, Berlin (1998),
2. Aufl.
[3] Billingsley, P. Probability and Measure; Wiley, New York (1995), 3rd
ed.
[4] Capiński, M., Kopp, E. Measure Integral and Probability; Springer
(2004), 2nd ed.
[5] Dudley, R.M. Real Analysis and Probability; Cambridge University
Press (2002), 2nd ed.
[6] Elstrodt, J. Maß- und Integrationstheorie; Springer (2009), 6. Aufl.
[7] Feller, W. An Introduction to Probability and Its Applications I,II;
Wiley, New York (1970/71), 3rd ed./2nd ed.
[8] Fisz, M. Wahrscheinlichkeitsrechnung und mathematische Statistik;
VEB Deutscher Verlag der Wissenschaften, Berlin (1970), 5. Aufl.
[9] Gänssler, P., Stute, W. Wahrscheinlichkeitstheorie; Springer, Berlin
(1977).
[10] Henze, N. Stochastik für Einsteiger: Eine Einführung in die faszinierende Welt des Zufalls; Vieweg+Teubner (2008), 7. Aufl.
[11] Hesse, C. Wahrscheinlichkeitstheorie — Eine Einführung mit Beispielen und Anwendungen. Vieweg+Teubner (2009), 2. Aufl.
[12] Hinderer, K. Grundbegriffe der Wahrscheinlichkeitstheorie; Springer,
Berlin (1985), 3. korr. Nachdruck.
[13] Jacod, J., Protter, P. Probability Essentials. Springer, Berlin (2004),
2nd ed.
65
[14] Kallenberg, O. Foundations of Modern Probability. Springer, New
York (2001), 2nd ed.
[15] Klenke, A. Wahrscheinlichkeitstheorie; Springer, Heidelberg (2006)
[16] Krengel, U. Einführung in die Wahrscheinlichkeitstheorie und Statistik; Vieweg, Braunschweig (2003), 7. Aufl.
[17] Loève, M. Probability Theory I,II; Springer, Berlin (1977/78), 4th ed.
[18] Meintrup D., Schäffler S. Stochastik — Theorie und Anwendungen;
Springer (2004).
[19] Williams, D. Probability with Martingales; Cambridge University
Press (1991).
[20] Wengenroth, J. Wahrscheinlichkeitstheorie. De Gruyter (2008).
[21] Williams, D. Weighing the Odds — A Course in Probability and Statistics; Cambridge University Press (2001).
66