Wahrscheinlichkeitstheorie WS 2007/08

Wahrscheinlichkeitstheorie
WS 2007/08
Vorlesung von Priv.-Doz. Dr. J. Dippon
15. Oktober 2007
Inhaltsverzeichnis
1 Wahrscheinlichkeitsräume
1
2 Kombinatorische Wahrscheinlichkeitsrechnung
7
3 Zufallsvariablen und Verteilungen
9
3.1 Meßbare Abbildungen und Zufallsvariablen . . . . . . . . . . . . . . . . . . 9
3.2 Bildmaße und Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4 Erwartungswerte und Dichten
13
5 Unabhängigkeit
19
6 Erzeugende und charakteristische Funktionen;
Faltungen
22
6.1 Erzeugende Funktionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
6.2 Charakteristische Funktionen . . . . . . . . . . . . . . . . . . . . . . . . . 23
7 Spezielle Verteilungen
27
7.1 Diskrete Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
7.2 Totalstetige Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
8 Bedingte Erwartungen
33
9 Martingale
37
10 Verteilungskonvergenz in R
41
11 Zentrale Grenzwertsätze
44
Literatur
47
1
Wahrscheinlichkeitsräume
Definition 1.1. Sei Ω eine nichtleere Menge. Ein System A von Teilmengen von Ω heißt
eine Algebra, wenn
1) ∅ ∈ A
2) A ∈ A =⇒ Ac := Ω\A ∈ A
3) A, B ∈ A =⇒ A ∪ B ∈ A
m
oder — äquivalent — A1 , . . . , Am ∈ A =⇒ ∪ An ∈ A,
n=1
das System A heißt σ-Algebra, falls zusätlich gilt
∞
3’) An ∈ A (n = 1, 2, . . .) =⇒ ∪ An ∈ A .
n=1
Bemerkung 1.1. A σ-Algebra =⇒ A Algebra.
Lemma 1.1.
a) Sei A eine Algebra.
m
A1 , . . . , Am ∈ A =⇒ ∩ An ∈ A
n=1
A, B ∈ A =⇒ A\B ∈ A .
b) Sei A eine σ-Algebra.
∞
An ∈ A (n = 1, 2, . . .) =⇒ ∩ An ∈ A .
n=1
Eine Algebra [σ-Algebra] enthält ∅, Ω und ist abgeschlossen gegenüber endlich [abzählbar]
vielen üblichen Mengenoperationen.
Definition 1.2. Es sei Ω eine nichtleere Menge, A eine σ-Algebra in Ω. Das Paar (Ω, A)
heißt Messraum (measurable space); die Elemente ∈ A heißen A-messbare Mengen.
Lemma 1.2.
a) Aα Algebren in Ω (α ∈ I) =⇒ ∩ Aα Algebra in Ω.
α∈I
b) C Mengensystem in Ω =⇒ es existiert eine kleinste C enthaltende Algebra.
Entsprechend für σ-Algebren.
Definition 1.3. C sei ein Mengensystem in Ω. Die kleinste der C enthaltenden Algebren
heißt die von C erzeugte Algebra; C heißt ein Erzeugersystem dieser Algebra. —
Entsprechend für σ-Algebren;
Bezeichnung: F(C) . . . die von C erzeugte σ-Algebra.
1
Definition 1.4. On := System der offenen Mengen des Euklidischen Raumes Rn ; Bn :=
F(On ), B := B1 . Bn wird als σ-Algebra der Borelschen Mengen in Rn bezeichnet.
Bn enthält alle abgeschlossenen Mengen und alle höchstens abzählbaren Mengen in Rn .
Es gilt Bn ⊂ P(Rn ).
6=
Satz 1.1. Das System Jn der halboffenen Intervalle (a, b] := {(x1 , . . . , xn ) ∈ Rn | ai <
xi ≤ bi (i = 1, . . . , )} in Rn (a = (a1 , . . . , an ), b = (b1 , . . . , bn ) ∈ Rn mit ai < bi ) [oder auch
das System der offenen Intervalle, der abgeschlossenen Intervalle, der Intervalle (−∞, a]
oder der Intervalle (−∞, a)] ist ein Erzeugersystem von Bn .
Definition 1.5. C sei ein Mengensystem in Ω mit ∅ ∈ C. Eine Mengenfunktion µ : C →
R := R ∪ {+∞, −∞} heißt (mit a + ∞ = ∞ (a ∈ R), ∞ + ∞ = ∞ usw.)
a) ein Inhalt (content) auf C, wenn
µ ist nulltreu, d.h. µ(∅) = 0,
µ(A) ≥ 0,
µ positiv, d.h. ∀
A∈C
µ additiv, d.h. für alle paarweise disjunkte An ∈ C (n = 1, 2, . . . , m)
!
m
m
m
X
X
X
µ(An ) .
mit
An ∈ C gilt µ
An =
n=1
n=1
n=1
b) ein Maß (measure) auf C, wenn
µ ist nulltreu, d.h. µ(∅) = 0,
µ positiv, d.h. ∀
µ(A) ≥ 0,
A∈C
µ σ-additiv, d.h. für alle paarweise disjunkte An ∈ C (n = 1, 2, . . .)
!
∞
∞
∞
X
X
X
µ(An ) .
mit
An ∈ C gilt µ
An =
n=1
n=1
n=1
“Natürliche” Definitionsbereiche für Inhalt und Maß sind Algebren bzw. σ-Algebren (dann
m
∞
P
P
Verzicht auf Voraussetzung
An ∈ C bzw.
An ∈ C ). Häufig werden nur diese Defin=1
n=1
nitionsbereiche verwendet.
Jedes Maß ist ein Inhalt.
Definition 1.6. Ist A eine σ-Algebra in Ω, µ ein Maß auf A, so heißt (Ω, A, µ) ein Maßraum (measure space).
2
Ist (Ω, A) ein Messraum, Z = {z1 , z2 , . . .} eine höchstens abzählbare Teilmenge von Ω,
so heißt µ : A → R mit µ(A) := Anzahl der zi ∈ A, A ∈ A, ein abzählendes Maß
(counting measure).
Bemerkung 1.2. A Algebra in Ω, µ endlicher Inhalt auf A.
A, B ∈ A, A ⊂ B =⇒ µ(B\A) = µ(B) − µ(A) . . . Subtraktivität.
Definition 1.7. Sei A eine σ-Algebra in Ω. Eine Abbildung P : A → R heißt ein
Wahrscheinlichkeitsmaß (W-Maß) auf A, wenn
P (∅) = 0,
P positiv, d.h. P (A) ≥ 0,
P σ-additiv, d.h. für alle paarweise disjunkte An ∈ A (n = 1, 2, . . .) gilt
!
∞
∞
X
X
P
An =
P (An ),
n=1
n=1
P normiert, d.h. P (Ω) = 1.
(Ω, A, P ) heißt dann ein Wahrscheinlichkeitsraum (W-Raum) (probability space).
Ein W-Raum ist ein normierter Maßraum.
Ist (Ω, A, P ) ein W-Raum, so bezeichnet man die Grundmenge Ω auch als Merkmalraum,
Stichprobenraum (sample space), die Mengen A ∈ A als Ereignisse, P (A) als Wahrscheinlichkeit von A, die Elemente ω ∈ Ω bzw. die 1-Punkt-Mengen {ω} ⊂ Ω (nicht notwendig
∈ A) als Elementarereignisse (auch Realisierungen).
Ein W-Raum (Ω, A, P ) mit Ω endlich, A = P(Ω), P ({ω}) =
der Elemente in Ω) heißt Laplacescher W-Raum:
Für A ∈ A gilt P (A) =
1
|Ω|
(ω ∈ Ω) (|Ω| = Anzahl
|A|
Anzahl der “günstigen” Fälle
=
|Ω|
Anzahl der “möglichen” Fälle
Es sei (Ω, A) = (R, B) und (pk )k∈N0 (N0 := {0, 1, . . .}) eine Zahlenfolge mit pk ≥ 0
∞
P
pk = 1. Dann ist P : B → R mit
(k ∈ N0 ),
k=0
P (A) :=
X
pk , A ∈ A ,
k∈A∩N0
ein W-Maß. (pk ) heißt Zähldichte zu P .
k
Ist speziell pk = e−λ λk! , (k ∈ N0 ) bei festem λ > 0, so heißt P Poisson-Verteilung mit
Parameter λ . . . Bezeichnung π(λ).
3
Bezeichnung [für Mengen An (n = 1, 2, . . .), A]
∞
An ↑ A : A1 ⊂ A2 ⊂ A3 ⊂ . . . , ∪ A n = A
n=1
∞
An ↓ A : A1 ⊃ A2 ⊃ A3 ⊃ . . . , ∩ A n = A .
n=1
Satz 1.2. Sei A eine Algebra in Ω, µ ein endlicher (d.h. µ(Ω) < ∞) Inhalt auf A. Dann
sind die folgenden Aussagen a), . . . , d) äquivalent:
a) µ σ-additiv
b) µ stetig von unten,
d.h. [An ∈ A, An ↑ A ∈ A =⇒ µ(An ) → µ(A)]
c) µ stetig von oben,
d.h. [An ∈ A, An ↓ A ∈ A =⇒ µ(An ) → µ(A)]
d) µ ∅-stetig,
d.h. [An ∈ A, An ↓ ∅ =⇒ µ(An ) → 0] .
Auch ohne die Voraussetzung der Endlichkeit von µ gilt a) ⇐⇒ b).
Lemma 1.3. Sei A eine Algebra in Ω, µ ein Inhalt auf A.
a) µ ist monoton,
d.h. [A, B ∈ A, A ⊂ B =⇒ µ(A) ≤ µ(B)] .
b) µ ist subadditiv,
m
m
P
n=1
n=1
d.h. [A1 , . . . , Am ∈ A =⇒ µ( ∪ An ) ≤
µ(An )] .
c) Ist µ ein Maß, dann ist µ sogar σ-subadditiv,
∞
∞
∞
P
n=1
n=1
n=1
d.h. [An ∈ A (n = 1, 2, . . .), ∪ An ∈ A =⇒ µ( ∪ An ) ≤
µ(An )] .
Satz 1.3 (1. Lemma von Borel und Cantelli).
W-Raum (Ω, A, P ); An ∈ A (n ∈ N) . Mit
∞
∞
lim An := ∩ ∪ Ak = {ω ∈ Ω | existieren unendlich viele n ∈ N mit ω ∈ An }
n=1 k=n
=
“Ereignis, dass unendlich viele An eintreten”
gilt dann:
∞
X
P (An ) < ∞
=⇒
P (lim An ) = 0,
d.h. P-f.s. gilt: An tritt nur endlich oft auf
n=1
4
Satz 1.4. (Fortsetzungs- und Eindeutigkeitssatz) [Verallgemeinerung siehe Bauer,
Maß- und Integrationstheorie §5, Hinderer §16] Sei P ein normiertes [d.h. P (Ω) = 1] Maß
auf einer Algebra A in Ω. Dann existiert genau ein W-Maß P ∗ auf F(A), das P fortsetzt
[d.h. ∀ P ∗ (A) = P (A)].
A∈A
Bemerkung 1.3. P ∗ in Satz 1.4 ist gegeben durch
∗
∞
X
P (A) = inf{
P (Bn ) | Bn ∈ A (n = 1, 2, . . .) mit A ⊂ ∪ Bn }, A ∈ F(A) .
n
n=1
Bemerkung 1.4. Es ist im allgemeinen nicht möglich, P fortzusetzen von A auf P(Ω).
Satz 1.5. Es gibt genau ein Maß λ auf Bn , das jedem beschränkten (nach rechts halboffenen) Intervall in Rn seinen elementargeometrischen Inhalt zuordnet.
Definition 1.8. Das Maß λ in Satz 1.5 heißt Lebesgue–Borel–Maß (L-B-Maß) in Rn .
Definition 1.9. Eine Funktion F : R → R, die monoton wachsend (im Sinne von nicht
fallend) und rechtsseitig stetig ist mit
lim F (x) = 0,
lim F (x) = 1 ,
x→−∞
x→+∞
heißt (eindimensionale) Verteilungsfunktion (VF).
Satz 1.6. Zu jedem W-Maß P auf B gibt es genau eine VF F : R → R, so dass
(∗)
F (b) − F (a) = P ((a, b]), a ≤ b, a, b ∈ R
gilt, und umgekehrt . . . Bijektion P ←→ F . Hierbei F (x) = P ((−∞, x]), x ∈ R.
Beispiel: Φ : R → [0, 1] mit
1
Φ(x) := √
2π
Zx
t2
e− 2 dt, x ∈ R,
−∞
ist eine VF. Das zugehörige W-Maß auf B ist die sogenannte standardisierte Normalverteilung . . . Bezeichnung N (0, 1).
Verallgemeinerung: Normalverteilung (Gauß-Verteilung) N (a, σ 2 ) (a, σ ∈ R, σ > 0)
mit durch
Zx
(t−a)2
1
e− 2σ2 dt, x ∈ R,
F (x) := √
2πσ
−∞
gegebener VF F .
5
Bemerkung 1.5. Definition 1.9, Satz 1.6 lassen sich auf Bn und Rn als Definitionsbereiche
von P bzw. F verallgemeinern statt B bzw. R. Dabei ist die VF F zu einem W-Maß P
auf Bn gegeben durch
F (x1 , . . . , xn ) = P ({(u1 , . . . , un ) ∈ Rn | u1 ≤ x1 , . . . , un ≤ xn })
für (x1 , . . . , xn ) ∈ Rn .
Definition 1.10. Es sei (Ω, A, P ) ein W-Raum, A ∈ A, B ∈ A mit P (B) > 0. Dann
heißt
P (A ∩ B)
P (A | B) :=
P (B)
die bedingte Wahrscheinlichkeit (conditional probability) von A unter der Bedingung B.
Satz 1.7. Sei (Ω, A, P ) ein W-Raum.
a) Bei festem B ∈ A mit P (B) > 0 ist P (· | B) ein W-Maß auf A, das auf B
konzentriert ist [d.h. P (B | B) = 1].
b) Für A, B ∈ A mit P (A) > 0, P (B) > 0 gilt
P (A | B) = P (B | A) ·
P (A)
.
P (B)
m−1
c) Für An ∈ A (n = 1, . . . , m) mit P ( ∩ An ) > 0 gilt
n=1
m
m−1
n=1
n=1
P ( ∩ An ) = P (A1 ) · P (A2 | A1 ) · P (A3 | A1 ∩ A2 ) · . . . · P (Am | ∩ An ) .
Satz 1.8. Es sei (Ω, A, P ) ein W-Raum, {Bn ; n ∈ I} eine höchstens abzählbare Familie
P
Bn = Ω. Dann
paarweise disjunkter Ereignisse Bn ∈ A mit P (Bn ) > 0 (n ∈ I) und
n∈I
gilt
a) P (A) =
P
P (Bn )P (A | Bn ) (A ∈ A)
n∈I
(Formel von der totalen Wahrscheinlichkeit),
P (Bk ) · P (A | Bk )
b) P (Bk | A) = P
, k ∈ I (A ∈ A mit P (A) > 0)
P (Bn )P (A | Bn )
n∈I
(Formel von Bayes).
Bezeichnungen [Maßraum (Ω, A, µ), W-Raum (Ω, A, P )]:
µ-fast überall (µ-f.ü.) in Ω bzw. P -fast sicher (P -f.s.) in Ω . . . überall bis auf eine Menge
∈ A vom µ-Maß bzw. P -Maß Null [oder eine Teilmenge hiervon].
L-fast überall (L-f.ü.) in Rn . . . überall bis auf eine Menge ∈ Bn vom L-B-Maß Null [oder
eine Teilmenge hiervon].
6
2
Kombinatorische Wahrscheinlichkeitsrechnung
Zugrundegelegt werden Laplacesche W-Räume; die Abzählung der “günstigen” und der
“möglichen” Fälle erfolgt systematisch mit Hilfe der Kombinatorik.
Definition 2.1. Gegeben seien n — nicht notwendig verschiedene — Elemente a1 , . . . , an .
Das n-tupel (ai1 , . . . , ain ) mit ij ∈ {1, . . . , n}, ij 6= ik für j 6= k (j, k = 1, . . . , n) heißt eine
Permutation der gegebenen Elemente.
Satz 2.1. Die Anzahl der Permutationen von n verschiedenen Elementen ist n!.
Verallgemeinerung:
Satz 2.2. Gegeben seien n Elemente; die verschiedenen Elemente darunter seien mit
p
P
a1 , . . . , ap bezeichnet (p ≤ n). Tritt ai ni -fach auf (i = 1, . . . , p, wobei
ni = n), dann
i=1
können die n Elemente auf
n!
n1 ! . . . np !
verschiedene Arten permutiert werden.
Definition 2.2. Sei A eine n-elementige Menge, k ∈ N.
a) [b)] Jedes k-tupel (a1 , . . . , ak ) mit nicht notwendig verschiedenen [lauter verschiedenen] ai ∈ A heißt eine Kombination k-ter Ordnung aus A mit [ohne] Wiederholung und mit Berücksichtigung der Anordnung.
(c) [d)] Werden in a) [b)] Kombinationen, welche dieselben Elemente in verschiedener
Anordnung enthalten, als äquivalent aufgefasst, so heißen die einzelnen Äquivalenzklassen Kombinationen k-ter Ordnung aus A mit [ohne] Wiederholung und
ohne Berücksichtigung der Anordnung.
Interpretation (mit A = {1, . . . , n}): Aufteilung von k Kugeln auf n Zellen, wobei in
a) [b)] die Zellen mehrfach [nicht mehrfach] besetzt werden dürfen und die Kugeln unterscheidbar sind (ai . . . Nummer der Zelle, in der die i-te Kugel liegt), in c) [d)] die Zellen
mehrfach [nicht mehrfach] besetzt werden dürfen und die Kugeln nicht unterscheidbar
sind (ein Repräsentant der Äquivalenzklasse ist gegeben durch ein k-tupel von Zahlen aus
{1, . . . , n}, in dem die Zellennummern so oft auftreten, wie die zugehörige Zelle besetzt
ist).
Satz 2.3. Die Anzahl der Kombinationen k-ter Ordnung aus der n-elementigen Menge A
– mit [ohne] Wiederholung und mit [ohne] Berücksichtigung der Anordnung – ist gegeben
durch
7
m. Wiederholung o. Wiederholung (1 ≤ k ≤ n)
m. Berücksichtigung der Anordnung nk
n(n − 1) . . . (n − k + 1)
n+k−1
n
o. Berücksichtigung der Anordnung
k
k
Bestimmung von Fakultäten durch Tabellen für log n! und – bei großem n – durch die
Stirlingsche Formel
n n √
∼
2πn (n → ∞)
n! =
e
und ihre Verschärfung
exp
1
1
n!
< n √
,
< exp
12n + 1
12n
( e )n 2πn
n ∈ N.
Anwendung in der Physik. Man beschreibt das makroskopische Verhalten von k
Teilchen in der Weise, dass man den (der Darstellung des Momentanzustandes dienenden) Phasenraum in n kongruente würfelförmige Zellen zerlegt und die Wahrscheinlichkeit p(k1 , . . . , kn ) bestimmt, dass sich genau ki der Teilchen in der i-ten Zelle befinden
(i ∈ {1, . . . , n}). Sei Ω0 die Menge aller n-tupel (k1 , . . . , kn ) ∈ Nn0 von Besetzungszahlen
n
P
mit
ki = k. W-Maße auf P(Ω0 ) (charakterisiert durch p):
i=1
1) Maxwell-Boltzmann-Statistik (Unterscheidbarkeit der Teilchen, Mehrfachbesetzbarkeit von Zellen)
1
k!
p(k1 , . . . , kn ) =
k1 ! . . . kn ! n k
2) Bose-Einstein-Statistik zur Beschreibung des Verhaltens von Photonen (keine
Unterscheidbarkeit der Teilchen, jedoch Mehrfachbesetzbarkeit von Zellen)
−1
n+k−1
p(k1 , . . . , kn ) =
k
3) Fermi-Dirac-Statistik zur Beschreibung des Verhaltens von Elektronen, Protonen
und Neutronen (keine Unterscheidbarkeit der Teilchen, keine Mehrfachbesetzbarkeit
von Zellen )
( −1
n
, ki ∈ {0, 1}
k
p(k1 , . . . , kn ) =
0
, sonst.
Die Binomialverteilung b(n, p) mit Parametern n ∈ N, p ∈ (0, 1) ist ein W-Maß auf B
mit der Zähldichte
( n
pk (1 − p)n−k , k = 0, 1, . . . , n
k
k→
0
, k = n + 1, n + 2, . . . ;
durch diese wird für n “unabhängige” Versuche mit jeweiliger Erfolgswahrscheinlichkeit p
die Wahrscheinlichkeit von k Erfolgen angegeben.
8
3
Zufallsvariablen und Verteilungen
3.1
Meßbare Abbildungen und Zufallsvariablen
Definition 3.1. Zwei nichtleere Mengen Ω, Ω0 ; A0 ⊂ Ω0 ; Abbildung X : Ω → Ω0 . Die
Menge
{ω ∈ Ω | X(ω) ∈ A0 } =: X −1 (A0 ) =: [X ∈ A0 ]
(in Ω) heißt das Urbild von A0 bezüglich der Abbildung X; die somit definierte Abbildung X −1 : P(Ω0 ) → P(Ω) heißt Urbildfunktion (zu unterscheiden von einer inversen
Funktion!).
Bezeichnung. Sei X : Ω → Ω0 , C 0 Mengensystem in Ω0 . X −1 (C 0 ) := {X −1 (A0 ) | A0 ∈ C 0 } .
| {z }
ein Mengensystem in Ω.
Satz 3.1. Sei X : Ω → Ω0 .
P
a) X −1 und Mengenoperationen ∪, , ∩, c , \ sind vertauschbar;
z.B. X −1 ( ∪ A0α ) = ∪ X −1 (A0α ) (A0α ⊂ Ω0 , α ∈ Indexbereich I).
α∈I
b) X −1 (∅) = ∅;
α∈I
X −1 (Ω0 ) = Ω;
A0 ⊂ B 0 ⊂ Ω0 =⇒ X −1 (A0 ) ⊂ X −1 (B 0 ).
c) A0 σ-Algebra in Ω0 =⇒ X −1 (A0 ) σ-Algebra in Ω.
d) C 0 ⊂ P(Ω0 ) =⇒ X −1 (FΩ0 (C 0 )) = FΩ (X −1 (C 0 )) .
Definition 3.2. Messräume (Ω, A), (Ω0 , A0 ). Die Abbildung X : Ω → Ω0 heißt A-A0 messbar [kurz: messbar; measurable], wenn gilt:
−1
0
∀ X (A ) ∈ A,
d.h. X −1 (A0 ) ⊂ A,
A0 ∈A0
d.h. Urbilder von messbaren Mengen in Ω0 sind messbare Mengen in Ω.
In diesem Falle Schreibweise X: (Ω, A) → (Ω0 , A0 ).
Bemerkung 3.1. In Satz 3.1c ist X −1 (A0 ) die kleinste der σ-Algebren A in Ω mit A−A0 Messbarkeit von X.
Definition 3.3. Es sei (Ω, A, P ) ein W-Raum, (Ω0 , A0 ) ein Messraum. Die Abbildung
X : (Ω, A) → (Ω0 , A0 ) heisst Zufallsvariable (ZV ) auf (Ω, A, P ) [mit Zustandsraum Ω0 ]
(ausführlich: (Ω0 , A0 )-ZV auf (Ω, A, P ); random variable).
X : (Ω, A) → (R, B) heißt reelle ZV (oft auch nur ZV);
X : (Ω, A) → (R, B) heißt erweitert-reelle ZV;
X : (Ω, A) → (Rn , Bn ) heißt n-dimensionaler Zufallsvektor.
9
X(ω) für ein ω ∈ Ω heißt eine Realisierung der ZV X.
Bezeichnung B := {B, B ∪ {+∞}, B ∪ {−∞}, B ∪ {−∞, +∞} | B ∈ B}.
Satz 3.2. Messräume (Ω, A), (Ω0 , A0 ); X : Ω → Ω0 ; C 0 Erzeugersystem von A0 . Dann gilt:
X messbar ⇐⇒ ( ∀ X −1 (C 0 ) ∈ A)
C 0 ∈C 0
{z
}
|
−1
0
d.h. X (C ) ⊂ A
Satz 3.3. Messraum (Ω, A), X : Ω → R. Dann gilt
X A-B-messbar ⇐⇒ ∀ [X ≤ α] ∈ A
α∈R
⇐⇒ ∀ [X < α] ∈ A
α∈R
⇐⇒ ∀ [X ≥ α] ∈ A.
α∈R
Korollar 3.1. Für zwei Abbildungen X, Y : (Ω, A) → (R, B) gilt
[X < Y ], [X ≤ Y ], [X = Y ],
| {z }
:= {ω ∈ Ω | X(ω) < Y (ω)}.
[X 6= Y ] ∈ A.
Satz 3.4. Sei ∅ =
6 A ⊂ Rm , A ∩ Bm := {A ∩ B | B ∈ Bm }.
Jede stetige Abbildung g : A → Rn ist A ∩ Bm -Bn -messbar.
Satz 3.5. X : (Ω1 , A1 ) → (Ω2 , A2 ), Y : (Ω2 , A2 ) → (Ω3 , A3 ).
Die zusammengesetzte Abbildung Y ◦ X : Ω1 → Ω3 ist dann A1 -A3 -messbar.
Korollar 3.2. Für X : (Ω, A) → (Rm , Bm ) und eine stetige Abbildung g : Rm → Rn ist
g ◦ X : Ω → Rn A-Bn -messbar.
Satz 3.6. Messraum (Ω, A).
a) Sei Xn : (Ω, A) → (R, B) (n = 1, . . . , m).
Dann ist Y : Ω → Rm mit Y (ω) := (X1 (ω)), . . . , Xm (ω)), ω ∈ Ω, A-Bm -messbar,
und für g : (Rm , Bm ) → (R, B) ist g ◦ Y : Ω → R A-B-messbar.
b) Seien X1,2 : (Ω, A) → (R, B).
Dann sind αX1 + βX2
(α, β ∈ R), X1 X2 ,
X1
(falls existent) A-B-messbar.
X2
Satz 3.7. Messraum (Ω, A); Xn : (Ω, A) → (R, B) (n = 1, 2, . . .) .
Dann sind inf Xn , sup Xn , lim Xn , lim Xn A-B-messbar, ebenso lim Xn (falls existent).
n
n
n
n
n
10
3.2
Bildmaße und Verteilungen
Satz 3.8. Messräume (Ω, A), (Ω0 , A0 ); Abbildung X : (Ω, A) → (Ω0 , A0 ); Maß µ auf A.
Durch
µX (A0 ) := µ(X −1 (A0 ))
= µ({ω ∈ Ω | X(ω) ∈ A0 }) =: µ[X ∈ A0 ];
A0 ∈ A 0 ,
wird ein Maß (das sogenannte Bildmaß) µX auf A0 definiert.
Ist µ ein W-Maß auf A, dann ist µX ein W-Maß auf A0 .
Definition 3.4. Sei X eine (Ω0 , A0 )-ZV auf dem W-Raum (Ω, A, P ).
Das W-Maß PX im Bild-W-Raum (Ω0 , A0 , PX ) heißt Verteilung der ZV X.
Sprechweise: Die ZV X liegt in A0 ∈ A0 , nimmt Werte in A0 ∈ A0 an mit Wahrscheinlichkeit PX (A0 ) = P [X ∈ A0 ]. P [X ∈ A0 ] = 1 . . . P -fast sicher (P -f.s.) liegt X in A.
Bemerkung 3.2. W-Raum (Ω, A, P ), Messräume (Ω0 , A0 ), (Ω00 , A00 ); X : (Ω, A) →
(Ω0 , A0 ), Y : (Ω0 , A0 ) → (Ω00 , A00 ). Dann gilt
PY ◦X = (PX )Y .
Definition 3.5. Messräume (Ωi , Ai ) (i = 1, . . . , n).
n
Die Produkt-σ-Algebra ⊗ Ai wird definiert als die von dem Mengensystem
i=1 n
n
Q
Q
Ai | Ai ∈ Ai (i = 1, . . . , n) in
Ωi erzeugte σ-Algebra.
i=1
i=1
n
n
n
Q
⊗ (Ωi , Ai ) :=
Ωi , ⊗ Ai heißt Produkt-Messraum.
i=1
i=1
i=1
Beispiel: (Rn × Rm , Bn ⊗ Bm ) = (Rn+m , Bn+m ).
Bemerkung 3.3. Abbildung Xi : (Ω, A) → (Ωi , Ai ) (i = 1, . . . , n). Die Abbildung
n
Q
X:Ω→
Ωi mit
i=1
X(ω) := (X1 (ω), . . . , Xn (ω)), ω ∈ Ω
n
ist A- ⊗ Ai -messbar.
i=1
n
Bemerkung 3.4. Messräume (Ωi , Ai ) (i = 1, . . . , n). Ein W-Maß auf ⊗ Ai ist eindeui=1
n
Q
tig festgelegt durch seine Werte auf dem Mengensystem
Ai | Ai ∈ Ai (i = 1, . . . , n) .
i=1
Definition 3.6. Seien Xi (Ωi , Ai )-ZVn auf einem W-Raum (Ω, A, P ) (i = 1, . . . , n). Die
Verteilung PX der ZV X := (X1 , . . . , Xn ) auf (Ω, A, P ) — erklärt durch
PX (A) := P [(X1 , . . . , Xn ) ∈ A]
11
n
n
Q
i=1
i=1
für A ∈ ⊗ Ai oder auch nur für A =
Ai (Ai ∈ Ai , i = 1, . . . , n) — heißt die
gemeinsame Verteilung der ZVn Xi . Die Verteilungen PXi — erklärt durch
PXi (Ai ) := P [Xi ∈ Ai ] = P [X ∈ Ω1 × . . . × Ωi−1 × Ai × Ωi+1 × . . . × Ωn ]
für Ai ∈ Ai — heißen Randverteilungen von PX
(i = 1, . . . , n).
Wichtiger Spezialfall in Definition 3.6: (Ωi , Ai ) = (R, B) (i = 1, . . . , n).
Bemerkung 3.5. Bezeichnungen wie in Definition 3.6.
a) Die Verteilung PX ist ohne Zusatzvoraussetzung durch ihre Randverteilungen nicht
eindeutig festgelegt.
b) Ist πi :
n
Q
Ωk → Ωi die (messbare!) Projektionsabbildung.
k=1
(ω1 , . . . , ωn ) → ωi , so gilt PXi = (PX )πi (i = 1, . . . , n).
Bemerkung 3.6.
a) Sei Q ein W-Maß auf (Rn , Bn ). Dann existieren reelle ZVn X1 , . . . , Xn auf einem geeigneten W-Raum (Ω, A, P ) so, dass ihre gemeinsame Verteilung mit Q
übereinstimmt:
(Ω, A, P ) := (Rn , Bn , Q), Xi : Ω → R wird definiert als die Projektionsabbildung
(x1 , . . . , xn ) → xi
(i = 1, . . . , n);
hierbei ist also X := (X1 , . . . , Xn ) die auf Rn definierte identische Abbildung.
b) Möglichkeit
derunmittelbaren Verallgemeinerung von a) auf einen Produkt-Meßraum
n
n
Q
Ωi , ⊗ Ai statt (Rn , Bn ).
i=1
i=1
c) Sonderfall zu b): Ist (Ω, A, Q) ein W-Raum, X : Ω → Ω die identische Abbildung,
so gilt PX = Q. Jedes W-Maß lässt sich somit als eine Verteilung auffassen (und —
definitionsgemäß — umgekehrt).
12
4
Erwartungswerte und Dichten
Gegeben seien ein W-Raum (Ω, A, P ) und eine reelle ZV X auf (Ω, A, P ) mit Verteilung
PX (auf B) und VF F : R → R.
Bezeichnungen:
(
X + (ω) :=
(
X(ω), falls X(ω) > 0
0
sonst
X − (ω) :=
−X(ω),
0
falls X(ω) < 0
sonst.
Der Erwartungswert EX der ZV X gibt einen “mittleren Wert” von X bezüglich P an,
die Varianz V (X) gibt die “Schwankung” der ZV X als “mittleren Wert” ihrer quadratischen Abweichung von EX an.
Definition 4.1 des Erwartungswertes EX von X als Integral
Z
x PX (dx).
R
1. Schritt: Sei X ≥ 0 (also PX (R+ ) = 1, F (x) = 0 (x < 0)).
Z
Z
R
x dF (x)
EX :=
x PX (dx) :=
x dF (x) := lim
[0,a]
a→∞
| {z }
|
{z
}
R(+)
R(+)
Riemann−Stieltjes−Integral
F (dx)
(somit 0 ≤ EX ≤ ∞)
2. Schritt: Seien EX + , EX − nicht beide ∞.
Z
EX :=
xPX (dx) := EX + − EX −
R
Definition 4.2 des Erwartungswertes EX von X als Integral
Z
Z
X(ω)P (dω) =:
XdP
Ω
Ω
0. Schritt: Sei X ≥ 0, und X nehme nur endlich viele Werte an. Dann existiert Darstellung
N
N
P
P
X=
αi χAi mit αi ∈ R, Ai ∈ A (i = 1, . . . , N ), paarweise disjunkt,
Ai = Ω.
i=1
i=1
Z
X dP :=
EX :=
Ω
N
X
αi P (Ai )
i=1
1. Schritt: Sei X ≥ 0. Dann existieren ZVn Xn ≥ 0, die jeweils nur endlich viele Werte
annehmen mit Xn (ω) ↑ X(ω) (n → ∞), ω ∈ Ω(!):
Z
EX :=
X dP := lim EXn
n→∞
Ω
2. Schritt: Seien EX + , EX − nicht beide ∞.
Z
EX :=
X dP := EX + − EX −
Ω
13
Bemerkung 4.1. (zu Definition 4.1.2)
a) Die einzelnen Schritte – insbesondere bei der 2. Definition – sind sinnvoll.
b) Die beiden Definitionen sind äquivalent.
R
c) Das Integral R xPX (dx) in der 1. Definition ändert seinen Wert nicht, wenn man es
gemäß der 2. Definition erklärt.
R
d) Der Begriff Ω XdP in Definition 4.2 lässt sich unmittelbar verallgemeinern auf den
R
R
Fall eines Maßraumes (Ω, A, µ) und liefert Ω X(ω) µ(dω) =: Ω X dµ. Wichtiger
Spezialfall:
1) (Ω, A) = (Rn , Bn ) oder etwas allgemeiner Ω = B mit B ∈ Bn , A = σ-Algebra
der Borelschen Mengen in B; µ = λ := (Restriktion des) L-B-Maß(es) auf A.
R
R
X
dλ
bzw.
X dλ wird als Lebesgue–Integral bezeichnet.
n
R
B
R
R
Im Falle n = 1 Schreibweise R X(x) dx bzw. B X(x) dx.
2) (Ω, A) = (R, B), H : R → R maßdefinierende Funktion mit zugehörigem Maß
µ, d.h. H(b) − H(a) = µ((a, b]), −∞ < a < b < ∞.
Schreibweise
Z
Z
Z
X(x) dH(x) :=
X(x) H(dx) :=
X dµ
R
R
R
Verallgemeinerung auf Ω = B ∈ B.
e) Sei X eine erweitert-reelle ZV auf einem W-Raum (Ω, A, P ) mit
(
X(ω), falls |X(ω)| < ∞, ω ∈ Ω,
P [|X| = ∞] = 0; Y (ω) :=
0
sonst.
Man definiert EX := EY , falls EX existiert.
Bemerkung 4.2. W-Raum (Ω, A, P ). Für A ∈ A gilt P (A) = EχA .
Definition 4.3. Existiert für die reelle ZV X auf dem W-Raum (Ω, A, P ) ein endlicher
R
Erwartungswert EX, so heißt X integrierbar (bezüglich P ). Analog für Ω X dµ in Bemerkung 4.1d.
Lemma 4.1. Für eine reelle ZV X ≥ 0 mit VF F gilt
Z∞
EX = (1 − F (x)) dx .
0
14
Satz 4.1. Sei X eine reelle ZV auf einem W-Raum (Ω, A, P ).
a) X integrierbar ⇐⇒ X + und X − integrierbar ⇐⇒ |X| integrierbar,
b) existiert reelle integrierbare ZV Y ≥ 0 mit |X| ≤ Y P-f.s. =⇒ X integrierbar,
c) X integrierbar, |{z}
Y = X P-f.s. =⇒ existiert EY = EX.
reelle ZV
Satz 4.2. Seien X, Y reelle integrierbare ZVn auf einem W-Raum (Ω, A, P ).
a) Es existiert E(X + Y ) = EX + EY .
b) Es existiert E(αX) = αEX (α ∈ R).
c) X ≥ Y =⇒ EX ≥ EY .
d) |EX| ≤ E|X|.
e) X = Y P-f.s. =⇒ EX = EY .
f) X ≥ 0, EX = 0 =⇒ X = 0 P-f.s.
Satz 4.3. (Satz von der monotonen Konvergenz; B. Levi) Für reelle ZVn Xn auf
(Ω, A, P ) mit Xn ≥ 0 (n ∈ N), Xn ↑ X (n → ∞) existiert EX = lim EXn . Hierbei
n
EX := ∞, falls P [X = ∞] > 0. Entsprechend für Reihen von nichtnegativen ZVn. –
R
Analog für Ω X(n) dµ gemäß Bemerkung 4.1d.
Definition 4.4. Sei X ein n-dimensionaler Zufallsvektor mit Verteilung PX auf Bn und
VF F : Rn → R.
a) Nimmt (eventuell nach Vernachlässigung einer P -Nullmenge in Ω) X höchstens
abzählbar viele Werte an, so ist PX eine sogenannte diskrete W-Verteilung.
Ist X eine reelle ZV und PX auf N0 konzentriert (d.h. PX (N0 ) = 1), so heißt die
P
Folge (pk ) mit pk := PX ({k}) = P [X = k], k ∈ N0 , (wobei
pk = 1) Zähldichte
von X bzw. PX .
b) Gibt es eine Funktion f : (Rn , Bn ) → (R+ , B+ ) [mit B+ := R+ ∩ B], für die
R
n
das uneigentliche Riemann-Integral Q
f (y) dy – allgemeiner das Lebesgue(−∞,xi ]
i=1
n
R
Q
n
Integral Q
f dλ [λ L-B-Maß auf Bn ] – existiert und mit PX
(−∞, xi ] =
(−∞,xi ]
i=1
i=1
n
F (x1 , . . . , xn ) übereinstimmt ((x1 , . . . , xn ) ∈ R ), so heißt f Dichte(funktion) von
X bzw. PX bzw. F . – PX und F heißen totalstetig, falls sie eine Dichtefunktion
besitzen.
15
Bemerkung 4.3.
a) Eine totalstetige VF ist stetig.
b) Besitzt die n-dimensionale VF F : Rn → R eine Dichtefunktion f : Rn → R+ ,
∂ nF
, und L-f.ü. — insbesondere an den Stetigkeitsstellen
so existiert L-f.ü.
∂x1 . . . ∂xn
n
∂ F
von f —
= f.
∂x1 . . . ∂xn
c) Ein uneigentliches R-Integral einer nichtnegativen Bn -B-messbaren Funktion lässt
sich als L-Integral deuten.
Satz 4.4. Sei X eine reelle ZV mit Verteilung PX .
a) Ist PX auf N0 konzentriert mit Zähldichte (pk ), dann gilt
X
EX =
kpk .
k
b) Besitzt X eine Dichtefunktion f : R → R+ , so existiert das Lebesgue-Integral
R
R
xf (x) dx =: R xf (x) λ(dx) [λ L-B-Maß auf B] genau dann, wenn EX existiert,
R
und es gilt hierbei
Z
EX =
xf (x) dx .
R
Beispiel zu Satz 4.4. ZV X auf (Ω, A, P ).
a) X sei b(n, p)-verteilt, d.h. P [X = k] =
p ∈ [0, 1]. EX = np.
n
k
b) X sei π(λ)-verteilt, d.h. P [X = k] = e−λ
pk (1 − p)n−k (k = 0, 1, . . . , n) mit n ∈ N,
λk
(k ∈ N0 ), mit λ > 0. EX = λ.
k!
c) X sei N (a, σ 2 )-verteilt, d.h. X habe Dichtefunktion f : R → R+ mit
f (x) := √
(x−a)2
1
e− 2σ2 x ∈ R ,
2πσ
mit a ∈ R, σ > 0. EX = a.
Satz 4.5. X sei eine reelle ZV mit Verteilung PX und VF F ; g : (R, B) → (R, B).
R
E(g ◦ X) existiert genau dann, wenn R g dPX existiert, und es gilt hierbei nach dem
Transformationssatz für Integrale
Z
Z
Z
E(g ◦ X) =
g dPX =:
g dF =:
g(x) dF (x) ,
| {z }
R
R
R
F (dx)
16
 P

g(k)pk


k



 Z
g(x)f (x) dx
E(g ◦ X) =




{z
}
|R



Lebesgue-Integral
unter der Voraussetzung von Satz 4.4a.
unter der Voraussetzung von Satz 4.4b.
Insbesondere gilt (mit g = χA , wobei A ∈ B)
 P

pk



k∈A∩N
0

 Z
R
P [X ∈ A] = PX (A) =
χA (x)f (x) dx =: A f (x) dx



|R
{z
}



Lebesgue-Integral
unter Vorauss. von Satz 4.4a
unter Vorauss. von Satz 4.4b
Zusatz. X sei ein n-dimensionaler Zufallsvektor auf (Ω, A, P ) mit Dichtefunktion f :
Rn → R+ ; A ∈ Bn . Dann gilt:
Z
Z
f (x) dx.
χA (x)f (x) dx =:
P [X ∈ A] = PX (A) =
Rn
A
[Falls das entsprechende R-Integral existiert, dann R-Integral = L-Integral.]
R
Bemerkung 4.5. A f (x) dx in Satz 4.4 ist gleich dem L-B-Maß der Ordinatenmenge
{(x, y) ∈ R2 | x ∈ A, 0 ≤ y ≤ f (x)} von f |A in R2 .
Lemma 4.2. X sei eine reelle ZV; 0 ≤ α < β < ∞. Dann gilt
E|X|β < ∞ =⇒ E|X|α < ∞ .
Definition 4.5. X sei eine reelle ZV; k ∈ N. Im Falle der Existenz heißt EX k das k-te
Moment von X und E(X − EX)k das k-te zentrale Moment von X. Ist X integrierp
bar, dann heißt V (X) := E(X − EX)2 die Varianz von X und σ(X) :=+ V (X) die
Streuung von X.
Satz 4.6. X sei eine reelle integrierbare ZV.
a) V (X) = EX 2 − (EX)2 .
b) V (aX + b) = a2 V (X) (a, b ∈ R).
Beispiel zu Satz 4.6.
a) X sei b(n, p)-verteilt mit n ∈ N, p ∈ [0, 1]. V (x) = np(1 − p).
b) X sie π(λ)-verteilt mit λ > 0. V (X) = λ.
17
c) X sei N (a, σ 2 )-verteilt mit a ∈ R, σ > 0.
k
Q
E(X − a)2k−1 = 0, E(X − a)2k = σ 2k (2j − 1) (k ∈ N).
j=1
Satz 4.7. X sei eine reelle ZV auf einem W-Raum (Ω, A, P ). Dann gilt für jedes ε > 0,
r > 0:
P [|X| ≥ ε] ≤ ε−r E|X|r
(Markoffsche Ungleichung).
Für r = 2 erhält man die sog. Tschebyschevsche Ungleichung, die bei integrierbarem
X auch in der Variante
P [|X − EX| ≥ ε] ≤ ε−2 V (X)
angegeben wird.
Satz 4.8. (Transformationssatz für Dichten). [Verallgemeinerung s. Hinderer S. 148]
Es sei Q ein W-Maß auf B2 und T : R2 → R2 eine injektive stetig-differenzierbare Abbildung. Es sei R := QT das Bild-W-Maß von Q bzgl. T [d.h. R(B) = Q(T −1 (B)), B ∈ B2 ]
und ∆ der Betrag der Funktionaldeterminante von T . Hat R die Dichte g, so hat Q die
Dichte (g ◦ T )∆.
18
5
Unabhängigkeit
Definition 5.1. W-Raum (Ω, A, P ). Eine Familie {Ai | i ∈ I} von Ereignissen Ai ∈ A
heißt unabhängig (ausführlich: stochastisch unabhängig bzgl. P ), falls für jede nichtleere
endliche Menge K ⊂ I gilt
!
Y
\
P (Ak ) .
P
Ak =
k∈K
k∈K
Definition 5.2. W-Raum (Ω, A, P ). Eine Familie {Xi | i ∈ I} von (Ωi , Ai ) - ZVn
auf (Ω, A, P ) heißt unabhängig, wenn gilt: Für jede nichtleere endliche Indexmenge
{i1 , . . . , in } ⊂ I und jede Wahl von Mengen Aiν ∈ Aiν (ν = 1, . . . , n) ist
n
Y
P Xiν ∈ Aiν .
P [Xi1 ∈ Ai1 , . . . , Xin ∈ Ain ] =
ν=1
Sprechweise: Unabhängigkeit der ZVn statt Unabhängigkeit der Familie der ZVn.
Lemma 5.1. Eine Familie von Ereignissen ist genau dann unabhängig, wenn jede endliche Teilfamilie unabhängig ist. Entsprechendes gilt für Zufallsvariablen.
Bemerkung 5.1 zu Definition 5.1 bzw. Definition 5.2.
Paarweise Unabhängigkeit 6=⇒ Unabhängigkeit
Bemerkung 5.2. W-Raum (Ω, A, P ); Ereignisse Ai ∈ A, i ∈ I, mit (reellen) ZVn χAi
(Indikatorfunktionen) auf (Ω, A, P ).
{Ai | i ∈ I} unabhängig ⇐⇒ {χAi | i ∈ I} unabhängig
Satz 5.1. Gegeben seien (Ωi , Ai ) - ZVn Xi auf einem W-Raum (Ω, A, P ) und Abb.
gi : (Ωi , Ai ) → (Ω0i , A0i ), i ∈ I. Dann gilt:
{Xi | i ∈ I} unabhängig =⇒ {gi ◦ Xi | i ∈ I} unabhängig
Satz 5.2. Gegeben seien eine unabhängige Familie {Xi | i ∈ I} reeller ZVn auf einem WP
Raum (Ω, A, P ) und eine Zerlegung I =
Ij mit |Ij | < ∞. Das |Ij |-tupel {Xk | k ∈ Ij }
j∈J
sei mit Yj bezeichnet, j ∈ J.
a) Die Familie {Yj | j ∈ J} ist unabhängig.
b) Sind Abb. gj : (R|Ij | , B|Ij | ) → (R, B), j ∈ J, gegeben, so ist (nach Satz 5.1) die
Familie {gj ◦ Yj | j ∈ J} unabhängig.
19
Bemerkung 5.3. Satz 5.2 lässt sich auf (Ωi , Ai ) - ZVn und Abb. gj :
N
(Ωi , Ai ) →
i∈Ij
(Ω0j , A0j ) verallgemeinern.
Satz 5.3. Seien Xi (i = 1, . . . , n) reelle ZVn auf einem W-Raum (Ω, A, P ) mit Verteilungsfunktionen Fi . Der Zufallsvektor X := (X1 , . . . , Xn ) habe die n-dimensionale VF F.
n
Q
F (x1 , . . . , xn ) =
Fi (xi ) .
a) {X1 , . . . , Xn } unabhängig ⇐⇒ (∗)
∀
(x1 ,...,xn )∈Rn
i=1
b) Existieren zu Fi (i = 1, . . . , n), F Dichten fi bzw. f , dann gilt

n
Q


f
(x
,
.
.
.
,
x
)
=
fi (xi )
1
n


i=1
(∗) ⇐⇒
für Lebesgue - fast alle (x1 , . . . , xn ) ∈ Rn .

{z
}
|



λ-fast alle mit λ = L-B-Maß auf Bn
Satz 5.4. Seien X1 , . . . , Xn unabhängige reelle ZVn auf einem W-Raum (Ω, A, P ) mit
endlichen Erwartungswerten. Dann existiert
E(X1 . . . Xn ) = EX1 · . . . · EXn .
— Entsprechendes gilt für komplexe ZVn Xk : (Ω, A) → (R2 , B2 ), wobei
EXk := E Re Xk + iE Im Xk
(k = 1, . . . , n)
Satz 5.5. Seien X1 , . . . , Xn unabhängige reelle ZVn mit endlichen Erwartungswerten.
Dann gilt
!
n
n
X
X
V
Xj =
V (Xj ) .
j=1
j=1
Bemerkung 5.4. In Satz 5.5 genügt statt der Unabhängigkeit von {X1 , . . . , Xn } die sog.
paarweise Unkorreliertheit, d.h.
∀ E(Xj − EXj )(Xk − EXk ) = 0 .
j6=k
Definition 5.3. Sind X, Y zwei unabhängige reelle ZVn auf einem W-Raum (Ω, A, P )
mit Verteilungen PX , PY , so wird die Verteilung PX+Y =: PX ∗ PY der ZV X + Y als
Faltung von PX und PY bezeichnet.
Bemerkung 5.5. Die Faltungsoperation ist kommutativ und assoziativ.
20
Satz 5.6. Seien X, Y zwei unabhängige reelle ZVn.
a) Besitzen X und Y Dichten f bzw. g, so besitzt X + Y eine [als Faltung von f und
g bezeichnete] Dichte h mit
Z
Z
g(t − x)f (x) dx, t ∈ R .
h(t) =
f (t − y)g(y) dy =
{z
} |R
{z
}
|R
Lebesgue-Integrale
b) Besitzen X und Y Zähldichten (pk )k∈N0 bzw. (qk )k∈N0 , so besitzt X + Y eine [als
Faltung von (pk ) und (qk ) bezeichnete] Zähldichte (rk )k∈N0 mit
rk =
k
X
pk−j qj =
j=0
k
X
qk−i pi , k ∈ N0 .
i=0
Bemerkung 5.6. Gegeben seien Messräume (Ωi , Ai ) und W-Maße Qi auf Ai , i ∈ I.
Dann existiert ein W-Raum (Ω, A, P ) und (Ωi , Ai ) – ZVn Xi auf (Ω, A, P ), i ∈ I, mit
Unabhängigkeit von {Xi | i ∈ I} und PXi = Qi (Andersen und Jessen).
Satz 5.7. (2. Lemma von Borel und Cantelli) W-Raum (Ω, A, P ).
Die Familie {An ; n ∈ N} von Ereignissen (∈ A) sei unabhängig. Dann gilt:
∞
X
P (An ) = ∞ (⇐⇒
)
n=1
P (limAn ) = 1 .
{z
}
|
P-f.s. tritt An unendlich oft auf
Definition
∞5.4.Messraum (Ω, A). σ-Algebren An ⊂ A (n ∈ N).
Tn := F ∪ Ak . . . die von An , An+1 , . . . erzeugte σ-Algebra.
∞
k=n
T∞ := ∩ Tn heißt die σ-Algebra der terminalen Ereignisse (tail events) der Folge (An ).
n=1
Beispiele
1) Xn : (Ω, A) → (R, B); An := F(Xn ) := Xn−1 (B) (n ∈ N)
P
a) [ Xn konv.] ∈ T∞
b) [(Xn ) konv.] ∈ T∞
2) Messraum (Ω, A). Ereignisse An ∈ A (n ∈ N);
An := {∅, An , Acn , Ω} (n ∈ N).
∞
∞
lim sup An := ∩ ∪ Ak = {ω ∈ Ω | ω ∈ An für unendliche viele n} ∈ T∞
n→∞
n=1 k=n
∞
∞
lim inf An := ∪ ∩ Ak = {ω ∈ Ω | ω ∈ An von einem Index an} ∈ T∞
n→∞
n=1 k=n
Satz 5.8 (Null–Eins–Gesetz von Kolmogorov) W-Raum (Ω, A, P ).
Sei (An ) eine unabhängige Folge von σ-Algebren An ⊂ A.
Dann gilt für jedes terminale Ereignis A von (An ) entweder P (A) = 0 oder P (A) = 1.
21
6
Erzeugende und charakteristische Funktionen;
Faltungen
Die erzeugenden und charakteristischen Funktionen sind ein methodisches Hilfsmittel zur
Untersuchung von W-Maßen.
6.1
Erzeugende Funktionen
Definition 6.1. Es sei µ : B → R ein auf N0 konzentriertes W-Maß mit Zähldichte
(bk )k∈N0 bzw. X eine reelle ZV auf einem W-Raum (Ω, A, P ), deren Verteilung PX auf N0
konzentriert ist, mit Zähldichte (bk )k∈N0 . Dann heißt die auf [0, 1] (oder auch {s ∈ C |
|s| ≤ 1}) definierte Funktion g mit
 P

µ({k})sk


∞

X
g(s) :=
b k sk =
bzw.


k=0

 P P [X = k]sk = P P ({k})sk = EsX
X
die erzeugende Funktion von µ bzw. X.
Bemerkung 6.1. In Definition 6.1 gilt |g(s)| ≤
P
bk |s|k ≤
P
bk = 1, |s| ≤ 1 .
Bemerkung 6.2.
a) Die Binomialverteilung b(n, p) mit n ∈ N, p ∈ [0, 1] hat — mit q := 1 − p — die
erzeugende Funktion g mit
g(s) = (q + ps)n .
b) Die Poissonverteilung π(λ) mit λ ∈ (0, ∞) hat die erzeugende Funktion g mit
g(s) = e−λ+λs .
c) Als negative Binomialverteilung oder Pascal-Verteilung N b(r, p) mit Parametern r ∈ N, p ∈ (0, 1) wird ein W-Maß auf B (oder auch B) bezeichnet, das auf
N0 konzentriert ist und — mit q := 1 − p — die Zähldichte
r+k−1 r k
k → N b(r, p; k) :=
p q , k ∈ N0
k
besitzt. Speziell wird N b(1, p) — mit Zähldichte
k → p(1 − p)k , k ∈ N0
22
— als geometrische Verteilung mit Parameter p ∈ (0, 1) bezeichnet. Ist (Xn )n∈N
eine unabhängige Folge von b(1, p)-verteilten ZVn, so ist die erweitert-reelle ZV
n
P
X := inf {n ∈ N |
Xk = r} − r mit inf ∅ := ∞ N b(r, p)-verteilt. X gibt die
k=1
Anzahl der Misserfolge bis zum r-ten Erfolg bei der zu (Xn ) gehörigen Folge von
rq
rq
Bernoulli-Versuchen an. EX = , V (X) = 2 .
p
p
N b(r, p) hat die erzeugende Funktion g mit g(s) = pr (1 − qs)−r .
Satz 6.1 (Eindeutigkeitssatz für erzeugende Funktionen).
Besitzen zwei auf B definierte, aber auf N0 konzentrierte W-Maße bzw. Verteilungen dieselbe erzeugende Funktion, so stimmen sie überein.
Satz 6.2. Sei X eine reelle ZV, deren Verteilung auf N0 konzentriert ist, mit erzeugender
Funktion g.
a) g ist in {s ∈ C | |s| < 1} unendlich oft differenzierbar; für j ∈ N gilt
g (j) (1−) :=
lim
0≤s→1−0
g (j) (s) = E[X(X − 1) . . . (X − j + 1)] (≤ ∞) ,
insbesondere g 0 (1−) = EX.
b) EX < ∞ =⇒ V (X) = g 00 (1−) + g 0 (1−) − (g 0 (1−))2 .
Satz 6.3. Seien X1 , . . . , Xn unabhängige reelle ZVn, deren Verteilungen jeweils auf N0
konzentriert sind, mit erzeugenden Funktionen g1 , . . . , gn . Für die erzeugende Funktion g
n
Q
gj .
der Summe X1 + . . . + Xn gilt dann g =
j=1
6.2
Charakteristische Funktionen
Definition 6.2. Es sei µ ein W-Maß auf B bzw. X eine reelle ZV mit VF F . Dann heißt
die auf −∞ < u < ∞ definierte (i.a. komplexwertige) Funktion ϕ mit
Z
eiux µ(dx)
ϕ(u) :=
R
bzw.
ϕ(u) := Ee
iuX
Z
=
iux
e
Z
PX (dx) =
R
eiux dF (x)
| R {z
}
L-S-Integral oder uneig. R-S-Integral
die charakteristische Funktion von µ bzw. X.
23
Bemerkung 6.3. In Definition 6.2 gilt
a) ϕ(0) = 1,
b) | ϕ(u) |≤ 1, u ∈ R,
c) ϕ gleichmäßig stetig in R,
d) ϕ(−u) = ϕ(u), u ∈ R.
Bemerkung 6.4. Die Normalverteilung N (a, σ 2 ) mit a ∈ R, σ 2 ∈ (0, ∞) hat die charakteristische Funktion ϕ mit
σ 2 u2
ϕ(u) = eiau e− 2 .
u2
Insbesondere hat N (0, 1) die charakteristische Funktion ϕ mit ϕ(u) = e− 2 .
Bemerkung 6.5. Als Exponentialverteilung exp(λ) mit Parameter λ ∈ (0, ∞) wird
ein W-Maß auf B oder B bezeichnet, das eine Dichtefunktion f mit

λe−λx , x > 0
f (x) =
0
, x≤0
besitzt.
Die zufällige Lebensdauer eines radioaktiven Atoms wird durch eine exponentialverteilte
ZV angegeben.
Ist X eine erweitert-reelle ZV, deren Verteilung auf R+ konzentriert ist, mit P [0 < X <
∞] > 0, so gilt
P [X > t + s | X > s] = P [X > t]
∀
(“Gedächtnislosigkeit”)
s,t∈(0,∞)
⇐⇒ PX ist eine Exponentialverteilung.
Für eine ZV X mit PX = exp(λ) gilt EX = λ1 , V (X) = λ12 .
λ
exp (λ) hat die charakteristische Funktion ϕ mit ϕ(u) = λ−iu
.
Bemerkung 6.6. Als Gamma-Verteilung Γλ,ν mit Parametern λ, ν ∈ (0, ∞) wird ein
W-Maß auf B oder B bezeichnet, das eine Dichtefunktion f mit

 λν xν−1 e−λx , x > 0
f (x) = Γ(ν)
0
,x ≤ 0
besitzt. Hierbei Γλ,1 = exp(λ). Γ 1 , n wird als Chi-Quadrat-Verteilung χ2n mit n(∈ N)
2 2
Freiheitsgraden bezeichnet.
Für eine ZV X mit PX = Γλ,ν gilt EX = λν , V (X) = λν2 .
ν
λ
Γλ,ν hat die charakteristische Funktion ϕ mit ϕ(u) = λ−iu
.
24
Satz 6.4. (Eindeutigkeitssatz für charakteristische Funktionen)
Besitzen zwei auf B definierte W-Maße bzw. Verteilungen dieselbe charakteristische Funktion, so stimmen sie überein. — Ist µ ein W-Maß auf B bzw. PX die Verteilung einer reellen
ZV X mit zugehöriger VF F und zugehöriger charakteristischer Funktion ϕ und sind a, b
mit a < b Stetigkeitsstellen von F , so gilt die Umkehrformel
Z U −iua
1
e
− e−iub
= lim
F (b) − F (a)
ϕ(u) du .
{z
}
|
U →∞ 2π −U
iu
= µ((a, b]) bzw. PX ((a, b])
R∞
Satz 6.5. Gegeben sei eine VF F mit charakteristischer Funktion ϕ; es sei −∞ | ϕ(u) |
du < ∞. Dann besitzt F eine Dichte f , die stetig und beschränkt ist, und es gilt die
Umkehrformel
Z
1
e−iux ϕ(u) du, x ∈ R
f (x) =
2π R
R
[vgl. die Formel ϕ(u) = R eiux f (x) dx, u ∈ R, bei existierender Dichte f ].
Satz 6.6. Sei X eine reelle ZV mit Verteilung PX und charakteristischer Funktion ϕ. Für
j ∈ N gilt:
E | X |j < ∞
=⇒ ϕ hat eine stetige j-te Ableitung ϕ
(j)
(j)
mit ϕ (u) = i
j
Z
xj eiux PX (dx), u ∈ R,
R
(j)
j
j
insbesondere ϕ (0) = i EX .
Satz 6.7. Seien X1 , . . . , Xn unabhängige reelle ZVn mit charakteristischen Funktionen
ϕ1 , . . . , ϕn . Für die charakteristische Funktion der Summe X1 + . . . + Xn gilt dann
ϕ=
n
Y
ϕj .
j=1
Definition 6.3. Zu zwei W-Maßen P, Q auf B wird das W-Maß P ∗ Q auf B, die sog.
Faltung von P und Q, folgendermaßen definiert:
a) sei T : R × R → R mit T (x, y) = x + y;
P ∗ Q := (P ⊗ Q)T
(P ⊗ Q W-Maß auf B2 mit (P ⊗ Q)(B1 × B2 ) = P (B1 )Q(B2 ), B1,2 ∈ B, sog.
Produkt-W-Maß von P und Q)
oder — äquivalent —
b) man wähle ein unabhängiges Paar reeller ZVn X, Y mit PX = P , PY = Q und setze
P ∗ Q := PX+Y .
25
Satz 6.8.
a) Die Faltungsoperation ist kommutativ und assoziativ.
b) Es sei (X, Y ) ein unabhängiges Paar reeller ZVn. Für X, Y , X + Y seien die Verteilungsfunktionen mit F, G, H, die Dichten — falls existent — mit f, g, h und die
Zähldichten — falls PX , PY auf N0 konzentriert sind — mit (pk ), (qk ), (rk ) bezeichnet. Dann gilt
Z
Z
H(t) =
F (t − y) G(dy) =
G(t − x) F (dx), t ∈ R.
R
R
Falls f existiert, so existiert h mit
Z
h(t) =
f (t − y) G(dy) für (L-f.a.) t ∈ R;
R
falls zusätzlich g existiert, so gilt
Z
Z
f (t − y)g(y) dy =
g(t − x)f (x) dx für (L-f.a.) t ∈ R.
h(t) =
R
R
Falls (pk )k∈N0 , (qk )k∈N0 existieren, so existiert (rk )k∈N0 mit
rk =
k
X
pk−i qi =
i=0
k
X
qk−i pi (k ∈ N0 ).
i=0
Bemerkung 6.7.
a) Für n1,2 ∈ N, p ∈ [0, 1] gilt b(n1 , p) ∗ b(n2 , p) = b(n1 + n2 , p).
Die Summe von n unabhängigen b(1, p) verteilten ZVn ist also b(n, p)-verteilt.
b) Für λ1,2 > 0 gilt π(λ1 ) ∗ π(λ2 ) = π(λ1 + λ2 ).
c) Für r1,2 ∈ N, p ∈ (0, 1) gilt N b(r1 , p) ∗ N b(r2 , p) = N b(r1 + r2 , p).
Die Summe von r unabhängigen N b(1, p)-verteilten ZVn ist also N b(r, p)-verteilt.
2
d) Für a1,2 ∈ R, σ1,2
∈ (0, ∞) gilt N (a1 , σ12 ) ∗ N (a2 , σ22 ) = N (a1 + a2 , σ12 + σ22 ).
e) Für λ ∈ (0, ∞), ν1,2 ∈ (0, ∞) gilt Γλ,ν1 ∗ Γλ,ν2 = Γλ,ν1 +ν2 .
Die Summe von n unabhängigen exp(λ)-verteilten ZVn ist Γλ,n -verteilt.
Die Summe der Quadrate von n unabhängigen jeweils N (0, 1)-verteilten ZVn ist
χ2n -verteilt.
26
7
Spezielle Verteilungen
7.1
Diskrete Verteilungen
Definition 7.1. Als Binomialverteilung b(n, p) mit Parametern n ∈ N, p ∈ (0, 1) oder
auch [0, 1] wird ein W-Maß auf B bezeichnet, das auf {0, 1, . . . , n} konzentriert ist und
die Zähldichte
n k
k 7→ b(n, p; k) :=
p (1 − p)n−k , k ∈ N0
k
besitzt.
Satz 7.1. Sei n ∈ N, p ∈ [0, 1]; q := 1 − p.
a) Ist (X1 , . . . , Xn ) ein n-tupel unabhängiger reeller ZVn mit P [Xi = 1] = p, P [Xi =
n
P
0] = q — d.h. mit jeweiliger b(1, p)-Verteilung — (i = 1, . . . , n), so ist
Xi
i=1
b(n, p)-verteilt.
b) Für eine ZV X mit PX = b(n, p) gilt EX = np, V (X) = npq.
c) b(n, p) hat die erzeugende Funktion g mit g(s) = (q + ps)n .
d) Für n1,2 ∈ N gilt
b(n1 , p) ∗ b(n2 , p) = b(n1 + n2 , p),
d.h. für zwei unabhängige ZVn X1 , X2 mit PX1 = b(n1 , p), PX2 = b(n2 , p) gilt
PX1 +X2 = b(n1 + n2 , p).
Bemerkung 7.1. Das n-tupel (X1 , . . . , Xn ) von ZVn aus Satz 7.1 beschreibt ein n-tupel
von Bernoulli-Versuchen, d.h. Zufallsexperimenten ohne gegenseitige Beeinflussung mit
Ausgängen 1 (“Erfolg”) oder 0 (“Misserfolg”) und jeweiliger Erfolgswahrscheinlichkeit p;
n
P
Xi gibt die Anzahl der Erfolge in n Bernoulli-Versuchen an.
k=1
Definition 7.2. Als Poisson-Verteilung π(λ) mit Parameter λ > 0 wird ein W-Maß
auf B bezeichnet, das auf N0 konzentriert ist und die Zähldichte
k 7→ π(λ; k) := e−λ
λk
, k ∈ N0
k!
besitzt.
Satz 7.2. Sei λ > 0.
a) Ist (b(n, pn )) eine Folge von Binomialverteilungen mit npn → λ (n → ∞), dann
konvergiert
b(n, pn ; k) → π(λ; k) (n → ∞) für alle k ∈ N0 .
27
b) Für eine ZV X mit PX = π(λ) gilt EX = V (X) = λ.
c) π(λ) hat die erzeugende Funktion g mit g(s) = e−λ+λs .
d) Für λ1,2 > 0 gilt
π(λ1 ) ∗ π(λ2 ) = π(λ1 + λ2 ) .
Bemerkung 7.2. Bei einer rein zufälligen Aufteilung von n unterscheidbaren Teilchen
auf m gleichgroße mehrfach besetzbare Zellen in einem Euklidischen Raum wird die Anzahl der Teilchen in einer vorgegebenen Zelle durch eine b(n, m1 )-verteilte ZV angegeben.
n
→ λ > 0 führt gemäß
Der Grenzübergang n → ∞, m → ∞ mit Belegungsintensität m
Satz 7.2a zu einer π(λ)-verteilten ZV.
Definition 7.3. Als negative Binomialverteilung oder Pascal-Verteilung N b(r, p)
mit Parametern r ∈ N, p ∈ (0, 1) wird ein W-Maß auf B (oder auch B) bezeichnet, das
auf N0 konzentriert ist und — mit q := 1 − p — die Zähldichte
r+k−1 r k
k 7→ N b(r, p; k) :=
p q , k∈N
k
besitzt. Speziell wird N b(1, p) — mit Zähldichte k 7→ p(1 − p)k , k ∈ N0 — als geometrische Verteilung mit Parameter p ∈ (0, 1) bezeichnet.
Satz 7.3. Sei r ∈ N, p ∈ (0, 1), q := 1 − p.
a) Sei (Xn )n∈N eine unabhängige Folge von b(1, p)-verteilten ZVn. Die erweitert-reelle
n
P
Xk = r} − r mit inf ∅ := ∞ ist N b(r, p)-verteilt.
ZV X := inf{n ∈ N |
k=1
b) Für eine ZV X mit PX = N b(r, p) gilt EX =
rq
,
p
V (X) =
rq
.
p2
c) N b(r, p) hat die erzeugende Funktion g mit g(s) = pr (1 − qs)−r .
d) Für r1,2 ∈ N gilt
N b(r1 , p) ∗ N b(r2 , p) = N b(r1 + r2 , p) .
Die Summe von r unabhängigen N b(1, p)-verteilten ZVn ist somit N b(r, p)-verteilt.
Bemerkung 7.3. Für die Folge (Xn ) in Satz 7.3a wird durch die erweitert-reelle ZV
n
P
Xk = r} mit inf ∅ := ∞ die Wartezeit bis zum r-ten Auftreten der
T := inf{n ∈ N |
k=1
Eins in (Xn ) und durch die erweitert-reelle ZV X = T − r die Anzahl der Misserfolge bis
zum r-ten Erfolg bei der zu (Xn ) gehörigen Folge von Bernoulli-Versuchen angegeben.
28
Definition 7.4. Als hypergeometrische Verteilung mit Parametern n, r, s ∈ N, wobei
n ≤ r+s, wird ein W-Maß auf B bezeichnet, das auf {0, 1, . . . , n} — sogar auf {max (0, n−
s), . . . , min (n, r)} — konzentriert ist und die Zähldichte
 r s 
 k n−k
, k = 0, 1, . . . , n
r+s
k 7→
n


0
, k = n + 1, n + 2, . . .
besitzt.
Bemerkung 7.4. Werden aus einer Urne mit r roten und s schwarzen Kugeln rein zufällig
n Kugeln ohne Zurücklegen gezogen (n, r, s wie in Definition 7.4), so wird die Anzahl der
gezogenen roten Kugeln durch eine ZV angegeben, die eine hypergeometrische Verteilung
mit Parametern n, r, s besitzt. Anwendung der hypergeometrischen Verteilung in der Qualitätskontrolle.
7.2
Totalstetige Verteilungen
Definition 7.5. Als Gleichverteilung auf (a, b) mit −∞ < a < b < ∞ wird ein
1
χ(a,b) besitzt.
W-Maß auf B bezeichnet, das eine Dichte f =
b−a
a+b
(b − a)2
, V (X) =
.
Satz 7.4. Für eine ZV X mit Gleichverteilung auf (a, b) gilt EX =
2
12
Definition 7.6. Als (eindimensionale) Normalverteilung oder Gauß-Verteilung N (a, σ 2 )
mit Parametern a ∈ R, σ > 0 wird ein W-Maß auf B bezeichnet, das eine Dichte f mit
f (x) = √
(x−a)2
1
e− 2σ2 ,
2πσ
x∈R
besitzt. Speziell heißt N (0, 1) standardisierte Normalverteilung.
Bemerkung 7.5.
a) Sei f wie in Definition 7.6. Der Graph von f heißt Gaußsche Glockenkurve. Im Fall
1
1
a = 0 ist f (0) = √
und hat f zwei Wendepunkte (±σ; √
).
2πσ
2πeσ
b) Die Dichtefunktion und die VF φ von N (0, 1) sind tabelliert.
X −a
N (0, 1)-verteilt. Es gilt hierbei
σ
c) Ist die ZV X N (a, σ 2 )-verteilt, so ist
P [a − σ ≤ X ≤ a + σ]
= 2φ(1) − 1 ≈ 0, 683
P [a − 2σ ≤ X ≤ a + 2σ] = 2φ(2) − 1 ≈ 0, 954
P [a − 3σ ≤ X ≤ a + 3σ] = 2φ(3) − 1 ≈ 0, 997 .
29
d) Anwendung der Normalverteilung z.B. in der Theorie der Beobachtungsfehler.
Satz 7.5. Sei a ∈ R, σ > 0.
a) Für eine ZV X mit Verteilung N (a, σ 2 ) gilt:
2k−1
E(X − a)
2k
= 0, E(X − a)
k
Y
=σ
(2j − 1),
2k
k ∈ N;
j=1
insbesondere EX = a, V (X) = σ 2 ; die ZV cX + b mit 0 6= c ∈ R, b ∈ R hat die
Verteilung N (ca + b, c2 σ 2 ).
b) Die charakteristische Funktion von N (a, σ 2 ) ist ϕ mit
ϕ(u) = eiau e
σ 2 u2
2
.
c) Für a1,2 ∈ R, σ1,2 > 0 gilt
N (a1 , σ12 ) ∗ N (a2 , σ22 ) = N (a1 + a2 , σ12 + σ22 ) .
Definition 7.7. Als Exponentialverteilung exp(λ) mit Parameter λ > 0 wird ein
W-Maß auf B oder B bezeichnet, das eine Dichtefunktion f mit

 λe−λx , x > 0
f (x) =

0, x ≤ 0
besitzt.
Satz 7.6. Sei λ > 0.
a) Sei X eine erweitert-reelle ZV, deren Verteilung auf R+ konzentriert sei, mit P [0 <
X < ∞] > 0. Dann gilt:
∀
P [X > t + s | X > s] = P [X > t] ⇐⇒ PX ist eine Exponentialverteilung.
s,t∈(0,∞)
“Gedächtnislosigkeit”
b) Für eine ZV X mit PX = exp(λ) gilt EX =
1
1
, V (X) = 2 .
λ
λ
c) exp(λ) hat die charakteristische Funktion ϕ mit
ϕ(u) =
30
λ
.
λ − iu
Bemerkung 7.6. Die zufällige Lebensdauer eines radioaktiven Atoms wird durch eine
exponentialverteilte ZV angegeben.
Definition 7.8. Als Gamma-Verteilung Γλ,ν mit Parametern λ, ν > 0 wird ein W-Maß
auf B oder B bezeichnet, das eine Dichtefunktion f mit

ν
 λ xν−1 e−λx , x > 0
Γ(ν)
f (x) =

0,
x≤0
besitzt. Hierbei Γλ,1 = exp(λ). Γ 1 , n wird als Chi-Quadrat-Verteilung χ2n mit n(∈ N) Frei2 2
heitsgraden bezeichnet.
Satz 7.7. Seien λ, ν > 0, n ∈ N.
a) Für eine ZV X mit PX = Γλ,ν gilt EX = λν , V (X) =
ν
λ2
.
b) Γλ,ν hat die charakteristische Funktion ϕ mit
ν
λ
ϕ(u) =
.
λ − iu
c) Für ν1,2 > 0 gilt
Γλ,ν1 ∗ Γλ,ν2 = Γλ,ν1 +ν2 .
Insbesondere ist Γλ,n die n-fache Faltung von exp(λ).
d) Die Summe der Quadrate von n unabhängigen jeweils N (0, 1)-verteilten reellen ZVn
ist χ2n -verteilt.
Bemerkung 7.7. Sind X, Y zwei unabhängige reelle ZVn mit PX = N (0, 1) und PY = χ2n ,
X
als t-Verteilung oder Student-Verteilung tn bzw.
so wird die Verteilung der ZV p
Y /n
Stn mit n Freiheitsgraden bezeichnet (n ∈ N). t1 bzw. St1 ist eine sogenannte CauchyVerteilung. — Anwendung von χ2n und Stn in der Statistik.
Sei {Tn | n ∈ N} eine unabhängige Folge nichtnegativ-reeller Zufallsvariablen (d.h. Ti
und Tj haben jeweils dieselbe Verteilung) mit P [Tn = 0] < 1.
Definiere die ZV Nt := sup{n ∈ N | T1 + . . . + Tn ≤ t} (mit sup ∅ = 0), t ∈ R+ .
Beispiel. In einem technischen System wird ein Bauelement mit endlicher zufälliger Lebensdauer bei Ausfall durch ein gleichartiges Element ersetzt. Die einzelnen Lebensdauern
seien Realisierung der ZVn Tn . Nt gibt die Anzahl der Erneuerungen im Zeitintervall [0, t]
an.
31
Satz 7.8. Ist — mit den obigen Bezeichnungen — Tn exp(λ)-verteilt (λ > 0), so ist Nt
π(λt)-verteilt, t ∈ R+ .
Bemerkung 7.8. Die Familie {Nt | t ∈ R+ } aus Satz 7.8 ist ein sogenannter PoissonProzess.
32
8
Bedingte Erwartungen
Satz 8.1. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B). σ-Algebra
C ⊂ A. Dann existiert eine ZV Z : (Ω, A, P ) → (R, B) mit folgenden Eigenschaften:
(∗) Z ist integrierbar und C-B-messbar,
Z
Z
(∗∗) ∀
X dP =
Z dP .
C∈C
C
C
Z ist eindeutig bis auf die Äquivalenz “= Rest C P -f.ü.”.
Definition 8.1. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B). σ-Algebra
C ⊂ A. Die Äquivalenzklasse (im oberen Sinne) der ZVn Z: (Ω, A, P ) → (R, B) mit (∗)
und (∗∗) — oder auch ein Repräsentant dieser Äquivalenzklasse — heißt bedingte Erwartung von X bei gegebenem C . . . E(X | C). Häufig wird ein Repräsentant dieser
Äquivalenzklasse als eine Version von E(X | C) bezeichnet.
E(X | C) ist eine “Vergröberung” von X.
Beispiele
a) C = A . . . E(X | C) = X f.s.
b) C = {∅, Ω} . . . E(X | C) = EX
c) C = {∅, B, B c , Ω} mit 0 < P (B) < 1.
Z

1



 P (B) B X dP =: E(X | B), ω ∈ B
(E(X | C))(ω) =
Z

1



X dP, ω ∈ B c
P (B c ) B c
E(X | B) heißt bedingter Erwartungswert von X unter der Hypothese B.
Satz 8.2. W-Raum (Ω, A, P ). X, Xi integrierbar; σ-Algebra C ⊂ A; c, α1,2 ∈ R.
Z
Z
E(X | C)dP =
X dP
a) ∀
C∈C
C
C
b) X = c P-f.s. =⇒ E(X | C) = c f.s.
c) X ≥ 0 P-f.s. =⇒ E(X | C) ≥ 0 f.s.
d) E(α1 X1 + α2 X2 | C) = α1 E(X1 | C) + α2 E(X2 | C) f.s.
e) X1 ≤ X2 P-f.s. =⇒ E(X1 | C) ≤ E(X2 | C) f.s.
33
f) X C-B-messbar =⇒ X = E(X | C) f.s.
g) X integrierbar, Y C-B-messbar, XY integrierbar =⇒ E(XY | C) = Y E(X | C) f.s.
g’) X, X 0 integrierbar, XE(X 0 | C) integrierbar
=⇒ E(XE(X 0 | C) | C) = E(X | C)E(X 0 | C) f.s.
h) σ-Algebra C1,2 mit C1 ⊂ C2 ⊂ A, X integrierbar
E(E(X | C1 ) | C2 ) = E(X | C1 ) f.s.
E(E(X | C2 ) | C1 ) = E(X | C1 ) f.s.
Hier f.s. . . . Rest C2 P-f.s. bzw. Rest C1 P-f.s.
Definition 8.2. W-Raum (Ω, A, P ). σ-Algebra C ⊂ A. A ∈ A.
P (A | C) := E(χA | C) heißt bedingte Wahrscheinlichkeit von A bei gegebenem C.
Bemerkung 8.1. Zu Definition 8.2.
Z
P (A | C) dP = P (A ∩ C).
∀
C∈C
C
Beispiel. C = {∅, B, B c , Ω} mit 0 < P (B) < 1.

P (A ∩ B)



 P (B) =: P (A | B), ω ∈ B
(P (A | C))(ω) =


P (A ∩ B c )


=: P (A | B c ), ω ∈ B c .
c
P (B )
Definition 8.3. W-Raum (Ω, A, P ).
a) Integrierbare ZV X: (Ω, A, P ) → (R, B). ZV Y : (Ω, A, P ) → (Ω0 , A0 ).
E(X | Y ) := E(X | Y −1 (A0 )) . . . bedingte Erwartung von X bei gegeb. Y .
| {z }
[kleinste σ-Algebra in Ω, bzgl. der Y messbar ist . . . F(Y )(⊂ A)]
b) Integrierbare ZV X: (Ω, A, P ) → (R, B). ZVn Yi : (Ω, A, P ) → (Ω0i , A0i ) (i ∈ I)
C(⊂ A) sei die kleinste σ-Algebra in Ω, bzgl. der alle Yi messbar sind
[C = F( ∪ Yi−1 (Ai )) . . . F(Yi , i ∈ I)]
i∈I
E(X | (Yi )i∈I ) := E(X | C) . . . bedingte Erwartung von X bei gegebenem Yi , i ∈ I.
c) A ∈ A; ZV Y : (Ω, A, P ) → (Ω0 , A0 ).
P (A | Y ) := E(χA | Y ) . . . bedingte Wahrscheinlichkeit von A bei gegeb. Y .
34
Bemerkung 8.2. Integrierbare ZV X: (Ω, A, P ) → (R, B).
a) σ-Algebra C in A
(X −1 (B), C) unabhängig =⇒ E(X | C) = EX f.s.
b) ZV Y : (Ω, A, P ) =⇒ (Ω0 , A0 )
(X, Y ) unabhängig → E(X | Y ) = EX f.s.
Satz 8.3. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B).
ZV Y : (Ω, A, P ) → (Ω0 , A0 ). Dann ex. Abb. g: (Ω0 , A0 ) → (R, B) mit E(X | Y ) = g ◦ Y .
g ist die sog. Faktorisierung der bedingten Erwartung.
g ist eindeutig bis auf die Äquivalenz “= PY -f.ü. ”.
Definition 8.4. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B) bzw. A ∈ A.
ZV Y : (Ω, A, P ) → (Ω0 , A0 ). Sei g bzw. gA eine — bis auf Äquivalenz “= PY - f.ü.”
eindeutig bestimmte — Faktorisierung von E(X|Y ) bzw. von P (A|Y ).
E(X | Y = y) := g(y) . . . bedingte Erwartung von X unter der Hypothese Y = y
P (A | Y = y) := gA (y) . . . bed. Wahrscheinlichkeit von A unter der Hypoth. Y = y
E(X | Y = ·) = g
P (A | Y = ·) = gA
Satz 8.4. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B) bzw. A ∈ A. ZV
Y : (Ω, A, P ) → (Ω0 , A0 )
R
R
a) ∀
E(X
|
Y
=
y)
P
(dy)
=
X dP ,
Y
0
A
Y −1 (A0 )
A0 ∈A0
R
insbesondere Ω0 E(X | Y = y) PY (dy) = EX .
R
b) ∀
P (A | Y = y) PY (dy) = P (Y −1 (A0 ) ∩ A) ,
A0
A0 ∈A0
R
insbesondere Ω0 P (A | Y = y) PY (dy) = P (A) .
Beispiel. X bzw. A sowie Y wie zuvor. Sei y ∈ Ω0 mit {y} ∈ A0 und PY ({y}) > 0.
a) E(X | Y = y) = E(X | [Y = y])
{z
}
|
{z
}
|
s. Def. 8.4. s. Beispiel nach Def. 8.1.
b) P (A | Y = y) = P (A | [Y = y])
|
{z
}
|
{z
}
s. Def. 8.4. s. Beispiel nach Def. 8.2.
35
Satz 8.5. W-Raum (Ω, A, P ). Integrierbare ZV X: (Ω, A, P ) → (R, B).
ZV Y : (Ω, A) → (Ω0 , A0 ).
a) X = c f.s. =⇒ E(X | Y = ·) = c PY -f.ü.
b) X ≥ 0 f.s. =⇒ E(X | Y = ·) ≥ 0 PY -f.ü.
c) E(αX1 + βX2 | Y = ·) = αE(X1 | Y = ·) + βE(X2 | Y = ·) PY -f.ü.
d) X1 ≤ X2 f.s. =⇒ E(X1 | Y = ·) ≤ E(X2 | Y = ·) PY -f.ü.
Satz 8.6. W-Raum (Ω, A, P ), Sub-σ-Algebra C(⊂ A), X, Xn (n ∈ N) integrierbare
Zufallsvariablen. Dann gilt:
a) Ist 0 ≤ Xn ↑ X fast sicher (n → N), so folgt
E(Xn | C) → E(X | C) fast sicher
(Satz von der monotonen Konvergenz für bedingte Erwartungen).
b) Ist Xn → X fast sicher (n → N) und |Xn | ≤ Y fast sicher für alle n ∈ N und Y eine
integrierbare Zufallsvariable (d.h. E|Y | < ∞), so folgt
E(Xn | C) → E(X | C) fast sicher
(Satz von der dominierten Konvergenz für bedingte Erwartungen).
Satz 8.7. W-Raum (Ω, A, P ), Sub-σ-Algebra C(⊂ A), I ⊂ R ein Intervall und f : I → R
eine konvexe Funktion und X : Ω → I eine integrierbare Zufallsvariable. Dann ist E(X |
C) ∈ I fast sicher. Ist f (X) integrierbar, so gilt
f (E(X | C)) ≤ E(f (X) | C) fast sicher
36
9
Martingale
Definition 9.1. W-Raum (Ω, A, P ).
Eine Folge (Xn )n∈N von integrierbaren ZVn Xn : (Ω, A, P ) → (R, B) heißt bei gegebener
nonoton wachsender Folge (An )n∈N von σ-Algebren An ⊂ A mit An -B-Messbarkeit von
Xn [wichtiger Fall An = F(X1 , . . . , Xn ) (n ∈ N)]
a) ein Martingal bzgl. (An ), wenn
∀
n∈N
E(Xn+1 | An ) = Xn f.s.
Z
[d.h.
∀
Z
Xn+1 dP =
∀
n∈N C∈An
Xn dP ] ,
C
C
b) ein Submartingal bzgl. (An ), wenn
∀
n∈N
E(Xn+1 | An ) ≥ Xn f.s.
Z
[d.h.
∀
Z
Xn+1 dP ≥
∀
n∈N C∈An
C
Xn dP ] ,
C
c) ein Supermartingal bzgl. (An ), wenn (−Xn ) ein Submartingal bzgl. (An ) ist.
Bemerkung 9.1. Ein Martingal (Xn ) bzgl. (An ) ist auch ein Martingal bzgl. (F(X1 ,
. . . , Xn )). Entsprechend für Sub-, Supermartingal.
Satz 9.1. W-Raum (Ω, A, P ), Folge (Vn )n∈N von ZVn Vn : (Ω, A, P ) → (R, B) . Die
n
P
Partialsummenfolge ( Vj )n∈N ist genau dann ein Martingal bzw. Submartingal bzgl.
j=1
(F(V1 , V1 + V2 , . . . , V1 + . . . + Vn )) = (F(V1 , . . . , Vn )), wenn
∀
n∈N
Vn integrierbar und ∀
n∈N
E(Vn+1 | V1 , . . . , Vn ) = 0 bzw. ≥ 0 f.s.
Definition 9.2. Ein Spiel mit zufälligen Gewinnständen X1 , X2 , . . . nach dem 1., 2.,
. . . Schritt heißt fair, wenn EX1 = 0 und (Xn )n∈N ein Martingal [bzgl. (F(X1 , . . . , Xn ))]
ist, d.h. EX1 = 0 und ∀ E(Xn+1 | X1 = x1 , . . . , Xn = xn ) = xn für P(X1 ,...,Xn ) -f.a.
n
(x1 , . . . , xn ).
Satz 9.2. W-Raum (Ω, A, P ), Folge (Vn ) von quadratisch integrierbaren ZVn Vn :
n
P
(Ω, A, P ) → (R, B). Die Partialsummenfolge ( Vj ) sei ein Martingal.
j=1
Dann gilt ∀ EVi Vj = 0.
i6=j
37
Beispiel für ein Martingal: Partialsummenfolge (
n
P
Vj )n∈N zu einer unabhängigen Folge
i=1
(Vn )n∈N von integrierbaren reellen ZVn mit Erwartungswerten 0.
Satz 9.3 ((Sub)Martingalkonvergenztheorem (Doob)). W-Raum (Ω, A, P ).
(Xn ) sei ein Submartingal mit limE|Xn | < ∞.
Dann existiert eine integrierbare reelle ZV X mit Xn → X P-f.s.
Zum Beweis von Satz 9.3: Definition 9.3, Definition 9.4., Satz 9.4, Satz 9.5.
Definition 9.3. W-Raum (Ω, A, P ). Monoton wachsende Folge (An )n∈N von σ-Algebren
An ⊂ A. Eine ZV T : (Ω, A, P ) → (N := N∪{∞}, P(N)) heißt Stoppzeit bzgl. (An ), wenn
∀ [T = k] ∈ Ak ; hierbei heißt T Stoppzeit im engeren Sinne, falls P [T < ∞] = 1
k∈N
[“Kein Vorgriff auf die Zukunft”].
Wichtiger Fall: An = F(X1 , . . . , Xn ) (n ∈ N) mit ZVn Xn
Deutung (Xn ) . . . Folge der Gewinnstände in einem Spiel.
Ein Spieler ohne prophetische Gaben bricht das Spiel im zufälligen Zeitpunkt T aufgrund
des bisherigen Spielverlaufs ab.
Beispiel: T (ω) = inf{n ∈ N: Xn (ω) ∈ B}, ω ∈ Ω — festes messbares B.
Definition 9.4. W-Raum (Ω, A, P )
Folge (Xn )n∈N von ZVn Xn : (Ω, A, P ) → (R, B);
Folge (Tn )n∈N von Stoppzeiten bzgl. (Xn ) [d.h. bzgl. (F(X1 , . . . , Xn ))]
mit T1 ≤ T2 ≤ . . . < ∞. Neue Folge: Folge (XTn )n∈N von ZVn definiert durch
(XTn )(ω) := XTn (ω) (ω), ω ∈ Ω .
Übergang von (Xn ) zu (XTn ) heißt optional sampling [frei gewählte Stichprobenbildung]
Deutung . . . Testen des Spielverlaufs zu den Zeitpunkten Tn (ω).
Satz 9.4 (Optional sampling theorem).
Submartingal (Xn )n∈N . Festes M ∈ N.
Folge (Tn )n∈N von Stoppzeiten bzgl. (Xn ) mit T1 ≤ T2 ≤ . . . ≤ M .
Die durch optional sampling erhaltene Folge (XTn )n∈N ist ebenfalls ein Submartingal. —
Entsprechend für Martingal statt Submartingal (Deutung: die Fairness eines Spielverlaufs
wird nicht geändert).
Satz 9.5 (“upcrossing inequality” (von Doob)).
Sei (X1 , . . . , Xn ) ein — beim festen Index n ∈ N abbrechendes — Submartingal. Feste reelle Zahlen a, b mit a < b. Die ZV U [a, b] gebe die Anzahl der aufsteigenden Überquerungen
38
des Intervalls [a, b] durch X1 , . . . , Xn an (d.h. die Anzahl der Übergänge der abbrechenden
Folge von einem Wert ≤ a zu einem Wert ≥ b). Dann gilt
(b − a)EU [a, b] ≤ E(Xn − a)+ − E(X1 − a)+ .
Korollar 9.1. Ist (Un ) eine Folge integrierbarer nichtnegativ-reeller Zufallsvariablen auf
(Ω, A, P ) und (An ) eine monoton wachsende Folge von Unter-σ-Algebren von A mit An B+ -Messbarkeit von Un (n ∈ N) und gilt
E(Un+1 | An ) ≤ (1 + αn )Un + βn (n ∈ N)
P
P
wobei αn , βn ∈ R+ mit
αn < ∞,
βn < ∞, dann konvergiert (Un ) f.s. — (Un ) ist
“fast ein nichtnegatives Supermartingal”.
Auch (EUn ) konvergiert.
P
Satz 9.6. Folge (Vn ) von quadratisch integrierbaren reellen ZVn mit V (Vn ) < ∞. Dann
ist
X
(Vn − E(Vn | V1 , . . . , Vn−1 )) f.s. konvergent.
P
[Falls zusätzlich (Vn ) unabhängig, dann ist (Vn − EVn ) f.s. konvergent]
Satz 9.7. Folge (Vn ) von quadratisch integrierbaren reellen ZVn mit
Dann
n
1X
(Vj − E(Vj | V1 , . . . , Vj−1 )) → 0 f.s.
n j=1
Falls zusätzlich (Vn ) unabhängig, dann
1
n
n
P
P
n−2 V (Vn ) < ∞.
(Vj − EVj ) → 0 f.s.
j=1
(Kriterium von Kolmogorov zum starken Gesetz der großen Zahlen)
Beweis von Satz 9.7 mit Satz 9.6 und dem folgenden — etwas spezialisierten —
Lemma von Kronecker. Folge (cn )n∈N reeller Zahlen.
X cn
n
1X
konv. =⇒
cj → 0 (n → ∞).
n
n j=1
Bemerkung 9.2. Aus Satz 9.6 bzw. 9.7 ergibt sich unmittelbar für eine Folge (Vn ) quadratisch integrierbarer reeller ZVn eine hinreichende Bedingung für die f.s. Konvergenz
n
P
P
der Reihe
Vn bzw. für n1
Vj → 0 f.s.
j=1
Definition 9.5. Eine Folge (Xn )n∈N von integrierbaren reellen ZVn auf einem W-Raum
(Ω, A, P ) genügt dem schwachen bzw. starken Gesetz der großen Zahlen, wenn
n
1X
(Xk − EXk ) → 0 (n → ∞) nach Wahrscheinlichkeit bzw. P-f.s.
n k=1
39
Satz 9.8 (Kriterium von Kolmogorov für das starke Gesetz der großen Zahlen).
Eine unabhängige Folge (Xn )n∈N quadratisch integrierbarer reeller ZVn mit
∞
X
n−2 V (Xn ) < ∞
n=1
genügt dem starken Gesetz der großen Zahlen.
Satz 9.9 (Kolmogorovsches starkes Gesetz der großen Zahlen).
Für eine unabhängige Folge (Xn )n∈N identisch verteilter integrierbarer reeller ZVn gilt
n
1X
Xk → EX1
n k=1
(n → ∞) f.s.
Bemerkung 9.3.
a) In Satz 9.9 darf die Integrierbarkeitsvoraussetzung nicht weggelassen werden.
b) Die Voraussetzung der Unabhängigkeit in Satz 9.9 kann zur Voraussetzung der paarweisen Unabhängigkeit abgeschwächt werden (N. Etemadi, Z. Wahrscheinlichkeitstheorie verw. Gebiete 55 (1981), 119-122).
Satz 9.10 (Tschebyschev).
Eine Folge (Xn )n∈N quadratisch integrierbarer paarweise unkorrelierter [d.h. es gilt
∀ E(Xj − EXj )(Xk − EXk ) = 0] reeller ZVn mit
j6=k
n
−2
n
X
V (Xk ) → 0 (n → ∞)
k=1
genügt dem schwachen Gesetz der großen Zahlen.
Bemerkung 9.4 (Folgerung aus obigen Sätzen). Für eine unabhängige Folge (Xn ) identisch verteilter reeller ZVn mit P [X1 = 1] = p, P [X1 = 0] = 1 − p (festes p ∈ [0, 1])
gilt
n
1X
Xk → p (n → ∞) P-f.s. und nach Wahrscheinlichkeit
n k=1
(Borelsches starkes Gesetz der großen Zahlen bzw. Bernoullisches schwaches Gesetz der
großen Zahlen).
40
10
Verteilungskonvergenz in R
Definition 10.1.
a) W-Maße Qn (n ∈ N), Q auf der σ-Algebra B der Borelschen Mengen in R. Die Folge
(Qn ) heißt gegen Q schwach konvergent (weakly convergent) — Schreibweise
Qn → Q schwach — , wenn für jede beschränkte stetige Funktion g : R → R gilt
Z
Z
g dQn →
g dQ (n → ∞).
R
R
b) Reelle ZVn Xn (n ∈ N), X (nicht notwendig auf demselben W-Raum definiert). Die
Folge (Xn ) heißt gegen X nach Verteilung konvergent (convergent in distribuD
tion, convergent in law) — Schreibweise Xn → X (n → ∞) — , wenn PXn → PX
schwach, d.h. für jede beschränkte stetige Funktion g : R → R gilt
Z
Z
g dPXn →
g dPX (n → ∞)
R
R
oder (äquivalent nach dem Transformationssatz für Integrale)
Eg(Xn ) → Eg(X) (n → ∞) .
Bemerkung 10.1. a) In Definition 10.1a ist das Grenz-W-Maß Q eindeutig bestimmt.
b) In Definition 10.1b können Xn , X durch reelle ZVn Xn0 , X 0 mit PXn0 = PXn , PX 0 = PX
ersetzt werden.
Satz 10.1. Reelle ZVn Xn (n ∈ N), X auf (Ω, A, P ).
D
Aus Xn → X nach Wahrscheinlichkeit (Schreibweise Xn → X) folgt Xn → X.
P
Satz 10.2. W-Maße Qn (n ∈ N), Q auf B bzw. reelle ZVn Xn (n ∈ N), X mit VFn
Fn , F .
D
Qn → Q schwach bzw. Xn → X (n → ∞) gilt genau dann, wenn Fn (x) → F (x) (n → ∞)
für alle Stetigkeitspunkte x von F .
Satz 10.3. Reelle ZVn Xn (n ∈ N), X auf (Ω, A, P ). Ist X P-f.s. konstant, so gilt:
D
Xn → X ⇐⇒ Xn → X .
P
Satz 10.4. Reelle ZVn Xn , Yn (n ∈ N), X auf (Ω, A, P )


D
Xn → X
|Xn − Yn | → 0 
P
41
D
=⇒ Yn → X .
Satz 10.5 (Spezialfall des Darstellungssatzes von Skorokhod).
D
Reelle ZVn Xn (n ∈ N), X mit Xn → X. Dann existiert ein W-Raum (Ω∗ , A∗ , P ∗ ) —
wobei man Ω∗ = [0, 1], A∗ = [0, 1] ∩ B, P ∗ = L-B-Maß auf A∗ wählen kann — und reelle
ZVn Xn∗ (n ∈ N), X ∗ auf (Ω∗ , A∗ , P ∗ ) derart, dass
∗
∗
∗
∗
∀ PXn = PXn∗ , PX = PX ∗ , Xn → X
(n → ∞) P ∗ -f.s.
n
Satz 10.6 (Satz von der stetigen Abbildung).
D
Reelle ZVn Xn (n ∈ N), X mit Xn → X; Abbildung h : (R, B) → (R, B) sei PX -f.ü.
D
stetig. Dann gilt h(Xn ) → h(X).
Satz 10.7 (Satz von Slutsky).
Reelle ZVn Xn , Yn , X auf (Ω, A, P ); c ∈ R.


D
D
 Xn + Yn →
Xn → X 
X +c
=⇒
D
 Y X →
Yn → c 
cX .
n n
P
Definition 10.2. Eine Menge Q von W-Maßen auf B heißt
a) relativ-(folgen)kompakt, wenn jede Folge von Elementen aus Q eine Teilfolge
besitzt, die schwach gegen ein W-Maß auf B konvergiert,
b) gleichmäßig straff [tight], wenn
∀
∃
∀
Q(K c ) ≤ ε .
ε>0 komp. K⊂R Q∈Q
Satz 10.8 (Spezialfall des Satzes von Prokhorov).
Eine Menge Q von W-Maßen auf B ist genau dann relativ-kompakt, wenn sie gleichmäßig
straff ist.
Satz 10.9 (Auswahlsatz von Helly).
Ist (Qn ) eine Folge von W-Maßen auf B mit zugehörigen VFn Fn : R → R (n ∈ N), dann
existiert eine Indexfolge (ni ) und ein endliches Maß Q auf B (nicht notw. W-Maß!) mit
zugehöriger maßdefinierender Funktion F : R → R (F (x) := Q((−∞, x])+ const. (geeignet), x ∈ R) derart, dass Fni (x) → F (x) (i → ∞) für alle Stetigkeitspunkte x von F .
Satz 10.10 (Satz von Lévy-Cramér; Stetigkeitssatz).
a) W-Maße Qn auf B mit char. Fktn. ϕn : R → C (n ∈ N). Ist Q ein W-Maß auf B
mit char. Fkt. ϕ : R → C und gilt Qn → Q schwach, dann gilt
∀
u∈R
ϕn (u) → ϕ(u) .
42
Existiert eine in 0 stetige Funktion ϕ : R → C und gilt
∀
u∈R
ϕn (u) → ϕ(u) ,
dann existiert ein W-Maß Q auf B mit char. Fkt. ϕ und Qn → Q schwach.
b) W-Maße Qn (n ∈ N), Q auf B mit char. Fktn. ϕn , ϕ : R → C.
Qn → Q schwach ⇐⇒ ∀
u∈R
ϕn (u) → ϕ(u).
Bemerkung 10.2. Die obigen Definitionen und Sätze lassen sich auf W-Maße auf Bk
bzw. k-dim. Zufallsvektoren übertragen.
43
11
Zentrale Grenzwertsätze
Ausssagen über die Approximation von Verteilungen, insbesondere der Verteilungen von
Summen von Zufallsvariablen, durch die Normalverteilung im Sinne der schwachen Konvergenz werden als zentrale Grenzwertsätze bezeichnet.
Satz 11.1 (Zentraler Grenzwertsatz von Lindeberg-Lévy im 1-dim. Fall).
Sei (Xn )n∈N eine unabhängige Folge identisch verteilter quadratisch integrierbarer reeller
ZVn mit EX1 =: a, V (X1 ) =: σ 2 mit σ > 0. Dann
n
1 X
D
√
(Xk − a) → N (0, 1)-verteilte reelle ZV.
nσ k=1
Korollar 11.1 (Zentraler Grenzwertsatz von de Moivre und Laplace).
Für eine unabhängige Folge (Xn )n∈N identisch verteilter reeller ZVn auf (Ω, A, P ) mit
P [X1 = 1] = p, P [X1 = 0] = 1 − p =: q (0 < p < 1) gilt
Pn
Z β
1
2
k=1 Xk − np
e−t /2 dt (n → ∞).
<β →√
√
∀ P α<
npq
(=)
(=)
α<β
2π α
∈R
Satz 11.2 (B.M. Brown 1971, Gänssler-Stute 1977).
Das Schema reeller ZVn Xnj (j = 1, . . . , jn ; n ∈ N) auf einem W-Raum (Ω, A, P ) und das
Schema der σ-Algebren Anj in Ω (j = 0, . . . , jn ; n ∈ N) mit F(Xnj ) ⊂ Anj ⊂ An,j+1 ⊂ A
sollen die folgenden Bedingungen erfüllen:
(1) ∀ Xnj quadr. int., Ej−1 Xnj := E(Xnj | An,j−1 ) = 0
n,j
[die Xnj bilden ein sog. Martingaldifferenzschema],
(2)
jn
P
2
Ej−1 Xnj
→1,
P
j=1
(3) ∀
jn
P
ε>0 j=1
2
Ej−1 [Xnj
χ[|Xnj |>ε] ] → 0 (n → ∞)
P
[eine sog. bedingte Lindeberg-Bedingung].
Dann
jn
X
D
Xnj → N (0, 1)-verteilte reelle ZV.
j=1
Hilfsformel
∀
∀
k∈N x∈R
|eix − 1 −
(ix)k−1
|x|k
ix
− ... −
|≤
1!
(k − 1)!
k!
44
Bemerkung 11.1.
Schema quadr. int. am Erwartungswert zentrierter reeller ZVn Xni (i = 1, . . . , in ; n ∈ N)
auf W-Raum (Ω, A, P ), Schema von σ-Algebren Ani in Ω (i = 0, . . . , in ; n ∈ N) mit
F(Xni ) ⊂ Ani ⊂ An,i+1 ⊂ A. Es gelten die folgenden Implikationen:
in
P
a) ∃
δ>0
E(|Xni |2+δ | An,i−1 ) → 0 ( bedingte Ljapunov-Bedingung)
P
i=1
in
P
=⇒ ∀
ε>0
=⇒ max
i=1,...,in
in
P
b) ∃
δ>0
2
E(Xni
χ[|Xni |>ε] | An,i−1 ) → 0 (bedingte Lindeberg-Bedingung)
P
i=1
2
E(Xni
| An,i−1 ) → 0 (bedingte Feller-Bedingung)
P
E(|Xni |2+δ ) → 0 (Ljapunov-Bedingung)
i=1
in
P
=⇒ ∀
ε>0
=⇒ max
2
E(Xni
χ[|Xni |>ε] ) → 0 (Lindeberg-Bedingung)
i=1
i=1,...,in
2
E(Xni
) → 0 (Feller-Bedingung).
Ljapunov-Bedingung =⇒ bedingte Ljapunov-Bedingung
Lindeberg-Bedingung =⇒ bedingte Lindeberg-Bedingung
c) Bei nicht am Erwartungswert zentrierten ZVn ist in a), b) jeweils Xni durch Xni −
EXni zu ersetzen.
Bemerkung 11.2.
a) Wird in Satz 11.2 für jedes n ∈ N die Unabhängigkeit des in -tupels (Xn1 , . . . , Xnin )
vorausgesetzt, so können — bei An0 = {∅, Ω}, Ani = F(Xn1 , . . . , Xni ) (i = 1, . . . , in ,
n ∈ N) — (1), (2), (3) in äquivalenter Weise mit Erwartungswerten statt bedingter Erwartungen und Konvergenz in R statt stochastischer Konvergenz formuliert
werden.
b) In Satz 11.2 dient die Bedingung (2) der Normierung und schränkt die Bedingung
(3) vom Lindeberg-Typ den Einfluss der einzelnen ZVn ein.
Satz 11.3 (Zentraler Grenzwertsatz von Lindeberg).
Die Folge (Xn )n∈N quadratisch integrierbarer reeller ZVn mit EX12 > 0, ∀ EXn = 0
n
n
P
2
2
sei unabhängig und erfülle — mit sn :=
EXi (n ∈ N) — die klassische Lindebergi=1
Bedingung
(4) ∀
ε>0
1
s2n
n
P
E(Xi2 χ[|Xi |>εsn ] ) → 0.
i=1
45
Dann
n
1 X
D
Xi → N (0, 1)-verteilte ZV.
sn i=1
Bemerkung 11.3.
In Satz 11.3 — mit am Erwartungswert zentrierten ZVn — impliziert die klassische
Lindeberg-Bedingung (4) die klassische Feller-Bedingung
max (
i=1,...,n
1
EXi2 ) → 0 (n → ∞)
s2n
und wird ihrerseits durch die klassische Ljapunov-Bedingung
∃
δ>0
n
1 X
s2+δ
n
E|Xi |2+δ → 0 (n → ∞)
i=1
impliziert. Bei nicht am Erwartungswert zentrierten ZVn ist jeweils Xi durch Xi − EXi ,
auch in der Definition von sn , zu ersetzen.
Satz 11.2 =⇒ Satz 11.3 =⇒ Satz 11.1
46
Literatur
Bauer, H.: Wahrscheinlichkeitstheorie; de Gruyter, Berlin (1990), 4. Aufl.
Behnen, K., Neuhaus, G.: Grundkurs Stochastik; Teubner, Stuttgart (1995), 3. Aufl.
Billingsley, P.: Probability and Measure; Wiley, New York (1995), 3rd ed.
Borowkow, A. A.: Wahrscheinlichkeitstheorie; Birkhäuser, Basel (1976).
Breiman, L.: Probability; Addison-Wesley, Reading Mass. (1968).
Capiński, M., Kopp, E.: Measure Integral and Probability; Springer (2004), 2nd ed.
Chow, Y. S., Teicher, H.: Probability Theory — Independence, Interchangeability,
Martingales; Springer, Berlin (1978).
Chung, K. L.: A Course in Probability Theory; Academic Press, New York (1974), 2nd
ed.
Dinges, H., Rost, H.: Prinzipien der Stochastik; Teubner, Stuttgart (1982).
Dudley, R.M.: Real Analysis and Probability; Cambridge University Press(2002), 2nd
ed.
Durrett, R..: Probability Theory and Examples; Wadsworth & Brooks/Cole, Pacific
Grove (1991).
Fabian, V., Hannan, J.: Introduction to Probability and Mathematical Statistics; Wiley, New York (1985).
Feller, W.: An Introduction to Probability and Its Applications I,II; Wiley, New York
(1970/71), 3rd ed./2nd ed.
Fisz, M.: Wahrscheinlichkeitsrechnung und mathematische Statistik; VEB Deutscher
Verlag der Wissenschaften, Berlin (1970), 5. Aufl.
Gänssler, P., Stute, W.: Wahrscheinlichkeitstheorie; Springer, Berlin (1977).
Gnedenko, B W.: Lehrbuch der Wahrscheinlichkeitsrechnung; Akademie-Verlag, Berlin
(1968), 5. Aufl.
Hesse C.: Angewandte Wahrscheinlichkeitstheorie; Vieweg (2003).
Hinderer, K.: Grundbegriffe der Wahrscheinlichkeitstheorie; Springer, Berlin (1985),
3. korr. Nachdruck.
Jacod, J., Protter, P.: Probability Essentials. Springer, Berlin (2004), 2nd ed.
Kallenberg, O.: Foundations of Modern Probability. Springer, New York (2001), 2nd
ed.
Klenke, A.: Wahrscheinlichkeitstheorie; Springer, Heidelberg (2006)
Krengel, U.: Einführung in die Wahrscheinlichkeitstheorie und Statistik; Vieweg, Braunschweig (2003), 7. Aufl.
47
Krickeberg, K.: Wahrscheinlichkeitstheorie; Teubner, Stuttgart (1963).
Krickeberg, K., Ziezold, H.: Stochastische Methoden; Springer, Berlin (1988), 3.
Aufl.
Laha, R. G., Rohatgi, V. K.: Probability Theory; New York, Wiley & Sons (1979).
Lamperti, H.: Probability; Benjamin, New York (1966).
Loève, M.: Probability Theory I,II; Springer, Berlin (1977/78), 4th ed.
Meintrup D., Schäffler S.: Stochastik — Theorie und Anwendungen; Springer (2004).
Neveu, J.: Mathematische Grundlagen der Wahrscheinlichkeitstheorie; Oldenbourg, München
(1969).
Pfanzagl, J.: Elementare Wahrscheinlichkeitsrechnung; de Gruyter, Berlin (1988).
Plachky, D.; Baringhaus, Schmitz, N./Plachky, D.: Stochastik I/II; Akad. Verlagsges., Frankfurt (1978/1981).
Prohorov, Yu. V., Rozanov, Yu. A.: Probability Theory; Springer, Berlin (1969).
Rényi, A.: Wahrscheinlichkeitsrechnung; VEB Deutscher Verlag der Wissenschaften, Berlin (1962).
Rényi, A.: Foundations of Probability Theory; Holden-Day, San Francisco (1970).
Resnick, S.: A Probability Path; Birkhäuser, Boston (1999).
Richter, H.: Wahrscheinlichkeitstheorie; Springer, Berlin (1966), 2. Aufl.
Schmitz, N.: Vorlesungen über Wahrscheinlichkeitstheorie; Teubner, Stuttgart (1996).
Shiryayev, A. N.: Probability; Springer, Berlin (1984).
Sinai, Y. G.: Probability Theory; Springer, Berlin (1992).
Vogel, W.: Wahrscheinlichkeitstheorie; Vandenhoeck & Ruprecht, Göttingen (1970).
Williams, D.: Probability with Martingales; Cambridge University Press (1991).
Williams, D.: Weighing the Odds — A Course in Probability and Statistics; Cambridge
University Press (2001).
Whittle, P.: Probability via Expectation; Springer, New York (2000), 4. Aufl.
48