0.1 Maßtheorie

Prof. Dr. Rainer Dahlhaus
Wahrscheinlichkeitstheorie 1
Sommersemester 2016
Vorbereitungsblatt
Zur Auswahl des Stoffes: Die Kapitel 1 (Maßtheorie) und Kapitel 2 (Unabhängigkeit) dienten
vor allem der Vorbereitung für die weiteren Kapitel der Vorlesung. Da die Hauptresultate dieser
Kapitel ständig implizit in den weiteren Kapiteln benutzt werden, ist der Anteil an Aufgaben
direkt zu diesen Themengebieten in der Klausur geringer, als von der in Anspruch genommenen
Vorlesungszeit her anzunehmen wäre. Die Aufgaben aus dem Abschnitt ’Maßtheorie’ haben die
Intention, die wichtigsten Resultate noch einmal zu wiederholen.
0.1
Maßtheorie
Sei (Ω, A) ein Messraum.
σ-Algebren / Dynkin-Systeme
(a) Sei τ eine (Fn )n∈N -Stoppzeit auf (Ω, A), wobei (Fn )n∈N Filtration über (Ω, A). Definiere
Fτ = {A ∈ A : A ∩ {τ ≤ n} ∈ Fn ∀n ∈ N}.
Zeigen Sie, dass Fτ eine σ-Algebra ist (die sog. σ-Algebra der Stoppzeiten) und dass τ
messbar bzgl. Fτ ist.
(b) Seien µ1 , µ2 zwei Wahrscheinlichkeitsmaße auf (Ω, A). Zeigen Sie, dass D := {A ∈ A :
µ1 (A) = µ2 (A)} ein Dynkin-System ist.
Maße / Maßerweiterungssatz
(c0) Sei µ ein Maß auf (Ω, A) und f : (Ω, A) → R([0, ∞), B[0,∞) ) eine messbare und µintegrierbare Abbildung. Zeigen Sie, das ν(A) := A f dP ein endliches Maß ist.
(c) Seien µ1 , µ2 zwei endliche Maße und F1 , ..., Fn ⊂ A weitere σ-Algebren mit der Eigenschaft σ(F1 ∪ ... ∪ Fn ) = A. Es gelte µ1 = µ2 auf E = {A1 ∩ ... ∩ An : Ai ∈ Fi , i = 1, ..., n}.
Zeigen Sie: µ1 = µ2 auf A.
(d) Sei speziell Ω = {a, b, c}, A = P(Ω) und E = {{a, b}, {b, c}}. Ist ein Maß µ durch die
Angabe von den Werten auf E eindeutig bestimmt?
(e) Sei λ das Lebesgue-Maß auf (R, BR ). Zeigen Sie: Für alle c > 0 und A ∈ BR gilt: λ(c · A) =
c · λ(A), wobei c · A := {ca : a ∈ A}.
’Maßtheoretische Induktion’
dν
die zugehörige Dichte.
(f) Seien µ, ν σ-endliche Maße auf (Ω, A) mit ν µ und sei f := dµ
Zeigen Sie mittels maßtheoretischerR Induktion,
dass
für
jede
ν-integrierbare
messbare
R
Funktion h : (Ω, A) → (R, BR ) gilt: h dν = f · h dµ.
1
(g) Sei nun P ein Wahrscheinlichkeitsmaß auf (Ω, A), F ⊂ A eine weitere σ-Algebra und
X, Y zwei Zufallsvariablen auf (Ω, A) mit E|XY | < ∞ und X ≥ 0 (die folgende Aussage
gilt auch für beliebige X). Es gelte Y ∈ F. Zeigen Sie: E[XY |F] = Y E[X|F].
Vertauschungssätze (separiert)
(h) Sei p > 0 und X ≥ 0 eine Zufallsvariable mit E[X p ] < ∞. Zeigen Sie, dass np P(X > n) →
0 (n → ∞).
(i) Sei X ≥ 0 eine nichtnegative Zufallsvariable. Zeigen Sie, dass dann gilt: E[X ∧ n] → E[X]
(n → ∞). Hierbei ist a ∧ b := min(a, b).
Satz von Fubini
(j) Zeigen Sie: Für eine beliebige Zufallsvariable X mit Verteilungsfunktion F gilt
Z
Z
X
x
E[e ] =
e · P(X > x) dλ(x) =
ex · (1 − F (x)) dλ(x).
R
Hinweis: Schreiben Sie ex =
R
R
(−∞,x)
ey dλ(y) und verwenden Sie den Satz von Fubini.
(k) Sei φX (t) die charakteristische Funktion einer Zufallsvariable X. Zeigen Sie mittels des
Satzes von Fubini:
Z
1
e−itx φX (t) dλ(t).
P(X = x) = lim
T →∞ 2T [−T,T ]
0.2
Bedingte Erwartungswerte
Es sei (Ω, A, P) ein Wahrscheinlichkeitsraum und F ⊂ A eine weitere σ-Algebra.
(a) Seien X, Y Zufallsvariablen mit E|X|, E|Y | < ∞ sowie a ∈ R. Zeigen Sie: E[aX + Y |F] =
aE[X|F] + E[X|F].
(b) Sei X unabhängig von F (d.h. die Urbild-σ-Algebra σ(X) = X −1 (BR ) ist unabhängig von
F). Zeigen Sie, dass E[X|F] = E[X].
(c) Es sei (X, Y ) gemeinsam stetig verteilt auf (R2 , BR2 ) mit Lebesgue-Dichte
f (x, y) = 8xy 1{0≤x≤y≤1} .
Berechnen Sie E[X|Y ], E[Y |X]. Berechnen Sie dann E[X] auf zwei verschiedene Weisen.
(d) Berechnung weiterer bedingter Erwartungswerte / Anwendung der Rechenregeln: Siehe
Abschnitt Martingale.
0.3
Markov-Ungleichung, Das Lemma von Borel-Cantelli, das starke
Gesetz der großen Zahlen und Konvergenzarten
Sei hier immer (Ω, A, P) ein Wahrscheinlichkeitsraum.
(a) Zeigen Sie mit der Markov-Ungleichung folgende Abschätzung: P(X > y) ≤
U [0, 1].
2
1
2y
für X ∼
(b) Sei (Xn )n∈N eine
PFolge von i.i.d. Zufallsvariablen mit Verteilungsfunktion F . Sei x ∈ R
und F̂n (x) = n1 ni=1 1{Xi ≤x} die empirische Verteilungsfunktion.
• Zeigen Sie mit der Markov-Ungleichung / Tschebyscheff-Ungleichung: Es gilt für
ε > 0:
F (x)(1 − F (x))
P(|F̂n (x) − F (x)| ≥ ε) ≤
.
nε2
P
Folgern Sie: F̂n (x) → F (x).
• Zeigen Sie, dass sogar F̂n (x) → F (x) P-f.s. gilt.
(c) Sei (Xn )n∈N eine Folge von i.i.d. Zufallsvariablen mit X1 ∼ U [1, 2]. Zeigen Sie, dass
Q
P
1/n
( ni=1 Xi ) → Rc P-f.s. und bestimmen Sie c. Zeigen Sie weiter, dass ni=1 Xi → ∞ P-f.s.
Hinweis: Es ist log(x) dx = x log(x) − x.
(d) Ein Würfel mit gleichen Wahrscheinlichkeiten für die Zahlen 1 bis 6 werde unendlich oft
(unabhängig voneinander) geworfen. Das Ergebnis des n-ten Wurfs sei Xn .
• Es sei An das Ereignis, dass in den Würfen n + 1, n + 2, ..., 2n eine 6 gewürfelt wird
(d.h. in den n Würfen nach dem n-ten Wurf werden nur Sechsen gewürfelt). Tritt
An für unendlich viele n ∈ N ein?
• Zeigen Sie, dass unendlich oft in 6 aufeinanderfolgenden Würfen die Zahlen 1, 2, 3, 4, 5, 6
in genau dieser Reihenfolge gewürfelt werden.
(e) Es sei (Xn )n∈N eine Folge von unabhängigen Zufallsvariablen mit
P(Xn = n2 − 1) =
1
,
n2
P(Xn = −1) = 1 −
1
n2
(n ∈ N).
P
Zeigen Sie, dass EXn = 0, aber dass n1 ni=1 Xi → −1 P-f.s. Warum ist das starke Gesetz
der großen Zahlen hier nicht anwendbar?
(f) Es sei (Xn )n∈N eine Folge von unabhängigen und identisch verteilten Zufallsvariablen mit
X1 ∼ Pareto(α), wobei die Dichte von X1 bzgl. des Lebesgue-Maßes auf (R, BR ) mit
Parametern α > 0 durch
α
fX1 (x) = α+1 1{x≥1}
x
n
gegeben ist. Definiere Yn := nX1/α
. Untersuchen Sie Yn auf stochastische, schwache und fast
sichere Konvergenz! Zeigen Sie außerdem, dass lim supn→∞ Yn ≥ 1 P-f.s.
(g) Auf dem Wahrscheinlichkeitsraum (Ω, A, P) = ((0, 1), B(0,1) , λ|(0,1) ) (hierbei
√ ist λ|(0,1) die
Einschränkung des Lebesgue-Maßes auf (0, 1)) sei die Folge Xn (x) := n1(0, 1 ) (x) von
n
Zufallsvariablen gegeben. Untersuchen Sie Xn auf schwache, stochastische und fast sichere
Konvergenz sowie Konvergenz im 1-ten und 2-ten Mittel.
(h) Es sei (Xn )n∈N eine Folge von Zufallsvariablen mit Xn ∼ Poi(λ) mit λ > 0. Untersuchen
Sie Xnn auf schwache, stochastische Konvergenz und Konvergenz im 1-ten Mittel.
(i) Siehe auch: Abschnitt Martingale, Aufgabe (a), 3) und 4).
3
0.4
Martingale, Optional Sampling Theorem und Martingalkonvergenzsatz
(a) Das Likelihood-Quotient-Martingal: Sei (Xn )n∈N eine Folge von i.i.d. Zufallsvariablen. X1
sei stetig verteilt mit Dichte f bzgl. des Lebesgue-Maßes
auf R. Sei g eine beliebige weitere
R
Wahrscheinlichkeitsdichte auf R, d.h. g ≥ 0 und g dλ = 1.
• Zeigen Sie, dass (Mn )n∈N0 mit
n
Y
g(Xi )
Mn :=
f (Xi )
i=1
(n ∈ N),
M0 := 0
ein Martingal bzgl. einer geeigneten Filtration ist.
• Zeigen Sie weiter, dass eine Zufallsvariable M∞ existiert mit Mn → M∞ P-f.s.
• Zeigen Sie mit dem Lemma von Borel-Cantelli: Gilt P(g(X1 ) = 0) > 0, so ist M∞ = 0
P-f.s.
(X1 ) ) die sog. Kullback-Leibler-Divergenz. Zeigen Sie: K ≥ 0
• Sei nun K := E log( fg(X
1)
(X1 ) )| < ∞ und
mittels der Jensen-Ungleichung. Zeigen Sie weiter: Ist E | log( fg(X
1)
K > 0, so ist M∞ = 0.
(b) Rekapitulation Polya-Urne: Eine Urne enthalte zum Zeitpunkt 0 genau eine rote und eine
schwarze Kugel. Zu jedem Zeitpunkt (von 1 an) wird eine Kugel gezogen, die gezogene
Kugel in die Urne zurückgelegt und eine weitere Kugel derselben Farbe hinzugefügt.
Sei Bn die Anzahl der schwarzen Kugeln in der Urne nach dem n-ten Mal Ziehen und
Zurücklegen.
• Sei Xn := 1{Die in der n-ten Runde gezogene Kugel ist schwarz} . Zeigen Sie, dass
Bn
der folgenden Rekursionsgleichung genügt:
Mn := n+2
Mn+1 =
n+2
1
Mn +
Xn+1 .
n+3
n+3
Folgern Sie, dass Mn ∈ (0, 1) für alle n ∈ N0 .
• Zeigen Sie, dass (Mn )n∈N ein Martingal bzgl. einer geeigneten Filtration ist, und
zeigen Sie, dass eine Zufallsvariable M∞ existiert mit Mn → M∞ P-f.s.
(k)
• Allgemein kann gezeigt werden, dass für k ∈ N die Folge (Mn )n∈N definiert durch
Mn(k) :=
Bn (Bn + 1) · ... · (Bn + k − 1)
(n + 2)(n + 3) · ... · (n + k + 1)
ein Martingal bzgl. einer geeigneten Filtration ist (Übung: k = 2). Zeigen Sie, dass
(k)
(k)
k
k
k
Mn → M∞
und E[Mn ] → E[M∞
] und berechnen Sie damit E[M∞
].
P∞ E[M∞
k ]ik
• Benutzen Sie die Darstellung φM∞ (t) = k=0 k! tk (siehe 6.14 im Skript), um
zu zeigen, dass M∞ ∼ U [0, 1].
(c) Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und (εn )n∈N eine Folge von i.i.d. Zufallsvariablen mit
1
P(ε1 = 1) = = P(ε1 = −1).
2
Pn
Sei Sn = k=1 εk , S0 := 0. Seien a, b ∈ N. Definiere τ := inf{n ∈ N : Sn ∈ {a − n, a − n +
1}}.
4
• Zeigen Sie, dass (Sn )n∈N0 ein Martingal bzgl. (Fn )n∈N0 mit Fn := σ(εk : k ≤ n) ist.
• Zeigen Sie, dass Eτ < ∞. Zeigen Sie mittels des Optional Sampling Theorems, das
Eτ ∈ [a, a + 1] (Die genaue Berechnung von Eτ ist schwieriger).
Sei nun τb := inf{n ∈ N : Sn = b} mit einem b ∈ N. Zeigen Sie:
σSn
e
• Für jedes σ > 0 ist die Folge (Mn )n∈N0 definiert durch Mn := cosh(σ)
n ist ein Martingal
1 −σ
σ
bzgl. der Filtration (Fn )n∈N0 . Hierbei ist cosh(σ) := 2 (e + e ) > 1.
• P(τb < ∞) = 1.
Hinweis: Legitimieren Sie die folgenden Schritte u.a. mittels des Satzes von der dominierten Konvergenz:
1 = lim lim 1 = lim lim E[Mτb ∧n 1{τb <∞} ] + E[Mτb ∧n 1{τb =∞} ]
σ→0 n→∞
σ→0 n→∞
i
h eσb
1
= lim E
{τ <∞} = P(τb < ∞).
σ→0
cosh(σ)τb b
• Es gilt E[Sτb ] 6= E[S0 ] und E[τb ] = ∞.
Hinweis: Nutzen Sie für die zweite Identität das Optional Sampling Theorem mit
dem Martingal (Sn )n∈N0 .
(d) Sei Sn der symmetrische Random Walk (siehe (c)) und τ := inf{n ∈ N : |Sn | ≥ K} mit
einem K ∈ N. Sei Zn = (−1)n cos(π(Sn + K)) für n ∈ N0 . Zeigen Sie, dass (Zn )n∈N0
ein Martingal ist und berechnen Sie unter der Annahme Eτ < ∞ den Erwartungswert
E[(−1)τ ].
0.5
Charakteristische Funktionen und schwache Konvergenz
(a) Berechnen Sie die charakteristische Funktion einer auf [a, b] gleichverteilten Zufallsvariable
X ∼ U [a, b] und einer Bernoulli-verteilten Zufallsvariable Y ∼ Bin(1, p). Berechnen Sie
damit E[Y ].
(b) Zeigen Sie: Die Differenz zweier i.i.d. Zufallsvariablen X, Y kann nicht U [−1, 1]-verteilt
sein!
(c) Zeigen Sie mittels charakteristischer Funktionen:
• Ist X1 ∼ N (µ1 , σ12 ) und X2 ∼ N (µ2 , σ22 ) und sind X1 , X2 unabhängig, so gilt X1 +
X2 ∼ N (µ1 + µ2 , σ12 + σ22 ).
• EX1 = µ1 und E[X12 ] = µ21 + σ12 .
• aX1 + b ∼ N (aµ1 + b, a2 σ12 ).
Hinweis: Die charakteristische Funktion einer Normalverteilung lautet φN (µ,σ2 ) (t) = eitµ e−
σ 2 t2
2
(d) Seien X1 , X2 i.i.d. Zeigen Sie, dass φX1 X2 (t) = E[φX2 (tX1 )].
(e) Seien X1 , X2 i.i.d. und es gelte X1 + X2 hat dieselbe Verteilung wie X1 . Zeigen Sie, dass
X1 = 0 P-f.s.
P
iid
(f) Es ist bekannt, dass für X1 , ..., Xn ∼ Bin(1, p) gilt: X = ni=1 Xi ∼ Bin(n, p). Berechnen
Sie damit die charakteristische Funktion von X mit dem Resultat aus (a).
5
.
(g) Für n ∈ N sei Yn ∼ Bin(n, nλ ) mit einem λ > 0 (wir betrachten erst n ∈ N, ab denen
D
λ/n ∈ (0, 1)). Zeigen Sie, dass Yn → Poi(λ).
Hinweis: Es ist φPoi(λ) (t) = exp(λ(eit − 1)).
D
(h) Sei Xn ∼ N (µn , σn2 ) mit reellen Folgen µn → µ ∈ R, σn2 → σ 2 > 0. Zeigen Sie: Xn →
N (µ, σ 2 ).
(i) Zeige: Falls Xn , Yn Folgen von Zufallsvariablen sind und Xn unabhängig von Yn für alle
D
D
D
n ∈ N mit Xn → X∞ , Yn → Y∞ , dann gilt Xn + Yn → X∞ + Y∞ , wobei X∞ , Y∞
unabhängig.
6