Übungsaufgaben zur Einführung in die Wahrscheinlichkeitstheorie 1

Übungsaufgaben zur Einführung in die Wahrscheinlichkeitstheorie
Fabian Benesch
Wintersemester 2010/2011
[email protected]
1 Grundlegendes
1.1 Ereignisse
Sei
(Ω, F , P )
ein Wahrscheinlichkeitsraum und
(An )
eine Folge von Ereignissen. Drücken Sie die Er-
eignisse
A := unendlich
B := schlieÿlich
mittels der
An
viele der
alle
An
An
treten ein
treten ein
und geeigneter Mengenoperationen aus und zeigen Sie die
F -Messbarkeit
beider Men-
gen.
1.2 Eigenschaften von Wmaÿen auf den reellen Zahlen
Quellennachweis zu dieser Aufgabe: [TK].
Es sei P ein Wahrscheinlichkeitsmaÿ auf
K existiert, so dass
(R, B(R)). Beweisen Sie, dass für jedes > 0 ein Kompaktum
P (K) > 1 − .
1.3 Stochastische Unabhängigkeit I
Quellennachweis zu dieser Aufgabe: [TK].
Sei
(Ω, F , P )
ein Wahrscheinlichkeitsraum und A, B Ereignisse. Zeigen Sie: A und B sind stochas-
tisch unabhängig unter P genau dann, wenn die Indikatorfunktionen
1A
und
1B
unter P unabhängige
Zufallsvariablen sind.
1.4 Stochastische Unabhängigkeit II
Quellennachweis zu dieser Aufgabe: [FE].
Sei
(Yn )n∈N0
eine Folge von unabhängigen Zufallsvariablen auf einem Wsraum
P (Yn = 1) = P (Yn = −1) =
1
1
∀n ∈ N0
2
(Ω, F , P )
mit
Für
n ∈ N0
sei
Xn := Y0 · Y1 · Y2 · ... · Yn . Zeigen Sie, dass die Zufallsvariablen X0 , X1 , X2 , ... unabhängig
sind.
1.5 Verteilung von Zufallsvariablen
Quellennachweis zu dieser Aufgabe: [FE].
Geben Sie einen Wahrscheinlichkeitsraum
X, Y : (Ω, F , P ) → (R, B(R))
1.
X(ω) 6= Y (ω) ∀ω ∈ Ω
2.
PX = PY
(Ω, F , P )
und zwei reellwertige Zufallsvariablen
an, für die gilt:
und
1.6 Unabhängigkeit und Unkorreliertheit
Quellennachweis zu dieser Aufgabe: [TK].
1. Geben Sie ein einfaches Beispiel von zwei diskreten Zufallsvariablen an, die unkorreliert, aber
nicht unabhängig sind.
2. Es sei
X
standardnormalverteilt. Zeigen Sie, dass
X
und
X2
unkorreliert, aber nicht unabhängig
sind.
1.7 Erwartungswert
Quellennachweis zu dieser Aufgabe: [FE].
Es sei X standardnormalverteilt. Bestimmen Sie den Erwartungswert von
|X|.
2 Quantiltransformation
Quellennachweis zu dieser Aufgabe: [TK].
Beschreiben Sie ein Verfahren zur Simulation logistisch verteilter Zufallszahlen, wenn Ihnen auf
gleichverteilte Zufallszahlen zur Verfügung stehen.
Hinweis: Die logistische Verteilung hat die Verteilungsfunktion
2
F (x) =
1
.
1+e−x
[0, 1]
3 Bedingte Wahrscheinlickeiten
3.1 Schwangerschaftstest
Hersteller von Schwangerschaftstests werben gerne mit Aussagen wie Zuverlässigkeit von über 99%
oder dergleichen. Dies ist natürlich insoweit irreführend, als dass hier nicht zwischen den zwei möglichen Fehlern Test negativ gegeben dass schwanger und Test positiv gegeben dass nicht schwanger
unterschieden wird. Schenken Sie der Werbung Glauben und nehmen Sie für beide Fehler einen Wert
von 0.01 an. Von allen Personen, die einen Schwangerschaftstest durchführen, sei ein Anteil
p ∈ (0, 1)
tatsächlich schwanger.
Zeigen Sie, dass Sie bei einem positiven Schwangerschaftstest nur dann wirklich mit einer Wahrscheinlichkeit von mindestens 99% schwanger sind, wenn
p ≥ 0.5.
3.2 Gefangenenproblem
Quellennachweis zu dieser Aufgabe: [RA].
Die drei zum Tode verurteilten Häftlinge A, B und C sitzen in ihrer Zelle. Sie erfahren, dass einer von
ihnen begnadigt worden ist. Zusätzlich weiÿ der Gefangene A von einem Wärter, der keine Auskunft
über den begnadigten Häftling machen darf, dass B sicher nicht begnadigt wurde. Darf sich A nun
etwas erleichtert fühlen?
3.3 Auktionsproblem und Erwartungswert
Quellennachweis zu dieser Aufgabe: [RI].
Betrachtet wird das aus der Vorlesung bekannte Auktionsproblem (siehe S.23 in [RI]). Abweichend
zur Vorlesung laute in dieser Aufgabe die Entscheidungsregel: Warte die ersten k-1 Objekte ab und
akzeptiere dann das erste Objekt, das besser ist als alle bisherigen. Falls kein solches Objekt existiert,
akzeptiere das letzte Objekt.
Wie viele Objekte sehen Sie sich im Auktionsproblem durchschnittlich an, bis Sie ein Objekt akzeptieren, wenn Sie sich nach der Regel aus der Vorlesung entscheiden und den optimalen Parameter
k=
n
e verwenden? Benutzen Sie ggf. wie in der Vorlesung Näherungen für groÿe Werte von n.
3.4 Eine Erweiterung des Auktionsproblems
Quellennachweis zu dieser Aufgabe: [RI], [MA].
Betrachtet wird das aus der Vorlesung bekannte Auktionsproblem (siehe S.23 in [RI]). Abweichend
zur Vorlesung laute in dieser Aufgabe die Entscheidungsregel: Warte die ersten k-1 Objekte ab und
3
akzeptiere dann das erste Objekt, das besser ist als alle bisherigen. Falls kein solches Objekt existiert,
akzeptiere das letzte Objekt.
Das Ziel bisher war, in der Auktion mit möglichst hoher Wahrscheinlichkeit das beste Objekt auszuwählen, wobei das zweitbeste Objekt bereits genauso unattraktiv war wie das Schlechteste. Möglicherweise
wollen Sie etwas weniger wählerisch sein und dem in [MA] beschriebenen Ansatz folgen. Zu diesem
Zweck sei
G : {1, 2, 3, ..., n} → R
eine Abbildung, die jedem Objekt eine reelle Zahl zuordnet, die
die Ihre Wertschätzung diesem Objekt gegenüber ausdrücken soll. Ihre Entscheidungsregel wählen Sie
wie oben beschrieben. Falls wie bisher nur das beste Objekt von Interesse ist, können Sie also z.B.
G(r) = 0
für alle
r ∈ {1, 2, 3, ..., n − 1}
und
G(n) = 1
setzen.
Im Folgenden wird angenommen, dass Ihre Zufriedenheit mit einem Objekt linear mit dessen Wert
ansteigt. Es sei also
G(r) = r
für alle
r ∈ {1, 2, 3, ..., n}. Die Wahrscheinlichkeit, bei festem Parameter
P (k, r) bezeichnet. Ihr Ziel ist nun, den Parameter k in
k genau das Objekt r auszuwählen, werde mit
der Entscheidungsregel so zu wählen, dass der Erwartungswert von G, d.h. die von k abhängige Gröÿe
E(k) :=
Pn
r=1 G(r)
· P (k, r),
maximal ist. Damit maximieren Sie Ihre erwartete Zufriedenheit. Sie
können dazu folgendermaÿen vorgehen:
1. Es sei
Yi
die Position des Objekts i und
Ar
das Ereignis, dass das Objekt r angenommen wird.
Bestimmen Sie die bedingte Wahrscheinlichkeit
Für
Für
P (Ar |Yr = j).
Ergebnis:
j ∈ {1, 2, 3, ..., k − 1} : P (Ar | Yr = j) = 0
j ∈ {k, k + 1, ..., n − 1} : P (Ar | Yr = j) =
Für
k − 1 (n − j)!(r − 1)!
·
j − 1 (r − j)!(n − 1)!
j = n : P (Ar | Yr = j) =
falls
j≤r
und
0
sonst
k−1
n−1
Hinweis: unterscheiden Sie diese drei Fälle. Begründen Sie, dass das Objekt r genau dann angenommen wird, wenn
•
das beste Objekt unter den ersten j-1 betrachteten Objekten eines der ersten k-1 betrachteten
Objekte ist und zusätzlich
•
jedes Objekt gröÿer als r frühestens als j+1tes Objekt gesehen würde oder j=n gilt.
2. Folgern Sie
P (k, r) =
Pn
j=1 P (Ar
| Yr = j) · P (Yr = j) =
Hinweis: Die Summe sei Null, falls
k−1
n(n−1)
+
Pmin{r,n−1}
j=k
k > min{r, n − 1}.
3. Zeigen Sie:
n−1 n
E(k) =
(n + 1)(k − 1) X X r!(k − 1)(n − j)!
+
2(n − 1)
n!(j − 1)(r − j)!
j=k r=j
Hinweis:
Pn
r=1 r
= 21 n(n + 1)
und Summationsreihenfolge ändern.
4
(k−1)(n−j)!(r−1)!
n!(j−1)(r−j)!
4. Folgern Sie
n−1
n (n + 1)(k − 1) X (k − 1)(n − j)! X r
E(k) =
+
j!
2(n − 1)
n!(j − 1)
j
r=j
j=k
5. Zeigen Sie
Pn
r
r=j j
=
n+1
j+1
für
j = 1, ..., n.
Pn
Pn−1 r+1
Pn
r+1
r
r
r
r=j+1 { j+1 − j }, wor=j+1 j+1 =
r=j j+1 und
r=j+1 j+1 =
bei die erste Gleichung durch Verschieben des Summationsindex entsteht und bei der zweiten GleiHinweis: Zeigen Sie
Pn
chung die bekannte Rekursionsbeziehung für Binomialkoezienten angewendet wurde. Gleichsetzen und Umformen liefert das Ergebnis.
6. Zeigen Sie:
n−1
E(k) =
X
(n + 1)(k − 1)
1
+ (k − 1)(n + 1)
2(n − 1)
(j − 1)(j + 1)
j=k
7. Zeigen Sie, dass für alle
N ∈ {2, 3, 4, ...}
Hinweis: Benutzen Sie die Zerlegung
gilt:
PN
1
(1−j)(j+1)
1
j=2 (j−1)(j+1)
1
= 12 ( j−1
−
=
3
4
−
2N +1
2N (N +1) .
1
j+1 ) und geeignete Indexverschiebun-
gen.
8. Folgern Sie:
E(k) = −
n+1 n
( + k − 2n − 1)
2n k
Bestimmen Sie das Maximum der Funktion
Ergebnis:
k=
Das Maximum von
abgerundeten Wert
√
n
E : R+ → R, k 7→ E(k) = − n+1
2n ( k + k − 2n − 1).
n.
E(k) wird also, da k eine ganze
√
von
n angenommen. Beachten
Zahl sein muss, entweder für den auf- oder den
Sie, dass dieses Ergebnis nicht voraussetzt, dass
n groÿ ist.
Falls Sie also mit einem Auktionsproblem konfrontiert werden, stehen Ihnen nun zwei erwiesenermaÿen optimale Strategien zur Verfügung. Entweder Sie konzentrieren sich mit der 37%-Regel aus der
Vorlesung auf das Allerbeste der n Objekte, oder Sie sind weniger selektiv und verfahren nach der hier
vorgestellten √
n-Regel.
4 Bestimmen-Sie-die-Verteilung-Aufgaben
4.1 Briefe sortieren, Inklusion-Exklusion
Quellennachweis zu dieser Aufgabe: [TK].
In einem Schreibbüro sind bei oenstehendem Fenster ein Stapel von n Briefen mit den dazugehörigen
Umschlägen durcheinander geraten. Jetzt wird rein zufällig jedem Brief ein Umschlag zugeordnet.
5
Zeigen Sie, dass
n
X
(−1)ν−1
ν!
ν=1
die Wahrscheinlichkeit ist für das Ereignis
B := {mindestens
ein Brief ist in dem dazugehörigen Umschlag}.
Bestimmen Sie auch den zugehörigen Grenzwert für
n → ∞.
4.2 Kartenmischen, Inklusion-Exklusion
Betrachten Sie noch einmal Tutoraufgabe 11.2 aus [MU]: Ein Stapel mit n Karten wird gut durchgemischt. Wie viele Karten sind durchschnittlich nach dem Mischen an der gleichen Stelle wie vorher?
Nehmen wir an, Sie wollten die Aufgabe nicht mit dem eleganten Trick mit den Indikatorfunktionen
lösen, sondern durch direkte Rechnung. Sei dazu X die Anzahl der Karten, die nach dem Mischen an
der gleichen Stelle wie zuvor sind. Bestimmen Sie die Verteilung von X, indem Sie zeigen, dass
n−k
1 X (−1)ν
P (X = k) =
k!
ν!
für
k ∈ {0, 1, ..., n}.
ν=0
Hinweis: Inklusion-Exklusion-Formel anwenden. Ggf. können Sie das Ergebnis von Aufgabe 4.1 weiterverwenden.
Benutzen Sie das Ergebnis, um
E(X)
zu berechnen.
4.3 Faltungsregel - Beweis ohne Transformationssatz
In Tutoraufgabe 9.1 aus [MU] wurde mit Hilfe des Transformationssatzes gezeigt: Seien
abhängige, stetige Zufallsvariablen mit Dichten
f (y) =
R
R f1 (x)f2 (y
f1
und
f2 ,
dann ist
Y := X1 + X2
un-
− x)dx.
Beweisen Sie dieses Ergebnis erneut über die Berechnung der Verteilungsfunktion von
zeigen Sie, dass für
X1 , X2
stetig mit Dichte
c∈R
X1 + X2 ,
d.h.
gilt
Z
FX1 +X2 (c) =
c
Z
f1 (x)f2 (y − x)dxdy.
−∞
R
4.4 Transformationssatz I
Betrachten Sie noch einmal Tutoraufgabe 6.2 aus [MU]: Seien
samer Dichte
X/Y .
f (x, y) =
1
, x, y
x2 y 2
≥ 1.
X, Y
stetige Zufallsvariablen mit gemein-
Bestimmen Sie die gemeinsame Verteilung von
Verwenden Sie nun aber den Transformationssatz.
6
U := XY, V :=
4.5 Transformationssatz II
Quellennachweis zu dieser Aufgabe: [TK].
Es sei X eine stetige Zufallsvariable mit Dichte
fX (x) = e−x · 1R+ (x)
und
σ, γ ∈ R+ , θ ∈ R.
1
1. Bestimmen Sie die Lebesgue-Dichte von
Y := σX γ + θ.
2. Bestimmen Sie die Lebesgue-Dichte von
Z := −γ log( Y σ−θ ).
4.6 Transformationssatz III
Quellennachweis zu dieser Aufgabe: [KL], S.298.
Es sei
X ∼ N (µ, σ 2 ).
Die Verteilung von
Y := exp(X)
nennt man auch Log-Normalverteilung.
1. Bestimmen Sie die zugehörige Lebesgue-Dichte.
2. Bestimmen Sie
E(Y n ), n ∈ N
4.7 Multivariate Normalverteilung und Transformationssatz
Es sei
S∈
X ∼ N (µ, Σ)
mit
µ ∈ Rd , Σ ∈ Rd×d
symmetrisch und positiv denit. Ferner sei
ν ∈ Rd
und
Rd×d invertierbar gegeben. Zeigen Sie eine Bemerkung aus der Zentralübung vom 07.02.2011:
SX + ν ∼ N (Sµ + ν, SΣS T ).
Eine Möglichkeit ist, die Dichte der
N (µ, Σ)-Verteilung via Transformationssatz zu transformieren. Sie
können sich aber auch eine Rechnung sparen, wenn Sie Teil a) des Satzes von S.41 in [RI] geeignet
verwenden. Vgl. hierzu auch das Vorgehen in Tutoraufgabe 10.1 b) in [MU].
4.8 Maximum und Minimum von Zufallsvariablen I
Vergleiche zu dieser Aufgabe auch Hausaufgabe 10.1 in [MU].
Seien
X1 , ..., Xn
unabhängig und gleichverteilt auf
1.
min{X1 , ..., Xn }
2.
max{X1 , min{X2 , ..., Xn }}
[0, 1].
7
Bestimmen Sie die Verteilung von
4.9 Maximum und Minimum von Zufallsvariablen II
Quellennachweis zu dieser Aufgabe: [FE].
Seien
f. Es
X1 und X2 unabhängige und identisch verteilte stetige reelle Zufallsvariablen mit stetiger Dichte
sei Y := max{X1 , X2 }.
1. Bestimmen Sie die Verteilungsfunktion
2. Zeigen Sie:
Y
FY
von
Y.
ist eine stetige Zufallsvariable. Bestimmen Sie die zugehörige Dichte
3. Bestimmen Sie
FY
und
fY ,
falls
X1
und
X2
fY .
exponentialverteilt sind mit Parameter
λ > 0.
5 Gesetze der groÿen Zahl
5.1 Lp-Konvergenz und stochastische Konvergenz
Quellennachweis zu dieser Aufgabe: [RO1].
Es sei
1≤p<∞
und es sei
(Xn )n∈N
Auÿerdem gelte für eine reelle Zufallsvariable
dass dann auch
Xn → X
Xn ∈ Lp für
limn→∞ E(|Xn − X|p ) = 0.
eine Folge reeller Zufallsvariablen mit
X ∈
Lp , dass
alle
n ∈ N.
Zeigen Sie,
stochastisch gilt.
5.2 Konvergenz reeller Zahlen und stochastische Konvergenz
Quellennachweis zu dieser Aufgabe: [RI], [RO2].
(Xn )n∈N , (Yn )n∈N , X reelle
Xn → X stochastisch und (cn )n∈N eine Folge reeller Zahlen mit cn → c. Zeigen
cn Xn → cX stochastisch und Xn + Yn → X + Y stochastisch gilt.
Zeigen Sie eine Bemerkung von Seite 46 aus dem Skript [RI]: Es seien
Zufallsvariablen mit
Sie, dass dann auch
5.3 Stochastische Konvergenz und fast sichere Konvergenz
Quellennachweis zu dieser Aufgabe: [RO1].
Es wurde gezeigt, dass fast sichere Konvergenz stochastische Konvergenz impliziert. Die Umkehrung gilt
jedoch nicht. Geben Sie als Gegenbeispiel eine Folge reeller Zufallsvariablen an, die zwar stochastisch,
aber nicht fast sicher konvergiert.
Hinweis: Finden Sie eine Folge von Zufallsvariablen, für die
Konvergenz gilt und argumentieren Sie mit Aufgabe 5.1.
8
limn→∞ E(|Xn |p ) = 0
aber keine f.s.
5.4 Voraussetzungen des SchwGGZ
Quellennachweis zu dieser Aufgabe: [RO1], [TK].
Betrachten Sie noch einmal den Beweis des schwachen Gesetzes der groÿen Zahlen (via ChebychevUngleichung) und überlegen Sie sich, inwieweit Sie die Voraussetzungen an die Zufallsvariablen (unabhängig und gleiche Verteilung, vgl. S.45 in [RI]) abschwächen können.
5.5 Monte Carlo Integration I
f ∈ C ([0, 1])
Wie in Tutoraufgabe 14.3 aus [MU] wollen Sie für eine Funktion
I =
R1
0
f (t)dt
I
Näherung an
bestimmen. Dazu seien
ist gegeben durch
Nun sei konkret
In :=
XP
1 , ..., Xn unabhängig
n
i=1 f (Xi ).
den Wert des Integrals
und gleichverteilt auf
[0, 1]
und Ihre
1
n
f (t) = t. Bestimmen sie das minimale n, so dass die durch die Chebychev-Ungleichung
P (|In − I| ≥ 0.01) kleiner als 1 ist.
erhaltene obere Schranke für
5.6 Monte Carlo Integration II
Quellennachweis zu dieser Aufgabe: [KL], S.116.
Betrachten Sie nochmal das Verfahren zur Bestimmung von
R1
0
f (t)dt aus Aufgabe 5.5. Benutzen Sie das
aus der Vorlesung bekannte starke Gesetz der groÿen Zahlen, um die Voraussetzung an f abzuschwächen
und eine stärkere Konvergenzaussage zu erhalten.
5.7 Weierstraÿ'scher Approximationssatz via SchwGGZ
Quellennachweis zu dieser Aufgabe: [KL], S.112.
[0, 1] dicht in (C ([0, 1]), || · ||∞ ) liegt. Dazu ist zu zeigen,
f : [0, 1] → R Polynome fn vom Grad höchstens n existieren, so dass
||f ||∞ := supx∈[0,1] |f (x)|.
Zeigen Sie, dass der Raum der Polynome über
dass für jede stetige Abbildung
n→∞
||fn − f ||∞ → 0.
Dabei ist
Hinweis: Betrachten Sie für
n∈N
das Bernstein-Polynom
fn (x) :=
n
X
k=0
fn
deniert durch
k n k
f( )
x (1 − x)n−k
n k
auf
[0, 1]
und interpretieren Sie diesen Ausdruck als Erwartungswert einer geeignet gewählten Zufallsvariable.
Schätzen Sie hiermit
|fn (x) − f (x)|
nach oben ab und verwenden Sie das schwache Gesetz der groÿen
Zahlen. Vgl. auch [KL], S.112.
9
6 Grenzwertsätze
6.1 Konvergenz in Verteilung
Quellennachweis zu dieser Aufgabe: [ME], S.168.
Es seien
(Xn )n∈N
P (Xn = n1 ) = 1 für alle n ∈ N.
X mit P (X = 0) = 1.
reelle Zufallsvariablen mit
in Verteilung für eine reelle Zufallsvariable
Zeigen Sie, dass
Xn → X
aus Aufgabe 5.5 für
f (t) = t.
6.2 Monte Carlo Integration III
Betrachten Sie nochmal das Verfahren zur Bestimmung von
R1
0
f (t)dt
Benutzen Sie den Zentralen Grenzwertsatz, um die Wahrscheinlichkeit
n mit Hilfe der Normalverteilung zu approximieren.
10
P (|In − I| ≥ 0.01)
für groÿe
Literatur
[RI]
Thomas Richthammer, Online-Skript zur Vorlesung Einführung in die Wahrscheinlichkeitstheo-
rie, TUM, WiSe 2010/2011
http://www-m5.ma.tum.de/pers/richthammer/wtheorie/TexSkript.pdf
[MU] Thomas Richthammer, Gernot Müller (Übungsleitung), Übungsaufgaben zur Vorlesung Einfüh-
rung in die Wahrscheinlichkeitstheorie, TUM, WiSe 2010/2011
http://www-m5.ma.tum.de/pers/richthammer/wtheorie
[MA] Internetseite ohne Angabe eines Autors
http://www.mathpages.com/home/kmath018/kmath018.htm (23.02.2011)
[RO1] Silke Rolles, Mathias Raer (Übungsleitung), Vorlesung Probability Theory, TUM, SoSe 2010
[RO2] Silke Rolles, Alexander Bauer (Übungsleitung), Vorlesung Statistik: Grundlagen, TUM, SoSe
2010
[TK] Thomas Klein, Stephan Haug (Übungsleitung), Vorlesung Einführung in die Wahrscheinlichkeits-
theorie, TUM, WiSe 2009/2010
[FE]
Stefan Fritsch, Christoph Schwaiger, Ran Zhang, Moritz Voÿ, Ferienkurs zur Vorlesung Stochas-
tik 1 , WiSe 2007/2008, TUM
[KL] Achim Klenke, Wahrscheinlichkeitstheorie, 2. Auage, Springer, 2008
[RA] Gero v. Randow, Das Ziegenproblem, Rowohlt Taschenbuch, 2004
[ME] Roland Meester, A natural introduction to Probability Theory, Second Edition, Birkhäuser Verlag,
2008
11