¨Ubungen zur Wahrscheinlichkeitstheorie und Statistik

Übungen zur Wahrscheinlichkeitstheorie und Statistik
Prof. Dr. C. Löh/M. Blank
Blatt 13 vom 12. Juli 2012
Aufgabe 1 (Exponentialfamilien). Welche der folgenden Aussagen sind wahr?
Begründen Sie jeweils kurz Ihre Antwort.
1. Ist N, Pot(N), (Poi(ϑ))ϑ∈R>0 eine Exponentialfamilie?
2. Sei a ∈ R. Ist R, B(R), (N (a, ϑ2 ))ϑ∈R>0 eine Exponentialfamilie?
Lösungshinweise.
1. Ja, denn: Für jedes ϑ ∈ R>0 ist
fϑ : N −→ [0, 1]
k 7−→ e−ϑ ·
ϑk
1
= e−ϑ+k·ln ϑ ·
k!
k!
eine Zähldichte für Poi(ϑ). [Also ist N, Pot(N), (Poi(ϑ))ϑ∈R>0 eine Exponentialfamilie bzgl. des Zählmaßes auf N und der Inklusion N ,→ R (und
a = ln, b = (R>0 ,→ R) und h : k 7−→ 1/k! in der Notation der Vorlesung.
Die Abbildung h ist natürlich eine Zufallsvariable bzgl. Pot(N))].
2. Ja, denn: Für jedes ϑ ∈ R>0 ist
fϑ : R −→ R
x 7−→ √
1
2 · π · ϑ2
· e−
(x−a)2
2·ϑ2
=√
(x−a)2
1
· e− 2·ϑ2 −ln ϑ .
2·π
eine λ1 -Wahrscheinlichkeitsdichte für N (a, ϑ2 ).
Also ist R, B(R), (N (a, ϑ2 ))ϑ∈R>0 eine Exponentialfamilie bzgl. λ1 und
T : R −→ R
x 7−→ 1/2 · (x − a)2 .
(In der Notation der Vorlesung ist hier b = ln und
a“ : R>0 −→ R
”
1
ϑ 7−→ 2
ϑ
h : R −→ R
√
ω 7−→ 1/ 2 · π.
Als konstante Abbildung ist h eine Zufallsvariable.)
Aufgabe 2 (Eindeutigkeit gleichmäßig bester Schätzer). Sei (Ω, S, (Pϑ )ϑ∈Θ )
ein statistisches Modell und seien T, Te : (Ω, S) −→ (R, B(R)) gleichmäßig beste erwartungstreue Schätzer für eine Abbildung τ : Θ −→ R. Zeigen Sie: Für
alle ϑ ∈ Θ gilt dann Pϑ (T = Te) = 1.
Lösungshinweise. Sei ϑ ∈ Θ. Nach Voraussetzung sind T und Te (und damit
auch T − Te und T + Te) bzgl. Pϑ quadratintegrierbar. Es gilt VarPϑ (T − Te) = 0,
denn: Es gilt
VarPϑ (T ) + VarPϑ (1/2(T − Te))
≤ VarPϑ (1/2 · (T + Te)) + VarPϑ (1/2 · (T − Te))
1
= · (VarPϑ (T ) + VarPϑ (Te) + Cov(T, Te) + VarPϑ (T ) + VarPϑ (Te) + Cov(T, −Te))
4
1
= · (VarPϑ (T ) + VarPϑ (Te) + VarPϑ (T ) + VarPϑ (Te))
4
= VarPϑ (T ),
wobei wir in der ersten Ungleichung
∀ϑ0 ∈Θ EPϑ0 (1/2 · (T + Te)) = 1/2 · (EPϑ0 (T ) + EPϑ0 (Te)) = EPϑ0 (T )
und die Minimalität von T benutzt haben. Somit gilt
0 ≤ VarPϑ ((T − Te)) = 4 · VarPϑ (1/2(T − Te)) ≤ 0.
Es ist T − Te also Pϑ -fast sicher konstant, und daher gilt Pϑ -fast sicher
T − Te = Eϑ (T − Te) = 0.
[Mit anderen Worten Pϑ (T = Te) = 1.]
Aufgabe 3 (Maximum-Likelihood-Schätzer for Poisson-Verteilungen). Wir betrachten das statistische Modell (Ω, S, (Pϑ )ϑ∈Θ ), wobei Ω := N, S := Pot(Ω),
Θ := R>0 und Pϑ := Poi(ϑ) für ϑ ∈ Θ ist.
1. Zeigen Sie, dass der nachfolgende Beweis“ nicht korrekt ist, indem Sie
”
erklären, welcher Schritt nicht korrekt ist und erklären, warum die Behauptung nicht korrekt ist.
Behauptung. Dann ist
T : Ω −→ Θ
ω 7−→ ω
ein Maximum-Likelihood-Schätzer für idΘ (bezüglich der offensichtlichen Zähldichten und der Borel-σ-Algebra auf Θ = R>0 ).
Beweis. Offensichtlich ist T bezüglich S und B(R) messbar. Es bleibt
also zu zeigen, dass T das entsprechende Maximierungsproblem löst:
Die entsprechende Likelihoodfunktion ist
L : Ω × Θ −→ R≥0
(ω, ϑ) 7−→ e−ϑ ·
ϑω
.
ω!
Sei ω ∈ Ω. Indem man ln ◦L(ω, · ) differenziert und die Methoden
der reellen Analysis zur Lösung von Extremwertproblemen anwendet,
sieht man, dass die einzige Maximalstelle von ln ◦L(ω, · ) bzw. L(ω, · )
an der Stelle ϑ = ω liegt. Damit folgt die Behauptung.
2. Wie kann man die obige Situation so modifizieren, dass die der in der
Behauptung angegebenen entsprechende Abbildung ein Maximum-Likelihood-Schätzer für die Identitätsabbildung ist?
Lösungshinweise.
1. Der Fehler liegt darin, dass die Funktion L(0, ·) kein Maximum auf Θ =
R>0 annimmt. Anders formuliert: ω = 0 ∈ Ω liegt nicht in Θ, also lässt
sich T : Ω −→ Θ nicht wie oben definieren.
2. Wir definieren Poi0 := δ0 und betrachten das modifizierte statistische
Modell (Ω, S, (Pϑ )ϑ∈R≥0 ). Dann ist die Likelihoodfunktion dieses Modells
gegeben durch
L : Ω × Θ −→ R≥0

−ϑ

e ·
(ω, ϑ) 7−→ 1


0
ϑω
ω!
für ϑ > 0
für ϑ = 0 und ω = 0
sonst.
Dann ist
T : Ω −→ Θ
ω 7−→ ω
der gesuchte Maximum-Likelihood-Schätzer, denn: Für ω = 0 nimmt L(ω, ·)
ein eindeutiges Maximum in 0 an. Für alle ω > 0 gilt (wie im fehlerhaften
Beweis): L(ω, ·) : R≥0 7−→ R>0 ist (zweimal) differenzierbar auf R>0 , also
ist auch ϕ := ln ◦L(ω, ·)|R>0 (zweimal) differenzierbar, und es gilt für alle
ϑ ∈ R>0
ω
ϑ
1
ϕ00 (ω) = −1 − < 0
ω
ϕ0 (ϑ) = −1 +
Also ist ϑ = ω die einzige lokale Maximalstelle von ϕ und nach dem Satz
von Rolle auch die einzige globale Maximalstelle. Wegen der Monotonie des
Logarithmus ist ω auch die einzige Maximalstelle von L(ω, ·)|R>0 . Wegen
L(ω, 0) = 0 für ω > 0 folgt daher die Behauptung.
Aufgabe 4 (German Tank Problem). Wir betrachten das statistische Modell (Ω, S, (Pϑ )ϑ∈Θ ) für das German Tank Problem, das wie folgt gegeben ist:
Sei n ∈ N>0 (die beobachtete Anzahl der Seriennummern), sei
N>0
Ω :=
,
S := Pot(Ω),
Θ := N≥n ,
n
und für alle ϑ ∈ Θ bezeichne Pϑ die Gleichverteilung auf {1,...,ϑ}
. Hierbei
n
A
schreiben für eine Menge A kurz n := B ⊂ A |B| = n für die Menge der
n-elementigen Teilmengen von A.
1. Zeigen Sie, dass es für das Modell (Ω, S, (Pϑ )ϑ∈Θ ) einen Maximum-Likelihood-Schätzer (bezüglich der offensichtlichen Zähldichten und der σ-Algebra Pot(Θ) auf Θ) gibt und bestimmen Sie einen solchen.
2. Zeigen Sie durch vollständige Induktion: Für alle r ∈ N, s ∈ N≥r gilt
m−1
s
X
r · (s + 1)
r−1
.
m · s =
r+1
r
m=r
3. Ist Ihr Maximum-Likelihood-Schätzer aus dem ersten Aufgabenteil ein
erwartungstreuer Schätzer für die Inklusion Θ ,→ R ?
4. Bestimmen Sie einen (weiteren) erwartungstreuen Schätzer für die Inklusion Θ ,→ R.
Lösungshinweise.
1. Wir erhalten als Likelihood-Funktion
L : Ω × Θ −→ R
( −1
ϑ
n
(ω, ϑ) 7−→
0
für max ω ≤ ϑ
sonst.
Damit ist
T : (Ω, S) −→ (Θ, Pot(Θ))
ω 7−→ max ω
ein Maximum-Likelihood-Schätzer, denn: Die Abbildung T ist natürlich
messbar bzgl S = Pot(Ω). Sei ω ∈ Ω und ϑ ∈ Θ. Für ϑ > max ω = T (ω)
gilt L(ω, ϑ) = 0 ≤ L(ω, T (ω)). Für ϑ ≤ max ω gilt
−1 −1
ϑ
T (ω)
L(ω, ϑ) =
≤
= L(ω, T (ω)).
n
n
2. Sei r ∈ N. Wir zeigen die Behauptung mit vollständiger
Induktion nach
a
s ∈ N≥r . Für s = r erhalten wir [wobei wir etwa −1
:= 0 setzen für alle
a ∈ Z]
m−1
r
X
r · (r + 1)
r−1
.
m · r = r =
r+1
r
m=r
Sei die Aussage für s ∈ N≥r bereits gezeigt. Dann folgt
m−1
s
m−1
s+1
s
X
X
r−1
r−1
r−1 · r! · (s + 1 − r)!
m · s+1 = (s + 1) · s+1 +
m·
(s + 1)!
r
r
m=r
m=r
s
s! · r! · (s + 1 − r)!
s+1−r X
= (s + 1) ·
+
·
m·
(s + 1)! · (r − 1)! · (s + 1 − r)!
s+1
m=r
s + 1 − r r · (s + 1)
·
s+1
r+1
r · (r + 1) + r · (s + 1 − r)
=
r+1
r · (s + 2)
=
.
r+1
IV
= r+
m−1
r−1
r
s
3. Nein, denn: Wir erhalten für alle ϑ ∈ Θ: Der Schätzer T ist ausserhalb
einer Pϑ -Nullmenge beschränkt, ist also bzgl Pϑ integrierbar, und es gilt
EPϑ (T ) =
X
max ω ·
n
ω∈({1,...,ϑ}
)
n
=
ϑ
X
1
ϑ
X
m=n ω∈({1,...,m−1})
m·
1
ϑ
n
n−1
=
ϑ
X
m=n
=
m−1
m·
n−1
ϑ
n
n · (ϑ + 1)
.
n+1
(Teil 2)
Für alle ϑ ∈ Θ>n gilt also EPϑ (T ) 6= ϑ. Daher ist T nicht erwartungstreu.
4. Nach Teil 3 [und der Linearität des Erwartungswertes] ist T ·
erwartungstreuer Schätzer für Θ ,→ R.
n+1
n
− 1 ein
Bonusaufgabe (Modellbau). Da Commander Blorx nicht jünger wird und
demnächst in Rente geht, möchte er sich ein bizarres Hobby für seinen Ruhestand zulegen. Seine Wahl fällt dabei auf Modellbau. Helfen Sie Commander
Blorx bei der Modellierung der folgenden Probleme!
1. Commander Blorx möchte sich mit einem Freund aus der Studienzeit treffen. Beide nehmen es mit der Pünktlichkeit nicht so genau und werden
daher (jeweils unabhängig voneinander, gleichverteilt) innerhalb von einer
Stunde nach der verabredeten Zeit am vereinbarten Treffpunkt eintrudeln.
Da beide etwas ungeduldig sind, werden sie aber nicht länger als 10 Minuten auf den jeweils anderen warten. Wie groß ist die Wahrscheinlichkeit,
dass sie sich tatsächlich treffen?
2. Was ist eine vernünftige Approximation für die Anzahl der Tipfehler pro
Seite in der Encyclopedia Blorxica?
3. Ein von Commander Blorx ausgesetzter Schachkönig steht auf einem unendlich breiten und unendlich langen (ansonsten leeren) Schachbrett. In
jedem Zug bewegt er sich zufällig gleichverteilt ein Feld in eine der zulässigen acht Richtungen. Mit welcher Wahrscheinlichkeit kehrt er nach einer
endlichen Anzahl von Zügen zu seinem Ausgangsfeld zurück?
4. Wie kann Commander Blorx abschätzen, ob der garantiert faire“ Würfel,
”
den er von einem dubiosen Casinobetreiber erhalten hat, tatsächlich fair
ist?
Hinweis. Es genügt, die jeweiligen wahrscheinlichkeitstheoretischen bzw. statistischen Modelle anzugeben und kurz zu begründen; es geht nicht darum, die
entsprechenden Probleme tatsächlich zu lösen.
Lösungshinweise.
1. Seien T, T 0 : (Ω, S, P ) −→ ([0, 1], B([0, 1])) unabhängige gleichverteilte Zufallsvariablen. Dann lässt sich das gesuchte Ereignis beschreiben durch
(Blorx und sein Freund treffen sich) = {|T − T 0 | ≤ 1/6}
und die gesuchte Wahrscheinlichkeit ist P ({|T − T 0 | ≤ 1/6}). Dabei beschreibe T den Ankunftszeitpunkt von Blorx und T 0 den seines Freundes
und [0, 1] das Zeitintervall in welchem sich die beiden treffen wollten.
Alternativ betrachte man das Maß P|T −T 0 | auf ([0, 1], B([0, 1])) und das
Ereignis [0, 1/6] ⊂ [0, 1].
2. Wir betrachten das folgende (unrealistische) Modell: Wir nehmen an, dass
es ein (globales) p ∈ [0, 1] gibt, so dass jedes Zeichen in der Encyclopedia
Blorxica unabhängig von den anderen Zeichen mit Wahrscheinlichkeit p
falsch ist. [Dabei nehmen wir insbesondere an, dass die Zeichen unabhängig
voneinander entweder richtig oder falsch sind.]
Sei n ∈ N>0 die Anzahl der Zeichen in der Encyclopedia Blorxica. Wir erhalten dann das Binomialmodell ({0, . . . , n}, Pot({0, . . . , n}), B(n, p)) für
die Anzahl der Tippfehler in der Encyclopedia Blorxica. Für große Werte von n sind die entsprechenden Wahrscheinlichkeit numerisch schwierig
zu berechen. Wir betrachten daher stattdessen als Approximation“ das
”
Poisson-Modell
(N, Pot(N), Poi(n · p)).
[Die Fehler pro Seite“ modellieren wir dann als Gesamtfehlerzahl geteilt
”
durch die Anzahl der Seiten.]
3. Sei Ω := {−1, 0, 1}2 \ {(0, 0)}. Wir verwenden als Modell den Wahrscheinlichkeitsraum
(Ω, Pot(Ω), UΩd )⊗N>0
Wir beschreiben also das Schachbrett durch Z2 und modellieren dann die
Folge der Züge des Königs durch (πi )i∈N>0 . Das gesuchte Ereignis lässt
sich dann schreiben als
n
o
[ nX
(Der König kehrt zum Ausgangsfeld zurück) =
πi = (0, 0)
n∈N>0
i=1
und die gesuchte Wahrscheinlichkeit ist
P
n
[ nX
n∈N>0
πi = (0, 0)
o
.
i=1
P6
4. Sei Θ6 = {p ∈ [0, 1]6 | i=1 pi = 1} die Menge der möglichen Zähldichten
auf {1, . . . , 6} und (Pϑ )ϑ∈Θ6 die zugehörige Familie von Wahrscheinlichkeitsmaßen auf ({1, . . . , 6}, Pot({1, . . . , 6})). Wir betrachten das statistische Modell
({1, . . . , 6}, Pot({1, . . . , 6}), (Pϑ )ϑ∈Θ6 )⊗N .
Für ϑ ∈ Θ6 und i ∈ {1, . . . , 6} beschreibt ϑi die Wahrscheinlichkeit mit
dem Würfel i Augen zu werfen.
Man lege nun geeignete Hypothesenmengen fest, etwa (willkuerlich)
Θ6 = ((1/12, 3/12)6 ∩ Θ6 ) ∪ (([0, 1]6 \ (1/12, 3/12)6 ) ∩ Θ6 )
mit Nullhypothese ([0, 1]6 \(1/12, 3/12)6 )∩Θ6 , und wähle einen passenden
Test.
keine Abgabe; Lösungshinweise werden zu Beginn der vorlesungsfreien Zeit zur
Verfügung gestellt