EM-Algorithmus

Schätzen und Testen I
Sonja Greven, Christian Heumann, Sarah Brockhaus, David Rügamer
Übungsblatt 7
WiSe 2015/16
Aufgabe 14 ( EM-Algorithmus)
Seien Ti , i = 1, . . . , n+m, unabhängige und identisch exponentialverteilte Überlebenszeiten
mit Verteilungsfunktion F (T |λ), Dichte f (T |λ) und Rate λ > 0, die der Größe nach geordnet
sind. Gehen Sie im Folgenden davon aus, dass für i = n + 1, . . . , n + m nicht die tatsächlichen
Lebensdauern sondern nur die rechtszensierten Größen Yi = min(Ti , c), c ∈ R+ erhoben
werden können (n ist demnach so definiert ist, dass c dem n/(n + m)-Quantil entspricht).
(a) Zeigen Sie, dass die in der kten Iteration zu berechnende Größe im E-Schritt des EMAlgorithmus sich folgendermaßen schreiben lässt:
!
Z ∞
n
X
m
(k)
Q(λ, λ ) =
[log f (u|λ)] f (u|λ(k) ) du.
(1)
log f (Ti |λ) +
(k) )
1
−
F
(c|λ
c
i=1
Gehen Sie dazu wie folgt vor:
(1) Nutzen Sie die Eigenschaften der Logarithmus-Funktion aus, um die Definition von
Q(λ, λ(k) ) = E(log f (T1 , . . . , Tn+m |λ) | T1 , . . . , Tn , λ(k) ) zu vereinfachen.
(2) Teilen Sie das Resultat aus (1) in einen beobachtbaren und einen unbeobachtbaren
Teil auf.
(3) Leiten Sie anschließend das Ergebnis in Gleichung (1) her, indem Sie den bedingten
Erwartungswert E(log f (Ti |λ)|Y1 , . . . , Yn , λ(k) ) für i = n + 1, . . . , n + m in
Z ∞
1
[log f (u|λ)] f (u|λ(k) ) du
1 − F (c|λ(k) ) c
umformen.
Hinweis: Beachten Sie die Verteilung, bezüglich welcher der Erwartungswert berechnet
wird (vgl. Vorlesungsfolie 300).
(b) Wie lautet ∂Q(λ, λ(k) )/∂λ unter der Annahme, dass Differentation und Integration in
diesem Fall vertauschbar sind?
(c) Leiten Sie nun die explizite Form von f (T |λ), S(T |λ) = 1 − F (T |λ),
∂f (T |λ)
1
für die gegebene Exponentialverteilung her.
∂λ
f (T |λ)
∂f (T |λ)
∂λ
und
(d) Leiten Sie das im M-Schritt zu berechnende Maximum λ(k+1) für die gegebene
Verteilung her, also berechnen Sie die explizite Form von ∂Q(λ, λ(k) )/∂λ aus Aufgabe
(b) und lösen Sie die Gleichung
∂Q(λ, λ(k) )
=0
(2)
∂λ
nach λ auf. Zeigen Sie, dass sich das Maximum zu
!−1
m (1/λ(k) + c) + nT
(3)
m+n
P
mit T = n−1 ni=1 Ti ergibt.
Datum: Freitag, 04.12.2015
Seite 1 von 2
(e) Überlegen Sie sich, wie der EM-Algorithmus auf Basis der vorangegangenen Erkenntnisse
implementiert werden kann und überprüfen Sie Ihre Vermutungen anhand eines Beispiels
in R.
Aufgabe 15 (Maximum-Likelihood-Inferenz: Konfidenzintervalle)
Sei x = (x1 , . . . , xn )> eine i.i.d. Stichprobe einer exponentialverteilten Zufallsvariablen
X ∼ Exp(λ), wobei λ > 0 unbekannt ist.
(a) Bestimmen Sie den Maximum-Likelihood-Schätzer für λ.
(b) Konstruieren Sie für λ ein asymptotisches Konfidenzintervall zum Niveau 1 − α.
Verwenden Sie dazu asymptotische Eigenschaften für Maximum-Likelihood-Schätzer.
Aufgabe 16 (Fehlspezifikation: Kullback-Leibler-Distanz)
Sei X doppelexponentialverteilt mit unbekannten Parametern µ0 ∈ R und σ0 > 0, d.h.
X ∼ DE(µ0 , σ0 ) mit Dichtefunktion
1
|x − µ0 |
g(x) =
exp −
.
2σ0
σ0
Bei einer Analyse wird das Modell jedoch fehlspezifiziert: Für X wird eine Normalverteilung
angenommen, d.h. X ∼ N(µ, σ 2 ) mit Dichtefunktion fµ,σ2 .
Berechnen Sie denjenigen Parametervektor θ = (µ, σ 2 )> , der die Kullback-Leibler-Distanz
D(g, fθ ) minimiert.
Hinweis: Benutzen Sie, dass für X ∼ DE(µ0 , σ0 ) gilt: E(X) = µ0 und Var(X) = 2σ02 .
∗ Aufgabe
10 (Kullback-Leibler-Distanz)
Sei X t-verteilt mit Lokationsparameter m ∈ R, Skalenparameter s > 0 und ν > 2
Freiheitsgraden, d.h. X ∼ t(m, s, ν). Die Dichte der t-Verteilung lautet
2 !− ν+1
2
Γ ν+1
1
x
−
m
2
g(x) =
1
+
√
ν
s
Γ ν2
νπs
für x ∈ R. Es gilt E(X) = m und Var(X) =
ν
ν−2
s2 .
Im Folgenden sei der Parameter m bekannt, der Parameter s2 soll geschätzt werden. Bei
der Analyse wird das Modell jedoch fehlspezifiziert: Für X wird eine Normalverteilung
angenommen, d.h. X ∼ N(µ, σ 2 ) mit Dichtefunktion fσ2 , wobei der Erwartungswert
µ = m = E(X) hier fest ist.
(a) Zeigen Sie, dass gilt:
1
1
Eg log fσ2 (X) = − log(2πσ 2 ) − 2
2
2σ
ν
2
2
2
s + m − 2µm + µ .
ν−2
(b) Berechnen Sie dasjenige σ 2 > 0, das die Kullback-Leibler-Distanz D(g, fσ2 ) minimiert.
Interpretieren Sie Ihr Ergebnis.
Datum: Freitag, 04.12.2015
Seite 2 von 2