Aufgabe 1 Es soll ein Metropolis-Algorithmus konstruiert werden

Einführung in die Bayes-Statistik
Prof. Dr. Helga Wagner, Gero Walter
Übungsblatt 6
WiSe 2010/11
Aufgabe 1
Es soll ein Metropolis-Algorithmus konstruiert werden, der gegen eine diskrete Verteilung π konvergiert. (Der Metropolis-Algorithmus ist ein Spezialfall
des Metropolis-Hastings-Algorithmus, bei dem die Vorschlagswahrscheinlichkeiten symmetrisch sind, d.h. es gilt: q(y, x) = q(x, y).) Sei die interessierende diskrete Verteilung (die die Rolle der zu simulierenden Posterior-Verteilung spielt)
gegeben als
π = (0.3, 0.1, 0.6)
und die Matrix der Vorschlagswahrscheinlichkeiten Q = (qij )i,j = q(πi , πj ) wie
folgt:


1 − 2q
q
q
 , q ∈ (0, 0.5).
q
1 − 2q
q
Q=
q
q
1 − 2q
(a) Berechnen Sie die Akzeptanzwahrscheinlichkeiten α(πi , πj ) und bestimmen
Sie mit Hilfe einer diskreten Version der Formel für den Übergangskern (auf
den Folien S. 430) die Matrix P der Übergangswahrscheinlichkeiten pij =
P (Yt+1 = πj | Yt = πi ) für die interessierende Markov-Kette {Yt , t ∈ N0 }.
(b) Vergewissern Sie sich, dass P tatsächlich π als invariante Verteilung hat.
(c) Schreiben Sie eine R-Funktion rpi.m(size, q), die für einen bestimmten
Wert von q eine Markov-Kette der Länge size erzeugt. Speichern Sie auch in
jedem Schritt die vorgeschlagenen Werte sowie, ob der Vorschlag akzeptiert
wurde.
(d) Geben Sie eine nicht-triviale (d.h. nicht-diagonale) Matrix der Vorschlagswahrscheinlichkeiten Q an, bei der die entstehende Markov-Kette {Yt , t ∈
N0 } nicht irreduzibel ist, bei der also die Zustände nicht alle wechselseitig
erreichbar sind.
1
Aufgabe 2 (MCMC-Schätzung eines Mischungsparameters)
Angenommen Sie beobachten Daten y = (y1 , . . . , yn ), die unabhängig aus der
Mischverteilung mit Dichte
p(y | δ) = δp1 (y | 7, 0.52 ) + (1 − δ)p2 (y | 10, 0.52 ),
0<δ<1
stammen, wobei pi (y | µi , σi2 ) die Dichte der Normalverteilung mit Erwartungswert µi und Varianz σi2 ist. Des Weiteren wird angenommen, dass a priori
δ ∼ U (0, 1). Mittels MCMC-Methoden wird nun eine Markov-Kette erzeugt,
deren stationäre / invariante Verteilung gleich der Posteriori-Verteilung von δ | y
ist.
a) Schreiben Sie eine R-Funktion rMixture(size, delta), die einen Vektor mit
size i.i.d.-Werten aus der obigen Mischverteilung mit δ = delta erzeugt und
zurückgibt. Schreiben Sie auch eine R-Funktion dMixture(x, delta), die den
Wert der Dichtefunktion der Mischverteilung mit δ = delta berechnet.
b) Erzeugen Sie eine Stichprobe y = (y1 , . . . , y100 ) mit δ = 0.7.
c) Schreiben Sie eine R-Funktion rdeltapost.mh(size, y, dq, rq), die eine
Markov-Kette der Länge size mit p(δ | y) als stationärer Verteilung durch
den Metropolis-Hastings-Algorithmus erzeugt. Dabei ist dq(delta) die Vorschlagsdichte und rq() eine Funktion, die einen Independence-Proposal aus
der Vorschlagsdichte simuliert. (Die Vorschlagsdichte dq(delta) hängt also
nur vom vorzuschlagenden Wert delta ab, und rq() gibt einfach eine Zufallszahl aus der Vorschlagsverteilung zurück.) Die Funktion rdeltapost.mh soll
die size Werte als Vektor zurückgeben.
d) Erzeugen Sie je 10 000 Werte der Markov-Kette für die Vorschlagsdichte
(a) Beta(1, 1)
(b) Beta(2, 7)
unter Verwendung der in Teil b) simulierten Daten als Stichprobe. Erstellen
Sie für jede Vorschlagsdichte einen Plot von (t, δ (t) ) und ein Histogramm der
δ (t) . Berechnen Sie jeweils auch die resultierende Approximation des PosterioriErwartungswerts E[δ | y] und des Posteriori-Medians.
e) Berechnen Sie für Teil d1) auch eine Approximation von p(δ | y) mittels eines
Kerndichteschätzers. (Benutzen Sie dazu die Funktion density.) Verwenden
Sie das Ergebnis für eine ad-hoc-Approximation des Posteriori-Modus.
f) Bestimmen Sie p(δ | y) und E[δ | y] durch numerische Integration und vergleichen Sie den Plot von p(δ | y) mit einem Histogramm aus Teil d). Berechnen
Sie auch eine Approximation des Posteriori-Modus und vergleichen Sie mit
dem Ergebnis aus Teil e).
Herzlichen Dank an A. Wiencierz und M. Höhle für die Bereitstellung von Übungsaufgaben.
2