MRF-s, Gibbs Sampling

Strukturelle Modelle in der Bildverarbeitung
MRF-s, Gibbs Sampling
D. Schlesinger – TUD/INF/KI/IS
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
1 / 9
MRF
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
2 / 9
MRF
Graph G = (R, E), K – Labelmenge, F – Menge der Farben (Beobachtungen)
y : R → K – Labelling, y ∈ Y, x : R → F – Färbung, x ∈ X
Ein elementares Ereignis ist ein Paar (x, y)
Die (negative) Energie:
E(x, y) =
X
grr 0 (yr , yr 0 ) +
rr 0 ∈E
Die Wahrscheinlichkeit:
p(x, y) =
X
qr (xr , yr )
r∈R
1
exp −E(x, y)
Z
Partition Funktion:
Z =
X
exp −E(x, y)
x∈X ,y∈Y
Im Gegensatz zu Ketten sind keine Parametrisierungen mit z.B. p(yr |yr 0 ) möglich.
Es gibt viele Parametrisierungen desselben Modells mit verschiedenen q und g
Ein „Kamm“-Modell („Zaun“ wäre nicht sinnvoll)
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
3 / 9
Inferenz
Entscheidungsmenge D (oft = Y). Entscheidungsstrategie e : X → D
Kostenfunktion C : Y × D → R
bestraft die Abweichung der Entscheidung d ∈ D vom „wahren“ Labelling y ∈ Y
Minimieren des Bayesschen Risikos (d.h. des Erwartungswertes der Strafe):
R e(x) =
X
p(x, y) · C y, e(x) → min
e
y
Spezialfall D = Y, C (y, d) = 1I(y 6= d)
→ Maximum Aposteriori Entscheidung e(x) = y ∗ = arg maxy p(x, y)
Für MRF-s:
arg max p(x, y) = arg min E(x, y) =
y
y
hX
= arg min
y
grr 0 (yr , yr 0 ) +
rr 0 ∈E
X
i
qr (xr , yr )
r∈R
(Energieminimierung)
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
4 / 9
Inferenz
Additive Kostenfunktionen C (y, d) =
P
c(yr , dr )
r
R(d) =
X
p(x, y) ·
X
c(yr , dr ) → min
d
r
y
Summationen tauschen, marginalisieren ...
XX
p(x, yr =k) · c(k, dr ) → min
d
r
k
1) Berechne die marginalen Wahrscheinlichkeiten
X
p(x, yr =k) =
p(x, y) ∼
y:yr =k
X
exp −E(x, y)
∀r, k
y:yr =k
2) Entscheide für jeden Knoten (unabhängig)
X
p(x, yr =k) · c(k, dr ) → min
k
∀r
dr
Spezialfall:
D = Y, c(k, d) = 1I(k6=d) → MaxMarginal Entscheidung dr = arg maxk p(x, yr =k)
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
5 / 9
Sampling
Berechnung der marginalen Wahrscheinlichkeiten – allgemeines SumProd Problem :-(
Die Idee: statt über alle Labellings zu summieren, würfelt man eine „Stichprobe“
→ die Wahrscheinlichkeiten werden durch Häufigkeiten ersetzt.
Beispiel: eine diskrete Variable x ∈ {1, 2, 3, 4, 5, 6}, p(x) = (0.1, 0.2, 0.4, 0.05, 0.15, 0.1)
Algorithmus:
Input – Wahrscheinlichkeitsverteilung p(x), Output – gewürfelten Wert von x
a[1] = p[1]
for i=2 bis n
a[i] = a[i−1] + p[i]
r = rand[0, 1]
for i = 1 bis n
if a[i] > r return i
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
6 / 9
Sampling, vektorielle Zufallsvariable
Aufgabe – würfele ein x = (x1 , x2 . . . xm ) aus p(x)
Problem: p(x) ist nicht explizit angegeben
Ausweg:
– Man beginnt mit einem x 0
– Man würfele den neuen x t+1 „komponentenweise“ aus bedingten
t
t
t )
Wahrscheinlichkeitsverteilungen p(xi |x1t . . .xi−1
, xi+1
. . .xm
– Dies wird oft für alle i (Komponenten) wiederholt
Nach eine weile solches Würfelns (unter Umständen):
– x n hängt von x 0 nicht ab
– x n gehorcht der Wahrscheinlichkeitsverteilung p(x)
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
7 / 9
Gibbs Sampling
Für MRF-s lassen sich die bedingten Wahrscheinlichkeitsverteilungen einfach berechnen!!!
Markovsche Eigenschaft:
p(yr |yR\r ) = p(yr |yN (r) )
(unter der Bedingung der Labels in den Nachbarknoten, N (r) – Nachbarschaft)
h
p(yr =k|yN (r) ) ∼ exp −qr (k) −
X
i
grr 0 (k, yr 0 )
r 0 ∈N (r)
Relation zu ICM:
– Bei ICM werden die „bedingten“ Energien berechnet
und das günstigste Label gewählt
– Bei Gibbs Sampling wird entsprechend den
bedingten Wahrscheinlichkeiten gewürfelt
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
8 / 9
Gibbs Sampling
– Gibbs Sampling ist ein Spezialfall des Markov Chain Monte-Carlo (MCMC)
– gibt exakte Wahrscheinlichkeiten (nur) bei t → ∞
– ein Nachteil – so-genannte „Burn-in“ Phase:
– wie lange muss gewürfelt werden, damit x n von x 0 unabhängig ist?
→ bei komplizierten Modellen ziemlich zeitaufwendig oder sogar gar nicht möglich
Literatur:
Geman & Geman: Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images, PAMI 1984
Demo:
http://www1.inf.tu-dresden.de/~ds24/rtsegm/rtsegm.html
D. Schlesinger
()
SMBV: MRF-s, Gibbs Sampling
9 / 9