ψi(yi)+∑ ∑ ∑ ψi(yi)+

MACHINE LEARNING II
6th SEMINAR – SUBMODULAR MINSUM PROBLEMS
Exercise 1. Gegeben sei eine binäre MinSum Aufgabe (d.h. K = {0, 1})
h
i
y∗ = arg min ∑ ψi (yi ) + ∑ ψi j (yi , y j ) .
y
i
ij
Man überführe sie mithilfe äquivalenter Transformationen in die Form
i
h
y∗ = arg min ∑ ψi · yi + ∑ ψi j · yi · (1 − y j ) .
y
i
ij
mit knoten- und kantenspezifischen Zahlen ψi bzw. ψi j .
Exercise 2. Gegeben sei eine binäre MinSum Aufgabe in der kanonischen Form
h
i
y∗ = arg min ∑ ψi (yi ) + ∑ βi j · δ (yi 6= y j ) .
y
i
ij
Die Zahlen βi j sind dabei nichtnegativ und die Funktionen ψi sind beliebig. Zeigen Sie,
wie sich eine solche Aufgabe in eine MinCut Aufgabe mit nur nichtnegativen Kantenkosten überführen lässt.
Exercise 3. Man betrachte einen azyklischen Graph G = (V, E ) (einen Baum) mit zwei
ausgezeichneten Knoten s ∈ V und t ∈ V und nichtnegativen Kantenkosten ci j für (i, j) ∈
E . Sei (s = i1 , i2 , . . . , im = t) der Pfad vom s nach t in diesem Graphen. Beweisen Sie,
dass der Wert des optimalen Schnitts C∗ den minimalen Kantenkosten entlang dieses
Pfades gleich ist, d.h.
m−1
min
∑
C i j∈C
ci j = min ci j i j+1 .
j=1
Exercise 4. Zeigen Sie dass das Potts Modell
0
0
ψi j (k, k ) =
a>0
mit mehr als zwei Labels nicht submodular ist.
1
wenn k = k0
sonst
Exercise 5. Man betrachte für eine Funktion ψi j (k, k0 ) und Viertupel k1 , k2 , k10 , k20 die
Zahlen
αi j (k1 , k2 , k10 , k20 ) = ψi j (k1 , k10 ) + ψi j (k2 , k20 ) − ψi j (k1 , k20 ) − ψi j (k2 , k10 )
(siehe Vorlesung). Die Werte von ψi j seien dabei endlich.
a) Beweisen Sie
αrr0 (k1 , k1 , k10 , k20 ) = 0,
αrr0 (k1 , k2 , k10 , k20 ) = −αrr0 (k2 , k1 , k10 , k20 )
αrr0 (k1 , k2 , k10 , k20 ) = αrr0 (k1 , k3 , k10 , k20 ) + αrr0 (k3 , k2 , k10 , k20 )
b) Auf der Menge der Labels sei eine Ordnung definiert. Somit bedeutet zum Beispiel
k1 ≤ k3 < k2 : „alle Labels k3 zwischen k1 und k2 (einschließlich k1 ) in der gewählten
Ordnung“. Schlussfolgern Sie aus a)
αrr0 (k1 , k2 , k10 , k20 ) =
0
k2 −1 k2 −1
∑ 0∑ 0 αrr0 (k3, k3+1, k30 , k30 +1).
k3 =k1 k3 =k1
c) Aus b) folgt, dass eine Funktion ψi j (k, k0 ) submodular ist, wenn
ψi j (k, k0 ) + ψi j (k+1, k0 +1) ≤ ψi j (k, k0 +1) + ψi j (k+1, k0 )
für alle k und k0 gilt. Die Bedingungen für alle weiteren Viertupel k1 , k2 , k10 , k20 sind
automatisch wegen b) erfüllt und somit redundant. Gilt das auch, wenn die Funktion
ψi j unendlich große Werte annehmen kann? Ist das nicht der Fall, konstruieren Sie ein
Gegenbeispiel.
Exercise 6. Sei die Labelmenge K = {1, 2, . . . , |K|} d.h. K ⊂ Z. Man betrachte Funktionen ψi j (k, k0 ) = f (k − k0 ), d.h. der Wert der Funktion ψi j hängt nur von der Differenz
der Labels ab. Zeigen Sie, dass eine solche Funktion ψi j genau dann submodular ist,
wenn die Funktion f (·) konvex ist.
Hinweis: Nutzen Sie die Aussage aus der Aufgabe 2c), d.h. zeigen Sie, dass bestimmte
α-Zahlen nichtpositiv sind, wenn die Funktion f konvex ist. Schlussfolgern Sie daraus
die Submodularität von ψi j .
Exercise 7. Gegeben sei eine submodulare Funktion ψi j (k, k0 ). Sei a = minkk0 ψi j (k, k0 )
der minimale Wert dieser Funktion. Wir definieren ein Prädikat ψ̃i j : K × K → {0, 1}
wie folgt:
1
wenn ψi j (k, k0 ) = a
0
ψ̃i j (k, k ) =
0
sonst,
d.h. nur die Labelpaare mit dem besten Wert von ψi j werden „erlaubt“. Zeigen Sie, dass
ein so konstruiertes Prädikat submodular (im OrAnd Sinne) ist.
Exercise 8. Eine Funktion ψi j (k, k0 ) heißt supermodular bezüglich einer Ordnung „“,
wenn
ψi j (k1 , k10 ) + ψi j (k2 , k20 ) ≥ ψi j (k1 , k20 ) + ψi j (k2 , k10 )
für alle k1 k2 und k10 k20 gilt. Beweisen Sie, dass sich eine beliebige Funktion
ψi j (k, k0 ) auf die Summe einer submodularen und einer supermodularen Funktionen
sup
0
0
0
zerlegen lässt, d.h. ψi j (k, k0 ) = ψisub
j (k, k ) + ψi j (k, k ) für alle k, k gilt. Die Funktionen
sup
ψisub
j und ψi j sind dabei eine submodulare bzw. eine supermodulare Funktion.