Nichtglatte Optimierung (Nonsmooth Optimization) Übungsblatt 2

Technische Universität München
Zentrum Mathematik
Lehrstuhl für Mathematische Optimierung, M1
Prof. Dr. Michael Ulbrich
Andre Milzarek, M.Sc. (hons.)
Sommersemester 2016
Nichtglatte Optimierung (Nonsmooth Optimization)
Übungsblatt 2
Erweiterte reelle Zahlen. Bei der Modellierung und Behandlung nichtglatter Optimierungsprobleme ist es häufig sinnvoll neben den herkömmlichen reellen Zahlen auch die Werte +∞ und
−∞ zuzulassen. Wir arbeiten hierbei mit den folgenden Mengen
R̄ = (−∞, ∞] := R ∪ {+∞},
[−∞, ∞] := R ∪ {−∞} ∪ {+∞}.
Es gelten die üblichen Rechenregeln; folgende Ausdrücke bleiben jedoch weiterhin undefiniert:
0 · (+∞),
+∞ + (−∞),
+∞/ + ∞.
Wie bereits in der Vorlesung erwähnt bilden die charakteristischen Funktionen oder auch Indikatorfunktionen zu einer gegebenen Menge C ⊂ Rn ,
(
n
ιC : R → (−∞, ∞],
ιC (x) :=
0
falls x ∈ C,
+∞ falls x ∈
/ C,
eine wichtige Klasse von Funktionen auf den erweiterten, reellen Zahlen. (Indikatorfunktionen
werden oft auch mit χC oder δC abgekürzt). Im Folgenden führen wir einige wichtige Begriffe und
Konzepte für den Umgang mit erweiterten Funktionen ein.
• Die (effektive) Domäne einer erweiterten reellen Funktion f : Rn → [−∞, ∞] ist durch die
Menge
dom f := {x ∈ Rn : f (x) < ∞}
gegeben. Gilt dom f 6= ∅ und f (x) 6= −∞ für alle x ∈ Rn , so heißt die Funktion f eigentlich
(engl. proper).
• Der Epigraph von f ist wie folgt definiert:
epi f := {(x, t) ∈ Rn × R : f (x) ≤ t} ⊂ Rn × R.
• Die Funktion f heißt unterhalb-stetig (engl. lower semicontinuous), falls für alle x̄ ∈ Rn gilt
lim inf f (xk ) ≥ f (x̄),
k→∞
∀ (xk )k ⊂ Rn ,
xk → x̄.
• Die Funktion f heißt konvex falls
f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y),
∀ x, y ∈ dom f,
λ ∈ (0, 1).
Viele Eigenschaften und Aussagen für Funktionen und Optimierungsprobleme lassen sich direkt
auf erweitere reelle Funktionen übertragen (siehe Konvexität). Dieses Übungsblatt befasst sich mit
einigen wesentlichen Eigenschaften konvexer, erweiterter reeller Funktionen und ersten Beispielen
und soll den Umgang mit erweiterten Funktionen üben.
Seite 1 von 3
Aufgabe H2.1 (Konvexität und Unterhalb-Stetigkeit):
Es sei f : Rn → [−∞, ∞] eine gegebene, erweiterte reelle Funktion. Weisen Sie die folgenden
Charakterisierungen nach:
a) Die Funktion f ist genau dann konvex, wenn ihr Epigraph epi f eine konvexe Menge ist.
b) Die Funktion f ist genau dann unterhalbstetig, wenn epi f abgeschlossen ist.
c) Es sei nun f ≡ ιC und C ⊂ Rn . Diskutieren Sie die Konvexität und Unterhalb-Stetigkeit
der Indikatorfunktion f ≡ ιC anhand der letzten Teilaufgaben.
Aufgabe H2.2 (Eigenschaften der Proximalabbildung):
Es sei f : Rn → (−∞, ∞] eine konvexe, eigentliche und unterhalb-stetige Funktion. In dieser
Aufgabe betrachten wir das folgende, spezielle Optimierungsproblem
minn f (x) +
x∈R
1
kz − xk22 ,
2τ
(P)
wobei τ > 0 und z ∈ Rn gegebene Parameter sind.
a) Zeigen Sie, dass das Problem (P) für jedes beliebige z ∈ Rn eine eindeutige Lösung besitzt.
Hinweis: Nehmen Sie zunächst an, dass dom f = Rn gilt und f stetig ist. Untersuchen Sie
dann, ob sich Ihre Argumentation auf den hier betrachteten Fall verallgemeinern lässt.
Der sogenannte Prox(imity)-Operator oder die Proximalabbildung proxτ f (z) von f an der Stelle
z ∈ Rn ist dann als zugehöriger, eindeutiger Minimierer des Problems (P) definiert. Man setzt
daher:
1
proxτ f : Rn → Rn , proxτ f (z) := arg min f (x) + kz − xk22
n
2τ
x∈R
b) Überprüfen Sie, ob die Ergebnisse aus Aufgabe P1.1 auch auf das Problem (P) anwendbar
oder übertragbar sind und nutzen Sie die Definition des Proximity-Operators proxτ f um
folgende Ungleichung zu zeigen:
kproxτ f (x) − proxτ f (y)k22 ≤ (proxτ f (x) − proxτ f (y))> (x − y),
∀ x, y ∈ Rn .
Folgern Sie daraus die Lipschitz-Stetigkeit der Abbildung proxτ f .
Aufgabe H2.3 (Support-Funktionen):
Es sei C ⊂ Rn eine nichtleere Menge. In dieser Aufgabe diskutieren wir Eigenschaften der
sogenannten Support-Funktion
σC : Rn → (−∞, ∞],
σC (x) := sup x> y
y∈C
der Menge C.
a) Zeigen Sie: Die Funktion σC ist konvex, eigentlich, unterhalb-stetig und positiv homogen.
Seite 2 von 3
b) Ab der folgenden Teilaufgabe sei die Menge C zusätzlich konvex und abgeschlossen und
τ > 0 sei beliebig. Weisen Sie folgenden Zusammenhang zwischen der Proximalabbildung
proxτ σC und der euklidischen Projektion PC nach:
proxτ σC (x) = x − τ · PC (x/τ ).
Bemerkung: Die euklidische Projektion PC (x) eines Punktes x ∈ Rn auf die (konvexe, nichtleere und abgeschlossene) Menge C ist gerade der Proximity-Operator der Indikatorfunktion
ιC an der Stelle x, d.h., es gilt
PC (x) = proxτ ιC (x) = arg min
y∈C
1
ky − xk22 ,
2τ
(τ > 0 beliebig).
Hinweis: Verwenden Sie Aufgabe P1.1.
c) Weisen Sie folgende Identität nach:
ιC (x) = sup x> y − σC (y),
y∈Rn
∀ x ∈ Rn .
d) Es seien C1 , C2 ⊂ Rn zwei konvexe, nichtleere und abgeschlossene Mengen. Zeigen Sie: Die
Menge C1 ist eine Teilmenge von C2 genau dann wenn σC1 (x) ≤ σC2 (x) für alle x ∈ Rn gilt.
Das Übungsblatt wird in den Übungsgruppen am Freitag, den 06.05 besprochen.
Seite 3 von 3