Nichtlineare Optimierung

Nichtlineare
Optimierung
Einführung
Konvexe Optimierungsprobleme
Spezielle Verfahren (Penalty, etc.)
Evolutionsstrategien
Prof. Dr. Dr. J. Hansohm
Nichtlineare Optimierung - Einführung
x n
f : n 
gi: n 
max f (x)
gi(x) bi
x 
(nichtlinear)
i = 1, ..., m
i = 1, ..., m
Prof. Dr. Dr. J. Hansohm
Nichtlineare Optimierung - Beispiel (1)
p: Preis-Absatz-Funktion
C: Stückkosten-Funktion unter Berücksichtigung
der Lernrate
Deckungsbeitrag = x  p(x) - c(x)  x
x 
p(x) = 1/(x  x)
c(x) = 0.64x
max f(x) = 1/x - x * 0.64x
x 
Prof. Dr. Dr. J. Hansohm
Nichtlineare Optimierung - Beispiel (2)
Beispiel Wertpapierportfolio
n Wertpapiere mit erwartetem Gewinn mi bei
einer Standardabweichung von si (i = 1, ..., n)
xi Investitionshöhe in Wertpapier i
max Smi xi - bSsij xixj
xi 0 (i = 1, ..., n)
wobei sij die Kovarianz von Wertpapier i bzgl. j
darstellt und b 0 die Risikopräferenz des
Entscheidungsträgers widerspiegelt
Prof. Dr. Dr. J. Hansohm
Literatur:
Neumann/Morlock: Operations Research
München 1993, Hanser-Verlag, Kapitel 4
Seite 536-537
 Domschke/Drexl: Einführung in Operations
Research 3. erw. verb. Auflage, SpringerVerlag 1995, Kapitel 8 Abschnitt 8.1.
Seiten 159-163

Prof. Dr. Dr. J. Hansohm
Nichtlineare Optimierung - Definitionen
x n heißt zulässig
gi(x) bi (i = 1, ..., m) und x 0
x n heißt (global) optimal
x zulässig und für alle y n, y zulässig
gilt: f(x)  f(y)
Ue (x) ={y n | || x-y || < e, zulässig} heißt
zulässige e-Umgebung von x
x n heißt lokal optimal
x zulässig und für alle y Ue(x) gilt:
f(x) f(y) für wenigstens ein e > 0
Prof. Dr. Dr. J. Hansohm
Lineare - Nichtlineare Optimierung
Lineare Optimierung:
lokales Optimum ist
globales Optimum

Wenn eine optimale Lösung existiert, so ist
eine optimale Lösung unter den endlich
vielen Ecken des Restriktionspolyeders zu
finden.
Nichtlineare Zielfunktion, lineare Nebenbedingungen:

Lokales Optimum nicht notwendigerweise
globales Optimum

Optimum kann im Inneren des Restriktionspolyeders liegen
Prof. Dr. Dr. J. Hansohm
Literatur:
Neumann/Morlock: Operations Research
München 1993, Hanser-Verlag, Kapitel 4
Seite 538
 Domschke/Drexl: Einführung in Operations
Research 3. erw. verb. Auflage, SpringerVerlag 1995, Kapitel 8 Abschnitt 8.1.
Seiten 163-164

Prof. Dr. Dr. J. Hansohm
Überblick über Optimierungsverfahren
Zielfunktion
Restriktionen linear
keine, x 
keine, x n
linear, x n lineare
Optimierung
(Simplex u.a.)
n
linear, x  ganzzahlige
Optimierung
nichtlinear
(allgemeiner
Fall)
quadratisch
beliebig, nichtlinear,
differenzierbar
analytisch lösbar eindimensionale
Optimierung
analytisch lösbar unrestringierte
Optimierung
quadratische
z.B. reduzierte GraOptimierung (z.B. dienten (Wolfe
Wolfe 1959)
1963)
z.B. projizierter Lagrange (Murtagh/
Saunders 1982)
Prof. Dr. Dr. J. Hansohm
Nichtlineare Optimierung - Einfachster Fall
f: stetig differenzierbar
max f(x)
x 0
notwendige Bedingung für ein Optimum x > 0:
f'(x) = 0
nicht hinreichend: (lokales) Minimum, Maximum
oder Sattelpunkt
f zweimal stetig differenzierbar:
f'(x) = 0, f''(x) < 0 hinreichend für
x lokales Optimum und x > 0
Prof. Dr. Dr. J. Hansohm
Einfache Nichtlineare Optimierung - Beispiel
eigentliches Maximum
(lokales) Maximum
lokales Maximum
Sattelpunkt
f(x)
lokales Minimum
x
Prof. Dr. Dr. J. Hansohm
Nichtlineare unrestringierte Optimierung
f: n zweimal stetig differenzierbar
max f(x)
x n
notwendige Bedingung für ein (lokales) Optimum
grad f(x) = 0
hinreichende Bedingung für ein lokales Optimum
grad f(x) = 0, H(x) negativ definit
 f

f
gradf ( x )  
( x ),...,
( x )
 x

x
1
n
T
 2

2 (x)

x
1

H (x)  

2
  f
 x x ( x )
 n 1
...



2f
( x )
 x 1 x n


 f
(x)
xn 2
2




Prof. Dr. Dr. J. Hansohm
Nichtlineare unrestringierte Optimierung (1)
Definitheit einer Matrix:
Eine symmetrische Matrix H heißt positiv (semi-)definit,
wenn xT  H x > 0 (> 0) für alle x 0 gilt.
Satz: Eine symmetrische Matrix H ist positiv definit genau
dann, wenn alle Hauptabschnittsdeterminanten
H1  h11
h11 h12 
H 
h h -h h
h
h  11 22 12 21
2
 21 22 

H H
n
positiv sind.
Satz: Eine symmetrische Matrix H ist positiv definit genau
dann, wenn alle Eigenwerte positiv sind.
Prof. Dr. Dr. J. Hansohm
Nichtlineare unrestringierte Optimierung - Beispiel (1)
min x12 + 3x22 + x1x2 - 3x1 - 7x2
grad f(x) = (2x1 + x2 - 3, 6x2 + x1 - 7) = 0 x1 =1, x2 = 1
2
H(x )  
1
1

6
2 - l1
= 0 (2 - l) (6 - l) - 1 = 0
16- l
l2 - 8l+ 11 = 0
5 > 0 positiv definit
l= 4 ±
Prof. Dr. Dr. J. Hansohm
Nichtlineare unrestringierte Optimierung - Beispiel (2)
Prof. Dr. Dr. J. Hansohm
Literatur:
Neumann/Morlock: Operations Research
München 1993, Hanser-Verlag, Kapitel 4
Abschnitt 4.3. Seite 555-567
 Domschke/Drexl: Einführung in Operations
Research 3. erw. verb. Auflage, SpringerVerlag 1995, Kapitel 8 Abschnitt 8.2. - 8.3
Seiten 163-168

Prof. Dr. Dr. J. Hansohm
Konvexe Menge
Definition Konvexität von Mengen:
Eine (Punkt-)Menge K ist konvex, wenn mit
je zwei Punkten P1, P2 K auch alle Punkte
l P1 + (1 - l) P2 für 0 l1
zu K gehören.
Prof. Dr. Dr. J. Hansohm
Konvexe und Nichtkonvexe Menge - Beispiele
Beispiele für konvexe und nicht-konvexe
Mengen
Satz: Der Durchschnitt zweier konvexer
Mengen ist konvex.
Prof. Dr. Dr. J. Hansohm
Konvexe Funktionen
Definition Konvexität von Funktionen:
Eine Funktion f: K  , welche eine
konvexe Menge K in  abbildet, heißt
konvex, wenn für je zwei Punkte x1, x2 K
gilt:
f (l x1 + (1 - l)x2) l f(x1) + (1 - l) f(x2)
für alle 0 l1;
d.h.: wenn die Menge (Epigraph)
{(z,x) | z > f(x), x  K}
“oberhalb” der Funktion f konvex ist.
Prof. Dr. Dr. J. Hansohm
Konvexe Funktionen - Beispiel
Beispiel für eine konvexe Funktion: f(x) = x2
Prof. Dr. Dr. J. Hansohm
Konkave Funktionen
Definition Konkavität von Funktionen:
Eine Funktion f: K  , welche eine
konvexe Menge K in  abbildet, heißt
konkav, wenn g = -f eine konvexe Funktion
ist.
Prof. Dr. Dr. J. Hansohm
Konkave Funktionen - Beispiel
Beispiel für eine konkave Funktion: f(x) = -x4
Prof. Dr. Dr. J. Hansohm
Konvexe und konkave Funktionen
Eine Funktion ist genau dann linear, wenn
sie konvex und konkav ist.
1
Beispiel: f ( x )   x  1
2
1
-2
-1
0
1
Satz: Die Summe konvexer Funktionen ist konvex.
Satz: Ist f(x) eine auf K konvexe Funktion, dann ist auch a f(x) für alle reellen
a0 auf K konvex.
Prof. Dr. Dr. J. Hansohm
Konvexität von Optimierungsproblemen
Satz: Ist f(x) eine auf K konkave Funktion,
die nur positive Werte annimmt, dann ist
1
g( x) 
f ( x)
auf K konvex.
Satz: Seien gi: n  konvex. Dann ist
M = {X Rn gi(x) 0}
eine konvexe Menge
Prof. Dr. Dr. J. Hansohm
Konvexe Optimierungsprobleme
Definition
Konvexität von Optimierungsproblemen:
Ein Optimierungsproblem
max (min) f(x)
u.d.N. gi(x) 0
x0
heißt konvex, wenn bei Maximierung
(Minimierung) die Zielfunktion f konkav
(konvex) und die Funktionen gi der
Nebenbedingungen konvex sind.
Prof. Dr. Dr. J. Hansohm
Konvexe Optimierungsprobleme - Beispiel
Beispiel Maximierung einer konkaven
Funktion über einen konvexen zulässigen
Bereich:
Satz: Ein lokales Optimum eines konvexen Optimierungsproblems ist global.
Prof. Dr. Dr. J. Hansohm
Kuhn-Tucker-Bedingungen
Verallgemeinerung der klassischen
Multiplikatorenmethode von Lagrange zur
Bestimmung von Extremstellen unter
Nebenbedingungen, wobei diese nicht nur
Gleichungen, sondern auch Ungleichungen
enthalten
Verallgemeinerte Lagrange-Funktion:
L (x1, ..., xn; u1, ..., um) = f(x1, ..., xn) - i1ui  gi (x1, ..., xn)
Prof. Dr. Dr. J. Hansohm
Theorem von Kuhn/Tucker (1)
Gegeben sei ein konvexes Optimierungsproblem
max f(x1, ..., xn)
u.d.N. gi(x1, ...., xn)  0 i = 1, ..., m
xj 0
j = 1, ..., n.
Die Funktionen f und gi, i = 1, ..., m, seien
partiell nach allen xj differenzierbar.
Prof. Dr. Dr. J. Hansohm
Theorem von Kuhn/Tucker (2)
Der Vektor (x1, ..., xn) ist genau dann eine
optimale Lösung des konvexen Optimierungsproblems, wenn es einen Vektor
(u1, ..., um) gibt, so daß die folgenden
Bedingungen (Kuhn-Tucker-Bedingungen) erfüllt
sind:
L
f
1.

( x 1 , , x n ) x j
x j
L
2. x j 
 xj
x j
3. x
4 .-
j
 0

gi
u 
( x 1 , , x n )  0
i 1 i
x j
j  1, . . . , n
 f
 
x1 , , x n ) (
 x j

g i
 i 1 u i   x ( x 1 ,  , x n )  0
j
j  1, ... , n
j  1,..., n ;
L
 g i ( x 1 , ... , x n )  0 ;
ui
ui (-
m
m
u
i
 0
i  1,..., n
L
)  u i g i ( x 1 , ... , x n )  0
ui
i  1, ... , m
Prof. Dr. Dr. J. Hansohm
Literatur:
Neumann/Morlock: Operations Research
München 1993, Hanser-Verlag, Kapitel 4
Seite 544-555
 Domschke/Drexl: Einführung in Operations
Research 3. erw. verb. Auflage, SpringerVerlag 1995, Kapitel 8 Abschnitt 8.2.
Seiten 164-167

Prof. Dr. Dr. J. Hansohm
Quadratische Optimierung
(1)
max f(x) = cT  x + xT  D  x
u.d.N. g(x) = A  x - b 
x , x n
O.B.d.A.: Für die Elemente der Matrix D gilt:
dkj = djk, d.h. D ist symmetrisch
Falls dkj  djk, so sind die Elemente durch
das arithmetisches Mittel (dkj + djk)/2 zu
ersetzen.
Prof. Dr. Dr. J. Hansohm
Quadratische Optimierung
(2)
Satz:
Die quadratische Funktion
f(x) = cT  x+ xT  D  x
ist konvex (konkav) genau dann, wenn die
symmetrische Matrix D positiv (negativ)
semidefinit ist.
Prof. Dr. Dr. J. Hansohm
Beispiel eines quadratischen Optimierungsproblems
Ein Monopolist bietet 2 Produkte in den Mengen x1
und x2 an. Seine beiden Preis-Absatz-Funktionen
lauten:
1. p1(x1) = 6 - x1/4
0 < x1 < 24
2. p2(x2) = 10 - x2
0 < x2 < 10.
Gesucht wird das erlösmaximale
Produktionsprogramm. Die Zielfunktion lautet
dann:
max E(x1, x2) = p1(x1) x1 + p2(x2) x2
Folgende Absatzbeschränkungen werden untersucht:
A: x1 < 15
x2 < 7
B: x1 < 10
x2 < 4
C: x1 + x2 < 10
Prof. Dr. Dr. J. Hansohm
Beispiel eines quadratischen Optimierungsproblems - Graph
Prof. Dr. Dr. J. Hansohm