Operations Research Organisatorisches Organisatorisches

Organisatorisches
• Dozent: Prof. Dr. Rainer Schrader
Operations Research
• Weyertal 80
• Tel.: 470-6030
• email: [email protected]
Rainer Schrader
• Übungen: Dipl.-Inf. Anna Schulze
Zentrum für Angewandte Informatik Köln
• Weyertal 80
• el.: 470-6050
• email: [email protected]
20. April 2007
• url: www.zaik.uni-koeln.de/AFS
1 / 112
Organisatorisches
2 / 112
Organisatorisches
• Ort: Hörsaal Mathematisches Institut
• Zeit: Mo, Do 8–10
• Übungsorganisation: −→ Anna Schulze
• Teilnehmerkreis:
• Wirtschaftsmathematik
• Mathematik
• Anmeldung zu den Übungen über Homepage ab Mo, 2. April 2007
• Scheinerwerb über Übungsteilnahme und Klausur
• Voraussetzungen für die Teilnahme an der Abschlussprüfung:
• aktive Teilnahme an den Übungen
• 50% der Punkte aus den Übungen
Voraussetzungen:
• Grundkenntnisse in linearer Algebra und Analysis
• Grundkenntnisse in Informatik hilfreich, aber nicht notwendig
• Vorlesung weitgehend aus sich selbst heraus verständlich
• Folien hängen im Netz (jeweils am Ende der Woche)
3 / 112
4 / 112
Organisatorisches
Literatur:
• U. Faigle, W. Kern und G. Still: Algorithmic Principles of Mathematical
Programming. Kluwer Academic Publishers 2002.
• David G. Luenberger: Linear and Nonlinear Programming,
Addison-Wesley 1984
• A. Schrijver: Theory of Linear and Integer Programming, Wiley
5 / 112
6 / 112
7 / 112
8 / 112
9 / 112
10 / 112
Operations Research
Gliederung der Inhalte
1. Theorie linearer Ungleichungen
Theorie linearer Ungleichungssysteme
2. Polyeder und Polytope
3. Konvexe Funktionen
4. die Simplexmethode
5. ganzzahlige lineare Programme
6. Flüsse in Netzwerken
11 / 112
12 / 112
Theorie linearer Ungleichungen
Grundbegriffe
Gliederung
• Grundbegriffe
• der Algortihmus von Fourier-Motzkin
• wir betrachten Ungleichungssysteme der Form
aTi x ≤ bi (i ∈ I)
• Alternativsätze
• Seitenflächen
• konvexe Kegel
• zwei Anwendungen
• dabei ist I eine (endliche oder unendliche) Indexmenge
• die Parameter
aiT = [ai 1, , . . . , ain ] ∈ Rn und bi ∈ R
sind als gegeben vorausgesetzte Vektoren und reelle Zahlen
13 / 112
14 / 112
Grundbegriffe
Grundbegriffe
Wir betrachten das Problem:
• bestimme ein x ∈ Rn , das alle Ungleichungen
n
X
aij xj ≤ bi
(i ∈ I)
j =1
erfüllt,
• für die Anwendungen ist es oft notwendig, sich auf den rationalen
Zahlkörper Q zu beschränken.
• oder stelle fest, dass kein solches x existiert.
15 / 112
16 / 112
Grundbegriffe
Grundbegriffe
• die Lösungsmenge des Ungleichungssystem ist
P (A, b) = {x ∈ Rn | Ax ≤ b}.
• mit A = [aij ] bezeichnen wir die (möglicherweise unendliche) Matrix
mit den n-dimensionalen Zeilenvektoren aiT
• d.h. A ist die Abbildung
Beispiel
A : I × {1, . . . , n} → R mit A(i , j ) = aij
• ein lineares Gleichungssystem Ax = b mit A ∈ Rm×n und b ∈ Rm ist
äquivalent zu dem Ungleichungssystem
• entsprechend ist b = [bi ] ∈ RI der Koeffizientenvektor der rechten
Ax
−Ax
Seite des Ungleichungssystems
• wir schreiben das Ungleichungssystem dann kurz als
Ax ≤ b
←→
n
X
≤
≤
b
−b
• die Lösungsmenge A = {x ∈ Rn | Ax = b} ist ein affiner
Teilraum von Rn
aij xj ≤ bi (i ∈ I).
j =1
17 / 112
18 / 112
Grundbegriffe
Grundbegriffe
• wir betrachten zunächst einen Spezialfall:
Beispiel
• A besteht nur aus einem einzigen Zeilenvektor aT
• wir fassen eine Matrix X = [xij ] ∈ Rn×n als n 2 -dimensionalen
Koordinatenvektor auf
• Ist a 6= 0, so ist die Punktmenge
• sei X = [xij ] eine Lösung des unendlichen Ungleichungssystems
n X
n
X
ai aj xij ≥ 0
P (a, b) = {x ∈ Rn | aT x ≤ b}
ein (n-dimensionaler) Halbraum
für alle [a1 , . . . , an ] ∈ Rn
• im Fall a = 0 erhalten wir Rn = P (0, 0) als „trivialen“ Halbraum
i =1 j =1
xij − xji = 0
i , j = 1, . . . , n
• ebenso ist die leere Menge ∅ = P (0, −1) ein trivialer Halbraum
• damit ist die Lösungsmenge eines linearen Ungleichungssystems
immer Durchschnitt von Halbräumen
• dann ist X = [xij ] eine positiv semidefinite Matrix
19 / 112
20 / 112
Grundbegriffe
Grundbegriffe
• sei S ⊆ Rn
Beispiel (Hyperebenen)
• S heißt konvex, falls
• sei H (a, b) = {x ∈ Rn | aT x = b} eine Hyperebene
• für alle x, y ∈ S und alle reellen 0 ≤ λ ≤ 1 gilt:
• H ist Durchschnitt ihrer zugeordneten Halbräume
λx + (1 − λ)y ∈ S
H (a, b) = P (a, b) ∩ P (−a, −b)
• bzw. Lösungsmenge des linearen Ungleichungssystems

a1 x1 + . . . + an xn
−a1 x1 − . . . − an xn
≤
≤
b
−b
ff
←→
x
a1 x1 + . . . + an xn = b.
x
y
y
konvex
nicht konvex
21 / 112
22 / 112
Grundbegriffe
Grundbegriffe
• ist P (a, b) ein Halbraum, so ist P (a, b) konvex
Lemma 1 (Trennungslemma)
• außerdem ist P (a, b) (im Sinn der Analysis) abgeschlossen
• sei S ⊆ Rn nichtleer, konvex und abgeschlossen
• offensichtlich bleibt Abgeschlossenheit und Konvexität unter
• dann existiert für jedes y ∈ Rn r S ein Vektor c ∈ Rn und ein
Durchschnittsbildung erhalten
x0 ∈ S derart, dass
• somit ist die Lösungsmenge eines linearen Ungleichungssystems
cT y > cT x0 ≥ cT x für alle x ∈ S.
konvex und abgeschlossen
• wir wollen zeigen:
• die konvexen abgeschlossenen Mengen im Rn sind genau die
Lösungsmengen von linearen Ungleichungssystemen
y
• dazu folgendes grundlegendes Lemma:
y
x
S
23 / 112
S
S
c
24 / 112
0
Grundbegriffe
Grundbegriffe
Beweis des Trennungslemmas:
(i) das Minimierungsproblem
y
x
min ky − xk
x∈S
0
besitzt eine optimale Lösung x0 ∈ S:
S
c
• wir können dazu oBdA annehmen, dass S kompakt ist
• andernfalls beschränken wir uns auf die kompakte Menge
SR = {x ∈ S | ky − xk ≤ R},
(wobei R > 0 so groß gewählt ist, dass SR 6= ∅ gilt)
• mit z = cT x0 hat man S ⊆ P (c, z ) und y ∈
/ P (c, z )
• die Funktion x 7→ kx − yk ist stetig auf Rn
• d.h. die Hyperebene H = {x ∈ Rn | cT x = z } trennt den Punkt
y∈R
n
von der Menge S ⊆ R
n
• eine stetige Funktion nimmt auf einem Kompaktum ihre Extremwerte an
• H heißt Stützhyperebene von S im Punkt x0 .
• damit existiert eine Minimallösung x0 ∈ S
25 / 112
26 / 112
Grundbegriffe
Grundbegriffe
(iii) cT x0 ≥ cT x für alle x ∈ S:
• für x0 ∈ S gilt
ky − x0 k = min ky − xk
• sei x ∈ S ein beliebiger Punkt in S
x∈S
• da y ∈
/ S, folgt x0 6= y
• für 0 < λ < 1 setze z(λ) = x0 + λ(x − x0 )
• sei c = y − x0
• da S konvex, gilt z(λ) ∈ S
• wir zeigen, dass c die gewünschten Eigenschaften hat:
• nach Wahl von x0 folgt
(ii) cT x0 < cT y:
kck2 = ky − x0 k2 ≤ ky − z(λ)k2 = kc − λ(x − x0 )k2 .
• es gilt
• ausmultiplizieren ergibt
cT y − cT x0 = cT (y − x0 )
−2λcT (x − x0 ) + λ2 kx − x0 k2 ≥ 0 bzw. − 2cT (x − x0 ) + λkx − x0 k2 ≥ 0
= ky − x0 k2
>0
• und liefert
cT x − cT x0 = cT (x − x0 ) ≤
27 / 112
1
lim λkx − x0 k2 = 0.
2 λ→0
28 / 112
Grundbegriffe
Grundbegriffe
Bemerkung 1
Satz 2
• die Voraussetzung der Abgeschlossenheit von S im Trennungslemma
Eine Teilmenge S ⊆ Rn ist genau dann konvex und abgeschlossen, wenn
S Lösungsmenge eines linearen Ungleichungssystems ist.
ist wichtig:
• betrachte die konvexe Menge
Beweis:
S = {(x1 , x2 ) | x12 + x22 < 1} ⊆ R2
• die Lösungsmenge eines linearen Ungleichungssystems ist konvex und
abgeschlossen
• das Trennungslemma gilt aber nicht.
• zum Beweis der anderen Richtung:
• der Fall S = Rn oder S = ∅ ist trivial
Bemerkung 2
• in allen anderen Fällen erhalten wir nach dem Trennungslemma
• Für den Vektor c im Trennungslemma können wir oBdA eine normierte
Länge kck = 1 fordern.
S=
\
Py ,
y∈S
/
• wobei die Py Halbräume mit S ⊆ Py und y ∈
/ Py sind.
29 / 112
30 / 112
Grundbegriffe
Grundbegriffe
• sei S ⊆ Rn
Beispiel
• wir können S auf zweierlei Arten eine konvexe Menge zuordnen:
• einmal betrachten wir die Menge aller Konvexkombinationen:
S
k
k
X
X
conv S = {
λi si | si ∈ S, λi ≥ 0,
λi = 1}.
i =1
conv S
i =1
• d.h. Linearkombinationen mit nichtnegativen Koeffizienten, die sich zu
1 aufsummieren
• conv S ist die konvexe Hülle von S
Bemerkung
conv S ist die kleinste konvexe Menge, die S enthält.
31 / 112
32 / 112
Grundbegriffe
Grundbegriffe
Offensichtlich gilt:
• dual dazu definiert man:
• S ⊆ conv S
• S ⊆ T =⇒ conv S ⊆ conv T
• conv S = conv(conv S)
S pol = {x ∈ Rn | sT x ≤ 1 für alle s ∈ S}.
(1)
• S pol ist die Polare zu S
• S pol ist Lösungsmenge eines linearen Ungleichungssystems und
Lemma 3
deshalb abgeschlossen (und konvex)
Sei S ⊆ Rn eine beliebige nichtleere Menge. Dann gilt:
• stellen wir uns S als eine Matrix mit den Zeilenvektoren sT vor, so ist
S ist konvex ⇐⇒ S = conv S.
S pol = P (S, 1),
• wobei b = 1 der Vektor mit allen Komponenten bi = 1 bedeutet
Beweis: Übungsaufgabe
34 / 112
33 / 112
Grundbegriffe
Grundbegriffe
Motivation
Beispiel
• sei S ⊆ Rn mit 0 ∈ S
• sei cT x ≤ z eine lineare Ungleichung, die von allen s ∈ S erfüllt wird
• dann gilt z ≥ 0 (wegen 0 ∈ S)
(-1,2)
• im Fall z > 0 kann man die Koeffizienten per Division durch
z skalieren
S
pol
• und enthält die äquivalente Ungleichung
cT x ≤ 1 (c = z −1 c).
(1,0)
(-1,-1)
• S pol ist gerade die Menge aller solcher Koordinatenvektoren c.
35 / 112
36 / 112
Grundbegriffe
Grundbegriffe
Man macht sich leicht klar:
S ist eine abgeschlossene konvexe Menge ⇐⇒ S = (S pol )pol .
• S ⊆ (S pol )pol
• S ⊆ T =⇒ T pol ⊆ S pol
• S pol = (conv S)pol
Beweis:
• sei S = (S pol )pol ,
• dann ist ist S Durchschnitt von Halbräumen und somit konvex und
Satz 4
abgeschlossen
Sei S ⊆ Rn eine beliebige nichtleere Menge mit 0 ∈ S. Dann gilt:
• sei umgekehrt S konvex und abgeschlossen
S ist eine abgeschlossene konvexe Menge ⇐⇒ S = (S pol )pol .
• nach Satz 2 existiert ein Ungleichungssystem Ax ≤ b mit S = P (A, b)
• da 0 ∈ S, folgt bi ≥ 0 für jede Komponente bi von b
• nach Skalierung können wir annehmen, dass bi ∈ {0, 1}
38 / 112
37 / 112
Grundbegriffe
Grundbegriffe
• d.h. S = P (A, b) mit bi ∈ {0, 1}
• sei Ax ≤ b ein Ungleichungssystem
• wir ersetzen jede Ungleichung vom Typ aiT x ≤ 0 durch unendlich viele
• als Dimension von Ax ≤ b bezeichnet man gewöhnlich die Anzahl
n der Variablen xj
Ungleichungen
(k ai )T ≤ 1 (k ∈ N)
• uns interessiert aber auch die Dimension der Lösungsmenge P (A, b)
• dann können wir annehmen, dass S von der Form ist:
• für einen Spezialfall ist dies bekannt:
S = {x ∈ Rn | aiT x ≤ 1 (i ∈ I)}
• das bedeutet aber ai ∈ S pol für alle i ∈ I
• also A ⊆ S pol und somit
S ⊆ (S pol )pol ⊆ Apol ⊆ S
• d.h.
S = (S pol )pol .
39 / 112
40 / 112
Grundbegriffe
Grundbegriffe
• etwas allgemeiner:
• die linearen Teilräume L von Rn sind genau die Lösungsmengen von
linearen Gleichungssystemen:
• die affinen Teilräume A von Rn sind genau die Lösungsmengen von
L = {x ∈ Rn | Ax = 0}.
linearen Gleichungssystemen:
• die Dimension dim L von L ist:
A = {x ∈ Rn | Ax = b}.
dim L = max{k | es gibt k linear unabhängige Punkte x1 , . . . , xk ∈ L}.
• jeder nichtleere affine Teilraum A lässt sich schreiben als
• bzw. dim L = −1 falls L = ∅
A = p + L = {x | x = p + y, y ∈ L}
• es gilt die Dimensionsformel
• hierbei ist p ∈ Rn und L ein linearer Teilraum
dim L = n − rg A
(2)
• die (affine) Dimension dim A von A ist:
• mit rg A = (Zeilen/Spalten-)Rang von A

dim L, falls A =
6 ∅
−1, falls A = ∅
dim A =
• bei Gleichungssystemen darf man (im Gegensatz zu
Ungleichungssystemen) immer A als endliche Matrix annehmen
41 / 112
42 / 112
Grundbegriffe
Grundbegriffe
• der allgemeine Fall:
• d.h.
k
k
X
X
aff S = {
λi si | si ∈ S,
λi = 1}.
• Idee: einer Teilmenge S ∈ Rn ordnen wir die Dimension des kleinsten
affinen Teilraums zu, der S enthält
• sei
Pk
i =1
i =1
• aff S ist der kleinste affine Teilraum von Rn , der S enthält
λi si eine Linearkombination von Punkten aus S
• die affine Dimension von S ist jetzt
• die Linearkombination heißt affine Linearkombinationen, wenn
zuätzlich gilt
k
X
i =1
dim S := dim aff S.
λi = 1
i =1
aff S
• die affine Hülle aff S ist die Menge aller Punkte, die sich als affine
S
Linearkombinationen aus S ausdrücken lassen
43 / 112
44 / 112
Grundbegriffe
Grundbegriffe
• sei S ⊆ Rn eine abgeschlossene konvexe Menge
• die Seitenflächen S und ∅ sind die trivialen Seitenflächen
• sei F ⊆ S eine Teilmenge von S
• die anderen sind die nicht-trivialen Seitenflächen
• F heißt Berührfläche von S, wenn gilt:
• eine einelementige Seitenfläche F = {v } von S heißt
Extrempunkt (oder Ecke) von S
(SF0 ) es gibt einen Vektor a 6= 0 und eine reelle Zahl b ∈ R mit:
• aus der Definition ergibt sich sofort, dass eine Seitenfläche F von
(SF1 ) S ⊆ {x ∈ Rn | aT x ≤ b} = P (a, b)
S selber eine abgeschlossene konvexe Menge ist
(SF2 ) F = {x ∈ S | aT x = b} = S ∩ H (a, b)
• es gilt
dim F ≤ dim S − 1
• F heißt Seitenfläche von S, wenn F Berührfläche von S ist oder
⇐⇒
F 6= S.
F = S oder F = ∅.
• die Extrempunkte von S entsprechen den Seitenflächen F mit
dim F = 0
45 / 112
46 / 112
Grundbegriffe
Grundbegriffe
Beispiel
Beispiel
• sei S = {(x1 , x2 , x3 ) ∈ R3 | x12 + x22 + x32 ≤ 1}.
E
• die nichttrivialen Seitenflächen von S sind genau die Punkte auf der
Kugeloberfläche
• dieses sind gleichzeitig auch die Extrempunkte von S
D
A
C
B
47 / 112
48 / 112
Grundbegriffe
Grundbegriffe
Proposition 5
Beispiel (Stützhyperebenen)
Sind F1 , F2 Seitenflächen der abgeschlossenen konvexen Menge S ⊆ Rn ,
dann ist auch F = F1 ∩ F2 eine Seitenfläche von F .
• jede Stützhyperebene H = H (c, b) induziert eine nichtleere
Seitenfläche von S, denn:
Beweis:
• sei x0 der Stützpunkt von H
• sei F1 = S ∩ H (a1 , b1 ) und F2 = S ∩ H (a2 , b2 )
• dann gilt (SF1 ) wegen
T
• wir setzen a = a1 + a2 und b = b1 + b2 .
T
c x ≤ b = c x0 für alle x ∈ S
• dann gilt nach Voraussetzung für alle x ∈ S:
• die Seitenfläche F = S ∩ H enthält x0 und ist folglich nichtleer.
a1T x ≤ b1 , a2T x ≤ b2 und deshalb aT x ≤ b.
• außerdem gilt für x ∈ S:
Seitenflächen sind unter Durchschnitten abgeschlossen:
aT x = b
⇐⇒
a1T x = b1 und a2T x = b2
• und somit F = S ∩ H (a, b).
49 / 112
50 / 112
Grundbegriffe
Theorie linearer Ungleichungen
Gliederung
Bemerkung
• Grundbegriffe
• der Algortihmus von Fourier-Motzkin
• Alternativsätze
Wie schon das Beispiel der Kreisscheibe zeigt, ist die Vereinigung
F1 ∪ F2 von zwei Seitenflächen im allgemeinen keine Seitenfläche.
• Seitenflächen
• konvexe Kegel
• zwei Anwendungen
51 / 112
52 / 112
Fourier-Motzkin
Fourier-Motzkin
• seien
= {i ∈ I | ai 1 > 0},
= {i ∈ I | ai 1 < 0},
= {i ∈ I | ai 1 = 0}.
I+
I−
I0
• wir diskutieren nun einen Algorithmus zum Lösen linearer
Ungleichungssysteme
• er ist natürlich nur bei endlichen Systemen praktisch durchführbar,
• aber doch auch bei unendlichen Systemen „im Prinzip“ anwendbar
• dividieren wir die Ungleichungen in I1 und I2 jeweils durch |ai 1 |, so
erhalten wir das äquivalente System
• wir gehen aus von einem Ungleichungssystem
aiT x
=
n
X
x1
X
+
arj0 xj
≤
br0
(r ∈ I+ )
asj0 xj
≤
bs0
(s ∈ I− )
atj xj
≤
bt
(t ∈ I0 )
j =2
aij xj ≤ bi (i ∈ I).
−x1
j =1
X
+
(3)
j =2
X
• wir wollen nun (ähnlich wie beim Gauss-Verfahren) die Variablen xj der
Reihe nach eliminieren
j =2
• wegen der Ungleichungen können wir aber nur mit positiven Zahlen
skalieren
• wir beginnen mit z.B. x1 .
53 / 112
54 / 112
Fourier-Motzkin
Fourier-Motzkin
Beobachtung:
x1 +
X
arj0 xj
≤
br0
(r ∈ I+ )
(ii) −bs0 +
j =2
−x1 +
X
asj0 xj
≤
atj xj
≤
bs0
(s ∈ I− )
(3)
0
asj
xj ≤ x1 ≤ br0 −
(iii)
(t ∈ I0 )
bt
j =2
für alle r ∈ I+ , s ∈ I−
n
X
0
)xj ≤ br0 + bs0 für alle r ∈ I+ und s ∈ I− .
(arj0 + asj
j =2
• (ii) ⇒ (iii): addiere je eine Ungleichung r ∈ I+ , s ∈ I−
• (iii) ⇒ (ii): für alle r ∈ I+ , s ∈ I− gilt
n
X
atj xj ≤ bt für alle t ∈ I0
−bs0 +
j =2
(ii) −bs0 +
arj0 xj
j =2
denn:
• x = (x1 , x2 , . . . , xn ) ist also genau dann zulässige Lösung, wenn gilt:
n
X
n
X
ist genau dann erfüllbar, wenn das folgende System erfüllbar ist:
j =2
(i) (x2 , . . . , xn ) erfüllt
Das System
j =2
j =2
X
n
X
asj0 xj ≤ x1 ≤ br0 −
n
X
n
X
0
asj
xj ≤ br0 −
j =2
arj0 xj für alle r ∈ I+ , s ∈ I−
n
X
arj0 xj
j =2
• und somit (mit inf ∅ = +∞, sup ∅ = −∞)
j =2
sup
s∈I−
55 / 112
`
− bs0 +
n
X
j =2
n
X
´
`
´
0
asj
xj ≤ inf br0 −
arj0 xj
r ∈I+
j =2
56 / 112
Fourier-Motzkin
Fourier-Motzkin
• in diesem Fall können wir jedes x1 wählen mit
`
sup −
bs0
+
s∈I−
n
X
´
asj0 xj
j =2
≤ x1 ≤ inf
r ∈I+
`
br0
−
n
X
• zusammengefasst:
´
arj0 xj
(4)
j =2
Lemma 6
• somit:
Das System (3) ist genau dann lösbar, wenn das System
• erfüllt (x2 , . . . , xn ) die Ungleichungen (i) und (iii),
(i)
n
X
atj xj ≤ bt (t ∈ I0 )
j =2
• so lässt sich x1 per Rücksubstitution aus (4) bestimmen
(iii)
• danach erfüllt (x1 , . . . , xn ) die Ungleichungen (i) und (ii)
n
X
(arj0 + asj0 )xj ≤ br + bs (r ∈ I+ , s ∈ I− )
j =2
lösbar ist.
57 / 112
58 / 112
Fourier-Motzkin
Fourier-Motzkin
Beispiel:
3x
Lemma 6 führt auf eine rekursive Beschreibung des Eliminationsverfahrens
bzgl. (3):
Fourier-Motzkin-Elimination
−x
+
−
+
2x
−
y
2y
3y
y
5y
−
−
−
+
+
2z
4z
2z
4z
z
≤
≤
≤
≤
≤
1
−14
−2
13
0
es ist:
I+ = {1, 5} I− = {3} I0 = {2, 4}
(1) berechne rekursiv eine Lösung (x2 , . . . , xn ) für das System (i) & (iii);
Normierung ergibt:
(2) wenn keine Lösung existiert: stop
(3) berechne x1 mit Rückwärtssubstitution nach (4)
−
59 / 112
x
+
x
x
−
+
−
1
y
3
5
y
2
3y
2y
y
−
+
−
−
+
2
z
3
1
z
2
2z
4z
4z
≤
1
3
≤
≤
≤
≤
0
−2
−14
13
60 / 112
Fourier-Motzkin
−
x
+
x
x
−
+
−
1
y
3
5
y
2
2
z
3
1
z
2
−
+
−
−
+
3y
2y
y
2z
4z
4z
Fourier-Motzkin
≤
1
3
y
−
8
z
10
≤
− 12
≤
≤
≤
≤
0
−2
−14
13
y
y
y
−
+
−
3z
4z
2z
≤
≤
≤
−4
13
−7
−
Elimination von y ergibt:
Elimination von x ergibt:
−
10
y
3
1
y
2
−
−
−
+
2y
y
8
z
3
3
z
2
4z
4z
−
28
z
10
≤
− 15
2
−
5z
2z
≤
≤
−11
6
≤
− 53
≤
≤
≤
−2
−14
13
z
≤
3
≤
− 12
−
z
≤
− 150
56
≤
≤
≤
−4
13
−7
−
z
≤
− 11
5
Normierung ergibt:
Normierung ergibt:
−
y
−
8
z
10
y
y
y
−
+
−
3z
4z
2z
61 / 112
62 / 112
Fourier-Motzkin
z
≤
3
− 150
56
− 11
5
−
z
≤
−
z
≤
Fourier-Motzkin
Berechnung der anderen Komponenten:
• Einsetzen von z = 3 in
Somit äquivalent dazu:
•
150
56
≤z ≤3
−
• eine möglich Lösung wäre z.B. z = 3
y
−
8
z
10
≤
− 12
y
y
y
−
+
−
3z
4z
2z
≤
≤
≤
−4
13
−7
y
≤
19
10
y
y
y
≤
≤
≤
5
1
−1
• liefert
• ein weiterer Eliminationsschritt liefert:
156
56
− 11
5
0
≤
3+
0
≤
3
−
• und somit y = 1
63 / 112
64 / 112
Fourier-Motzkin
Fourier-Motzkin
Zusammenfassung:
• Einsetzen von y = 1 und z = 3 in
−
x
+
x
x
−
+
1
y
3
5
y
2
3y
−
+
−
2
z
3
1
z
2
2z
≤
1
3
≤
≤
0
−2
• das FM-Verfahren führt nur zwei Operationen aus:
(i) Multiplikation einer Ungleichung mit einer positiven Zahl
(ii) Addition von zwei Ungleichungen
• liefert:
• damit gilt nach jeder Elimination einer Variablen:
−
x
x
x
≤
≤
≤
2
2
1
• jede der neuen Ungleichungen ist eine Linearkombination von
höchstens zwei Ungleichungen des vorigen Systems mit positiven
Koeffizienten
• und somit z.B. x = 2.
• gilt für eine Variable I+ = ∅ (I− = ∅), so ist das System lösbar
• wenn alle Variablen eliminiert sind, sind die Koeffizienten auf der linken
Seite des Systems Null
• dann ist das System genau dann lösbar, wenn die Koeffizienten auf der
rechten Seite alle nichtnegativ sind.
65 / 112
66 / 112
Fourier-Motzkin
Fourier-Motzkin
Bemerkung:
Anwendung: Projektionen
• sei Ax ≤ b ein System mit m Ungleichungen
• wir betrachten die Projektionsabbildung π : Rn → Rn−1
• nach der Elimination einer Variablen kann das resultierende System
• π ist gegeben durch
m2
4
Ungleichungen haben
π(x1 , x2 , x3 . . . , xn ) = (x2 , x3 , . . . , xn ).
• d.h. die Anzahl der Ungleichungen kann explodieren
• Projektionen von konvexen Mengen sind konvex
• daher ist das Fourier-Motzkin-Verfahren nicht sehr effizient.
• weiter ist π stetig
• daher ist die Projektion einer abgeschlossenen konvexen Menge wieder
abgeschlossen und konvex
• d.h. die Projektion der Lösungsmenge eines linearen
Ungleichungssystems ist selber Lösungsmenge eines linearen
Ungleichungssystems
• die interessante Aussage des folgenden Lemmas ist der Erhalt der
Endlichkeit
67 / 112
68 / 112
Fourier-Motzkin
Fourier-Motzkin
Lemma 7 (Projektionslemma)
m×n
Bemerkung
m
Sei A ∈ R
und b ∈ R gegeben. Dann existiert eine endliche Matrix
B ∈ Rk ×(n−1) und ein Vektor d ∈ Rk derart, dass gilt
• Der Beweis des Projektionslemmas ist konstruktiv
• mit dem FM-Verfahren kann man eine geeignete Matrix B und einen
π[P (A, b)] = P (B, d).
geeigneten Vektor d berechnen.
Beweis:
• sei Bx ≤ d das lineare Ungleichungssystem, das sich aus
Ax ≤ b nach FM-Elimination von x1 ergibt
• aus der Rücksubstitutionsregel (4) ergibt sich
(x2∗ , . . . , xn∗ ) ∈ P (B, d) ⇐⇒ es gibt ein x1∗ ∈ R mit (x1∗ , x2∗ , . . . , xn∗ ) ∈ P (A, b)
• das ist aber genau die Behauptung P (B, d) = π[P (A, b)]
.
70 / 112
69 / 112
Theorie linearer Ungleichungen
Alternativsätze
Gliederung
• Grundbegriffe
• der Algortihmus von Fourier-Motzkin
• Alternativsätze
• wir betrachten ein Ungleichungssystem Ax ≤ b
• Seitenflächen
• konvexe Kegel
• wir werden im folgenden die Lösbarkeit charakterisieren
• Fourier-Motzkin liefert ein Verfahren, um die Lösbarkeit zu testen
• zwei Anwendungen
71 / 112
72 / 112
Alternativsätze
Alternativsätze
Satz 8 (Alternativsatz)
Satz 8 (Alternativsatz)
Genau eine der Aussagen ist richtig:
Genau eine der Aussagen ist richtig:
(i) Das System Ax ≤ b besitzt eine Lösung.
(i) das System Ax ≤ b besitzt eine Lösung
(ii) Es gibt nichtnegativen einen Vektor y ∈ RI mit nur endlich vielen
positiven Komponenten derart, dass yT A = 0T und yT b < 0 .
(ii) es gibt einen nichtnegativen Vektor y ∈ RI mit nur endlich vielen
positiven Komponenten derart, dass
yT A = 0T
Beweis:
und yT b < 0 .
• die Aussagen können nicht gleichzeitig gelten
• andernfalls würde folgen: 0 = 0T x = yT Ax ≤ yT b < 0
Bemerkung
• angenommen (i) ist falsch
• da nur endlich viele Komponenten von y von 0 verschieden sind,
• gibt es eine endliche Teilmenge I 0 ⊆ I derart, dass
yT A =
X
yi aiT
und yT b =
i ∈I 0
X
• nach der FM-Elimination aller Variablen existiert eine Ungleichung der
Form 0 ≤ t mit t < 0
• diese Ungleichung ist nichtnegative Linearkombination von höchstens
yi bi
zwei Ungleichungen des Systems davor
i ∈I 0
• damit sind die Ausdrücke yT A und yT b im Satz wohldefiniert.
74 / 112
73 / 112
Alternativsätze
Alternativsätze
• diese sind wiederum nichtnegative Linearkombinationen von höchstens
Korollar 9
zwei Ungleichungen des Systems davor
.
• ..
Das System Ax ≤ b ist nicht lösbar genau dann, wenn ein endliches
Teilsystem A0 x ≤ b0 nicht lösbar ist.
• damit existiert ein nichtnegativer Vektor y mit höchstens 2n positiven
Beweis:
Einträgen, so dass yT A = 0T und yT b < 0.
• eine Lösung x∗ von Ax ≤ b ist natürlich auch eine Lösung des
Teilsystems A0 x ≤ b0
• ist Ax ≤ b nicht lösbar, so gilt Alternative (ii) im Satz 8
• ist das Systems Ax ≤ b endlich, so ist der obige Alternativsatz auch
• die Alternative (ii) bezieht sich auf ein endliches Teilsystem
als Lemma von Farkas bekannt
• also ist auch dieses nicht lösbar.
• wir werden später noch eine andere Form des Lemmas von Farkas
behandeln
75 / 112
76 / 112
Alternativsätze
Theorie linearer Ungleichungen
Gliederung
Korollar 10 (Gordan)
• Grundbegriffe
• der Algortihmus von Fourier-Motzkin
Sei A ∈ Rm×n eine Matrix. Dann gilt genau eine der Aussagen:
(i) Ax = 0, x ≥ 0 hat eine Lösung x∗ 6= 0.
• Alternativsätze
• Seitenflächen
(ii) yT A < 0T hat eine Lösung.
• konvexe Kegel
• zwei Anwendungen
Beweis: Übung.
Bemerkung
x < y bedeutet, dass die Relation xj < yj für alle Komponenten gilt.
77 / 112
78 / 112
Seitenflächen
Seitenflächen
Optimierung:
• sei S ⊆ Rn eine beliebige nicht-leere Teilmenge
(i) supx∈S cT x ≤ z .
T
• sei c x ≤ z eine lineare Ungleichung
• S
(ii) F = {x ∈ S | cT x = z } ist die Menge aller Optimallösungen des
entsprechenden Maximierungsproblems.
impliziert die Ungleichung cT x ≤ z , wenn gilt:
cT x ≤ z
für alle x ∈ S
Geometrie:
(i) Der Halbraum P (c, z ) = {x ∈ Rn | cT x ≤ z } enthält S.
• ebenso sagt man, dass cT x ≤ z eine für S gültige Ungleichung ist
(ii) F = {x ∈| cT x = z } ist eine Seitenfläche von S.
• diese Implikation erlaubt zwei Interpretationen:
79 / 112
80 / 112
Seitenflächen
Seitenflächen
Beweis:
• analog:
(i) sei y ≥ 0 so, dass cT = yT A und yT b ≤ z
• seien Ax ≤ b ein Ungleichungssystem und cT x ≤ z eine Ungleichung
• für jede Lösung x von Ax ≤ b gilt dann yT (b − Ax) ≥ 0
• cT x ≤ z wird von Ax ≤ b impliziert, wenn gilt:
• und somit
∗
Ax ≤ b
=⇒
T
∗
∗
cT x = yT Ax ≤ yT b ≤ z
n
c x ≤ z für alle x ∈ R .
• die Bedingung ist also hinreichend
• die zweite Form des Farkas-Lemmas ist nun:
• zum Beweis der Rückrichtung betrachten wir das System
Ax
−cT x
Lemma 11 (Farkas)
Sei Ax ≤ b ein endliches lösbares lineares Ungleichungssystem. Dann wird
cT x ≤ z genau dann von Ax ≤ b impliziert, wenn es einen Vektor
y ≥ 0 gibt mit
cT = yT A
und
yT b ≤ z .
≤
≤
b
−(z + ε)
• nach Annahme hat dieses System für kein ε > 0 eine Lösung
• führe FM-Elimination durch (unabhängig von ε)
• aus der Endlichkeit des Systems folgt:
81 / 112
82 / 112
Seitenflächen
Seitenflächen
• es existiert ein Vektor y ≥ 0 und ein Skalar y0 ≥ 0 mit
T
Bemerkung
T
y A − y0 c = 0 und y b − y0 (z + ε) < 0
• das Farkas-Lemma kann auf unendliche Ungleichungssysteme mit
kompakter Lösungsmenge S = P (A, b) verallgemeinert werden
• wäre y0 = 0, so hätten wir
• ohne diese Zusatzannahme ist das Farkas-Lemma bei unendlichen
yT A = 0 und yT b < 0
Systemen falsch:
• nach dem Alternativsatz 8 hätte dann das System Ax ≤ b keine
Lösung, im Widerspruch zur Voraussetzung
Beispiel
• somit ist y0 > 0 und wir können nach Division durch y0 annehmen:
• sei S = {(x , y ) ∈ R2 | x > 0, y ≥ 1/x }
• S ist Lösungsmenge des unendlichen Ungleichungssystems
yT A = c und yT b < (z + ε)
• da dies für alle ε > 0 gilt, folgt yT b ≤ z .
1
2
x +y ≥
(r ∈ R, r > 0)
r2
r
• die Ungleichung x ≥ 0 gilt offenbar für S
• sie lässt sich aber nicht als positive (endliche) Linearkombination aus
dem System ableiten.
83 / 112
84 / 112
Seitenflächen
Seitenflächen
Die zweite Form des Farkas-Lemmas liefert eine Methode, wie man im Prinzip
alle Seitenflächen von S = P (A, b) konstruieren kann:
• wegen AF x ≤ bF gilt:
1T AF x = 1T bF
⇐⇒
AF x = bF
• wir nehmen oBdA S 6= ∅ an
• sei AF x ≤ bF ein Teilsystem von Ax ≤ b
T
• somit bestimmt die Teilmatrix AF eine Seitenfläche
T
• sei c = 1 AF der Summenvektor aller Zeilenvektoren von AF
F = {x ∈ S | cT x = z } = {x ∈ Rn | Ax ≤ b, AF x = bF }
• entsprechend sei z = 1T bF die Summe der rechten Seiten
• dann ist ist die Ungleichung cT x ≤ z für S gültig
• es bleibt zu zeigen, dass man auf diese Weise alle nichttrivialen
• denn für alle x ∈ P (A, b) gilt:
Seitenflächen von P (A, b) erhält
cT x = 1T AF x ≤ 1T bF = z
• sei dazu F eine beliebige nichtleere Seitenfläche, d.h.
F = {x ∈ Rn | Ax ≤ b, cT x = z }
86 / 112
85 / 112
Seitenflächen
Seitenflächen
Beispiel
• nach dem Farkas-Lemma existiert ein Vektor y ≥ 0 derart, dass
• das Standardsimplex in Rn ist die Menge
cT = yT A und yT b ≤ z .
∆n = {(x1 , . . . , xn ) | x1 + . . . + xn = 1, x1 ≥ 0, . . . , xn ≥ 0}.
• wenn wir y auf seine positiven Komponenten einschränken, erhalten
• ein Eckpunkt von ∆n entspricht einer einelementigen Seitenfläche
wir eine endliche Teilmatix AF und ein y ≥ 0 derart, dass
T
T
T
• und damit einer Auswahl von Ungleichungen derart, dass das
c = y AF und y bF ≤ z .
zugeordnete Gleichungssystem nur eine einzige Lösung in
∆n gestattet.
• da F 6= ∅, gilt z = yT bF , denn:
x∈F
=⇒
z = cT x = yT AF x ≤ yT bF ≤ z .
• also ergeben sich genau die n Einheitsvektoren als die Ecken von ∆n .
x
2
• daraus folgt:
1
• F besteht genau aus den Punkten x ∈ P (A, b), die die Gleichung
AF x = bF erfüllen, d.h.
x
3
1
F = {x ∈ Rn | Ax ≤ b, AF x = bF }.
1
87 / 112
x
1
88 / 112
Seitenflächen
Theorie linearer Ungleichungen
Gliederung
Satz 12
Ist Ax ≤ b ein endliches Ungleichungssystem, so hat die abgeschlossene
konvexe Menge P (A, b) nur endlich viele verschiedene Seitenflächen.
• Grundbegriffe
• der Algortihmus von Fourier-Motzkin
Beweis: Ax ≤ b hat nur endlich viele verschiedene Teilsysteme AF x ≤
bF .
• Alternativsätze
• Seitenflächen
Beispiel
• konvexe Kegel
• zwei Anwendungen
Die Kugel
S = {(x , y , z ) ∈ Rn | x 2 + y 2 + z 2 ≤ R}
lässt sich nicht als Lösungsmenge eines endlichen linearen
Ungleichungssystem darstellen, denn S hat unendlich viele Extrempunkte.
89 / 112
90 / 112
konvexe Kegel
konvexe Kegel
Beispiel
wir betrachten jetzt eine spezielle Klasse von Ungleichungssystemen
eine nichtleere Menge K ⊆ Rn ist ein (konvexer) Kegel, wenn gilt:
x
x
2
2
(K1) λx ∈ K
für alle x ∈ K und Skalare λ ≥ 0
(K2) x + y ∈ K
x
x
für alle x, y ∈ K
3
3
• ein konvexer Kegel ist also eine unter nichtnegativen
x
1
x
1
Linearkombinationen abgeschlossene Menge
• jeder nichtleeren Menge S ⊆ Rn kann man auf zwei (zueinander
• ein nichtleerer Kegel enthält immer zumindest den Punkt 0 ∈ Rn
„duale“) Weisen einen Kegel zuordnen.
• zum einen betrachtet man die Menge aller nichtnegativen
Linearkombinationen:
91 / 112
92 / 112
konvexe Kegel
konvexe Kegel
• cone S ist die konische Hülle von S oder der von S erzeugte
• dual dazu definieren wir
Kegel:
k
X
cone S = {
λi si |, si ∈ S, λi ≥ 0}
S ◦ = {x ∈ Rn | sT x ≤ 0 für alle s ∈ S}.
(6)
(5)
i =1
• ist S ein Kegel, so ist S ◦ ist der zu S duale Kegel
• S ◦ ist Lösungsmenge eines linearen Ungleichungssystems und daher
Beispiel
abgeschlossen (und konvex)
• fassen wir S als Matrix mit den Zeilenvektoren sT auf, so gilt
S ◦ = P (S, 0).
• sei A ∈ Rm×n eine Matrix mit Spalten A1 , . . . , An
• dann bezeichnet cone A den von den Spalten von A erzeugten Kegel
• für konvexe Kegel sind die Polare und der duale Kegel identisch:
n
X
cone A = {
λi Ai |, λi ≥ 0}
i =1
94 / 112
93 / 112
konvexe Kegel
konvexe Kegel
Analog der Argumentation bei der Polaren macht sich leicht klar:
Lemma 13
• S ⊆ (S ◦ )◦ .
• S ⊆ T =⇒ T ◦ ⊆ S ◦ .
• S ◦ = (cone S)◦ .
Sei K ⊆ Rn ein konvexer Kegel. Dann gilt
K ◦ = K pol .
Beweis:
Satz 14
◦
• es gilt K ⊆ K
pol
Sei S ⊆ Rn eine beliebige nichtleere Menge. Dann gilt
, denn
cT x ≤ 0
=⇒
(i) S ist ein konvexer Kegel ⇐⇒
cT x ≤ 1 für alle x ∈ K .
S = cone S.
(ii) S ist ein abgeschlossener konvexer Kegel ⇐⇒
• sei umgekehrt c ∈ K pol , d.h. cT x ≤ 1 für alle x ∈ K
S = (S ◦ )◦ .
Beweis:
• mit x ∈ K ist auch λx ∈ K für alle λ ≥ 0
• der Beweis von Behauptung (i) ist Routine
• d.h. λ(cT x) ≤ 1 für alle λ ≥ 0
• Aussage (ii) ist der Spezialfall der analogen Aussage über die Polare
konvexer Kegel.
• somit cT x ≤ 0 und K pol ⊆ K ◦ .
95 / 112
96 / 112
konvexe Kegel
Theorie linearer Ungleichungen
Korollar 15
Sei A ∈ R
m×n
Gliederung
eine Matrix. Dann gilt:
• Grundbegriffe
• der Algortihmus von Fourier-Motzkin
◦
T
cone A = P (A , 0) .
• Alternativsätze
• Seitenflächen
Beweis:
• konvexe Kegel
• für eine beliebige Menge S haben wir gesehen:
• zwei Anwendungen
• fassen wir S als Matrix mit den Zeilenvektoren sT auf, so gilt
• das Erfüllbarkeitsproblem
S ◦ = P (S, 0).
• stochastische Matrizen
• speziell für S = cone A gilt dann:
(cone A)◦ = P (AT , 0).
• wegen K = (K ◦ )◦ für konvexe Kegel, folgt:
cone A = ((cone A)◦ )◦ = P (AT , 0)◦ .
97 / 112
98 / 112
Zwei Anwendungen
Zwei Anwendungen
Wir rechnen über dem Zahlenbereich {0, 1} mit den Operationen:
• eine Boolesche Funktion ist eine Funktion ϕ : {0, 1}n → {0, 1}
• jede Boolesche Funktion ϕ(x1 , . . . , xn ) kann in konjuktiver
• „oder“
∨
0
1
0
0
1
Normalform (KNF) dargestellt werden
1
1
1
• d.h.
ϕ(x1 , . . . , xn ) =
^
Ci ,
• hierbei haben die Klauseln Ci die Form
• „und“
∧
0
1
0
0
0
1
0
1
−
0
1
1
0
Ci = ai 1 y1 ∨ . . . ∨ ain yn mit aij ∈ {0, 1} und yi ∈ {xi , xi }.
• und der Negation:
Beispiel
ϕ(x1 , x2 , x3 ) = (x1 ∨ x2 ) ∧ (x1 ∨ x2 ∨ x3 ) ∧ x3 .
99 / 112
100 / 112
Zwei Anwendungen
Zwei Anwendungen
Erfüllbarkeitsproblem
Beispiel
• sei C = x2 ∨ x5 ∨ x7
• gegeben eine Boolesche Funktion ϕ in KNF,
• entscheide, ob ϕ den Wert 1 annehmen kann.
• dann ist C erfüllbar, wenn es eine ganzzahlige {0, 1}-Lösung der
Ungleichung
x2 + (1 − x5 ) + x7 ≥ 1
• d.h.: kann eine Belegung der Variablen gefunden werden derart, dass
jede Klausel Ci den Wert 1 annimmt?
←→
−x2 + x5 − x7 ≤ 0
gibt.
• das Problem kann man mit Ungleichungssystemen modellieren:
• in der Klausel Ci = ai 1 y1 + . . . ain yn ersetzen wir xj durch 1 − xj
• Das Erfüllbarkeitsproblem fragt also nach einer ganzzahligen
{0, 1}-Lösung des aus allen Klauseln gebildeten Ungleichungssystems.
• wir haben dann das Problem: gibt es eine Lösung mit ganzzahligen
xj ∈ {0, 1} derart, dass
ai 1 y1 + . . . ain yn ≥ 1 ?
101 / 112
102 / 112
Zwei Anwendungen
Zwei Anwendungen
Wir betrachten folgenden Spezialfall:
2-Sat
Beispiel
• gegeben eine Boolesche Funktionen f in KNF mit höchstens
• wann sind zwei Klauseln C1 = (xk ∨ xs ) und C2 = (xk ∨ xl ) simultan
2 Variablen pro Klausel
erfüllbar?
• ist f erfüllbar ?
• offensichtlich genau dann, wenn C = (xs ∨ xl ) erfüllbar ist
• die entspricht aber einem Schritt der FM-Elimination:
2-SAT kann mit dem FM-Verfahren effizient gelöst werden:
C1
C2
C
• eine 2-SAT-KNF hat höchstens n 2 Klauseln
=
=
=
xk
xk
xs
∨
∨
∨
xs
xl
xl
←→
−xk
xk
−
−
xs
xs
−
−
xl
xl
≤
≤
≤
−1
0
−1
• wir können annehmen, dass keine zwei Klauseln
(xi ∨ xj ), (xi ∨ xj ) existieren
• C ist die sog. Resolvente der Klauseln C1 und C2
• die sind genau dann erfüllbar, wenn xj = 1
• offensichtlich sind C1 und C2 genau dann gleichzeitig erfüllt, wenn
ihre Resolvente C erfüllt ist
• im Ungleichungssystem entspricht C der Summe der aus C1 und
C2 gewonnenen Ungleichungen
103 / 112
104 / 112
Zwei Anwendungen
Theorie linearer Ungleichungen
Gliederung
Dann gilt:
• Grundbegriffe
• der Algortihmus von Fourier-Motzkin
• bei jeder Addition von Ungleichungen bleiben die Koeffizienten im
Bereich {−1, 0, +1}
• Alternativsätze
• Seitenflächen
• die Elimination einer Variablen führt wieder auf ein 2-SAT-Problem
Für das allgemeine Erfüllbarkeitsproblem ist gegenwärtig kein effizienter Lö-
• konvexe Kegel
sungsalgorithmus bekannt.
• zwei Anwendungen
• das Erfüllbarkeitsproblem
• stochastische Matrizen
105 / 112
106 / 112
Zwei Anwendungen
Zwei Anwendungen
• in Anwendungssimulationen betrachtet man Systeme, die sich zu jedem
• wir nehmen allgemein an, dass das System mit Wahrscheinlichkeit
(diskreten) Zeitpunkt in einem von n Zuständen {Z1 , . . . , Zn } befinden
mij = Pr (Zi |Zj )
in den Zustand Zi übergeht, wenn es vorher im Zustand Zj war.
Beispiel
1
• die entsprechende Übergangsmatrix
2
M = [mij ] ∈ Rn×n
3
hat nur nichtnegative Koeffizienten mij ≥ 0 und Spaltensummen
P
n
i =1 mij = 1.
4
• M ist eine stochastische Matrix: alle Spalten sind
Wahrscheinlichkeitsverteilungen
• ein Spieler hält sich in einem der vier Punkte auf
• in unserem Beispiel hätte M die Form
• in jedem Schritt
0
• bleibt er mit Wahrscheinlichkeit
• oder geht mit Wahrscheinlichkeit
1
2
da, wo er ist
1
4
B
B
M =B
@
entlang einer Kante
107 / 112
1
2
1
4
1
4
1
4
1
2
0
0
1
4
1
4
0
0
1
4
1
4
1
2
1
2
1
4
1
C
C
C
A
108 / 112
Zwei Anwendungen
Zwei Anwendungen
• nehmen wir an, dass sich das System zum Zeitpunkt t mit der
• sei in unserem Beispiel π = [1, 0, 0, 0]
Wahrscheinlichkeit πi im Zustand Zi befindet (i = 1, . . . , n).
• dann ist π 0 = [ 12 , 14 , 14 , 0]
• die Wahrscheinlichkeit, sich zum Zeitpunkt t + 1 im Zustand
• nach zwei Schritten π 00 = [ 38 , 28 , 28 , 18 ]
Zk (k = 1, . . . , n) zu befinden ist:
πk0 =
n
X
• d.h. die Wahrscheinlichkeiten verändern sich von Schritt zu Schritt
mki πi
i =1
• dieser Prozess wirft zumindest zwei Fragen auf:
• existiert eine Grenzverteilung?
• in Matrixnotation haben wir also:
π0 = M π
• existiert eine Startverteilung, die sich nicht ändert?
(π = [π1 , . . . , πn ], π 0 = [π10 , . . . , πn0 ]).
• wir beantworten die zweite Frage
• π heiße stationär, wenn π 0 = M π = π
• eine stationäre Wahrscheinlichkeitsverteilung ist somit ein (rechter)
Eigenvektor von M zum Eigenwert λ = 1
109 / 112
110 / 112
Zwei Anwendungen
Zwei Anwendungen
• wir nehmen an, dass keine solche Lösung existiert
Proposition 16
• dann gäbe es nach dem Alternativsatz von Gordan (Korollar 10) einen
Die stochastische Matrix M = [mij ] besitzt eine stationäre
Wahrscheinlichkeitsverteilung.
Vektor y mit der Eigenschaft
0T > yT A = yT M − yT
Beweis:
d.h. yj >
n
X
mij yi für alle j = 1, . . . , n.
i =1
• wir setzen A = M − I.
• für yk = min{y1 , . . . , yn } gilt aber
• es genügt zu zeigen, dass
n
X
Ax = 0, x ≥ 0, x 6= 0
i =1
eine Lösung hat
mik yi ≥
n
X
mik yk = yk .
i =1
• somit muss eine stationäre Verteilung existieren.
• diese können wir dann auf Koeffizientensumme 1 normieren und
erhalten das gewünschte π.
• in unserem Beispiel ist π = [ 14 , 14 , 14 , 14 ] eine stationäre Verteilung.
111 / 112
112 / 112