Teil 4 Constraintprogrammierung Zitat “Constraint programming represents one of the closest approaches computer science has yet made to the Holy Grail of programming: the user states the problem, the computer solves it.” Eugene C. Freuder, Constraints, April 1997 Was sind Constraints? constraint (engl.) = Beschränkung, Einschränkung hier: Aussage darüber, welche Lösungen eines Problems (ausgedrückt durch Belegung von Variablen) verboten/erlaubt sind Also: constraints schränken die zulässigen Lösungen ein verschiedene Beschreibungsarten: extensional (durch Aufzählung): (X,Y,Z) ∈ {(1,0,0),(0,1,0),(0,0,1)} intensional (durch Formeln, die erfüllt sein müssen) X+Y+Z = 1 Constraint Satisfaction Problem CP = Ein Programm erstellt ein CSP zu einem Problem Ein CSP besteht aus: einer endlichen Menge von Variablen X={x1,…,xn} Domänen D1,...,Dn dieser Variablen (endliche Mengen möglicher Werte) einer Menge von Constraints Beispiel: X::{1,2}, Y::{1,2}, Z::{1,2} X = Y, X ≠ Z, Y > Z Lösung eines CSPs: Zuweisung eines Wertes an jede Variable aus ihrer Domäne Beispiel: X=2, Y=2, Z=1 Was ist CP? Eine Methode, um kombinatorische Probleme zu lösen Beispiel: SEND+MORE=MONEY Menge von Variablen {S,E,N,D,M,O,R,Y} Domänen (Wertebereiche) für Variablen E,N,D,O,R,Y::0..9, S,M::1..9 Constraints (Einschränkungsbedingungen) schränken den Wertebereich von Variablen ein + = 10000*M 1000*S +100*E +10*N +D 1000*M +100*O +10*R +E +1000*O +100*N +10*E +Y Aufgabe: Finde einen Wert für jede Variable, so dass alle Constraints erfüllt sind. CP und der ''Heilige Gral" Modellierung auf „natürliche“ Weise (verglichen mit „normalen“ Programmiersprachen) Beispiel: Send+More=Money in Prolog: definiere Variablen send_more_money :und Domänen [S,E,N,D,M,O,R,Y] :: [0..9], 1000*S +100*E +10*N +D 1000*M +100*O +10*R +E = 10000*M +1000*O +100*N +10*E +Y + Constraints? CP und der ''Heilige Gral" Modellierung auf „natürliche“ Weise (verglichen mit „normalen“ Programmiersprachen) Beispiel: Send+More=Money in Prolog: definiere Variablen send_more_money :und Domänen [S,E,N,D,M,O,R,Y] :: [0..9], S #\= 0, M #\= 0, alldifferent([S,E,N,D,M,O,R,Y]), 1000*S+100*E+10*N+D + 1000*M+100*O+10*R+E #= 10000*M+1000*O+100*N+10*E+Y, labeling([S,E,N,D,M,O,R,Y]). Constraints starte Suche Das System sucht und findet automatisch eine Lösung Intelligenz ist eingebaut Beispiel: Sudoku Beispiel: Sudoku Modellierung (Problemformulierung) zu belegende Variablen bilden ein 9x9-Array: n(i,j) jede Variable kann Wert zwischen 1 und 9 annehmen: n(i,j)::{1,2,3,4,5,6,7,8,9} Constraints: alle Zahlen in einer Spalte verschieden: j ≠ k n(i,j) ≠ n(i,k) alle Zahlen in einer Zeile verschieden: j ≠ k n(j,i) ≠ n(k,i) alle Zahlen in einem Teilquadrat verschieden: h div 3 = i div 3, j div 3 = k div 3, (h ≠ i oder j ≠ k) n(h,j) ≠ n(i,k) Kurzer Überblick über CP Modellierung Ein Problem der realen Welt wird mittels Constraintprogrammierung beschrieben Suche einer Instanz (labeling) mittels der bekannten Techniken der KI Propagierung (domain filtering) Inkonsistenzen werden im Voraus entfernt Systematische Suche Durchsuchung des gesamten Lösungsraumes vollständig und korrekt Effizienzprobleme (sehr aufwendig) Grundlegende Techniken: Generieren & Testen (GT) Backtracking (BT) betrachte Unterräume betrachte einzelne Belegungen Z X Y Erschöpfende Suche Generiere und Teste (GT) Erzeuge systematisch einen Lösungskandidaten Teste, ob alle Constraints erfüllt sind Beispiel: X::{1,2}, Y::{1,2}, Z::{1,2} X = Y, X ≠ Z, Y > Z Probleme: der Generator ist „blind“ generiere Lösungskandidaten intelligent Probleme (Inkonsistenzen) werden zu spät erkannt teste Constraints bei Instanziierung der beteiligten Variablen Backtracking (BT) Erweitert eine Teillösung inkrementell zu einer vollständigen Lösung Algorithmus: A1 weise einer Variablen einen Wert zu teste auf Konsistenz B wiederhole, bis alle Variablen belegt sind 1 Tiefensuche (komplexe Rücksetzung) C 1 Nachteile: D thrashing 2 2 1 2 1 2 1 1 √ unnötige Wiederholungen (Redundanz) Konflikte werden spät erkannt A = D, B ≠ D, A+C < 4 GT & BT - Beispiel Problem: X::{1,2}, Y::{1,2}, Z::{1,2} X = Y, X ≠ Z, Y > Z Generiere & Teste Backtracking Konsistenztechniken entfernen inkonsistenter Werte aus den Domänen der Variablen Repräsentierung eines CSPs als Graph nur binäre und unäre Constraints (n-äre Constraints sind kein Problem!) Knoten = Variablen Kanten = Constraints A>5 Knotenkonsistenz (NC) (node consistency) A Kantenkonsistenz (AC) (arc consistency) A<C A≠B Pfadkonsistenz (PC) (starke) k-Konsistenz C B B=C Kantenkonsistenz AC Constraint = Kante im Constraint-Graphen Definition: Kante(i,j) ist kantenkonsistent gdw. es für jeden Wert in einen kompatiblen Wert in gibt. (gerichtet!) Ein CSP ist kantenkonsistent gdw. es für alle Kanten kantenkonsistent ist (in beiden Richtungen). nicht kantenkonsistent (A,B) konsistent (A,B) und (B,A) konsistent Erreichen der Kantenkonsistenz: Einschränkungen solange wiederholen bis sich keine Domänen mehr ändern AC - Beispiel II Problem: X::{1,2}, Y::{1,2}, Z::{1,2} X = Y, X ≠ Z, Y > Z 1 1 Y 2 X 1 x x1 2 X 2 2 Y 1 2 1 x 2 Z Z AC ist die am meisten verbreitete Konsistenztechnik viele Algorithmen mit unterschiedlichen Leistungsmerkmalen Ist AC ausreichend? leere Domäne → Inkonsistenz gefunden, keine Lösung Kardinalität aller Domänen ist 1 → Lösung gefunden Problem: X::{1,2}, Y::{1,2}, Z::{1,2} X ≠ Y, X ≠ Z, Y ≠ Z 1 Y 1 X 2 2 1 2 Z Pfadkonsistenz (PC) nur Konsistenz entlang von Pfaden V2 V0 V1 V3 V4 V5 ??? es genügt, Pfade der Länge 2 zu untersuchen Vor- und Nachteile + findet mehr Inkonsistenzen als AC - extensionale Repräsentation der constraints - verändert die Konnektivität des Graphen gerichtete PC, eingeschränkte PC k-Konsistenz k-Konsistenz konsistente Belegung von (k-1) Variablen kann auf die k-te Variable erweitert werden starke k-Konsistenz ≡ j-Konsistenz für jedes j≤k NC ≡ starke 1-Konsistenz AC ≡ starke 2-Konsistenz PC ≡ starke 3-Konsistenz Vollständige Konsistenz starke n-Konsistenz eines Constraint Graphen mit n Knoten → Lösung starke k-Konsistenz eines Constraint Graphen mit n Knoten (k<n) → ??? Pfadkonsistent aber keine Lösung {1,2,3} ≠ A ≠ B D ≠ ≠ ≠ ≠ {1,2,3} spezielle Graphen baumartiger Graph (D)AC ist ausreichend eliminiere Knoten (cycle cutset) fasse Knoten zusammen {1,2,3} C {1,2,3} Constraintpropagierung nur systematische Suche → ineffizient nur Sicherstellung der Konsistenz → unvollständig Also: Kombination von Suche (Backtracking) mit Konsistenztechniken Methoden: look back (Wiederherstellen nach Konflikten) look ahead (Verhindern von Konflikten) look back look ahead Labeling-Reihenfolge Look Back Methoden intelligentes Backtracking Konsistenzprüfung der instanziierten Variablen springe hierhin backjumping Backtracking zu der Variable mit dem Konflikt backchecking und backmarking vermeidet redundante Überprüfungen von Constraints durch das Speichern von erfolgreichen und fehlgeschlagenen Wertzuweisungen a Konflikt b b auch Konflikt b Look Ahead Methoden vermeide zukünftige Konflikte durch Konsistenzüberprüfung mit noch nicht instanziierten Variablen Instanziierte forward checking (FC) AC to mit dem direkten Nachbarn DAC (vollständiger) look ahead (LA) Kantenkonsistenz Pfadkonsistenz Labeling-Reihenfolge teilweiser (partial) look ahead (PLA) Variable Look Ahead - Beispiel Problem: X::{1,2}, Y::{1,2}, Z::{1,2} X = Y, X ≠ Z, Y > Z Generieren & Testen - 7 Schritte mit Backtracking - 5 Schritte mit Propagierung - 2 Schritte Anwendungsfelder I Alle Arten von schwierigen kombinatorischen Problemen Molekularbiologie Sequenzierung von DNA Protein-Strukturanalyse Interaktive Grafik Web-Layout Multimodale Ausgabe, z.B. im DynAMITE-Projekt Network-Management und -Konfiguration Job Shop Scheduling Aufgabe bei Scheduling: Zuweisung von Aktivitäten an Ressourcen zu einer Zeit CP erlaubt die Modellierung auf „natürliche“ Weise Nebenbedingungen werden abgedeckt! Aktivitäten werden mittels Variablen beschrieben: Anfangszeit Ressourcen (wenn nötig) Dauer (falls variabel) Constraints beschreiben Beziehungen zwischen einzelnen Aktivitäten (Vorrang, Reihenfolge, ...) zwischen Aktivitäten und Ressourcen (Kapazität, ...) Lösungstechniken: standard Constraint-Verfahren Temporale Constraints Termin-Constraints (due times) Fertigstellung vor einem festgelegtem Zeitpunkt start(A) + dauer(A) ≤ ende(A) Vorrang-Constraints (precedence constraints) Aktivität A muß einer andere Aktivität B vorangehen (aus technologischen Gründen) start(A) + dauer(A) ≤ start(B) Zeitfenster (time windows) Aktivität muß während eines Zeitfensters stattfinden start(A) in MinStart...MaxStart Einricht-Zeiten (set-up times), ... Ressourcen Constraints Disjunktive Constraints Ressource ist auf eine gleichzeitige Aktivität beschränkt start(A)+dauer(A)≤start(B) oder start(B)+dauer(B)≤start(A) globale Constraints serialized([start(Ai)], [dauer(Ai]) Kapazitätsconstraints Ressource kann Aktivitäten mit einem gegebenen Limit parallel bearbeiten deckt auch Disjunktive Constraints ab (Kapazität = 1) cumulative([start(Ai)], [dauer(Ai)], [verbrauch(Ai)], limit) Trick: Ist die Ressource an der Aktivität nicht beteiligt, dann ist ihr Verbrauch gleich Null. Was wurde verschwiegen? Techniken der lokalen Suche nicht-systematisches Generieren und Testen hill-climbing, min-conflicts, random-walk, tabu search Probleme mit zu vielen Constraints (over-constraint) Was ist zu tun, wenn die Constraintmenge unerfüllbar ist? Abschwächen des Problems (weakening, PCSP) Verwenden von Präferenzen (Hierarchien von Constraints) Optimierung Suche nach optimalen Lösungen, gemäß einer Zielfunktion Branch und Bound Realzahlen Methoden der numerischen Mathematik (Newton, Taylor) Was wurde gesagt? Constraint Programmierung kommt dem Heiligen Gral der Informatik nahe ist relevant bei der Lösung interessanter Probleme Modellierung und systematische Suche Erschöpfende Suche ist zu aufwendig Verbesserungen: Konsistenztechniken (look ahed) verhindere Konflikte in der Zukunft Techniken zur Vermeidung von Redundanzen (look back) verwendet Informationen über vorangegangene Schritte Quellen und Literatur Roman Barták. On-Line Guide to Constraint Programming, http://kti.mff.cuni.cz/~bartak/constraints. (englisch) Russell und Norvig: Artificial Intelligence: A Modern Approach, Prentice Hall, 1995, 2te Auflage, Kapitel 5 (online!) Roman Barták. Vortrag CPDC99. (englisch) N-Queens v1.0, ©1996 CyLog Software, http://www.cylog.org/games_6.asp