O(n 2 )
Werbung
Ein kurzer Ausflug in die Welt „harter“ Probleme... (Fortsetzung und Abrundung zur ersten Vorlesung in MGI, 1. Semester) Prof. Dr. Wolfram Conen Vorlesung zu ADS Juni 2006 Alan Turing – Mini-Rückblick auf die erste MGI-Vorlesung 23. Juni 1912, London 1936: On computable numbers ... (es gibt keine „definite“ Methode, die für jede mathematisch-logische Aussage entscheiden kann, ob sie beweisbar ist oder nicht.) 1939-40: Entwicklung der Bombe (zur Entschlüsselung der deutschen Enigma-Codes) 7. Juni 1954: Selbstmord Von der Intuition zur Exaktheit Hilbert suchte nach einem Verfahren, das für jede mathematischlogische Aussage einen Beweis oder eine Widerlegung liefert: „Das Entscheidungsproblem ist gelöst, wenn man ein Verfahren kennt, das bei einem vorgelegten logischen Ausdruck durch endlich viele Operationen die Entscheidung über die Allgemeingültigkeit bzw. Erfüllbarkeit erlaubt. (...) Das Entscheidungsproblem muss als das Hauptproblem der mathematischen Logik bezeichnet werden“, Hilbert, Ackermann, Grundzüge der theoretischen Logik, 1928 Um zu zeigen, dass es so ein Verfahren gibt, könnte man einfach eines angeben. Turing wollte zeigen, das es ein solches Verfahren nicht geben kann! Er mußte etwas finden, dass Hilberts Intuition eines Verfahrens entsprach, diese präzisierte und wesentliche Eigenschaften aller anderen „möglichen“ Verfahren beinhaltete und so als „Prototyp“ dienen konnte: Wenn der Prototyp die gewünschte Antwort nicht geben kann, dann kann es auch kein anderes Verfahren! Die Turing-Maschine: Ein Modell der Berechenbarkeit ... 0 0 Zustand: z1 „Programm“ 0 0 0 0 1 ... Falls Zustand == z1 und Zeichen unter Schreib/Lesekopf == 0, dann schreibe 1, gehe in den Zustand z1 und bewege dich ein Feld nach rechts. Kurz: (z1,0) (1,z1,R) (z1,1) (0,z1,R) (z1,_) (_,ende,L) Was macht dieses Programm? Die Turing-Maschine: Eine Berechnung ... 1 0 0 Zustand: z1 „Programm“ 0 0 0 1 (z1,0) (1,z1,R) (z1,1) (0,z1,R) (z1,_) (_,ende,L) ... Die Turing-Maschine: Eine Berechnung ... 1 1 1 1 (z1,0) (1,z1,R) (z1,1) (0,z1,R) (z1,_) (_,ende,L) 1 1 1 Zustand: z1 „Programm“ ... Die Turing-Maschine: Eine Berechnung ... 1 1 1 1 1 (z1,0) (1,z1,R) (z1,1) (0,z1,R) (z1,_) (_,ende,L) 1 0 0 Zustand: z1 „Programm“ ... Die Turing-Maschine: Eine Berechnung ... 1 1 1 1 (z1,0) (1,z1,R) (z1,1) (0,z1,R) (z1,_) (_,ende,L) 1 1 0 ... Zustand: ende „Programm“ Die Berechnung hält an! Noch wichtig: Programm, Eingabe und Zeichensatz sind endlich. Universelle TM (1) Turing führt eine Turing-Maschine UTM ein, die andere Turingmaschinen simulieren kann Bisher: Eingabestring x ! Turingmaschine TM ! Ausgabestring y; kurz: TM(x) = y Jetzt: Kodieren des Anweisungen der Turingmaschine als String z Eingabestring zx ! Turingmaschine UTM simuliert TM und wendet die Simulation auf x an ! Ausgabe y; kurz also: UTM(zx) = y bzw. UTM(TM,x) = y Die UTM von Turing kann alle Turingmaschinen simulieren...sie ist in einem bestimmten Sinn universell Universelle TM (2) Eine „binäre“ UTM von Stephen V. Gunhouse mit 176 Zuständen B0.UTM=10000001011101000000010101101000000100101101000010101101000001000101101010011101000001010101110100001110100001001 0101110100100110100001010010110101000110100010001010110101010011101001010101001011101000001110100000000011101000000101011 0100000100101101001000110100010101001011010010001000110100101010001110101000011101001010010010111010010001001011010100010 1001110100100000011101010100101110100100101001110101010101011101000000111010010101010101110100001001101000110100010100001 1010000010111010100101000101110100010101011101001000011010101001010010110101001011010010010101101010001010110100101001011 1010101000010011101001010101011101000101010011101010000101101010010001101010001010110100010000101110101001011010010010011 0101001010101101001001000101110101010001011101010101000110101010010101101001000101101010101001011001110100010010111010010 0000111010001000101110100100011010000010101101001001001001110100001001011010010011010000101010110101001001011101001101000 0000111010001001010110100100010101110100010100101110101001000101110100100001011101001010001010111010100100010111010010010 0101110100101000101110100100100011101001010000111010001000110100101001001110100100010011101000011101001010011101010010011 1010010100111010010101011101000000111010100010001011101010001010010111010100000101110100100000111010100001010110100010011 0101000100101110101001001110101001010111010010101001010111010100010010101110101010100010111010100100101011101000010101101 0101000101011001110101010101010010110100010101101010100001011101010100100101101010000001110100010000011101000100011101000 0111010101010010101110101000001001110100101000001110100001110101010010111010010000010111010000000011010010011010000101010 1011010100000010110100001010101101000100110100001000011010001010110100000100110101001110100000010101011101001011010000100 0101101000011101010100101010111010010011010101010101010110100100110100010010101101001001010111010101011101010001101010100 0101010110101000010010110101010010111010000000111010001010010101101001000010011101000101000101101000000011101000101001011 1010010001101000101010101011010010001101001000101010110100010000110101010101000111010101010100100111010010000100111010000 0010011010000010001101001000110100001001011010001010111010100100100111010100000111010111010101010101010101101001001010101 0110101000010011010001010011101010101000011101010101010000111010000100101110101000101110101000011101001010010101011101010 0001110100101010001011101010000111010100010010111010001000101110101010101110101010011101001010101010101110101010011101010 0001010101110100000000110100000001011010100001000110101000000011010001001000110100010010010110101010011101010100001011101 0000001110101001000010111010100000011101010010010101011101000110101000101010101110100011010100100010101110100000011101010 1000001011101000110101001001001011101000110101010101011101000101001110101001110100110101001010010101110100110101001010100 1011101001101010010101010101110100110100101010101110100101000111010010011010001001011010101000100101110101010010011010100 1010011010100011010101001000101101010001101010100100101011010000101110101001010101011010010000110101010010101010110100100 0011010101010000101101001000011010000000001110100001011101010101001001011101000010111010101010010101011101000010111010010 0100010111010100000101011101001010000101110110111001110101000010110011101010101010101101000010111010101010001010111010000 0101011010101101000100101010110100100101001011010100111010000010010101110100001010110101001010010110101001110100000101001 0111010101000101110100001 Was kann die Turing-Maschine? „Alles Machbare!“ Genauer formuliert dies die Church-Turing-These: „Genau das, was wir intuitiv für „effektiv berechenbar“ halten, kann durch die Turing-Maschine tatsächlich berechnet werden.“ Wir nennen ab jetzt etwas berechenbar, wenn es eine Turingmaschine gibt (geben kann), die mit dem richtigen Ergebnis anhält! Es wurden noch viele andere Modelle der Berechenbarkeit „erfunden“ (generelle rekursive Funktionen, -Definierbarkeit, Kombinatorische Systeme, Termersetzungssysteme, Registermaschinen, ...), aber alle (zumindest alle physikalisch realisierbaren) erwiesen sich als „äquivalent“, sie können die gleichen Probleme lösen! Zeigen kann man dies, in dem man ein Modell durch ein anderes simuliert (und vice versa). Merke: Modelle der Berechenbarkeit präzisieren den Begriff Algorithmus / Lösungsverfahren (F1) Noch ein Beispiel...fleissige Bieber Bieber bauen Dämme aus Baumstämmen... Als Turingmaschine sieht das z.B. so aus: _/1,R 1/1,R z1 z2 z3 1/1,R _/1,L _/1,L 1/1,L _ Satz: halt _ 1 _ 1 _ 1 _ 1 _ 1 _ 1 _ _ _ _ Die Rado-Funktion kann nicht durch eine Turing-Maschine berechnet werden Luftholen... [Ende des Rückblicks] Wahre Titanen des Geistes (auch, wenn manche von Ihnen ein unglückliches Ende gefunden haben...) legten die Grundlagen. Wir wissen jetzt: es gibt Probleme, die sich nicht lösen lassen, obwohl sie „mathematisch genau“ beschrieben sind! Modelle der Berechenbarkeit erlauben eine Analyse der Berechenbarkeit/Lösbarkeit eines Problems! (F2) Aber: wie schwer kann es werden, ein konkretes Problem tatsächlich zu lösen? Komplexität Gegeben: ein berechenbares Problem P und ein bestimmtes Modell der Berechenbarkeit (z.B. TuringMaschinen oder RAMs) Zentrale Frage: Erfordert die Lösung des Problems einen Zeit oder Speicheraufwand, der polynomial oder (möglicherweise) exponentiell zur Größe der Eingabe ist? Zur Größenordnung: Annahme: Jede Operation benötigt eine Mikrosekunde Eingabegröße n = 10 =100 =1000 =1000000 Zeitaufwand als Funktion von n: n 10us 0.1ms 1ms 1s n2 0.1ms 10ms 1s 2W n5 0.1s 3h 30J 3*1016J 2n 1ms 3*1016 J 3*10288J groß • 3*1016 J ist übrigens mehr als eine Millionen mal die geschätzte bisherige Dauer des Universums... TSP - Traveling Salesman Problem Gegeben ist eine Menge von „Städten“, so dass jede von jeder direkt erreichbar ist (z.B. per Hubschrauber ;-) Mit den Reisen sind Kosten verbunden (wir nehmen mal an, dass die Dreiecksungleichung erfüllt ist, d.h. kein „Umweg“ ist kürzer, als die direkte Verbindung) Gesucht ist eine Rundtour durch alle Städte, die minimale Kosten über alle möglichen Rundtouren hat (jede Stadt wird nur einmal besucht) Das ist das „metrische“ TSP TSP TSP TSP Wir können das TSP als Graphproblem auffassen n Knoten (die Städte), n*n-1 ungerichtete Kanten (die Wege) Der Graph ist also vollständig (er kann natürlich auch unvollständig sein...) Wenn Hin- und Rückfahrt zwischen je zwei Städten gleich teuer sind, dann ist es ein symmetrisches TSP Naiver Lösungsalgo: Suche zufällig einen Startpunkt aus Generiere nach und nach alle möglichen Rundtouren Vergleiche die Länge jeder Rundtour mit der Länge der bisher besten Merke dir ggfs. die neue „beste“ Tour Aufwand? n-1*...*2*1 = (n-1)! im symmetrischen Fall (n-1)!/2 TSP Für ein symmetrisches TSP gibt es also eine Menge Lösungskandidaten: n = 5: n = 10: n = 20: 12 Touren 181.440 Touren 60.822.550.204.416.000 Touren (~ 61 Billiarden Touren) Das heißt: Die Anzahl von Lösungskandidaten explodiert exponentiell mit steigendem n TSP Das geht natürlich besser! Aber wenn wir wirklich das Optimum haben wollen, dann erfordert jedes exakte Lösungsverfahren im worst case exponentiellen Aufwand es sei denn, NP = P (was das ist, sehen wir gleich) Man kann metrische TSPs aber zu polynomialen Kosten approximieren (wie gut?) Approximationen metrischer TSPs Jetzt kommt unser alter MST zu Ehren: Gegeben: 8 Knoten, vollständiger, ungerichteter Graph v MST „Doppelter“ MST: jede Rundtour mit Kante wird verdoppelt und die „Abkürzungen“ Kanten eines jeden Paares werden in gegensätzliche Richtungen orientiert Approximationen metrischer TSPs Kosten für Prim: O(m + n log n) = O(n2) für kompletten Graph O(1) (Auswahl) O(n) (n-1 Kanten * 2) O(n) Speicher O(n) Dominiert von MST-Kosten, insgesamt O(n2) Algo APP_TSP Bestimme einen MST T Wähle zufällig einen Knoten v und laufe komplett um den Baum (=verdopple alle Kanten und mache eine Eulertour) Vermerke dabei die Besuche der Knoten in einer Liste L Entferne alle bis auf das jeweils erste Vorkommen der Knoten, zurück bleibt der Kreis C (oder kürze bei der Tour gleich ab) [C ist ein Preorder-Traversal von T] Approximationen metrischer TSPs Satz: C ist eine 2-Approximation der kürzesten Tour (Beweis gleich) Aber: was ist eine 2-Approximation? Gegeben ist ein Optimierungsproblem OPT mit der optimalen Lösung C* Gegeben ist außerdem ein Approximationsalgorithmus, der eine Näherungslösung zu OPT bestimmt, seine Lösung hat den Wert C Approximationen metrischer TSPs C* = optimale Lösung, C = approximative Lösung Approximationsfaktor für eine bestimmte Instanz bei einem Minimierungsproblem: C/C* Approximationsfaktor des Algorithmus: p = sup C/C* Hier wird das Supremum (also die Schranke nach oben) über alle Instanzen bestimmt (also eine Schranke für die schlechteste Approximation, die der Algo liefert) p ist hier immer größer als 1 (klar, C kann ja nicht besser als C* sein) Approximationen metrischer TSPs Relativer Fehler des Approximationsalgorithmus: = sup |C-C*|/C* Für Minimierungsprobleme äquivalent zu C · (1 + ) C*, d.h. p · (1 + ) Approximationsschema: Eingabe: eine Probleminstanz I und ein > 0 Ausgabe: eine (1+)-Approximation des Optimums (für Minimierungsprobleme) D.h. einem Approximationschema können sie sagen, welche Qualität es liefern soll! (sie geben also den maximal erlaubten relativen Fehler vor) Approximationen metrischer TSPs 2-Approximation: = 1, d.h der relative Fehler ist schlechtestenfalls 1, der Approximationsfaktor also nicht schlechter als (1+)=2, d.h. C ist höchsten doppelt so teuer, wie C* Zurück zum Satz, dass APP_TSP eine 2-Approximation liefert (zur Erinnerung: T ist unser MST, C unser Kreis) Wenn man aus der optimalen Tour eine Kante entfernt, hat meinen einen Spannbaum, d.h. C* ¸ Cost(T) In L wird jede Kante aus T zweimal aufgenommen, also Cost(L) = 2*Cost(T) C entsteht aus L durch Hinzufügen von Abkürzungen. Weil die Dreiecksungleichung gilt, kann C nicht länger als L sein, also C · Cost(L) Insgesamt also: Cost(T) · C* · C · Cost(L) = 2*Cost(T) Approximationen metrischer TSPs Christofides hat 1976 einen verbesserten polynomiales 3/2-Approximationsalgorithmus gefunden (mittels MST und minimum weight matching) Engebretsen hat 1999 gezeigt, dass kein Approximationsfaktor 5381/5380 - für > 0 möglich ist Spannend wird es, wenn man gute polynomiale Approximationsschemata (AS) findet: PTAS sind AS, deren Laufzeit polynomial zu n bei gegebenem ist (PT = polynomial time) FPTAS sind AS, deren Laufzeit polynomial zu n und 1/ (FPT = fully polynomial time) O(n1/), O(n/): Beides PTAS, nur das zweite FPTAS Approximationen metrischer TSPs Mit einem solchen Schema können sie in der Praxis wie folgt arbeiten: Sie haben 2 Wochen Zeit, bis sie ein möglichst gute Lösung brauchen sie bestimmen mit der Abschätzung und lassen das PTAS loslaufen nach ungefähr 2 Wochen wird es in der entsprechenden Güte antworten dann brauchen sie aber natürlich eine Abschätzung, in der auch die Konstanten enthalten sind und sie müssen wissen, wie lang elementare Operation (im Mittel) wirklich brauchen. Approximationen metrischer TSPs Sie können also den Trade-Off zwischen Aufwand und Güte bewusst steuern – was will man mehr! (wenn dann die zur Verfügung stehende Zeit auch noch für „gute“ Lösungen reicht, dann haben sie wirklich Glück ;-) Für euklidische TSP (=metrisch und in der Ebene, also ohne Berg-auf, Bergab) hat Arora 1996 ein gutes PTAS gefunden (und ist damit berühmt geworden)! Uneingeschränktes TSP ist in der Klasse der schwierigsten Optimierungsprobleme (NPO-complete), d.h. es gibt keine 2n^Approximation für kleine (Orponen, Mannila, 1987) Wie schwer ist TSP „wirklich“? TSP lässt sich mit einer nicht-deterministischen Turingmaschine, die den richtigen Abarbeitungsweg „raten“ kann, in polynomialer Zeit lösen Man sagt: TSP ist in der Komplexitätsklasse NP Es ist aber keine deterministische Turingmaschine bekannt, die alle TSPs in polynomialer Laufzeit lösen könnte Sonst wäre TSP in der Komplexitätsklasse P. Zu Problemen in P (z.B. Kürzeste-Wege-mit-nicht-negativen-Kanten) sagt man auch: Problem dieser Problemklasse sind effizient lösbar! Offene Frage: Ist P=NP? TSP und Komplexität TSP gehört zu den „schwersten“ Problemen in NP: wenn man dieses polynomiell lösen könnte, dann ginge das auch mit allen anderen Problemen aus NP! TSP ist deshalb ein NP-vollständiges Problem Als erstes NP-vollständiges Problem wurde 1971 von Cook das SATProblem identifiziert: Erfüllbarkeit von aussagenlogischen Formeln! (kennen sie aus MGI) – alle anderen Probleme in NP lassen sich auf dieses Problem „reduzieren“. TSP und Komplexität Es gibt noch viele andere NP-harte Probleme: Matching-Probleme („Stabile Heirat“), Graph-Färbe-Probleme, div. Scheduling/Planungsprobleme (Stundenplan! ;-), ganzzahlige Programmierung, usw. – einen Überblick finden sie auch im Web: http://www.nada.kth.se/~viggo/problemlist/ Es gibt auch noch sogenannte NP-harte-Probleme, diese sind „mindestens so schwer, wie Probleme aus NP“ und ihre Lösung würde zur Lösung aller Probleme aus NP führen (alle NP-Probleme lassen sich auf sie reduzieren), aber es ist nicht sicher, ob sie wirklich in NP liegen (oder aber in EXP, also sicher exponentiellen Aufwand erfordern, auch im nichteterministischen Fall!) Mögliche Auswege für den Informatiker (1) Nicht alle Probleminstanzen sind schwer! Vielleicht gehören „unsere“ Probleminstanzen dazu? manchmal kann man das generell sagen (wenn das Problem nicht „stark NP-schwer“ ist), manchmal helfen Experimente! manchmal findet man auch „langsam wachsende“ exponentielle Algorithmen Mögliche Auswege für den Informatiker (2) Alternativ kann man vielleicht approximieren! Man sucht nach polynomialen Algorithmen, die eine bestimmte Güte der Lösung garantieren können (etwa immer mindestens halb so gut wie das Optimum) Manche Probleme lassen sich nicht sinnvoll approximieren, auch das kann man formal untersuchen! Mögliche Auswege für den Informatiker (3) Oder man wendet eine Heuristik an, die versucht mit Daumenregeln oder beispielsweise in Anlehnung an natürliche Prozesse „schnell“ „gute“ Lösungen zu finden Das kann natürlich grandios schief gehen! Auch hier kann man einiges analysieren! Bei allem hilft die Theorie zu Komplexität und Approximierbarkeit, die aus den Modellen zur Berechenbarkeit hervorgegangen ist: Die Analysen von Komplexität und Approximierbarkeit stecken den Rahmen für die erreichbare Lösungsqualität ab! (F3) Sie weisen den Weg zu verwandten Problemen und bereits bekannten exakten, approximativen oder heuristischen Problemlösungen! (F4) Rückblick: Bedeutung für den Informatiker Zentrale Aufgaben: Problemanalyse und Problemlösung (das greift einige Fragen aus der ersten Vorlesung zur Geschichte der Informatik im ersten Semester / MGI auf) (F1) Wie lassen sich mein Problem und eine ev. Lösung präzise beschreiben? Präzision ist eine wesentlich Voraussetzung für Analyse und Lösung von Problemen (Übergang zur Logik) Modelle der Berechenbarkeit präzisieren den Begriff Algorithmus/Lösungsvorschrift (F2) Ist das Problem überhaupt lösbar? Modelle der Berechenbarkeit erlauben eine Analyse der Berechenbarkeit/Lösbarkeit eines Problems! Rückblick: Bedeutung für die Anwendungsentwicklung (2) (F3) Wenn ja, kann ich es auch mit vertretbarem Aufwand lösen? Die Komplexitätstheorie hilft uns, die Schwere des Problems einzuschätzen! Die Analysen von Komplexität und Approximierbarkeit stecken den Rahmen für die erreichbare Lösungsqualität ab! (F4) Wie kann ich das Problem lösen? Die Komplexitätstheorie hilft auch, verwandte Probleme zu identifizieren! Die Analysen von Komplexität und Approximierbarkeit weisen den Weg zu verwandten Problemen und bereits bekannten exakten, approximativen oder heuristischen Problemlösungen! (Übergang zur Algorithmik)
