O(n!)

Routenplanung
& Komplexität
Lernziele
• Sie haben den Dijkstra-Algorithmus
nachvollzogen.
• Sie haben das Konzept der Komplexität eines
Algorithmus verstanden.
• Sie haben die Komplexität des DijkstraAlgorithmus abgeschätzt.
• Sie können auch für andere Probleme die
Komplexität (in O-Notation) abschätzen
Routenplanung
Es geht darum, anhand einer Strassenkarte den
kürzesten Weg zwischen zwei Orten zu finden
Edsger Dijkstra fand schon 1956 eine effiziente
Lösung für dieses Problem, die auch heute noch
in den meisten Navigationsgeräten Anwendung
findet
Was ist ein Algorithmus?
(= Reduzierung des Problems auf das
Wesentliche)
Schritt 1: Abstraktion
Schritt 2: Lösung?!
• Es gibt eine sehr simple, aber nicht besonders
schlaue Lösung für das Problem mit dem
kürzesten Weg:
Brute Force
• Diese Methode funktioniert übrigens bei
vielen Problemen, und wird doch fast nie
angewandt – später sehen wir, warum
Es gibt bessere Lösungen
• ... aber wie?
• Idee???
Schritt 2: Grundidee
Ameisen bewegen sich mit konstanter
Geschwindigkeit entlang des Graphen und
markieren dabei ihren Weg
•Ausgehend vom Startort
•Aufspaltung an jeder Kreuzung
•Bereits markierte Wege werden verworfen
•Wer zuerst den Zielort erreicht hat den
kürzesten Weg gefunden
Dijkstras Algorithmus
• ... ist eine Variante der Ameisenidee
• Warum Variante?
– weil Computer seriell arbeiten
– weil man noch ein kleines bisschen optimieren
kann
• Wie genau es funktioniert?
– routeplanner_3.pdf
– mit Stift nachvollziehen
Ergebnis:
allerdings mit einem
Fehler!
Schritt 3: Formalisieren
Beispielsweise als
•Flow Chart
•Pseudocode
•Struktogramm
– s. Arbeitsblätter
Aufgabe (wie sie in Probe kommen könnte)
Schauen Sie sich den Algorithmus nochmals an.
Welche Werte müssen Sie sich von jedem Knoten
aufschreiben, wenn Sie bei der Lösung des
Algorithmus nicht auf die vorliegende Karte schreiben
dürfen?
Aufgabe
Schauen Sie sich den Algorithmus nochmals an.
Welche Werte müssen Sie sich von jedem Knoten
aufschreiben, wenn Sie bei der Lösung des
Algorithmus nicht auf die vorliegende Karte schreiben
dürfen?
Aufgabe:
1.Bestimmen sie eines der
Hotels (gelbe Knoten) als
Startpunkt
2.Erstellen Sie eine
Distanztabelle für die
Strecken zu allen anderen
Hotels
(Lösungen für A, G & K im pdf)
Schritt 4: Analysieren
• Ist das ein guter Algorithmus?
• Ist er besser als ein Anderer?
– Immer?
– In speziellen Fällen?
• Lohnt es sich, ihn zu implementieren?
Komplexität & Big-O-Notation
Das Problem des Handlungsreisenden (travelling salesman):
Berechne die kürzeste Strecke, die durch mehrere vorgegebene Orte führt
Komplexitätsabschätzung
Es geht um asymptotische Laufzeit (Speicherbedarf)
Abschätzen, wie sich der Rechenaufwand eines
Algorithmus im ungünstigsten Fall mit immer grösser
werdenden Eingaben verändert
Laufzeitabschätzung
Wir betrachten, wie viele Schritte
im Algorithmus abgearbeitet
werden müssen - abhängig von der
Menge der Eingabedaten.
Beispiel 1:
Wir haben eine Namensliste
und wollen wissen, ob ein
bestimmter Name darin
vorkommt.  UND JETZT?
Kerim
Alexandra
Lorenz
Julian
Samuel
Niruban
Aymar
Joël
Slavko
Manuel
Nathanael
Anselm
Niko
Laufzeitabschätzung
1) Lösung (Algorithmus) finden
2) Für den ungünstigsten Fall (worst
case) durchspielen
3) Laufzeit abschätzen (O-Notation)
Kerim
Alexandra
Lorenz
Julian
Samuel
Niruban
Aymar
Joël
Slavko
Manuel
Nathanael
Anselm
Niko
Algorithmus Lineare Suche
• Worst case?
• Laufzeit
–
–
–
–
n = 10?
n = 20?
n = 100?
allgemein?
O(n)
(n verdoppeln
verdoppelt Laufzeit)
Laufzeitabschätzung
Wir betrachten, wie viele Schritte
im Algorithmus abgearbeitet
werden müssen - abhängig von der
Menge der Eingabedaten.
Beispiel 2:
Wir haben eine Namensliste
und wollen wissen, ob ein Name
darin doppelt vorkommt.
 Allgemeine Laufzeit?
Kerim
Alexandra
Lorenz
Julian
Samuel
Niruban
Aymar
Joël
Slavko
Manuel
Nathanael
Anselm
Niko
O-Notation
Wir betrachten, wie sich die Schrittanzahl im Algorithmus
für eine sehr grosse Anzahl von Eingabedaten verhält
(„obere Schranke“ für Worst Case).
Beispiel Namensliste:
Für n Eingabedaten brauchen wir sicher nicht mehr als
n  (n  1)
(n-1)+(n-2)+…+(1) =
Schritte.
2
Schreibweise:
Laufzeit_Namensliste = O(n2)
O-Notation
Vereinfachungsregeln:
Addition
f(n) = n + 3 ⇒ O(n)
f(n) = n2 + 3n ⇒ O(n2)
Multiplikation
f(n) = 3n ⇒ O(n)
f(n) = n2 * 3n ⇒ O(n3)
Konstante Summanden
werden vernachlässigt
Es zählt der Summand mit
dem stärkeren Wachstum
Konstante Faktoren
werden vernachlässigt
Es zählt die Summe der Exponenten
Komplexitätsabschätzung
Es geht um asymptotische Laufzeit (Speicherbedarf)
Abschätzen, wie sich der Rechenaufwand eines
Algorithmus im ungünstigsten Fall mit immer grösser
werdenden Eingaben verändert
Berechenbarkeit von Algorithmen
Ein Computer ist eine universelle Rechenmaschine,
er kann alles berechnen, was berechenbar ist.
prinzipiell
1. Gibt es auch Probleme,
nicht
berechenbar
die nicht berechenbar sind?
prinzipiell
2. Kann alles, was
berechenbar,
praktisch
theoretisch berechenbar
nicht
ist, auch tatsächlich
berechnet werden?
 was heisst hier
„praktisch“?
praktisch
berechenbar
Komplexitätsklassen
3000
2500
2000
O(1) - konstant
O(log(n)) - logarithmisch
O(n) - linear
O(n*log(n)) - loglinear
O(n^2) - quadratisch
O(n^k) - polinomial
O(k^n) - exponenziell
O(n!) - fakultät
1500
1000
500
0
1
3
5
7
9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69
n
Komplexitätsklassen
1000000
O(1) - konstant
O(log(n)) - logarithmisch
O(n) - linear
O(n*log(n)) - loglinear
O(n^2) - quadratisch
O(n^k) - polinomial
O(k^n) - exponenziell
O(n!) - fakultät
900000
800000
700000
600000
500000
noch praktikabel
nicht mehr praktikabel
400000
300000
200000
100000
0
1
3
5
7
9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69
n
Berechenbarkeit von Algorithmen
Die nicht-polinomialen Algorithmen (NP):
Sind praktisch nicht lösbar,
prinzipiell
für etwas grössere n.
nicht
berechenbar
1. Gibt es keine schnellere
Lösung, oder haben wir
NP-h NP-v
nur noch keine gefunden?
Und: Für die grosse Familie
der NP-vollständigen Probleme
muss diese Frage nur an einem
einzige Beispiel beantwortet
werden!
NP?
...
P
NP-vollständige Probleme
nicht
berechen
bar
NP
P
• Sie sind entscheidbar (=berechenbar).
• Sie besitzen Lösungen in exponentieller Zeit.
• Für keines dieser Problem wurde je ein Algorithmus
mit Polynomialzeit gefunden.
• Niemand konnte bisher beweisen, ob sie exponentielle
Zeit benötigen müssen.
• Alle diese Probleme sind miteinander verwandt:
– Sollte jemals für ein einziges Problem ein Algorithmus mit
Polynomialzeit gefunden werden, dann ergäben sich sofort
Polynomialzeit-Algorithmen für alle anderen Probleme.
– Umgekehrt gilt das allerdings auch (Beweis, dass NP≠P)
http://en.wikipedia.org/wiki/List_of_NP-complete_problems
P == NP ?
Das P-NP-Problem gilt als eines der wichtigsten offenen
Probleme der Informatik und wurde vom Clay Mathematics
Institute in die Liste der Millennium-Probleme aufgenommen –
auf seine Lösung ist eine Preis von 1 Million $ ausgesetzt.
Frage:
Rein finanziell gesehen wäre man bescheuert, den Preis
in Anspruch zu nehmen, falls man einen Beweis für die
Vermutung P == NP gefunden hätte. Warum?
Komplexitätsabschätzung
Es geht um asymptotische Laufzeit (Speicherbedarf)
Abschätzen, wie sich der Rechenaufwand eines
Algorithmus im ungünstigsten Fall mit immer grösser
werdenden Eingaben verändert
Vollständige Wege in Graphen
30
Wege von S aus:
 2 Wege (2 x 2 Schritte)
1. Sag' mir wohin ...
Wenn Sie versucht haben, die Lösung zeichnerisch zu bestimmen, werden Sie
bereits gemerkt haben, wie viel länger die Suche dauert, wenn auch nur ein Knoten hinzukommt. Man kann die Anzahl der Möglichkeiten auch rechnerisch bestimmen:
Für den Graphen mit vier Knoten gilt, dass man ihn aus zwei Komponenten zusammensetzen kann: ein einzelner Knoten ( S ) plus ein Graph mit drei Knoten.
(leer) kann dann mit dem Graphen verbunden werden, wie in Abbildung 1.27
dargestellt.
3 Wege in den
3er-Graphenvon:
 3 x 2 Wege (6 x 3 Schr.)
Abbildung 1.27 ( S ) kann auf
drei Arten mit dem vorhandenen Graphen verbunden
werden
Möglichkeiten bei
noch mehr Knoten:
3 x 2 Wege (x 3)
4 x 6 Wege (x 4)
5 x 24 Wege (x 5)
6 x 102 Wege (x 6)
 (n-1)(n-1)! Schritte = O(n!)
Da der „bekannte" Graph drei Knoten besitzt, kann vom „neuen Knoten ( S )" auf
drei Arten ein Weg zum bekannten Graphen begonnen werden, nämlich jeweils
zu einem der Knoten. Stellen Sie sich vor, dass im 3er-Graphen dann auf die bereits ermittelte Weise ein Weg gesucht wird.
Daher ist die Anzahl möglicher Wege im 4er-Graphen 3 - 2 = 6.
Für den 5er-Graphen gibt es also vier Möglichkeiten, Wege vom neuen Knoten
zum 4er-Graphen zu beginnen. Die Anzahl der Wege insgesamt beträgt daher
4 • 6 = 24. Auf diese Weise kann man ableiten, dass in einem vollständigen Graphen mit n Knoten (n-1)! verschiedene Wege von einem gesetzten Startpunkt
ausgehen.
Da für jeden der Wege n-1 Streckenabschnitte eingerechnet werden müssen, bedarf es für den Brute-Force-Algorithmus ungefähr (n-l)(n-l)! Berechnungen,
um den kürzesten Weg zu finden. Die folgende Tabelle enthält die Anzahlen
für ein paar Problemgrössen.
# Knoten
Schritte
3
4
4
18
5
96
6
600
# Knoten
Schritte
9
322’560
10
3'265’920
15
1'220'496'076’800
20
2'311'256'907'767'808’000
In diesem Fall wächst der Aufwand zur Lösung exponentiell an, das bedeutet, wen
n die Problemgrösse ist, kann man den Aufwand nur noch mit xn nach oben h
abschätzen (mit einem beliebigen x).
Dijkstra: keine doppelten Wege
Optimal wäre ein linearer Aufwand, das bedeutet, dass zur Lösung eines Problem
der Grösse n der Aufwand x • n beträgt (mit konstantem x). Leider gibt es kau
Algorithmen, die so gut sind. Betrachten wir einmal den von Dijkstra:
Vom Startknoten aus werden alle benachbarten Knoten (also die, zu denen ei
Verbindung besteht) betrachtet. Bei einem vollständigen Graphen mit n Knot
sind das (n-1). Ein Beispiel mit 7 Knoten sehen Sie in Abbildung 1.29.
• Alle Wege von S aus, danach
ist S aus dem Rennen
• Im verkleinerten Graphen
wird der näheste Knoten zu
S und das Ganze von vorn...
(n-1) + (n-2) + (n-3) + ... + 1
 n2/2
Bei nicht vollständig verknüpften Graphen und
geschickter Implementierung: O(n x log(n))
O(n2)
Danach ist der Startknoten vollständig „aus dem Rennen", er wird nicht me
betrachtet. Nun wird der Knoten mit der kleinsten Markierung gesucht un
von dort geht es wiederum zu allen benachbarten Knoten - das sind (n-2). D
nach ist auch dieser „aus dem Rennen".
Dies setzt sich fort. Daher ist der Aufwand für den Dijkstra-Algorithmus
(n -1 ) + (n -2) + ( n-3) + .. . + (1 )
Wir können dies wiederum in einer Tabelle dokumentieren.
# Knoten
Schritte
3
3
4
6
5
10
6
15
7
21
# Knoten
Schritte
9
36
10
45
15
105
20
190
50
4'950
Welche Komplexität hat Routenplanung ...
• mit „brute force“?
 O(n!), also NP
• mit dem Dijkstra Algorithmus?
 O(n2), also P
genauer: O(n2/2), wenn der Graph nicht voll verbunden und der
Algorithmus geschickter implementiert ist sogar nur O(n*log(n))
Aufgaben
1. Wie ist die Problemklasse P definiert?
2. Wie ist die Problemklasse NP definiert?
3. Sie wollen in einem dicken Telefonbuch eine Nummer
nachschlagen. Wie machen sie das (algorithmus) und
wie lange brauche sie (in O-Notation angeben)?
4. Wir wollen eine n-stöckige
Pyramide aus GetränkeKisten bauen.
Wie lautet die
Laufzeit in O-Notation?
Binäre Suche; O(log(n))
Turm von Hanoi (original mit 64 Scheiben)
Anzahl Züge:
3 Scheiben
7 Züge
n Scheiben
 2n-1 Züge
Verstehen sie den Witz jetzt besser?
Das Problem des Handlungsreisenden (travelling salesman)
http://en.wikipedia.org/wiki/List_of_NP-complete_problems
Komplexitätsabschätzung
Wie verhält sich die asymptotische Laufzeit für
folgende Algorithmen? (wie ändert sich die Anzahl der
Rechenschritte, wenn man die Anzahl der Elemente im Array verdoppelt)
1.Suchen eines Elements im Array
2.Sortieren der Elemente des Arrays
3.Alle möglichen Permutationen ausgeben