Algorithmische Methoden für schwere Optimierungsprobleme

Werbung
Algorithmische Methoden für schwere
Optimierungsprobleme
Prof. Dr. Henning Meyerhenke
Institut für Theoretische Informatik
1
Meyerhenke,
KIT –Henning
Die Forschungsuniversität
in der Institut für Theoretische Informatik
Helmholtz-Gemeinschaft
Algorithmische Methoden für schwere Optimierungsprobleme
www.kit.edu
Vorlesung 1.12.16
Programm:
Clusteranalyse in Graphen
Übung zur ZF Modularität
Lokale Suchen zur Mod.-Optimierung
Metaheuristik VNS
2
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Wiederholung und Ausblick
Clustering (= Community Detection) ist ein wichtiges, aber auch
schwieriges Problem der Netzwerkanalyse
In der Praxis setzt man häufig Heuristiken ein
Zwei Heuristiken heute:
Direkte Agglomeration (CNM-Methode),
meist mit wenigen großen Communitys
Mehrebenenansatz mit gieriger lokaler Verbesserung (Louvain-Methode),
meist mit guter Qualität und guter Laufzeit
Es existieren zahlreiche Abwandlungen
Sehr aktiver Forschungsbereich
3
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Wiederholung Modularität
Populäre Zielfunktion (wenn auch mit Nachteilen):
Modularität (engl. modularity)
Man betrachtet die Differenz aus zwei Verhältnissen:
Anteil der tatsächlichen Intra-Cluster-Kanten
Erwarteter Anteil dieser Kanten in einem Zufallsgraphen mit gleicher
Gradfolge
q (C) =
∑
C ∈C
|E (C )|
−
m
∑v ∈C deg(v )
2m
2 !
Modularität hat einige bekannte Nachteile, z. B. das Auflösungsproblem (kann
man teilweise durch ein Gewichtungsschema beseitigen)
4
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Inhalt
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
5
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Lokale Optimierung von Modularität
Spektrale Clusteranalyse nicht Maß aller Dinge
Nun: Hierarchische Methoden mit Greedy-Ansatz
Keine Eingabe der Zahl von Clustern notwendig
Literaturhinweise
A. Clauset, M.E.J. Newman, C. Moore: Finding community structure in very
large networks. Phys. Rev. E 70, 066111 (2004).
Vincent D. Blondel, Jean-Loup Guillaume, Renaud Lambiotte, Etienne
Lefebvre: Fast unfolding of communities in large networks. J. Stat. Mech.
(2008) P10008. doi:10.1088/1742-5468/2008/10/P10008.
C.L. Staudt, H. Meyerhenke: Engineering Parallel Algorithms for Community
Detection in Massive Networks. IEEE Transactions on Parallel and Distributed
Systems vol. 27, no. 1, pp. 171-184, 2016.
6
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Agglomeratives Clustering
Dendrogramm zur Visualisierung von aggl. Clusterungen
Abbildung: Quelle: Wikipedia
7
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die CNM-Methode
Eingabe: Graph G = (V , E )
Start: Jeder Knoten ist sein eigener Cluster
Wiederhole, bis Abbruchkriterium (z. B.: Anzahl Knoten = 1) erreicht:
Identifiziere Knoten u und v , deren Verschmelzung die ZF (Modularität) am
stärksten verbessert (bzw. am wenigsten verschlechtert)
Verschmelze u und v zu einem Superknoten
Aktualisiere Knoten, Kanten und deren Gewichte
return Gefundene Lösung mit bestem ZF-Wert
8
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die CNM-Methode
Eingabe: Graph G = (V , E )
Start: Jeder Knoten ist sein eigener Cluster
Wiederhole, bis Abbruchkriterium (z. B.: Anzahl Knoten = 1) erreicht:
Identifiziere Knoten u und v , deren Verschmelzung die ZF (Modularität) am
stärksten verbessert (bzw. am wenigsten verschlechtert)
Verschmelze u und v zu einem Superknoten
Aktualisiere Knoten, Kanten und deren Gewichte
return Gefundene Lösung mit bestem ZF-Wert
Beispiel: Siehe Tafel!
8
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die CNM-Methode
Eingabe: Graph G = (V , E )
Start: Jeder Knoten ist sein eigener Cluster
Wiederhole, bis Abbruchkriterium (z. B.: Anzahl Knoten = 1) erreicht:
Identifiziere Knoten u und v , deren Verschmelzung die ZF (Modularität) am
stärksten verbessert (bzw. am wenigsten verschlechtert)
Verschmelze u und v zu einem Superknoten
Aktualisiere Knoten, Kanten und deren Gewichte
return Gefundene Lösung mit bestem ZF-Wert
Beispiel: Siehe Tafel!
Typische Dendrogrammtiefe bei hierarchischen Graphen: O(log n)
8
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die CNM-Methode
Effiziente Implementierung für dünn besetzte Graphen
Ziel: Effiziente Implementierung für dünn besetzte Graphen
Definition (Dünn besetzter Graph)
Ein Graph G = (V , E ) heißt dünn besetzt, wenn |E | = O(|V |) gilt.
Frage: Wie würden Sie die Kante bestimmen, die die höchste
ZF-Verbesserung ergibt?
9
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die CNM-Methode
Effiziente Implementierung für dünn besetzte Graphen
Ziel: Effiziente Implementierung für dünn besetzte Graphen
Definition (Dünn besetzter Graph)
Ein Graph G = (V , E ) heißt dünn besetzt, wenn |E | = O(|V |) gilt.
Frage: Wie würden Sie die Kante bestimmen, die die höchste
ZF-Verbesserung ergibt?
Datenstruktur Prioritätswarteschlange:
Bspw. Max-Heap, der die möglichen Verbesserungen speichert
Optional: Für jeden Knoten Zeiger auf seine Einträge im Max-Heap oder
sogar einen Max-Heap pro Knoten
9
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Agglomeration vs lokales Verschieben
Experimente:
Agglomerative Ansätze ergeben im Durchschnitt deutlich schlechtere
Lösungen als lokale Verschiebeverfahren!
10
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Agglomeration vs lokales Verschieben
Experimente:
Agglomerative Ansätze ergeben im Durchschnitt deutlich schlechtere
Lösungen als lokale Verschiebeverfahren!
Daher: Jetzt Betrachtung einer lokalen Verschiebeheuristik!
10
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die Louvain-Methode
Initialisierung und Phase 1
Initialisierung: Jeder Knoten ist sein eigener Cluster
Danach: Zwei Phasen, die sich wiederholen:
Phase 1, lokale Verbesserung:
Für jeden Knoten v lokal entscheiden, ob ein Wechsel in die Community
des Nachbarn eine Verbesserung der ZF (Modularität) ergibt.
Wechsel von v in Community des Nachbarn mit stärkster positiver
Verbesserung.
Wiederholt, bis keine Verbesserung möglich.
Abarbeitungsreihenfolge der Knoten beliebig, z. B. zufällig
11
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die Louvain-Methode
Phase 2
Phase 2, Schrumpfen des Graphen:
Kontraktion jeder gefundenen Community zu einem einzelnen Knoten
Aktualisierung der Knoten- und Kantengewichte: Schleifen erhalten
Gewicht aller alten Intra-Cluster-Kanten, die übrigen Kanten erhalten das
Gewicht der alten Kanten zwischen den zugehörigen Communitys
Bild zur Verfügung gestellt von M. Ovelgönne
12
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Das Mehrebenen-Paradigma
Sinn:
Relevante Information auf
verschiedenen Skalen
“einsammeln”
Nützlich bei großen
Problemen, die sich gut
vergröbern/interpolieren
lassen
Zutaten:
1. Vergröberung
2. Initiale Lösung
3. “Entgröberung” und lokale
Verbesserung
4. ggf. Lösungszyklen
13
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Pseudocode der Louvain-Methode
14
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Parallele Move-Phase
∆mod-Werte werden ständig aktualisiert ⇒ muss schnell gehen
Parallel über die Knotenmenge iterieren
Jeder Knoten berechnet zu jeder inzidenten Kante den aktuellen
∆mod-Wert
15
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Parallele Kontraktions-Phase
Feiner Graph
Community
Intra-Community-Kante
Inter-Community-Kante
Grober Graph
Knoten
Schleife
Kante
Mehrfachkanten verschmelzen (Kantengewichte anpassen)
16
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Parallele Kontraktions-Phase
Feiner Graph
Community
Intra-Community-Kante
Inter-Community-Kante
Grober Graph
Knoten
Schleife
Kante
Mehrfachkanten verschmelzen (Kantengewichte anpassen)
Parallele Konstruktion des groben Graphen (Tafel!):
Kanten des feinen Graphen parallel iterieren
Zunächst thread-lokale grobe Graphen erstellen
Zum Schluss thread-lokale Graphen verschmelzen
16
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
PLM vs PLMR
Haben jetzt:
Move-Phase
Kontraktion
Prolongation = Interpolation
(übernehme ID des eigenen
groben Knotens)
17
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
PLM vs PLMR
Haben jetzt:
Move-Phase
Kontraktion
Prolongation = Interpolation
(übernehme ID des eigenen
groben Knotens)
Optional:
Nach Prolongation auf jeder
Ebene: Move-Phase
= PLMR (PLM with refinement)
17
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die Louvain-Methode
Testgraphen
18
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Die Louvain-Methode
Experimentelle Ergebnisse (2x Intel Xeon E5-2670)
Abbildung: Qualität und Laufzeit von PLM
19
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Webgraph uk-2007-05
20
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Zusammenfassung
Asymptotische Laufzeit: Exakte Analyse schwierig...
21
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Zusammenfassung
Asymptotische Laufzeit: Exakte Analyse schwierig...
Clustering (= Community Detection) ist ein wichtiges, aber auch
schwieriges Problem der Netzwerkanalyse
21
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Zusammenfassung
Asymptotische Laufzeit: Exakte Analyse schwierig...
Clustering (= Community Detection) ist ein wichtiges, aber auch
schwieriges Problem der Netzwerkanalyse
In der Praxis setzt man häufig Heuristiken ein
Mehrebenen-Ansatz mit gieriger lokaler Verbesserung
(Louvain-Methode), meist mit guter Qualität und guter Laufzeit
21
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Zusammenfassung
Asymptotische Laufzeit: Exakte Analyse schwierig...
Clustering (= Community Detection) ist ein wichtiges, aber auch
schwieriges Problem der Netzwerkanalyse
In der Praxis setzt man häufig Heuristiken ein
Mehrebenen-Ansatz mit gieriger lokaler Verbesserung
(Louvain-Methode), meist mit guter Qualität und guter Laufzeit
Es existieren zahlreiche Abwandlungen
Sehr aktiver Forschungsbereich
21
Henning Meyerhenke, Institut für Theoretische Informatik
Algorithmische Methoden für schwere Optimierungsprobleme
Clusteranalyse von Graphen
Lokale Greedy-Algorithmen
Herunterladen
Explore flashcards