Zahlenbeispiel Experimente Cache

Experimente
Zahlenbeispiel
§ 20 Millionen Operationen auf Priority Queue mit
verschiedenen Implementierungen
§ Datenstrukturen ohne Rücksicht auf Paging-Effekte
(Fibonacci Heaps u.s.w.) brechen total ein
§ Externe Radix Heaps am Besten, aber
funktionieren nur wenn Schlüssel der mit Del_Min
entfernten Elemente monoton fallen
§ Externe Array heaps fast 9 mal schneller bei
Del_Min aber Faktor 10 langsamer bei Insert
§ M=109, B=106
§ Für c=1/7 folgt daraus
§L=4
Technische Universität Wien
Institut für Computergraphik und Algorithmen
Technische Universität Wien
1
Cache-Optimale Algorithmen
§ Cache zwischen Arbeitsspeicher und Prozessor
§ Beinhaltet Kopie von kleinem Teil des
Arbeitsspeichers
§ Daten im Cache können vom Prozessor ohne
Zeitverzögerung verarbeitet werden (Cache Hit)
§ Benötigte Daten nicht im Cach: müssen aus
Hauptspeicher geladen werden (Cache Miss)
• 100 Mal langsamer als Cache
• Prozessor muss warten
Institut für Computergraphik und Algorithmen
2
Warum Funktionieren Caches?
§ Zeitliche Lokalität: Gleicher Bereich des
Speichers wird von Programm innerhalb
kurzer Zeit mehrmals benötigt
• Oft benötigte Daten schon vorher in Cache
geladen und sind noch drin
§ Örtliche Lokalität: Speicherbereiche die
Programm benötigt liegen im Speicher nahe
beieinander
• Daten werden Blockweise in Cache geladen
• Weniger loads nötig
Technische Universität Wien
Institut für Computergraphik und Algorithmen
Characterisierung von Caches
§ Seitengröße C:
§ Kapazität Z:
• Gesamtkapazität in Bytes
• Vielfaches von C
§ Ein Load transferiert C Bytes vom
Hauptspeicher zum Cache
§ Ähnliche Situation wie bei Externspeicher
§ Lösungsstrategien von Externspeicher
funktionieren prinzipiell auch
Institut für Computergraphik und Algorithmen
Institut für Computergraphik und Algorithmen
4
Cache-Oblivious Speichermodell
§ In modernen Computern mehrere
Speicherschichten
• Anzahl Bytes pro Seite (Block) des Cache
Technische Universität Wien
Technische Universität Wien
3
5
•
•
•
•
•
Register
L1 Cache
L2 Cache
Arbeitsspeicher
Externspeicher
§ Brauchen universell anwendbares Modell
Technische Universität Wien
Institut für Computergraphik und Algorithmen
6
1
Cache-Oblivious Speichermodell
§ Unabhängig von Anzahl der Speicher Ebenen
§ Seitengrößen und Speichergrößen werden
als unbekannt angenommen
§ Algorithmen die für CO-Modell optimiert
wurden funktionieren unabhängig von
tatsächlicher Speicherhierarchie
§ Portabilität der Algorithmen auf beliebige
Systeme
Technische Universität Wien
7
Institut für Computergraphik und Algorithmen
Ideales Cache-Modell von
Frigo et al.
§
§
Ideales Cache-Modell von
Frigo et al.
Cache: Z Bytes
Hauptspeicher: ∞ Bytes
Cache Zeile: L Bytes
Zeile kann in einem
Schritt von/zum
Hauptspeicher bewegt
werden
§ Annahme: Cache ist
hoch
§
§
§
§
Technische Universität Wien
Institut für Computergraphik und Algorithmen
8
Ideales Cache-Modell von
Frigo et al.
Idealer Cache: Ersetzt jeweils die Zeile im
Cache deren nächster Zugriff am
weitesten in der Zukunft liegt
Parameter der Algorithmenanalyse:
§ Cache-Aware Algorithmus:
1. Anzahl CPU-Operationen im RAM-Modell
2. Cache-Komplexität: Anzahl Cache Misses
abhängig von Z und L
§ Cache-Oblivious Algorithmus optimal für
Hierarchie mit 2 Ebenen
Ø Algorithmus auch optimal bei mehreren
Ebenen
Technische Universität Wien
Institut für Computergraphik und Algorithmen
9
Beispiel Matrix-Multiplikation
• Verhalten abhängig von Z und L
§ Cache-Oblivious Algorithmus:
• Verhalten unabhängig von Z und L
Technische Universität Wien
Institut für Computergraphik und Algorithmen
10
Cache-Aware Algorithmus
§ Eingabe: Zwei N£N Matrizen A und B
§ Ausgabe: N£N Matrix C mit
§ Annahme: N sehr viel größer als L
Technische Universität Wien
Institut für Computergraphik und Algorithmen
11
Technische Universität Wien
Institut für Computergraphik und Algorithmen
12
2
Wahl von s
Wahl von s
§ Wählen s so, dass MULT
komplett im Cache ausgeführt
werden kann
§ Parameter s muss klein genug
sein, damit 3 Matrizen mit Größe
s£s in den Cache passen
Technische Universität Wien
Institut für Computergraphik und Algorithmen
13
§ Anzahl Cache-Zeilen, die von s£ s
Untermatrix besetzt sind:
§ Haben angenommen:
§ Also gilt:
§ Worst Case Cache Misses bei Aufruf
MULT:
Technische Universität Wien
Institut für Computergraphik und Algorithmen
14
Gesamte Cache-Komplexität
Cache-Oblivious Algorithmus
§ Komplette Matrix muss eingelesen werden
§ Es gibt 3 geschachtelte Schleifen die n/s
Mal durchlaufen werden
§ In jeder Schleife 2 s£ s Matrizen
multiplizieren
§ Wollen m£ n Matrix A mit n£p
Matrix B Multiplizieren
§ Algorithmus soll unabhängig von
Cache-Parametern sein
§ Algorithmus ist rekursiv
§ Folgt „Teile und Herrsche“ Prinzip
Technische Universität Wien
Institut für Computergraphik und Algorithmen
15
Fall1: m ¸ max{n,p}
Technische Universität Wien
Institut für Computergraphik und Algorithmen
16
Fall 2: n ¸ max{m,p}
§ Spalte Matrix A horizontal in Matrizen A1
und A2
§ A1 hat d m/2e Zeilen
§ A2 hat b m/2c Zeilen
§ Aufrufe A1 B und A2 B denn:
§ Teile A vertikal in A1 und A2
• A1 hat dn/2e Spalten
• A2 hat bn/2c Spalten
§ Teile B horizontal in B1 und B2
• B1 hat dn/2e Zeilen
• B2 hat bn/2c Zeilen
§ Nutze aus:
Technische Universität Wien
Institut für Computergraphik und Algorithmen
17
Technische Universität Wien
Institut für Computergraphik und Algorithmen
18
3
Fall 3: p ¸ max{m,n}
Anzahl Cache-Misses
§ Spalte B vertikal
• B1 hat dp/2e Spalten
• B2 hat bp/2c Spalten
§ Nutze aus:
Fall 4: m = n = p = 1
§ Multipliziere A und B als normale Zahlen
Technische Universität Wien
Institut für Computergraphik und Algorithmen
19
Begründung für Cache-Effizienz
§ „Teile und Herrsche“ vom Prinzip
her Cache-freundlich:
§ Paßt ein Teilproblem komplett in
Cache, sind Daten für alle
Unterprobleme schon im Cache
§ Teilproblem kann dann ohne CacheMisses gelöst werden
Technische Universität Wien
Institut für Computergraphik und Algorithmen
21
Technische Universität Wien
Institut für Computergraphik und Algorithmen
20
Algorithmus von Strassen
§ Auch „Teile und Herrsche“
§ Jede Matrix wird in 4 möglichst gleich große
Teilmatrizen zerlegt
§ Sehr aufwändig zu implementieren
§ In Praxis erst ab 106 schneller als
vorgestellter Algorithmus
§ Anzahl Cache-Misses
Geht es noch besser als nlog7 ?
Technische Universität Wien
Institut für Computergraphik und Algorithmen
22
Optimierungsprobleme
§ Viele zul ässige Lösungen
§ Jeder Lösung ist Wert zugeordnet
§ Ziel: Finde zulässige Lösung mit größtem
Wert
§ Kombinatorisches Optimierungsproblem:
Kapitel 4
Optimierungsalgorithmen
Technische Universität Wien
Institut für Computergraphik und Algorithmen
• Menge der zulässigen Lösungen ist endlich
23
Technische Universität Wien
Institut für Computergraphik und Algorithmen
24
4
Kombinatorisches
Optimierungsproblem
§
§
§
§
§
Beispiel TSP (Traveling
Salesman Problem)
Grundmenge: endliche Menge E
Zulässige Lösungen: I µ 2E
Gewichtungsfunktion: c: E! K
Zielfunktion von F2 I: c(F):=∑e2 Fc(e)
Aufgabe: Finde I* 2 I mit c(I* ) maximal
bzw. minimal
Technische Universität Wien
Institut für Computergraphik und Algorithmen
25
Beispiel für nicht-kombinatorisches
Optimierungsproblem
§ Lösungsmenge ist endlich weil diskret und
durch Ungleichungen beschränkt
§ Aber: Grundmenge nicht endlich ) kein
kombinatorisches Optimierungsproblem
§ Wenn x 1 ,x2 2 {0,1} ist es kombinatorisch
Technische Universität Wien
Institut für Computergraphik und Algorithmen
27
Lineare Optimierungsprobleme
§ Gegeben: V= Menge von n Punkte im
(zweidimensionalen) Raum
§ Gesucht: kürzeste Rundtour, die alle Punkte
besucht
§ Grundmenge: Menge aller Kanten im
vollständigen Graphen Kn =(V,E)
§ Zulässige Lösungen: Kantenmengen, die
Tour durch alle Punkte beschreiben
§ Zielfunktionswert: Summe der Kantenlängen
der Kanten in Tour
Technische Universität Wien
Institut für Computergraphik und Algorithmen
26
Warum Schwierig?
§ Typischerweise Anzahl der Lösungen
exponentiell in Eingabegröße
§ Deshalb Aufzählen der Lösungen zu
aufwendig
§ TSP:
• Eingabe sind n Städte mit Koordinaten
• Anzahl der möglichen Rundtouren
Technische Universität Wien
Institut für Computergraphik und Algorithmen
28
Lineares Programm
§ Eingabe:
•
•
•
•
positive ganze Zahlen m,n
b 2 Rm
c 2 Rn
A 2 Rm£ n
Zielfunktion
Zulässiger Bereich:
§ Gesucht:
• x 2 R mit c x minimal (maximal) unter allen
Vektoren mit Ax · b
*
n
T
Restriktionen bzw.
Nebenbedingungen
Technische Universität Wien
Institut für Computergraphik und Algorithmen
29
Technische Universität Wien
Institut für Computergraphik und Algorithmen
30
5
Modellierung von Problemen
§ Probleme aus der Praxis oft als lineare
Programme beschreibbar
§ Geht das nicht kann man Problem oft leicht
abändern so dass Problem linear aber
Lösung immer noch nützlich
§ Beispiele:
• Produktionsplanung
• Portfolio-Optimierung
• Transportprobleme
Technische Universität Wien
Institut für Computergraphik und Algorithmen
Reales Beispiel: Raffinerie
§ Aus Rohöl verschiedene Produkte
herstellen
§ Verschieden „Crackprozesse“ produzieren
unterschiedliche Mengen der Endprodukte
§ Eingabe:
• Bedarfe an Endprodukten
• Kosten und Endprodukte der Crackprozesse
§ Gesucht:
• Welche Crackprozesse in welchem Umfang
anwenden um Kosten zu minimieren
Technische Universität Wien
31
Institut für Computergraphik und Algorithmen
Reales Beispiel: Raffinerie
§
§
Modellierung
Endprodukte:
§
1. Schweröl: S
2. Mittelschweres Öl: M
3. Leichtöl: L
§
Bedarfe:
§
• 3S, 5M, 4L
Technische Universität Wien
Institut für Computergraphik und Algorithmen
33
Modellierung
Variablen für Anwendung Crackprozesse:
1. x1: Produktionsniveau Crackprozess 1
2. x2: Produktionsniveau Crackprozess 2
Bedeutung x1 =2,5:
• Prozess x1 wird auf 2,5 Einheiten Rohöl
angewendet
• Kostet 2,5*3 $
• Liefert 2,5*2 S, 2,5*2 M und 2,5*1 L
Crackprozesse:
1. Crackprozess 1: Liefert 2S, 2M, 1L kostet 3$
2. Crackprozess 2: Liefert 1S, 2M, 4L kostet 5$
§
32
Jeder nicht-negative Vektor (x1 ,x2 )2 R2
bezeichnet Produktionsniveau der
Crackprozesse
Technische Universität Wien
Institut für Computergraphik und Algorithmen
34
Modellierung
§ Es müssen 3 Einheiten S produziert werden
2x 1 +x 2 ¸ 3
§ Es müssen 5 Einheiten M produziert
werden
2x 1 +2x2 ¸ 5
§ Es müssen 4 Einheiten L produziert werden
x 1 +4x2 ¸ 4
§ Die Kosten der Produktion sind:
z=3x1 +5x2
Technische Universität Wien
Institut für Computergraphik und Algorithmen
35
Technische Universität Wien
Institut für Computergraphik und Algorithmen
36
6
Diätproblem
Nahrungsmittel
Nahrungsmittel
§ Gegeben:
• Verschiedene Nahrungsmittel mit
Nährstoffgehalten und Preisen
• Bedarf an Nährstoffen
§ Gesucht:
• Menge von jedem Nahrungsmittel so dass alle
Bedarfe gedeckt sind und Gesamtsumme der
Preise möglichst niedrig
Technische Universität Wien
Institut für Computergraphik und Algorithmen
37
Modellierung
Kalorien
Proteine
Calcium
Preis in $
Haferflocken
110
4
2
3
Huhn
205
32
12
24
Eier
160
13
54
13
Milch
160
8
285
9
Kirschkuchen
420
4
22
20
Bohnen
260
14
80
19
Technische Universität Wien
Institut für Computergraphik und Algorithmen
38
Lineares Programm
§ Variablen:
Für jedes Nahrungsmittel gekaufte Menge
§ Nebenbedingungen:
Für jeden Nährstoff muss Summe der
Nahrungsmittel-Variablen multipliziert mit
Nährstoffgehalt die Mindestmenge erreichen
§ Zielfunktion:
Minimieren der Summe der NahrungsmittelVariablen multipliziert mit Preis
Wenn Haferflocken nur mit einer halben Einheit
Milch schmecken:
§ Zusätzlich: Verkaufen nicht vorhandener
Lebensmittel ist nicht erlaubt
Technische Universität Wien
Institut für Computergraphik und Algorithmen
39
Technische Universität Wien
Institut für Computergraphik und Algorithmen
40
7