Vorlesung 21 Parallelprogramm (Implementierung) ≈ Algorithmus +

P ERFORMANCE
UND
KOSTEN
DER
➜ Effizienz (“Nutzungsgrad”) auf p Prozessoren:
PARALLELIT ÄT
def
Ep = Sp /p
Zusatz-Literatur: Kapitel 4 aus V.Kumar et al.
Introduction to Parallel Computing, ISBN 0805331700
Normalerweise 0 < Ep ≤ 1 bzw. 0% < Ep ≤ 100%
➜ Kosten (Zeit-Prozessor Produkt, “Arbeit”):
Parallelprogramm (Implementierung) ≈
de 1
de 2
P ERFORMANCE M ETRIKEN : F OR TSETZUNG
Vorlesung 21
AUCH
“Gesamtzeit summiert über alle Prozessoren”
Cp ≈ C1 = T1
Intuitiv: Kostenoptimalität bedeutet, daß es kein zusätzlicher
Gesamtzeitaufwand durch Parallelisierung entsteht
B EISPIEL : A DDIEREN
VORLESUNG 1)
def
Sp = T1 /Tp
Tp – Laufzeit des parallelen Programms
auf p Prozessoren
Slide 4
Wichtig: Die Prozessoren sind in beiden
Fällen (T1 und Tp ) gleich!
Obere Schranke: Sp ≤ p
Simulationsargument: sonst wäre der sequentielle Algorithmus,
der den parallelen simuliert, schneller als T1
“Divide-and-Conquer” Algorithmus
+
PRAM-Programmiermodell mit n Prozessoren
➜ (a) Datenverteilung und der erste Kommunikationsschritt:
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
0
1
2
3
4
5
6
7
8
9
10
11 12
13
14 15
P11
P13
P15
10 11
12
13 14
➜ (b) Zweiter Kommunikationsschritt:
P1
P3
0
“Superlinearer Speedup” ist vereinzelt doch möglich: Sp > p
(z.B. wegen Speicherhierarchie bzw. Cache-Effekten).
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
A RRAYELEMENTE (R EDUKTION )
Parallelimplementierung (maximale Parallelität):
T1 – Laufzeit des sequentiellen Programms
für das Problem (auf einem Prozessor);
BY
ALLER
Input: n Zahlen verteilt auf n Prozessoren (potentiell unbegrenzte
Anzahl von Prozessoren)
Output: die Summe der Zahlen auf einem der Prozessoren
➜ Speed-up (Beschleunigung) auf p Prozessoren:
c
2007
Cp = p · Tp
➜ Kostenoptimalität: Parallelprogramm ist kostenoptimal, g.d.w.
Performance paralleler Programme wird entscheidend von
den verwendeten Algorithmen, Programmiermodellen und
-sprachen, sowie Parallelrechner-Architekturen beeinflußt
P ERFORMANCE M ETRIKEN ( VGL .
def
Slide 3
Algorithmus
+ Programmiermodell
+ Programmiersprache
+ Rechnerarchitektur
0
1
c
2007
BY
P5
2
1
2
P7
4
3
4
P9
6
5
6
8
7
8
10
9
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
12
15
14
15
2
B EISPIEL : F OR TSETZUNG
➜ (c) Dritter Kommunikationsschritt:
P3
P7
0
4
0
1
2
3
4
P11
P15
8
5
6
7
8
➜ (d) Vierter Kommunikationsschritt:
P7
0
B EISPIEL
12
9
10 11 12 13 14 15
P15
8
0
1
2
3
4
5
6
7
8
9
10
11 12
13
14 15
de 5
de 6
AUF
Slide 7
12
8
13
9
4
5
12
8
13
9
14
10
15
11
4
5
6
7
0
1
2
3
P1
0
1
2
3
0
12
8
P15
0
1
2
3
4
5
6
7
8
9
10
11 12
13
P5
4
P1
14 15
13
9
14
10
1
2
1
➜ Speedup: Sn = Θ(n/ log n).
➜ Effizienz: En = Θ(1/ log n).
➜ Kosten parallel: Cn = p · Tp = Θ(n · log n)
Kosten sequentiell: C1 = Θ(n) < Cn
⇒ nicht kosten-optimal !
0
Brents Theorem (Vorl. 11) zeigt auf, wann die Prozessoranzahl verringert und dadurch evtl. die Kostenoptimalität erreicht werden kann.
Für die Reduktion wurde p = Θ(n/ log n) ermittelt (Vorl. 11, Slide 9).
Slide 8
G RANULARIT ÄT
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
P11
10
P7
6
P3
15
3
0
1
2
2
14
3
2
0
Substep 4
P13
P129
8
P5
4
P3
P15
P14
11
10
P7
6
0
3
0
1
2
3
Substep 2
Substep 1
P13
P1211
8
P7
4
P3
P15
P14
11
10
P15
14
0
0
1
2
Substep 3
Granularitätsgrad: Anteil der Daten in einem Prozessor n/p .
Mögliche Grade: fein-, mittel-, oder grobkörnige Parallelität
BY
P13
P129
8
P7
4
P3
0
Praxis: die Anzahl von Prozessoren ist begrenzt
⇒ Zahlen werden zwischen p < n Prozessoren verteilt.
c
2007
1
3
13
2
0
2
P9
8
P5
4
P1
P15
14
P11
10
P7
6
P3
P13
P129
8
P5
4
P1
7
12
Zweiter Kommunikationsschritt:
➜ Laufzeit: T1 = Θ(n), Tp = Θ(log n).
6
P3
15
11
Substep 3
P ERFORMANCE -A BSCH ÄTZUNGEN
15
11
Substep 2
2
0
0
Beachte: Die Assoziativität von + ist bei dieser
Parallelisierung notwendig !
P7
6
P3
14
10
2
0
Substep 1
➜ (e) Akkumulieren der Summe im Prozessor 0:
0
p P ROZESSOREN
➜ Implementierung 1: Hypercube (direktes Simulieren)
Erster Kommunikationsschritt:
3
0
1
2
3
Substep 4
Laufzeit: Tp = Θ((n/p) · log p), Kosten: Cp = Θ(n · log p),
d.h. wieder nicht kostenoptimal!
3
c
2007
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
4
B EISPIEL : F OR TSETZUNG
12
8
13
9
14
10
15
11
4
5
6
7
de 9
e 10
S KALIERBARKEIT
➜ Implementierung 2: Hypercube (anderes Schema)
0
1
2
3
0
1
2
3
0
P15
0
0
2
0
4
1
8
2
T1
=
n
Tp
=
n/p + 2 log p
Sp
=
p−
2 · p2 · log p
n + 2p · log p
Ep
=
1−
2 · p · log p
n + 2p · log p
12
3
Slide 11
P15
8
1
B EISPIEL
Speedup für die kostenoptimale Lösung im Beispiel
(Eine Zeiteinheit pro Berechnung/Kommunikation):
P3 P7 P11 P15
P7
IM
0
3
0
1
2
Beobachtungen (siehe Bild nächste Folie):
3
➜ n fest: Für größere p flacht der Anstieg von Sp ab (Konsequenz
des “Amdahl’s Law”: der nicht-parallelisierbare Anteil des
Problems begrenzt den Speedup, bzw. reduziert die Effizienz)
Laufzeit: Θ(n/p + log p), Kosten: Θ(n + p · log p).
Wenn n = Ω(p · log p) ⇒ Cp = Θ(n),
d.h. kosten- optimal, wenn Implementierung nicht zu feinkörnig
➜ p fest: Mit n wachsen Speedup und Effizienz
B EOBACHTUNGEN : S PEEDUP
35
FAZIT
AUS DEM
Ideal
30
B EISPIEL
25
Fazit: Ein maximal-paralleler (feinkörniger) Algorithmus kann
unterschiedlich auf eine feste Prozessoranzahl abgebildet werden.
Dieser Übergang ist oft architektur-abhängig und nicht trivial !
Slide 12
Skalierbarkeit: Das Speedup-Verhalten bei
wachsender Anzahl der Prozessoren
Sp
20
n=512
15
n=320
n=192
10
n=64
5
Praxis: Zusammenspiel Problem- vs. Maschinengröße
0
0
5
10
15
20
25
30
35
40
p
c
2007
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
5
c
2007
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
6
e 13
e 14
B EOBACHTUNGEN : E FFIZIENZ
B EISPIEL : KOSTENOPTIMALE L ÖSUNG
Ideal
1.0
R EDUKTION
➜ Vgl. Slide 9
➜ Annahme: Jede Operation sowie jede Übertragung einer Zahl
zwischen Nachbarprozessoren braucht 1 Zeiteinheit.
Dann gilt:
n=512
Ep
F ÜR
n=320
0.5
Slide 15
n=192
n=64
5
10
15
20
25
30
35
=
=
W = n−1
n/p − 1 + 2 · log p
H(W, p)
=
2 · p · log p − p + 1 = Θ(p · log p)
➜ D.h. die Mehrkosten durch die Parallelisierung wachsen als
p · log p mit der Prozessoranzahl
0
0
T1
Tp
40
p
M OTIVATION
UND
B EGRIFFSDEFINITIONEN
F ÜR I SOEFFIZIENZ
I SOEFFIZIENZ : D EFINITION
F RAGE IN F OLGE DER B EOBACHTUNG :
➜ Isoeffizienz-Funktion soll zeigen, wie schnell W mit p wachsen
muß, um eine konstante Effizienz bei wachsendem p zu halten
➜ Kann der Effizienzverlust wegen größerer p (Systemgröße) durch
den Anstieg von n (Problemgröße) ausgeglichen werden?
➜ Wie schnell muß dabei n als Funktion von p wachsen?
➜ Das ist die Motivation zur Einführung des Isoeffizienz-Begriffs
➜ Für gewünschte Effizienz E :
E
B EGRIFFSDEFIITIONEN :
c
2007
BY
def
=
T1
W
1
=
=
p · Tp
W + H(W, p)
1 + H(W, p)/W
Slide 16
➜ Problemgröße W : Die Anzahl von Operationen im
sequentiellen Algorithmus
➜ Merke: Diese Definition ergibt z.B. für die Multiplikation
quadratischer N × N Matrizen die Problemgröße W = N 3
(und nicht W = N )!
➜ Annahme: eine Operation kostet eine Zeiteinheit
⇒ W = T1 = C1
➜ Overhead: Kostenanteil verursacht durch die Parallelisierung:
H(W, p)
=
⇒ W =
E
· H(W, p)
1−E
| {z }
const = K
➜ Die Lösung der Gleichung
W = K · H(W, p)
für W als Funktion von p
(wenn diese algebraisch gefunden werden kann):
W = f (p)
heißt die Isoeffizienz-Funktion oder, vereinfacht, die Isoeffizienz
p · Tp − W
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
7
c
2007
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
8
e 17
e 18
I SOEFFIZIENZ
F ÜR DAS
B EISPIEL :
G RENZEN
➜ Nicht-kostenoptimale Lösung (vgl. Slide 8):
S KALIERBARKEIT
➜ Kleinere Isoeffizienz ⇒ bessere Skalierbarkeit
H(W, p) = p · Θ((n/p) · log p) − Θ(n) = Θ(n · log p)
➜ Isoeffizienz kann aber nicht beliebig klein sein
untere Schranke: f (p) ≥ Θ(p) – Beweis durch Widerspruch
Fazit: W = o(H(W, p))
⇒ Overhead wächst strikt schneller als Problemgröße
Gleichung W = K · H(W, p) hat somit keine Lösung für W als
Funktion von p ⇒ die Isoeffizienz-Funktion existiert nicht
⇒ Implementierung nicht skalierbar
➜ Kostenoptimale Lösung (vgl. Slide 9):
➜ Ideale Skalierbarkeit:
Lineare Isoeffizienz, d.h. W = Θ(p)
Slide 19
H(W, p) = Θ(p · log p)
Gleichung: W = K · Θ(p · log p), Isoeffizienz: W = Θ(p · log p).
⇒ Gut skalierbar, wenn W = Ω(p · log p).
In Worten: Wenn die Prozessoranzahl von p auf p′ steigt, muß das
Array um Faktor (p′ log p′ )/(p log p) größer werden, damit die
parallele Effizienz konstant bleibt.
➜ Satz [Gupta and Kumar, 1993]:
Wenn die Isoeffizienz asymptotisch größer als linear ist, dann
kann bei (potentiell unbegrenztem) Anstieg der Problemgröße
die konstante Laufzeit nicht gehalten werden, egal wieviele
Prozessoren verwendet werden.
Ohne Beweis.
KOSTENOPTIMALIT ÄT
M ÖGLICHKEITEN
DER
VS .
OVERHEAD
UND I SOEFFIZIENZ
➜ Kostenoptimal bedeutet:
p · Tp = W + H(W, p) = Θ(W )
⇒ H(W, p) = O(W )
F ÜR DIE I SOEFFIZIENZ -F UNKTION
➜ “Klein”, z.B. linear
⇒ gut skalierbar
d.h. Parallelprogramm ist kostenoptimal g.d.w. der Overhead
nicht die Problemgröße übersteigt (asymptotisch).
➜ “Groß”, z.B. kubisch oder gar exponentiell:
⇒ schlecht skalierbar
➜ Sehr ähnliche Bedingung gilt für Isoeffizienz:
Slide 20
➜ Keine Funktion existiert (d.h. die Effizienz kann bei wachsendem
p nicht konstant gehalten werden)
⇒ nicht skalierbar
W = (E/(1 − E)) · H(W, p)
➜ Falls die Isoeffizienz-Funktion W = f (p) existiert, dann muß
gelten:
W = Ω(H(W, p)) = Ω(f (p))
Wenn eine Isoeffizienz-Funktion zwar existiert, läßt sich aber schwer in
geschlos- sener Form finden, werden spezielle Lösungs-Techniken
gebraucht (s. später)
d.h. für die Kostenoptimalität muß die Problemgröße wenigstens
wie die Isoeffizienz-Funktion wachsen.
➜ Folgerung: Wenn f (p) > Θ(p), dann ist das Programm nicht
kostenoptimal für p = Θ(W )
c
2007
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
9
c
2007
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
10
B ERECHNUNGS -T ECHNIKEN
F ÜR I SOEFFIZIENZ -F UNKTION
➜ Der Ausdruck für den Overhead kann so kompliziert sein, daß
die Isoeffizienz-Funktion algebraisch nicht ableitbar ist
I LLUSTRATION
➜ Hypothetischer Fall:
F ÜR
R EDUKTION
➜ Kostenoptimale Lösung für Reduktions-Beispiel:
H(W, p) = p3/2 + p3/4 W 3/4
p = Θ(n/ log n)
➜ Die Gleichung:
W = K(p3/2 + p3/4 W 3/4 )
e 21
Slide 23
➜ Ausweg: Analysiere jeden Term separat:
• W = Kp
= 3 · log n − 2 · log log n
➜ Absolut-minimale vs. kostenoptimale Zeit
ist schwer lösbar für W als Funktion von p
3/2
Für p = n/ log n gilt:
Tpcost−opt
Problemgröße: n = 1024
Absolut: p = 512, Tp = 20
Kostenoptimal: p ≈ 100, Tp ≈ 27
– fertig!
• W = Kp3/4 W 3/4 ⇒ W 1/4 = Kp3/4
⇒ W = K 4 p3
• Der asymptotisch größere Term ergibt die
Isoeffizienz-Funktion: W = Θ(p3 )
M INIMIERUNG
DER
U RSACHEN
L AUFZEIT
• Wenn Parallelitätsgrad = Θ(W ), dann ist Isoeffizienz = Θ(p)
• Wenn Parallelitätsgrad < Θ(W ) dann ist Isoeffizienz > Θ(p)
➜ Absolute Minimalzeit für die Reduktion:
➜ Kommunikation wegen Datenabhängigkeiten besteht aus:
Tp = n/p + 2 · log p
n
2
dTp
= − 2 +
= 0
dp
p
p
Slide 24
➜ Extra Berechnungen: z.B. im sequentiellen Fall werden oft
Zwischenergebnisse wiederverwendet; im parallelen Fall ist das
nicht immer effizient, da in verschiedenen Prozessoren
Die Kosten für diese Zeit: Θ(n log n), d.h. nicht kostenoptimal
➜ Mögliche Fälle für kostenoptimale Minimalzeit:
• asymptotisch gleich Tpmin
Overhead beeinflußt direkt die Isoeffizienz-Funktion: Man spricht
von Isoeffizienz bzgl. Kommunikation, bzgl. Paralleltätsgrad, u.s.w.
• asymptotisch größer (selten)
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
• Latenzzeit
• Übertragungszeit
➜ Lastverteilung: wenn ungleich zwischen Prozessoren, dann
extra Synchronisierung nötig
p = n/2 ⇒ Tpmin = 2 · log n
c
2007
OVERHEADS (H(W, p))
➜ Beschränkter Parallelitätsgrad (degree of concurrency): Anzahl
gleichzeitig ausführbarer Operationen (maximale Parallelität):
➜ Absolute Minimalzeit als Funktion von p kann durch
Differenzieren (Ableitung) ermittelt werden
e 22
DES PARALLELEN
11
c
2007
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
12
e 25
K LAUSUR
• Klausurtermin: Donnerstag 12.07.2007, 12:15, Raum M2
– Keine Hilfsmittel zugelassen
• Es wird allen mit Nachdruck empfohlen,
die Klausur auf jeden Fall mitzuschreiben !!!
Vielen Dank
und bis zur nächsten Vorlesung !
c
2007
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 21
13