Vorlesung 23 Parallelprogramm (Implementierung) ≈ Algorithmus +

P ERFORMANCE
UND
KOSTEN
DER
➜ Effizienz (“Nutzungsgrad”) auf p Prozessoren:
PARALLELIT ÄT
def
Ep = Sp /p
Zusatz-Literatur: Kapitel 4 aus V.Kumar et al.
Introduction to Parallel Computing, ISBN 0805331700
Normalerweise 0 < Ep ≤ 1 bzw. 0% < Ep ≤ 100%
➜ Kosten (Zeit-Prozessor Produkt, “Arbeit”):
Parallelprogramm (Implementierung) ≈
AUCH
Cp = p · T p
“Gesamtzeit summiert über alle Prozessoren”
➜ Kostenoptimalität: Parallelprogramm ist kostenoptimal, g.d.w.
Cp ≈ C 1 = T 1
Performance paralleler Programme wird entscheidend von
den verwendeten Algorithmen, Programmiermodellen und
-sprachen, sowie Parallelrechner-Architekturen beeinflußt
P ERFORMANCE M ETRIKEN ( VGL .
def
Slide 3
Algorithmus
+ Programmiermodell
+ Programmiersprache
+ Rechnerarchitektur
de 1
de 2
P ERFORMANCE M ETRIKEN : F OR TSETZUNG
Vorlesung 23
Intuitiv: Kostenoptimalität bedeutet, daß es kein zusätzlicher
Gesamtzeitaufwand durch Parallelisierung entsteht
B EISPIEL : A DDIEREN
VORLESUNG 1)
def
Sp = T1 /Tp
Parallelimplementierung (maximale Parallelität):
T1 – Laufzeit des sequentiellen Programms
für das Problem (auf einem Prozessor);
Tp – Laufzeit des parallelen Programms
auf p Prozessoren
Slide 4
Wichtig: Die Prozessoren sind in beiden
Fällen (T1 und Tp ) gleich!
Obere Schranke: Sp ≤ p
Simulationsargument: sonst wäre der sequentielle Algorithmus,
der den parallelen simuliert, schneller als T1
“Divide-and-Conquer” Algorithmus
+
PRAM-Programmiermodell mit n Prozessoren
➜ (a) Datenverteilung und der erste Kommunikationsschritt:
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
➜ (b) Zweiter Kommunikationsschritt:
7
8
12
13 14
6
5
4
3
BY
2
c
2004
1
1
0
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
“Superlinearer Speedup” ist vereinzelt doch möglich: Sp > p
(z.B. wegen Speicherhierarchie bzw. Cache-Effekten).
BY
A RRAYELEMENTE (R EDUKTION )
Input: n Zahlen verteilt auf n Prozessoren (potentiell unbegrenzte
Anzahl von Prozessoren)
Output: die Summe der Zahlen auf einem der Prozessoren
➜ Speed-up (Beschleunigung) auf p Prozessoren:
c
2004
ALLER
9
10
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
11
15
2
B EISPIEL
0
1
2
3
4
5
6
7
8
9
10
11
AUF
p P ROZESSOREN
➜ Implementierung 1: Hypercube (direktes Simulieren)
Erster Kommunikationsschritt:
12 13 14
12
8
15
13
9
14
10
15
11
12
8
13
9
14
10
15
11
5
6
7
6
7
4
2
3
0
1
2
3
0
5
1
4
0
➜ (d) Vierter Kommunikationsschritt:
0
1
2
3
4
5
6
7
8
9
10
11 12
13
14 15
Slide 7
15
11
12
13
7
8
9
10
11 12
13
14 15
0
Beachte: Die Assoziativität von + ist bei dieser
Parallelisierung notwendig !
1
2
3
3
( %
'
" !"
"! " ",
+
#
" & ! " )!
$ !
( %
!
$ !
( %
!
*
*
& !
& !
" !
,
➜ Kosten parallel: Cn = p · Tp = Θ(n · log n)
Kosten sequentiell: C1 = Θ(n) < Cn
⇒ nicht kosten-optimal !
+
'
'
0
1
2
3
0
%
%
&!
&!
'
'
0
Praxis: die Anzahl von Prozessoren ist begrenzt
⇒ Zahlen werden zwischen p < n Prozessoren verteilt.
1
2
Substep 3
Granularitätsgrad: Anteil der Daten in einem Prozessor n/p .
Mögliche Grade: fein-, mittel-, oder grobkörnige Parallelität
3
$!
$!
G RANULARIT ÄT
2
( %
"! "
+
" #
" & ! " "!
( %
'
" !"
"! " "
+
#
& ! " )!
"
Slide 8
1
Substep 2
Substep 1
Brents Theorem (Vorl. 11) zeigt auf, wann die Prozessoranzahl verringert und dadurch evtl. die Kostenoptimalität erreicht werden kann.
Für die Reduktion wurde p = Θ(n/ log n) ermittelt (Vorl. 11, Slide 9).
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
2
Substep 4
( %
'
" !"
"! " ",
+
#
& ! " )!
"
➜ Laufzeit: T1 = Θ(n), Tp = Θ(log n).
BY
1
Zweiter Kommunikationsschritt:
➜ Speedup: Sn = Θ(n/ log n).
➜ Effizienz: En = Θ(1/ log n).
c
2004
0
Substep 3
P ERFORMANCE -A BSCH ÄTZUNGEN
15
6
14
5
4
3
3
2
2
14
10
1
0
13
9
12
8
1
Substep 2
Substep 1
➜ (e) Akkumulieren der Summe im Prozessor 0:
de 6
de 5
B EISPIEL : F OR TSETZUNG
➜ (c) Dritter Kommunikationsschritt:
3
0
1
2
3
Substep 4
Laufzeit: Tp = Θ((n/p) · log p), Kosten: Cp = Θ(n · log p),
d.h. wieder nicht kostenoptimal!
3
c
2004
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
4
B EISPIEL : F OR TSETZUNG
12
8
13
9
14
10
15
11
4
5
6
7
0
1
2
3
0
=
n
=
n/p + 2 log p
3
Slide 11
Sp
=
p−
2 · p2 · log p
n + 2p · log p
Ep
=
1−
2 · p · log p
n + 2p · log p
2
T1
1
2
B EISPIEL
Tp
0
1
IM
Speedup für die kostenoptimale Lösung im Beispiel
(Eine Zeiteinheit pro Berechnung/Kommunikation):
3
2
1
0
de 9
e 10
S KALIERBARKEIT
➜ Implementierung 2: Hypercube (anderes Schema)
3
0
1
2
Beobachtungen (siehe Bild nächste Folie):
3
➜ n fest: Für größere p flacht der Anstieg von Sp ab (Konsequenz
des “Amdahl’s Law”: der nicht-parallelisierbare Anteil des
Problems begrenzt den Speedup, bzw. reduziert die Effizienz)
Laufzeit: Θ(n/p + log p), Kosten: Θ(n + p · log p).
Wenn n = Ω(p · log p) ⇒ Cp = Θ(n),
d.h. kosten- optimal, wenn Implementierung nicht zu feinkörnig
➜ p fest: Mit n wachsen Speedup und Effizienz
B EOBACHTUNGEN : S PEEDUP
35
FAZIT
AUS DEM
Ideal
30
B EISPIEL
25
Fazit: Ein maximal-paralleler (feinkörniger) Algorithmus kann
unterschiedlich auf eine feste Prozessoranzahl abgebildet werden.
Dieser Übergang ist oft architektur-abhängig und nicht trivial !
Slide 12
Skalierbarkeit: Das Speedup-Verhalten bei
wachsender Anzahl der Prozessoren
Sp
20
n=512
15
n=320
n=192
10
n=64
5
Praxis: Zusammenspiel Problem- vs. Maschinengröße
0
0
5
10
15
20
25
30
35
40
p
c
2004
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
5
c
2004
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
6
e 13
e 14
B EOBACHTUNGEN : E FFIZIENZ
B EISPIEL : KOSTENOPTIMALE L ÖSUNG
Ideal
1.0
R EDUKTION
➜ Vgl. Slide 9
➜ Annahme: Jede Operation sowie jede Übertragung einer Zahl
zwischen Nachbarprozessoren braucht 1 Zeiteinheit.
Dann gilt:
n=512
Ep
F ÜR
Slide 15
n=320
0.5
T1
n=192
n=64
5
10
15
20
25
30
35
W = n−1
Tp
=
n/p − 1 + 2 · log p
H(W, p)
=
2 · p · log p − p + 1 = Θ(p · log p)
➜ D.h. die Mehrkosten durch die Parallelisierung wachsen als
p · log p mit der Prozessoranzahl
0
0
=
40
p
M OTIVATION
UND
B EGRIFFSDEFINITIONEN
F ÜR I SOEFFIZIENZ
I SOEFFIZIENZ : D EFINITION
F RAGE IN F OLGE DER B EOBACHTUNG :
➜ Isoeffizienz-Funktion soll zeigen, wie schnell W mit p wachsen
muß, um eine konstante Effizienz bei wachsendem p zu halten
➜ Kann der Effizienzverlust wegen größerer p (Systemgröße) durch
den Anstieg von n (Problemgröße) ausgeglichen werden?
➜ Wie schnell muß dabei n als Funktion von p wachsen?
➜ Das ist die Motivation zur Einführung des Isoeffizienz-Begriffs
➜ Für gewünschte Effizienz E :
E
B EGRIFFSDEFIITIONEN :
Slide 16
➜ Problemgröße W : Die Anzahl von Operationen im
sequentiellen Algorithmus
➜ Merke: Diese Definition ergibt z.B. für die Multiplikation
quadratischer N × N Matrizen die Problemgröße W = N 3
(und nicht W = N )!
➜ Annahme: eine Operation kostet eine Zeiteinheit
⇒ W = T 1 = C1
➜ Overhead: Kostenanteil verursacht durch die Parallelisierung:
H(W, p)
c
2004
BY
def
=
=
T1
W
1
=
=
p · Tp
W + H(W, p)
1 + H(W, p)/W
⇒ W =
E
· H(W, p)
1−E
| {z }
const = K
➜ Die Lösung der Gleichung
W = K · H(W, p)
für W als Funktion von p
(wenn diese algebraisch gefunden werden kann):
W = f (p)
heißt die Isoeffizienz-Funktion oder, vereinfacht, die Isoeffizienz
p · Tp − W
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
7
c
2004
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
8
e 17
e 18
I SOEFFIZIENZ
F ÜR DAS
B EISPIEL :
G RENZEN
➜ Nicht-kostenoptimale Lösung (vgl. Slide 8):
S KALIERBARKEIT
➜ Kleinere Isoeffizienz ⇒ bessere Skalierbarkeit
H(W, p) = p · Θ((n/p) · log p) − Θ(n) = Θ(n · log p)
➜ Isoeffizienz kann aber nicht beliebig klein sein
untere Schranke: f (p) ≥ Θ(p) – Beweis durch Widerspruch
Fazit: W = o(H(W, p))
⇒ Overhead wächst strikt schneller als Problemgröße
Gleichung W = K · H(W, p) hat somit keine Lösung für W als
Funktion von p ⇒ die Isoeffizienz-Funktion existiert nicht
⇒ Implementierung nicht skalierbar
➜ Kostenoptimale Lösung (vgl. Slide 9):
➜ Ideale Skalierbarkeit:
Lineare Isoeffizienz, d.h. W = Θ(p)
Slide 19
H(W, p) = Θ(p · log p)
Gleichung: W = K · Θ()p · log p) Isoeffizienz: W = Θ(p · log p).
⇒ Gut skalierbar, wenn W = Ω(p · log p).
In Worten: Wenn die Prozessoranzahl von p auf p0 steigt, muß das
Array um Faktor (p0 log p0 )/(p log p) größer werden, damit die
parallele Effizienz konstant bleibt.
➜ Satz [Gupta and Kumar, 1993]:
Wenn die Isoeffizienz asymptotisch größer als linear ist, dann
kann bei (potentiell unbegrenztem) Anstieg der Problemgr öße
die konstante Laufzeit nicht gehalten werden, egal wieviele
Prozessoren verwendet werden.
Ohne Beweis.
KOSTENOPTIMALIT ÄT
M ÖGLICHKEITEN
DER
VS .
OVERHEAD
UND I SOEFFIZIENZ
➜ Kostenoptimal bedeutet:
p · Tp = W + H(W, p) = Θ(W )
⇒ H(W, p) = O(W )
F ÜR DIE I SOEFFIZIENZ -F UNKTION
➜ “Klein”, z.B. linear
⇒ gut skalierbar
d.h. Parallelprogramm ist kostenoptimal g.d.w. der Overhead
nicht die Problemgröße übersteigt (asymptotisch).
➜ “Groß”, z.B. kubisch oder gar exponentiell:
⇒ schlecht skalierbar
➜ Sehr ähnliche Bedingung gilt für Isoeffizienz:
Slide 20
➜ Keine Funktion existiert (d.h. die Effizienz kann bei wachsendem
p nicht konstant gehalten werden)
⇒ nicht skalierbar
W = (E/(1 − E)) · H(W, p)
➜ Falls die Isoeffizienz-Funktion W = f (p) existiert, dann muß
gelten:
W = Ω(H(W, p)) = Ω(f (p))
Wenn eine Isoeffizienz-Funktion zwar existiert, läßt sich aber schwer in
geschlos- sener Form finden, werden spezielle Lösungs-Techniken
gebraucht (s. später)
d.h. für die Kostenoptimalität muß die Problemgröße wenigstens
wie die Isoeffizienz-Funktion wachsen.
➜ Folgerung: Wenn f (p) > Θ(p), dann ist das Programm nicht
kostenoptimal für p = Θ(W )
c
2004
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
9
c
2004
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
10
B ERECHNUNGS -T ECHNIKEN
F ÜR I SOEFFIZIENZ -F UNKTION
➜ Der Ausdruck für den Overhead kann so kompliziert sein, daß
die Isoeffizienz-Funktion algebraisch nicht ableitbar ist
I LLUSTRATION
➜ Hypothetischer Fall:
F ÜR
R EDUKTION
➜ Kostenoptimale Lösung für Reduktions-Beispiel:
H(W, p) = p3/2 + p3/4 W 3/4
p = Θ(n/ log n)
➜ Die Gleichung:
e 21
Slide 23
W = K(p3/2 + p3/4 W 3/4 )
Für p = n/ log n gilt:
Tpcost−opt
= 3 · log n − 2 · log log n
➜ Absolut-minimale vs. kostenoptimale Zeit
ist schwer lösbar für W als Funktion von p
➜ Ausweg: Analysiere jeden Term separat:
Problemgröße: n = 1024
Absolut: p = 512, Tp = 20
Kostenoptimal: p ≈ 100, Tp ≈ 27
• W = Kp3/2 – fertig!
• W = Kp3/4 W 3/4 ⇒ W 1/4 = Kp3/4
⇒ W = K 4 p3
• Der asymptotisch größere Term ergibt die
Isoeffizienz-Funktion: W = Θ(p3 )
M INIMIERUNG
DER
U RSACHEN
L AUFZEIT
• Wenn Parallelitätsgrad = Θ(W ), dann ist Isoeffizienz = Θ(p)
• Wenn Parallelitätsgrad < Θ(W ) dann ist Isoeffizienz > Θ(p)
➜ Absolute Minimalzeit für die Reduktion:
➜ Kommunikation wegen Datenabhängigkeiten besteht aus:
Tp = n/p + 2 · log p
2
n
dTp
= − 2 +
= 0
dp
p
p
Slide 24
➜ Extra Berechnungen: z.B. im sequentiellen Fall werden oft
Zwischenergebnisse wiederverwendet; im parallelen Fall ist das
nicht immer effizient, da in verschiedenen Prozessoren
Die Kosten für diese Zeit: Θ(n log n), d.h. nicht kostenoptimal
➜ Mögliche Fälle für kostenoptimale Minimalzeit:
• asymptotisch gleich Tpmin
Overhead beeinflußt direkt die Isoeffizienz-Funktion: Man spricht
von Isoeffizienz bzgl. Kommunikation, bzgl. Paralleltätsgrad, u.s.w.
• asymptotisch größer (selten)
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
• Latenzzeit
• Übertragungszeit
➜ Lastverteilung: wenn ungleich zwischen Prozessoren, dann
extra Synchronisierung nötig
p = n/2 ⇒ Tpmin = 2 · log n
c
2004
OVERHEADS (H(W, p))
➜ Beschränkter Parallelitätsgrad (degree of concurrency): Anzahl
gleichzeitig ausführbarer Operationen (maximale Parallelit ät):
➜ Absolute Minimalzeit als Funktion von p kann durch
Differenzieren (Ableitung) ermittelt werden
e 22
DES PARALLELEN
11
c
2004
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
12
e 25
K LAUSUR
• Klausurtermin: 28.07.04 (Donnerstag) um 17:15 Uhr in M4
– Keine Hilfsmittel zugelassen
– Zugelassen sind alle, die mind. 50% der Übungspunkte
erreicht haben (evtl. bei Jan Dünnweber nachfragen)
• Es wird allen mit Nachdruck empfohlen,
die Klausur auf jeden Fall mitzuschreiben !!!
Vielen Dank
und bis zur nächsten Vorlesung !
c
2004
BY
S ERGEI G ORLATCH · U NI M ÜNSTER · PARALLELE S YSTEME · VORLESUNG 19
13