bwHPC Hardware - (Richard Walter, Simon Raffeiner | September

bwHPC Hardware
(Richard Walter, Simon Raffeiner | 21. September 2015)
STEINBUCH CENTRE FOR COMPUTING
1
Simon Raffeiner
KIT –21.09.2015
Universität desRichard
Landes Walter,
Baden-Württemberg
und- bwHPC Hardware
nationales Forschungszentrum in der Helmholtz-Gemeinschaft
SCC
www.kit.edu
Übersicht
CPUs
Knoten
Netzwerk
2
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
CPUs (allgemein)
Eigenschaften aller CPUs:
Turbo Boost
dynamisches Übertakten
nicht abschaltbar
Hyperthreading
derzeit nicht nutzbar
Vektorbefehlssatz
Floating Point nur über Vektoreinheiten
32 kB L1 D-Cache / Core
32 kB L1 I-Cache / Core
256 kB L2 cache / Core
3
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
CPUs (Aufbau)
Core
64kB L1
256kB L2
4
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
CPUs (Aufbau)
Core 2
...
64kB L1
64kB L1
...
64kB L1
256kB L2
256kB L2
...
256kB L2
Core 1
Core N
XX MB L3
plus 4 Speichercontroller DDR3
plus 2 QPI 8GT/s
5
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
RAM
RAM
IB-HCA
RAM
SATA
HDD
CPU
RAM
RAM
CPU
HDD
RAM
RAM
RAM
Dünne Knoten bwUniCluster und ForHLR
64 GiB RAM
Festplatten je 1 TB, 7200 rpm, Software-RAID0
InfiniBand: ConnectX-3 FDR (56 GBit/s Brutto, Netto > 6 GB/s)
bwUniCluster
ForHLR
Cores/Sockel
8
10
CPU-Takt
2,6 GHz
2,5 GHz
L3-Cache/Sockel
20 MiB
25 MiB
Speichertakt
1600 MHz
1866 MHz
6
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
RAM
RAM
RAM
RAM
RAM
RAM
RAM
RAM
HDD
HDD
IB-HCA
HDD
HW-RAID
HDD
RAM
CPU
HDD
RAM
RAM
CPU
HDD
RAM
CPU
HDD
RAM
RAM
CPU
HDD
RAM
RAM
Dicke Knoten bwUniCluster und ForHLR
CPUs mit 8 Cores je Sockel, 20 MiB L3-Cache
Festplatten je 1 TB, 7200 rpm, Hardware-RAID5
InfiniBand: ConnectX-3 FDR (56 GBit/s Brutto, Netto > 6 GB/s)
bwUniCluster
ForHLR
CPU-Takt
2,4 GHz
2,6 GHz
Speicher
1 TiB @1333MHz 512 GiB @1600 MHz
7
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
RAM
RAM
CPU
RAM
CPU
RAM
RAM
RAM
RAM
RAM
Knoten bwForCluster Ulm (Justus)
SATA
SSD
SSD
SSD
SSD
IB-HCA
Infiniband: TrueScale QDR (40 GBit/s Brutto, Netto >3 GB/s)
Typ1
Typ2
Typ3
Speicher 128 GB
128GB
512GB
SSDs
4*240 GB 4*480GB
8 Cores/Sockel, Haswell (AVX2)
DDR4 @1866 MHz
Nenntakt 2,4 GHz, AVX-Basistakt 2,1 GHz, Turbo bis 3,2 GHz
⇒ Performanceprognosen nahezu unmöglich
8
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
InfiniBandnetz (1)
bwUniCluster zweigeteilt
Fat Tree-Bereich für HPC
Blocking-Bereich für Throughput Computing
Besteht aus 8 „Inseln“ (Je 32 Knoten und 4 Uplinks)
ForHLR nur Fat Tree
JUSTUS nur Blocking-Bereich
IB-Switch
Up
9
21.09.2015
Link
Richard Walter, Simon Raffeiner - bwHPC Hardware
Net Work
SCC
InfiniBandnetz (2, bwUniCluster)
throughput
service
10
21.09.2015
fat
HPC
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
InfiniBandnetz (3, ForHLR)
Knoten
Orientierung mit
$SLURM_TOPOLOGY_ADDR
$SLURM_TOPOLOGY_ADDR_PATTERN
11
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC
InfiniBandnetz (4, JUSTUS)
Knoten
Inseln zu 32 Knoten
8:1 blocking
12
21.09.2015
Richard Walter, Simon Raffeiner - bwHPC Hardware
SCC