bwHPC Hardware (Richard Walter j 24. Februar 2015) STEINBUCH CENTRE FOR COMPUTING 1 bwHPC Hardware KIT –24.02.2015 Universität desRichard Landes Walter: Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft SCC www.kit.edu Übersicht CPUs Knoten Netzwerk 2 24.02.2015 Richard Walter: bwHPC Hardware SCC CPUs (allgemein) Eigenschaften aller CPUs: Turbo Boost dynamisches Übertakten nicht abschaltbar Hyperthreading derzeit nicht nutzbar Vektorbefehlssatz Floating Point nur über Vektoreinheiten 32 kB L1 D-Cache / Core 32 kB L1 I-Cache / Core 256 kB L2 cache / Core 3 24.02.2015 Richard Walter: bwHPC Hardware SCC CPUs (Aufbau) Core 64kB L1 256kB L2 4 24.02.2015 Richard Walter: bwHPC Hardware SCC CPUs (Aufbau) Core 2 ... 64kB L1 64kB L1 ... 64kB L1 256kB L2 256kB L2 ... 256kB L2 Core 1 Core N XX MB L3 plus 4 Speichercontroller DDR3 plus 2 QPI 8GT/s 5 24.02.2015 Richard Walter: bwHPC Hardware SCC RAM RAM RAM IB-HCA RAM SATA HDD CPU RAM CPU HDD RAM RAM RAM Dünne Knoten bwUniCluster und ForHLR 64 GiB RAM Festplatten je 1 TB, 7200 rpm, Software-RAID0 In niBand: ConnectX-3 FDR (56 GBit/s Brutto, Netto > 6 GB/s) bwUniCluster ForHLR Cores/Sockel 8 10 CPU-Takt 2,6 GHz 2,5 GHz L3-Cache/Sockel 20 MiB 25 MiB Speichertakt 1600 MHz 1866 MHz 6 24.02.2015 Richard Walter: bwHPC Hardware SCC RAM RAM RAM RAM RAM RAM RAM RAM IB-HCA HDD HW-RAID HDD CPU HDD RAM CPU HDD RAM CPU HDD HDD CPU HDD RAM RAM RAM RAM HDD RAM RAM Dicke Knoten bwUniCluster und ForHLR CPUs mit 8 Cores je Sockel, 20 MiB L3-Cache Festplatten je 1 TB, 7200 rpm, Hardware-RAID5 In niBand: ConnectX-3 FDR (56 GBit/s Brutto, Netto > 6 GB/s) bwUniCluster ForHLR CPU-Takt 2,4 GHz 2,6 GHz Speicher 1 TiB @1333MHz 512 GiB @1600 MHz 7 24.02.2015 Richard Walter: bwHPC Hardware SCC RAM RAM RAM CPU RAM CPU RAM RAM RAM RAM Knoten bwForCluster Ulm (Justus) SATA SSD SSD SSD SSD IB-HCA In niband: TrueScale QDR (40 GBit/s Brutto, Netto >3 GB/s) Typ1 Typ2 Typ3 Speicher 128 GB 128GB 512GB SSDs 4*240 GB 4*480GB 8 Cores/Sockel, Haswell (AVX2) DDR4 @1866 MHz Nenntakt 2,4 GHz, AVX-Basistakt 2,1 GHz, Turbo bis 3,2 GHz Performanceprognosen nahezu unmöglich ) 8 24.02.2015 Richard Walter: bwHPC Hardware SCC In niBandnetz (1) bwUniCluster zweigeteilt Fat Tree-Bereich für HPC Blocking-Bereich für Throughput Computing Besteht aus 8 „Inseln“ (Je 32 Knoten und 4 Uplinks) ForHLR nur Fat Tree JUSTUS nur Blocking-Bereich IB-Switch Up 9 24.02.2015 Richard Walter: bwHPC Hardware Link Net Work SCC In niBandnetz (2, bwUniCluster) throughput service 10 24.02.2015 fat Richard Walter: bwHPC Hardware HPC SCC In niBandnetz (3, ForHLR) Knoten Orientierung mit $SLURM_TOPOLOGY_ADDR $SLURM_TOPOLOGY_ADDR_PATTERN 11 24.02.2015 Richard Walter: bwHPC Hardware SCC In niBandnetz (4, JUSTUS) Knoten Inseln zu 32 Knoten 8:1 blocking 12 24.02.2015 Richard Walter: bwHPC Hardware SCC