High Performance Computing mit Windows

High Performance Computing
mit Windows
Windows HPC Server 2008
Wolfgang DREYER
HPC - Produkt Manager Deutschland
[email protected]
Agenda
Hohe Produktivität für HPC
Überblick Windows HPC Server 2008
Partnerschaften
Diskussion
Geschäftsvorteile durch HPC
Wettbewerbsvorteile
Möglichkeiten zur Verbesserung der
Betriebsleistung (Kosten, Qualität
und Produkteinführungszeit)
Qualitätsgerechte Compliance im Bezug
auf behördliche Anforderungen
Schnelle Zyklen der
Produktinnovation
End-to-End-Workflow
Entwurf und
Vorverarbeitung
Konzept und
Zielsetzung
Entwurf
Simulationen
und Tests
Simulation
Analyse und
Nachverarbeitung
Analyse
Resultat
Aggregat (MB/s/Core)
HPC-Speicherlösung
Paralleldateisysteme
Gemeinsame
Dateisysteme oder
SAN-Dateisysteme
NAS und
Cluster-NAS
• IBM – GPFS
• Panasas – Active Scale
• HP – PolyServe
• Ibrix – Fusion
• Quantum – StorNext
• SANbolic – Melio file system
• Windows Server 2003
• Windows Server 2008
…
Anzahl der Cores im Cluster
Höherer
Entwicklungsstandard
Highspeed-Networking-Technologien
Bandbreite
Cisco
Voltaire
Qlogic
Open Fabrics
NetEffect
Myricom
Verfügbarkeit
Aktuelle Umgebung
Highspeed-Networking
Cluster/Supercomputer
Unternehmensinfrastruktur
Speicherung
Ingenieure
Wissenschaftler
Finanzanalysten
Information Worker
Spezialsprachen
Mainstreamtechnologien
Compiler
Debugger
High Productivity Computing
Kombinierte Infrastruktur
Integrierte Desktop- und
HPC-Umgebung
Vereinheitlichte
Entwicklerumgebung
Die Herausforderung
Hürde: Integrationsfähigkeit
• Mangel an nahtloser Integration zwischen
Workstations, Clustern, Daten
• Mangel an Anwender-Workflowintegration
über verschiedene Anwendungen und
Abteilungen hinweg
Hürde:Technologieinseln
• Isolierte Inseln erfordern viel manuelle
Arbeit
• Wenig End-to-End-IT-Prozessintegration
• Existierende Investitionen in
weitgefächerte IT-Qualifikationen und ITInfrastruktur können nicht genutzt werden
Hürde: Anwendungsverfügbarkeit
• Begrenzte Umgebung mit Parallelanwendungen
• Mangel an entwicklerfreundlichen Tools,
schwer zu programmieren
„High-End-Computing muss leichter und
produktiver anzuwenden sein. Der Fokus
sollte auf „Time to Solution“ liegen, dem
wichtigsten Wertmaß für High-EndComputing-Anwender … Eine gemeinsame
Softwareumgebung für wissenschaftliches
Computing von High-End-Systemen bis zu
Standarddesktops wird die Produktivitätsgewinne durch die leichte Nutzbarkeit und
Handhabung der Systeme steigern.“
High-End Computing Revitalization Task
Force, 2004
(Office of Science and Technology
Policy, Executive Office of the President)
Warum Microsoft für HPC?
Aktuelle Probleme
 HPC- und IT-Datencenter-Zusammenlegung: isoliertes
Clustermanagement
 Entwickler können Parallelität schwer programmieren
 Anwender haben kaum Zugang zur Verbesserung der Verarbeitung
von Kernprozessen und Daten
Wie kann Microsoft helfen?
 Gut positioniert für die Mainstreamintegration von
Anwendungsparallelitäten
 Hat bereits begonnen, Parallelität weitgehend für die
Entwicklercommunity möglich zu machen
 Kann den Wert von HPC durch die Integration von Produktivitäts- und
Managementtools steigern
Investitionen von Microsoft in HPC
 Umfangreiches Softwareportfolio: Client, Server,
Management, Entwicklung und Zusammenarbeit
 Engagierte Teams für Cluster-Computing
 Vereinheitlichte Parallelentwicklung durch die
„Parallel Computing Initiative“
 Partnerschaften mit technischen Computinginstituten
Die HPC-Strategie von Microsoft:
Expanding to the Enterprise
Technologien
Windows Compute
Cluster Server 2003
Produktivität
Entwickler-Tools
IO
Computing
DatenSpeicherung
Ressourcenmanagement
Computing
2006−2007
2008
Allgemeine Managementund Produktivitätsplattform
Allgemeine Entwickler-Plattform Visual Studio 2008
Parallel Computing
für Desktop-Cluster
Initiative
NetworkDirect für sehr
hohe Netzwerkeffizienz
Skalierbare Unterstützung für
Dateisysteme
Key-Partner
SOA-basiert;
skalierbare Partner
Key-Partner
Schnelle Entwicklung
Nutzungsbereite
Anwendungsüberwachung
Leichtes Management
Windows HPC
Server 2008
Märkte
Phase 1:
Unternehmenscluster
MOSS, SQL,
System Center
Phase 2:
allgemeine Plattform für
Abteilungs- und Unternehmenscluster
Die Microsoft-Vision für HPC
Windows HPC ermöglicht Ihnen mehr zu erreichen! Und zwar in kürzerer Zeit und mit geringerem Aufwand:
durch die Nutzung der bereits vorhandenen Anwenderfähigkeiten und durch Integration in/von bereits
bestehende(n) Tools.
Administrator





Integrierte und sofort nutzbare
HPC-Clusterlösung
Vereinfachtes Setup und
Deployment
Integrierte Diagnosetools
Effiziente Clusternutzung
Integration in IT-Infrastrukturen
und Richtlinien
Anwendungsentwickler





Integrierte Tools für paralleles
Programmieren
Hochproduktive Frameworks
für Parallelprogrammierung
Serviceorientierte HPCAnwendungen
Unterstützt die wichtigsten
HPC-Entwicklungsstandards
UNIX-Anwendungsmigration
Endanwender



Nahtlose Integration in
Workstationanwendungen
Integration in bestehende
Zusammenarbeits- und
Workflowlösungen
Sichere Ausführung von
Aufträgen und sicherer
Datenzugriff
Integriertes HPC der Zukunft
Clients/Auftragseinreichung
Entwicklungstools
Visual Studio: C#,
C++, WCF, OpenMP,
MPI, MPI.NET
Traceanalyse
Batch Applications
SharePoint
Profiling
WCF-Anwendungen
Excel
Numerische
Bibliotheken
MPI Debugging
CCSAuftragskonsole
Windows Workflow
Foundation
MPI Tracing
CCS Scripts
UNIX/Linux
System
Windows HPC Server 2008Administrationskonsole
System, Scheduling, Networking,
Imaging, Diagnose
Windows PowerShell
System Center
Operations Manager
Windows HPC Server 2008
System Center
Data Protection Manager
Job Scheduler w/ Failover
Administration APIs
HPC
Profile
WCF Router
Bestehende
Clusterinfrastruktur
Auftragsübermittlung
APIs
Fortran
Administration
Computerknoten
Node Manager
Annwendung
WCF, C#, C++, Fortran
New TCP/IP
MPI mit NetworkDirect
System Center
Configuration Manager
Windows Server
Update Services
Software Protection Services
Managementdienstprogramme
für Drittanbietersysteme
Business Intelligence
Speicherung
Storage
Storage
SQLStrukturierte
Speicherung
Windows
Speicherungs
server mit DFS
Schlüssel
Partner
Microsoft
HPC Server 2008
Parallel/
Clusterspeicherung
SQL Server
Integration
Services
SQL Server
Analyse
Reporting
Was ist neu in Windows Server 2008?
Verlässlichkeit
•´
Dynamische Partitionierung –
• Hot Plug PCI Express/Memory,
• Hinzufügen und Ersetzen von
Prozessoren im laufenden Betrieb
• Dateisysteme – selbstreparierendes NTFS
Usability
•
•
•
•
Windows 64bit Hypervisor - HyperV
Neues Ereignisprotokoll/
neue Diagnosefunktion
PowerShell
Leistung
• Speichermanagerleistung Schnellerer Festplattenzugriff für Auslagerungsdateien und gemappte
Dateien, I/O-Eingabe/Ausgabe (das 64-KB-Limit gibt es nicht mehr) I/O-Priorität
Basiert auf der Priorität des Issuing Thread oder der explizit definierten I/O-Priorität
Verwendet von Windows Server 2008-Hintergrundaufgaben wie Indizierung
• Erweiterungen die speziell die NUMA (Non-Uniform Memory Access)
Funktionalität unterstützen
• SMB 2.0
Unterstützt NTFS-Client-seitige symbolische Links
Unterstützung für beliebige Buffergrößen für effizientere Kopierresultate
mit 30 bis 40-fachen Durchsatzverbesserungen
Was ist neu im HPC Pack 2008?






Neues System Center-UI
PowerShell für CLI-Management
Hohe Verfügbarkeit für Hauptknoten
Windows Deployment Services
Diagnose- und Reportingtools
Operations Manager wird unterstützt
 SOA und WCF werden unterstützt
 Genaues Ressourcen-Scheduling
 Verbesserte Skalierbarkeit für
größere Cluster
 Neue Job-Scheduling-Richtlinien
 Interoperabilität via HPC-Profile
Systemmanagement
Networking
und MPI
 NetworkDirect (RDMA) für MPI
 Verbesserter
Netzwerkkonfigurationsassistent
 Shared Memory MS-MPI für
Multicore
 MS-MPI integriert in Windows Event
Tracing
JobScheduling
Speicherung
 Verbesserte iSCI SAN-Unterstützung
in Win2008
 Verbesserter Server Message Block
( SMB v2)
 Neue Drittanbieter-ParallelsystemDateiunterstützung für Windows
 Neue Memory-Cache-Anbieter
Windows HPC Server 2008
Ready for Primetime
Ort
Hardware – Geräte
Hardware – Networking
Anzahl der Knoten
Gesamtanzahl Cores
Gesamtspeicher
Angaben für aktuelle Linpack-Runs
Beste Linpack-Rate bisher
Beste Clustereffizienz bisher
Als Vergleich …
Linpack-Rate Juni 2007, Top500
(#106), auf der gleichen Hardware
Clustereffizienz Juni 2007, Top500
(#106), auf der gleichen Hardware
Typische Top500-Effizienz für
Clovertown-Motherboards mit IB
unabhängig vom Betriebssystem
Tukwila, WA
256 Dual-CPU, Quadcore-Intel-5320Clovertown-1,86-GHz-Prozessor und
8 GB RAM
Private und öffentliche Netze:
Broadcom GigE
MPI: Cisco Infiniband (IB) SDR inkl.
34 IB Switches in Leaf- und
Knotenkonfiguration
256
2048
2+ TB RAM
11,75 TeraFLOPS
77,1 %
8,99 TeraFLOPS
#X
Top 500
30 % Effizienzsteigerung
mit der gleichen Hardware
59 %
65−77 %
(2 Instanzen von 79 %)
Deployment in wenigen Stunden
Freigabe:
November 07 Beta 1
Sommer 08 RTM
Höhere Effizienz für Systemadmins
•
•
•
•
Einfach im Setup und Management in einer
vertrauten Umgebung
– Nutzungsbereite Clusterlösungen durch
OEMs
– Vereinfachtes System- und
Anwendungsdeployment
•
Basisimages, Patchs, Treiber,
Anwendungen
Fokus auf leichtem Management
– Umfassende Diagnose-, Trouble Shootingund Überwachungstools
– Vertrautes, flexibles und „zentrales“
Managementinterface
– Entsprechende Befehlszeilenunterstützung
für automatisches Management
Skalierbarkeit
– Skalierbares Deployment, Administration,
Infrastruktur
– Hauptknoten-Failover
– Clusternutzungsreporting
– Computerknotenfilterung
Bessere Integration ins
Unternehmensmanagement
– Patchmanagement
– System Center Operations Management
– PowerShell
– Windows 2008-Hochverfügbarkeitsservices
System Center Operations Manager
Produktivere HPC-Umgebung
• Vorgespeicherte Reports für Überwachung aus Endanwenderperspektive
• Sicherheitsloganalyse und -reporting
Skalierbare Überwachung
• Überwachungsanwendungen laufen in einer skalierbaren,
dezentralen Umgebung
• Skalierbar mit abgestuften Managementservern
• Überwachung ohne Agents
Höhere Effizienz und Kontrolle
• Verbessertes Design für mehr Sicherheit
• Active Directory-Integration
• Erweiterte Lösung mit Management Packs
Hochverfügbarer Hauptknoten
•
•
“Single point of error” werden durch die Failover-Lösung eliminiert
Erfordert Windows Server 2008 Enterprise Failover Clustering Services
– Die nächste Generation der
Clusterservices
Privates
– Große Verbesserungen bei der
Netzwerk
Konfigurationsvalidierung und im
Management
Windows
• HPC Pack enthält:
Failover
Clustered
– Setupintegration mit Failover
Clustering Services
• Hauptknoten- und
Failoverknoten-Setup mit
SQL Failover Cluster
Hauptknoten
Failoverhauptknoten
Win2008 Enterprise
• Job-Scheduler-ServicesWin2008 Enterprise
Clustered SQL
Server
Clustered SQL
Failover
Server
– Managementkonsole verbunden
Gemeinsame
mit Windows Server-FailoverFestplatte
Managementkonsole
NetworkDirect
Ein neues RDMA-Networking-Interface für mehr Geschwindigkeit und Stabilität
•
Prioritäten
– Vergleichbar mit
hardwareoptimierten MPIImplementierungen
• Fokus auf MPI-Only-Lösung für
Version 2
– Verbs-basiertes Design für nahtlose
Integration in native High
Performance Networking Interfaces
– Koordiniert mit Win Networking
Teamlangzeitpläne
Implementierung
– MS-MPIv2 für 4 Networkingpfade
• Gemeinsamer Speicher für
Prozessoren auf einem
Motherboard
• TCP/IP-Implementirung
(„normales“ Ethernet)
• Winsock Direct (und SDP)
für socketsbasiertes RDMA
• Neues RDMA-NetworkingInterface
– HPC-Teampartner mit NetworkingIHVs zur Entwicklung und
Distribution von Treibern für dieses
neue Interface
Socketbasierte
Anwendung
MPI-Anwendung
MS-MPI
Windows Sockets
(Winsock + WSD)
RDMANetzwerk
Networking
Networking
Networking
Winsock
DirectNetworking
Hardware
NetworkDirectHardware
Hardware
Provider
Hardware
Provider
Networking Hardware
Hardware
Networking
Awendermodus-Zugangsebene
TCP/EthernetNetzwerk
TCP
Kernelbypass
•
IP
NDIS
Networking
Networking
Mini-PortHardware
Hardware
Treiber
Networking Hardware
Hardware
Networking
Hardwaretreiber
NetworkingHardware
Hardware
Networking
Netzwerkhardware
(ISV) Anw.
CCPKomponente
OSKomponente
IHVKomponente
Interoperabilität und Open-Grid-Forum
LSF/PBS/SGE/Condor
Linux, AIX, Solaris
HPUX, Windows
Windows Cluster
Windows Center
Windows Center
Parallelprogrammierung
•
•
•
Jetzt erhältlich:
– Debugging (für Entwicklung/Parallelprogrammierung) in Visual Studio
– Compiler, Debugger, Runtimes et cetera von Drittanbietern
Neue Technologien: Parallelframework
– LINQ/PLINQ – natürliche OO-Sprache für SQL-Abfragen in .NET
– C# Futures – für Loops beim Parallelprogrammieren
Für die Zukunft: Parallel Computing Initiative (PCI)
– Dreifachinvestment mit einem neuen Engineeringteam
– Gemeinsame Entwicklertools für Multicore-Codes vom Desktop bis zu Clustern
Profiler und
Tracer
Compiler
•
•
•
•
•
•
•
Visual Studio
Intel C++
Gcc
PGI Fortran
Intel Fortran
Absoft Fortran
Fujitsu
•
•
•
•
•
•
•
PerfMon
ETW (für MS-MPI)
VSPerf/VSCover
CLRProfiler
Vampir (portiert an Windows)
Intel Collector/
Analyzer (läuft auf CCS mit
Intel MPI)
• Vtune & CodeAnalyst
• Marmot (portiert an Windows)
• MPI Lint++
Laufzeit und
Bibliotheken
Debugger
• Visual Studio
• WinDbg
• DDT
•
•
•
•
•
MPI
OpenMP
C# Futures
MPI.C++ and MPI.Net
PLINQ
Versionsvergleich
Feature
Windows Compute Cluster Server 2003
Windows HPC Server 2008
Betriebssystem
Windows Server 2003 SP1
Windows Server 2008
Prozessortyp
X64 (AMD64 oder Intel EM64T)
X64 (AMD64 oder Intel EM64T)
Knotendeployment
Remote Installation Services (RIS)
Windows Deployment Services
Hauptknotenredundanz
K. A.
Management
Basisknoten- und Jobmanagement
Windows Failover Clustering und
SQL Server Failover Clustering
Integriertes Knoten- und
Auftragsmanagement, Gruppierung,
Überwachung auf einen Blick, Diagnose
Netzwerktopologie
Network Configuration Wizard
Verbesserter Netzwerkkonfigurations-Assistent
MS-MPI
Winsock Direct-basiert
NetworkDirect-basiert. Neue Shared-MemoryImplementierung für Multicoreprozessoren
Befehlszeilen oder GUI
Integriert in die Managementkonsole, mit
voller Unterstützung für Windows PowerShellScripting und Legacy-Befehlszeilen-UI-Scripts
aus v1. Umfassend verbesserte
Geschwindigkeit und Skalierbarkeit
Scheduler
Reporting
K. A.
Überwachung
Baut auf Windows auf. Keine
clusterspezifische Unterstützung
Diagnose
K. A.
Integriert in die Managementkonsole.
Erweiterbarkeitsfeatures ermöglichen die
Verwendung von SQL Analysis Services für
zusätzliche Analysen
Hot Mapping (an Clustern oder
Knotengruppen). Clusterweite
Leistungsüberwachung
Integrierte Verifizierungs- und Leistungstests.
Testergebnisse und Testhistorien können
gespeichert, gefiltert und gelesen werden
Versionen
Techn.
Vorschau
August
2008
•
•
•
•
Beta 1
Nov. 2008
Beta 2
Frühjahr
2008
Technische Vorschau (Private Release)
Beta 1 – jetzt erhältlich!
Beta 2 – zusammen mit Windows Server 2008 RTM
RTM – 90 bis 120 Tage nach Windows RTM
RTM
Sommer
2008
Branchenbasierte Lösungen
Bildung
Luftfahrt
Automotive
Finanzdienste
Geologische
Dienste
Regierung
Medizin,
Pharma
Windows HPC Server 2008-Angebote
Basisangebot, sofort nutzbar
•
•
•
Sofort nutzbare Lösung für bis
zu 1000 Knoten
HPC Pack
•
Management
•
Deployment
•
Job-Scheduling
Drittanbieterpackages für
Job-Scheduling
Hochverfügbarkeit
•
•
•
Unternehmensmanagement
•
•
Kein einzelner Fehlerpunkt
Windows Server 2008
Enterprise für hohe
Verfügbarkeit des
Hauptknotens
SQL Server 2008 Enterprise
für hohe Verfügbarkeit
•
Größe bis zu vielen Tausend Knoten
System Center Operations Manager für
hochentwickelte Überwachung
System Center Configuration Manager
für verbessertes Deployment und Patchmanagement
System Center
Configuration Manager
System Center
Operations Manager
SQL Server 2008
Express
HPC Pack
Drittanbieter
Windows HPC Server 2008
SQL Server 2008
Standard
HPC Pack
Windows HPC
Server 2008
Windows Server 2008 Core
Drittanbieter
SQL Server 2008
Standard
Drittanbieter
HPC Pack
Windows
Server 2008
Enterprise
Windows HPC
Server 2008
•
•
•
Windows
Server 2008
Enterprise
Klein und leicht/kein UI/CLI
Hyper-V
Kein .NET Framework
Ressourcen
•
•
•
•
•
Microsoft HPC-Website – laden Sie jetzt die Beta-1-Version herunter!
– www.microsoft.com/hpc
Windows HPC-Community-Site
– www.windowshpc.net
Windows Server x64-Informationen
– www.microsoft.com/x64/
Windows Server System-Informationen
– www.microsoft.com/windowsserver
Die wichtigsten Fakten finden Sie auf dieser Website
– www.microsoft.com/getthefacts