High Performance Computing mit Windows Windows HPC Server 2008 Wolfgang DREYER HPC - Produkt Manager Deutschland [email protected] Agenda Hohe Produktivität für HPC Überblick Windows HPC Server 2008 Partnerschaften Diskussion Geschäftsvorteile durch HPC Wettbewerbsvorteile Möglichkeiten zur Verbesserung der Betriebsleistung (Kosten, Qualität und Produkteinführungszeit) Qualitätsgerechte Compliance im Bezug auf behördliche Anforderungen Schnelle Zyklen der Produktinnovation End-to-End-Workflow Entwurf und Vorverarbeitung Konzept und Zielsetzung Entwurf Simulationen und Tests Simulation Analyse und Nachverarbeitung Analyse Resultat Aggregat (MB/s/Core) HPC-Speicherlösung Paralleldateisysteme Gemeinsame Dateisysteme oder SAN-Dateisysteme NAS und Cluster-NAS • IBM – GPFS • Panasas – Active Scale • HP – PolyServe • Ibrix – Fusion • Quantum – StorNext • SANbolic – Melio file system • Windows Server 2003 • Windows Server 2008 … Anzahl der Cores im Cluster Höherer Entwicklungsstandard Highspeed-Networking-Technologien Bandbreite Cisco Voltaire Qlogic Open Fabrics NetEffect Myricom Verfügbarkeit Aktuelle Umgebung Highspeed-Networking Cluster/Supercomputer Unternehmensinfrastruktur Speicherung Ingenieure Wissenschaftler Finanzanalysten Information Worker Spezialsprachen Mainstreamtechnologien Compiler Debugger High Productivity Computing Kombinierte Infrastruktur Integrierte Desktop- und HPC-Umgebung Vereinheitlichte Entwicklerumgebung Die Herausforderung Hürde: Integrationsfähigkeit • Mangel an nahtloser Integration zwischen Workstations, Clustern, Daten • Mangel an Anwender-Workflowintegration über verschiedene Anwendungen und Abteilungen hinweg Hürde:Technologieinseln • Isolierte Inseln erfordern viel manuelle Arbeit • Wenig End-to-End-IT-Prozessintegration • Existierende Investitionen in weitgefächerte IT-Qualifikationen und ITInfrastruktur können nicht genutzt werden Hürde: Anwendungsverfügbarkeit • Begrenzte Umgebung mit Parallelanwendungen • Mangel an entwicklerfreundlichen Tools, schwer zu programmieren „High-End-Computing muss leichter und produktiver anzuwenden sein. Der Fokus sollte auf „Time to Solution“ liegen, dem wichtigsten Wertmaß für High-EndComputing-Anwender … Eine gemeinsame Softwareumgebung für wissenschaftliches Computing von High-End-Systemen bis zu Standarddesktops wird die Produktivitätsgewinne durch die leichte Nutzbarkeit und Handhabung der Systeme steigern.“ High-End Computing Revitalization Task Force, 2004 (Office of Science and Technology Policy, Executive Office of the President) Warum Microsoft für HPC? Aktuelle Probleme HPC- und IT-Datencenter-Zusammenlegung: isoliertes Clustermanagement Entwickler können Parallelität schwer programmieren Anwender haben kaum Zugang zur Verbesserung der Verarbeitung von Kernprozessen und Daten Wie kann Microsoft helfen? Gut positioniert für die Mainstreamintegration von Anwendungsparallelitäten Hat bereits begonnen, Parallelität weitgehend für die Entwicklercommunity möglich zu machen Kann den Wert von HPC durch die Integration von Produktivitäts- und Managementtools steigern Investitionen von Microsoft in HPC Umfangreiches Softwareportfolio: Client, Server, Management, Entwicklung und Zusammenarbeit Engagierte Teams für Cluster-Computing Vereinheitlichte Parallelentwicklung durch die „Parallel Computing Initiative“ Partnerschaften mit technischen Computinginstituten Die HPC-Strategie von Microsoft: Expanding to the Enterprise Technologien Windows Compute Cluster Server 2003 Produktivität Entwickler-Tools IO Computing DatenSpeicherung Ressourcenmanagement Computing 2006−2007 2008 Allgemeine Managementund Produktivitätsplattform Allgemeine Entwickler-Plattform Visual Studio 2008 Parallel Computing für Desktop-Cluster Initiative NetworkDirect für sehr hohe Netzwerkeffizienz Skalierbare Unterstützung für Dateisysteme Key-Partner SOA-basiert; skalierbare Partner Key-Partner Schnelle Entwicklung Nutzungsbereite Anwendungsüberwachung Leichtes Management Windows HPC Server 2008 Märkte Phase 1: Unternehmenscluster MOSS, SQL, System Center Phase 2: allgemeine Plattform für Abteilungs- und Unternehmenscluster Die Microsoft-Vision für HPC Windows HPC ermöglicht Ihnen mehr zu erreichen! Und zwar in kürzerer Zeit und mit geringerem Aufwand: durch die Nutzung der bereits vorhandenen Anwenderfähigkeiten und durch Integration in/von bereits bestehende(n) Tools. Administrator Integrierte und sofort nutzbare HPC-Clusterlösung Vereinfachtes Setup und Deployment Integrierte Diagnosetools Effiziente Clusternutzung Integration in IT-Infrastrukturen und Richtlinien Anwendungsentwickler Integrierte Tools für paralleles Programmieren Hochproduktive Frameworks für Parallelprogrammierung Serviceorientierte HPCAnwendungen Unterstützt die wichtigsten HPC-Entwicklungsstandards UNIX-Anwendungsmigration Endanwender Nahtlose Integration in Workstationanwendungen Integration in bestehende Zusammenarbeits- und Workflowlösungen Sichere Ausführung von Aufträgen und sicherer Datenzugriff Integriertes HPC der Zukunft Clients/Auftragseinreichung Entwicklungstools Visual Studio: C#, C++, WCF, OpenMP, MPI, MPI.NET Traceanalyse Batch Applications SharePoint Profiling WCF-Anwendungen Excel Numerische Bibliotheken MPI Debugging CCSAuftragskonsole Windows Workflow Foundation MPI Tracing CCS Scripts UNIX/Linux System Windows HPC Server 2008Administrationskonsole System, Scheduling, Networking, Imaging, Diagnose Windows PowerShell System Center Operations Manager Windows HPC Server 2008 System Center Data Protection Manager Job Scheduler w/ Failover Administration APIs HPC Profile WCF Router Bestehende Clusterinfrastruktur Auftragsübermittlung APIs Fortran Administration Computerknoten Node Manager Annwendung WCF, C#, C++, Fortran New TCP/IP MPI mit NetworkDirect System Center Configuration Manager Windows Server Update Services Software Protection Services Managementdienstprogramme für Drittanbietersysteme Business Intelligence Speicherung Storage Storage SQLStrukturierte Speicherung Windows Speicherungs server mit DFS Schlüssel Partner Microsoft HPC Server 2008 Parallel/ Clusterspeicherung SQL Server Integration Services SQL Server Analyse Reporting Was ist neu in Windows Server 2008? Verlässlichkeit •´ Dynamische Partitionierung – • Hot Plug PCI Express/Memory, • Hinzufügen und Ersetzen von Prozessoren im laufenden Betrieb • Dateisysteme – selbstreparierendes NTFS Usability • • • • Windows 64bit Hypervisor - HyperV Neues Ereignisprotokoll/ neue Diagnosefunktion PowerShell Leistung • Speichermanagerleistung Schnellerer Festplattenzugriff für Auslagerungsdateien und gemappte Dateien, I/O-Eingabe/Ausgabe (das 64-KB-Limit gibt es nicht mehr) I/O-Priorität Basiert auf der Priorität des Issuing Thread oder der explizit definierten I/O-Priorität Verwendet von Windows Server 2008-Hintergrundaufgaben wie Indizierung • Erweiterungen die speziell die NUMA (Non-Uniform Memory Access) Funktionalität unterstützen • SMB 2.0 Unterstützt NTFS-Client-seitige symbolische Links Unterstützung für beliebige Buffergrößen für effizientere Kopierresultate mit 30 bis 40-fachen Durchsatzverbesserungen Was ist neu im HPC Pack 2008? Neues System Center-UI PowerShell für CLI-Management Hohe Verfügbarkeit für Hauptknoten Windows Deployment Services Diagnose- und Reportingtools Operations Manager wird unterstützt SOA und WCF werden unterstützt Genaues Ressourcen-Scheduling Verbesserte Skalierbarkeit für größere Cluster Neue Job-Scheduling-Richtlinien Interoperabilität via HPC-Profile Systemmanagement Networking und MPI NetworkDirect (RDMA) für MPI Verbesserter Netzwerkkonfigurationsassistent Shared Memory MS-MPI für Multicore MS-MPI integriert in Windows Event Tracing JobScheduling Speicherung Verbesserte iSCI SAN-Unterstützung in Win2008 Verbesserter Server Message Block ( SMB v2) Neue Drittanbieter-ParallelsystemDateiunterstützung für Windows Neue Memory-Cache-Anbieter Windows HPC Server 2008 Ready for Primetime Ort Hardware – Geräte Hardware – Networking Anzahl der Knoten Gesamtanzahl Cores Gesamtspeicher Angaben für aktuelle Linpack-Runs Beste Linpack-Rate bisher Beste Clustereffizienz bisher Als Vergleich … Linpack-Rate Juni 2007, Top500 (#106), auf der gleichen Hardware Clustereffizienz Juni 2007, Top500 (#106), auf der gleichen Hardware Typische Top500-Effizienz für Clovertown-Motherboards mit IB unabhängig vom Betriebssystem Tukwila, WA 256 Dual-CPU, Quadcore-Intel-5320Clovertown-1,86-GHz-Prozessor und 8 GB RAM Private und öffentliche Netze: Broadcom GigE MPI: Cisco Infiniband (IB) SDR inkl. 34 IB Switches in Leaf- und Knotenkonfiguration 256 2048 2+ TB RAM 11,75 TeraFLOPS 77,1 % 8,99 TeraFLOPS #X Top 500 30 % Effizienzsteigerung mit der gleichen Hardware 59 % 65−77 % (2 Instanzen von 79 %) Deployment in wenigen Stunden Freigabe: November 07 Beta 1 Sommer 08 RTM Höhere Effizienz für Systemadmins • • • • Einfach im Setup und Management in einer vertrauten Umgebung – Nutzungsbereite Clusterlösungen durch OEMs – Vereinfachtes System- und Anwendungsdeployment • Basisimages, Patchs, Treiber, Anwendungen Fokus auf leichtem Management – Umfassende Diagnose-, Trouble Shootingund Überwachungstools – Vertrautes, flexibles und „zentrales“ Managementinterface – Entsprechende Befehlszeilenunterstützung für automatisches Management Skalierbarkeit – Skalierbares Deployment, Administration, Infrastruktur – Hauptknoten-Failover – Clusternutzungsreporting – Computerknotenfilterung Bessere Integration ins Unternehmensmanagement – Patchmanagement – System Center Operations Management – PowerShell – Windows 2008-Hochverfügbarkeitsservices System Center Operations Manager Produktivere HPC-Umgebung • Vorgespeicherte Reports für Überwachung aus Endanwenderperspektive • Sicherheitsloganalyse und -reporting Skalierbare Überwachung • Überwachungsanwendungen laufen in einer skalierbaren, dezentralen Umgebung • Skalierbar mit abgestuften Managementservern • Überwachung ohne Agents Höhere Effizienz und Kontrolle • Verbessertes Design für mehr Sicherheit • Active Directory-Integration • Erweiterte Lösung mit Management Packs Hochverfügbarer Hauptknoten • • “Single point of error” werden durch die Failover-Lösung eliminiert Erfordert Windows Server 2008 Enterprise Failover Clustering Services – Die nächste Generation der Clusterservices Privates – Große Verbesserungen bei der Netzwerk Konfigurationsvalidierung und im Management Windows • HPC Pack enthält: Failover Clustered – Setupintegration mit Failover Clustering Services • Hauptknoten- und Failoverknoten-Setup mit SQL Failover Cluster Hauptknoten Failoverhauptknoten Win2008 Enterprise • Job-Scheduler-ServicesWin2008 Enterprise Clustered SQL Server Clustered SQL Failover Server – Managementkonsole verbunden Gemeinsame mit Windows Server-FailoverFestplatte Managementkonsole NetworkDirect Ein neues RDMA-Networking-Interface für mehr Geschwindigkeit und Stabilität • Prioritäten – Vergleichbar mit hardwareoptimierten MPIImplementierungen • Fokus auf MPI-Only-Lösung für Version 2 – Verbs-basiertes Design für nahtlose Integration in native High Performance Networking Interfaces – Koordiniert mit Win Networking Teamlangzeitpläne Implementierung – MS-MPIv2 für 4 Networkingpfade • Gemeinsamer Speicher für Prozessoren auf einem Motherboard • TCP/IP-Implementirung („normales“ Ethernet) • Winsock Direct (und SDP) für socketsbasiertes RDMA • Neues RDMA-NetworkingInterface – HPC-Teampartner mit NetworkingIHVs zur Entwicklung und Distribution von Treibern für dieses neue Interface Socketbasierte Anwendung MPI-Anwendung MS-MPI Windows Sockets (Winsock + WSD) RDMANetzwerk Networking Networking Networking Winsock DirectNetworking Hardware NetworkDirectHardware Hardware Provider Hardware Provider Networking Hardware Hardware Networking Awendermodus-Zugangsebene TCP/EthernetNetzwerk TCP Kernelbypass • IP NDIS Networking Networking Mini-PortHardware Hardware Treiber Networking Hardware Hardware Networking Hardwaretreiber NetworkingHardware Hardware Networking Netzwerkhardware (ISV) Anw. CCPKomponente OSKomponente IHVKomponente Interoperabilität und Open-Grid-Forum LSF/PBS/SGE/Condor Linux, AIX, Solaris HPUX, Windows Windows Cluster Windows Center Windows Center Parallelprogrammierung • • • Jetzt erhältlich: – Debugging (für Entwicklung/Parallelprogrammierung) in Visual Studio – Compiler, Debugger, Runtimes et cetera von Drittanbietern Neue Technologien: Parallelframework – LINQ/PLINQ – natürliche OO-Sprache für SQL-Abfragen in .NET – C# Futures – für Loops beim Parallelprogrammieren Für die Zukunft: Parallel Computing Initiative (PCI) – Dreifachinvestment mit einem neuen Engineeringteam – Gemeinsame Entwicklertools für Multicore-Codes vom Desktop bis zu Clustern Profiler und Tracer Compiler • • • • • • • Visual Studio Intel C++ Gcc PGI Fortran Intel Fortran Absoft Fortran Fujitsu • • • • • • • PerfMon ETW (für MS-MPI) VSPerf/VSCover CLRProfiler Vampir (portiert an Windows) Intel Collector/ Analyzer (läuft auf CCS mit Intel MPI) • Vtune & CodeAnalyst • Marmot (portiert an Windows) • MPI Lint++ Laufzeit und Bibliotheken Debugger • Visual Studio • WinDbg • DDT • • • • • MPI OpenMP C# Futures MPI.C++ and MPI.Net PLINQ Versionsvergleich Feature Windows Compute Cluster Server 2003 Windows HPC Server 2008 Betriebssystem Windows Server 2003 SP1 Windows Server 2008 Prozessortyp X64 (AMD64 oder Intel EM64T) X64 (AMD64 oder Intel EM64T) Knotendeployment Remote Installation Services (RIS) Windows Deployment Services Hauptknotenredundanz K. A. Management Basisknoten- und Jobmanagement Windows Failover Clustering und SQL Server Failover Clustering Integriertes Knoten- und Auftragsmanagement, Gruppierung, Überwachung auf einen Blick, Diagnose Netzwerktopologie Network Configuration Wizard Verbesserter Netzwerkkonfigurations-Assistent MS-MPI Winsock Direct-basiert NetworkDirect-basiert. Neue Shared-MemoryImplementierung für Multicoreprozessoren Befehlszeilen oder GUI Integriert in die Managementkonsole, mit voller Unterstützung für Windows PowerShellScripting und Legacy-Befehlszeilen-UI-Scripts aus v1. Umfassend verbesserte Geschwindigkeit und Skalierbarkeit Scheduler Reporting K. A. Überwachung Baut auf Windows auf. Keine clusterspezifische Unterstützung Diagnose K. A. Integriert in die Managementkonsole. Erweiterbarkeitsfeatures ermöglichen die Verwendung von SQL Analysis Services für zusätzliche Analysen Hot Mapping (an Clustern oder Knotengruppen). Clusterweite Leistungsüberwachung Integrierte Verifizierungs- und Leistungstests. Testergebnisse und Testhistorien können gespeichert, gefiltert und gelesen werden Versionen Techn. Vorschau August 2008 • • • • Beta 1 Nov. 2008 Beta 2 Frühjahr 2008 Technische Vorschau (Private Release) Beta 1 – jetzt erhältlich! Beta 2 – zusammen mit Windows Server 2008 RTM RTM – 90 bis 120 Tage nach Windows RTM RTM Sommer 2008 Branchenbasierte Lösungen Bildung Luftfahrt Automotive Finanzdienste Geologische Dienste Regierung Medizin, Pharma Windows HPC Server 2008-Angebote Basisangebot, sofort nutzbar • • • Sofort nutzbare Lösung für bis zu 1000 Knoten HPC Pack • Management • Deployment • Job-Scheduling Drittanbieterpackages für Job-Scheduling Hochverfügbarkeit • • • Unternehmensmanagement • • Kein einzelner Fehlerpunkt Windows Server 2008 Enterprise für hohe Verfügbarkeit des Hauptknotens SQL Server 2008 Enterprise für hohe Verfügbarkeit • Größe bis zu vielen Tausend Knoten System Center Operations Manager für hochentwickelte Überwachung System Center Configuration Manager für verbessertes Deployment und Patchmanagement System Center Configuration Manager System Center Operations Manager SQL Server 2008 Express HPC Pack Drittanbieter Windows HPC Server 2008 SQL Server 2008 Standard HPC Pack Windows HPC Server 2008 Windows Server 2008 Core Drittanbieter SQL Server 2008 Standard Drittanbieter HPC Pack Windows Server 2008 Enterprise Windows HPC Server 2008 • • • Windows Server 2008 Enterprise Klein und leicht/kein UI/CLI Hyper-V Kein .NET Framework Ressourcen • • • • • Microsoft HPC-Website – laden Sie jetzt die Beta-1-Version herunter! – www.microsoft.com/hpc Windows HPC-Community-Site – www.windowshpc.net Windows Server x64-Informationen – www.microsoft.com/x64/ Windows Server System-Informationen – www.microsoft.com/windowsserver Die wichtigsten Fakten finden Sie auf dieser Website – www.microsoft.com/getthefacts