GESIS Wiesbaden 12. Mai 2006 D-Grid: Neue Forschungsmoeglichkeiten durch Grid-Technologien Wolfgang Gentzsch, D-Grid, North Carolina Grid, Global Grid Forum [email protected] GESIS Wiesbaden 12. Mai 2006 Themen Was ist ein Grid ? Warum Grids ? Die deutsche Grid Initiative Grid-Anwendungen: Beispiele Vision GESIS Wiesbaden 12. Mai 2006 Was ist ein Grid ? Verteilte, vernetzte Computing- und Daten-Ressourcen Die zugrunde liegende IT-Infrastruktur fuer globales HPC Networking und Computing Infrastruktur fuer Utility Computing Verteilte Plattform fuer gemeinsam genutzte Experimente und Instrumente Die naechste Generation der Enterprise IT Architektur Die naechste Generation von Internet und WWW Computing aus der Steckdose usw….. GESIS Wiesbaden 12. Mai 2006 Grid: eine Beschreibung . . . Alte Welt Neue Welt Statisch Dynamisch Silo Offen Physikalisch Courtesy Mark Linesch, GGF Virtuell Manuell Automatisch Anwendungen Services Von Silo-Orientierter Architektur zur Service-Orientierten Architektur GESIS Wiesbaden 12. Mai 2006 Warum Grids ? • Ressourcen Auslastung: von bisher 20% auf im Grid 80% • Produktivitaet: mehr Arbeit in kuerzerer Zeit • Business Flexibilitaet: flexibles Anpassen der Ressourcen an dynamische Business-Prozesse • On Demand: man bekommt Ressourcen, wenn man sie braucht • Einfacher Zugriff: transparent, remote, sicher, von ueberall • Kollaborativ: Zusammenarbeit uebers Internet • Failover: migrate/restart Anwendungen automatisch • Ressource Virtualisierung: Zugriff auf Services, nicht Server • Heterogenitaet: Plattformen, OSs, Devices, Software • Virtuelle Organisationen: Auf- u Abbau von Ressourcen ‘on the fly’ GESIS Wiesbaden 12. Mai 2006 Globale Grid Community GESIS Wiesbaden 12. Mai 2006 …und 1000e von Enterprise Grids • Life Sciences ● Electronic Design Startup and cost efficient Time to Market Custom research or limited use applications Fastest platforms, largest Grids Multi-day application runs (BLAST) License Management Exponential Combinations Well established application suite Limited administrative staff Large legacy investment Complementary techniques Platform Ownership issues ● Financial Services ● Market simulations Time IS Money High Performance Computing Parallel Reservoir Simulations Proprietary applications Geophysical Ray Tracing Multiple Platforms Custom in-house codes Multiple scenario execution Large scale, multi-platform execution Need instant results & analysis tools GESIS Wiesbaden 12. Mai 2006 Die deutsche D-Grid Initiative *) “Services for Scientists” *) gefoerdert vom BMBF 2005 - 2008 GESIS Wiesbaden 12. Mai 2006 E-Science in Deutschland Aktionsprogramm der Bundesregierung: “Informationsgesellschaft Deutschland 2006” “Die Entwicklung einer deutschen e-Science Initiative ist eine strategische Aufgabe” “E-Science in Deutschland soll primär die Wissenschaft fördern und durch die Wissenschaft getragen werden, aber gleichzeitig vielfältige Ansätze für eine Zusammenarbeit mit der Wirtschaft aufzeigen.” Langfristige Zielsetzung: “Services for Scientists” , sich selbst tragende Dienstleistungen für die Wissenschaft GESIS Wiesbaden 12. Mai 2006 Ziele e-Science Initiative Aufbau einer Grid-Infrastruktur in Deutschland Bündelung der deutschen Grid-Aktivitäten bzgl. Infrastruktur, Middleware und Anwendungen Integration der in den Community-Grids entwickelten Grid-Middlewarekomponenten Entwicklung von e-Science-Diensten für die Wissenschaft Science-Service-Grid (urspruenglich) F&E-Service Grids (DGrid2: Einbeziehen v Industrie) Kritisch: Nachhaltigkeit nach Ende der Projektförderung BMBF Integration neuer Communities (2. Generation) Geschäftsmodelle GESIS Wiesbaden 12. Mai 2006 D-Grid Struktur Community Grids Application Application Grid specific Developments Grid specific Development CG Middleware CG Middleware Information and Knowledge Management Generic Grid Middleware and Grid Services Integration Project GESIS Wiesbaden 12. Mai 2006 Courtesy Dr. Krahl PT/BMBF Verbundübergreifende Zusammenarbeit Im Wissensnetz WIN-EM WIKINGER Textgrid MediGrid IN-Grid HEP-Grid C3-Grid Astro-Grid ONTOVERSE Wissensmanagement D-Grid Generische Grid-Middleware und Grid-Services VIOLA GESIS Integrationsprojekt Wiesbaden 12. Mai 2006 eSciDoc Übersicht GESIS Wiesbaden 12. Mai 2006 Quasi-Standard Werkzeuge Beispiel: Das Globus Toolkit Globus Toolkit bietet 4 Basisfunktionen zum Aufbau von Grids 2. Auffinden von Ressourcen, MDS 3. Versenden von Jobs, GRAM 4.Datentransfer, GridFTP 1. Sichere Umgebung, GSI Courtesy Gridwise Technologies GESIS Wiesbaden 12. Mai 2006 D-Grid Middleware User Application Development and User Access GAT API GridSphere Plug-In Nutzer Scheduling Workflow Management High-level Grid Services Monitoring Data management Basic Grid Services UNICORE LCG/gLite Accounting Billing User/VO-Mngt Globus 4.0.1 Security Resources in D-Grid GESIS Distributed Data Archive Data/ Software Network Infrastructur Distributed Compute Resources Wiesbaden 12. Mai 2006 D-Grid-2 Ausschreibung Aufbau von “Service Grids fuer Forschung und Entwicklung”, Basierend auf der existierenden D-Grid Infrastruktur Kooperationen von Wissenschaft, Wirtschaft und Service Provider Zielt auf dauerhaft tragfaehige Geschaeftsmodelle ab 3 Themenfelder: - generische Service Provider Grids (horizontal) - Community Grids (vertikal) - Ergaenzungen/Ausbau D-Grid Ankuendigung April 06, Projektskizzen Juni 02, Volumen ca 20ME GESIS Wiesbaden 12. Mai 2006 Grid Anwendungen Beispiele GESIS Wiesbaden 12. Mai 2006 InGrid: Virtuelle Prototypen und Modellierung in der Industrie Strömungsprozesse Grundwassertrans portprozesse Verteilte simulations-basierte Produkt- und Prozessoptimierung Unterstützung von ingenieurspezifischen Workflows Wissensbasierte Unterstützung von ingenieurspezifischen Entscheidungsprozessen Gridspezifische Methoden Entwicklungen und Modelle zur Lösung ingenieurspezifischer Probleme im Grid Integrationsprojekt GESIS AP 2 AP 3 AP 4 Wiesbaden 12. Mai 2006 Fluid-Struktur/ Magneto-Hydro dynamik Kopplung Gridspezifische Entwicklungen Sicherheits- und Vertrauensmodelle Umformprozesse Kooperations- und Geschäftsmodelle Gießprozesse C3 Grid: Collaborative Climate Community Data and Processing Grid Climate research moves towards new levels of complexity: Stepping from Climate (=Atmosphere+Ocean) to Earth System Modelling Earth system model wishlist: Higher spatial and temporal resolution Quality: Improved subsystem models Atmospheric chemistry (ozone, sulfates,..) Bio-geochemistry (Carbon cycle, ecosystem dynamics,..) Increased Computational demand factor: O(1000 -10000) GESIS Wiesbaden 12. Mai 2006 MediGrid: Mapping von Characteristica, Eigenschaften, Rohen Daten, usw Raw Data Population Metadata Illness Organ/Tissue Metadata Metadata Patient Molecule Metadata Metadata Access Control Search, Find, Select Homogenization Target data Correlate, Process, Analyze Resulting Data Presentation Final Result GESIS Wiesbaden 12. Mai 2006 Cell Metadata TextGrid Modulare Plattform für verteilte, kooperative wissenschaftliche Textdatenverarbeitung. Erstellung eines Community-Grid für die Geisteswissenschaften TextGrid Workbench 1. 2. 3. 4. 5. GESIS Publishing Text Processing Text Retrieval Linking Workflow Wiesbaden 12. Mai 2006 Tele-Science Grid coordinated problem solving on dynamic and heterogeneous resource assemblies DATA ACQUISITION ADVANCED VISUALIZATION ,ANALYSIS QuickTime™ and a decompressor are needed to see this picture. COMPUTATIONAL RESOURCES IMAGING INSTRUMENTS LARGE-SCALE DATABASES Courtesy of Ellisman & Berman /UCSD&NPACI GESIS Wiesbaden 12. Mai 2006 Vision: Anyone, anywhere, anytime, any device Integration neuer Instrumente und Informationsquellen: zB Handy, PDA, intelligente Sensoren, Sensornetze, Gesundheitsmonitore, usw Komponenten in Autos, Maschinen, Strassen, Bruecken, Kleidung,… Echtzeit-Analyse von riesigen Datenmengen Policies, Grid Economy, fuer stabilen, effizienten Service-Betrieb Ueberwinden politischer, organisatorischer, sozialer Grenzen GESIS Wiesbaden 12. Mai 2006 The Innovation Engine Danke ! Folien sind verfuegbar: [email protected] GESIS Wiesbaden 12. Mai 2006