Folien

*
Grid Computing
Einführung
Marc Lechtenfeld
Seminar Grid Computing – Sommersemester 2004 – Universität Duisburg-Essen
Übersicht
1
Problematik
2
Systemanforderungen
3
Architektur
4
Implementation
5
Projekte
6
Zusammenfassung
7
Ausblick
2
1. Problematik
„ In vielen Bereichen werden Computer zur Lösung von
unterschiedlichen Problemen eingesetzt
„ Komplexe Probleme, die nur mit aufwendige Analysen
und Problemlösungsstrategien gelöst werden können
„ Probleme können von heutigen Systemen trotz immer
leistungsfähigerer Systeme nicht in gewünschter Weise
gelöst werden
3
Ursachen
„ Große Datenmengen
„ Zeitaufwendige und anspruchsvolle Verarbeitung
„ Heterogene und dynamische Ressourcen
„ Verteilte Beteiligte und Ressourcen
4
Fehlende Technik
„ Zur Verfügung stehende Technologie wird den
Leistungsanforderungen nicht gerecht
„ Keine Integration der verschiedenen Ressourcen oder zu
wenig Flexibilität und Kontrolle
„ Es existiert keine integrierte Architektur zur zuverlässigen
und effizienten Problemlösung
5
2. Systemanforderungen
„ In Analogie zu einem Stromversorgungsnetz
möchte man ein Computational Grid
„ Bereitstellung und koordinierte Nutzung
unterschiedlichster Ressourcen
„ Leichter und zuverlässiger Zugang, wie der Bezug von
elektrischem Strom aus der Steckdose
6
Beispielszenario Astrophysik
„ Detektor empfängt ein Signal
„ Positionsbestimmung für die Beobachtung erfordert
aufwendige Analysen und zeitkritische Simulationen
„ Bestimmung und Auswahl geeigneter Ressourcen
„ Automatisches Verteilen der Aufgaben auf die
ausgewählten Maschinen und Start der Analysen
„ Benachrichtigung, dass weitere Daten benötigt werden
„ Benachrichtigung internationaler Kollegen, die passende
Simulation erstellen
7
Beispielszenario Astrophysik
„ Aufwandsbestimmung für die Verarbeitung
„ Aufteilen der Aufgabe auf mehrere Ressourcen
„ Verarbeitung wird durch die Nutzung mehrerer
Ressourcen automatisch optimiert
„ Nach Netzwerkzusammenbruch automatische
Verlegung der betroffenen Teilaufgaben
„ Währenddessen: Beobachtung des Fortschritts der
Simulation von verschiedenen Geräten aus
„ Positionsbestimmung und Beobachtung mit Hilfe der
Ergebnisse der Simulation und Analyse
8
Ressourcen
„ Verwendung heterogener Ressourcen
„ Gemeinsame Nutzung
„ Unterschiedliche Verfügbarkeit
9
System
„ Koordinierte Nutzung der verteilten Ressourcen
„ Zuverlässiges Arbeiten auch bei Ressourcenausfall
„ Optimale und dynamische Ressourcennutzung
„ Erweiterbarkeit um weitere Ressourcen
10
Zugriff
„ Einfache und transparente Nutzung
„
„
Zugriff wie auf einen einzigen, virtuellen Computer
Blackbox verbirgt technische Details
„ Nutzung unterschiedlicher Geräte für den Zugriff
„ Sicherheit durch Zugriffsbedingungen für Ressourcen
11
Eine Definition
Grid technologies and infrastructures
support the sharing and coordinated use of
diverse resources
in dynamic, distributed virtual organizations
Ian Foster et al.
Grid services for distributed system integration
12
3. Architektur
„ Schichtenmodell
„ Protokollarchitektur
13
Sanduhr Modell
„ Oberer Teil spezifiziert die einzelnen Anwendungen
„ Hals besteht aus wenigen Kernabstraktionen und Protokollen
„ Unteren Teil bilden die einzelnen Ressourcen
System kann beliebig erweitert werden, solange der Hals beibehalten wird.
14
Schichtenmodell – Fabrik Schicht
„ Einheitlicher Zugriff auf die
unterschiedlichen Ressourcen
„ Realisiert Hardware- und
Dienstunabhängigkeit
„ Implementiert die ressourcen-
spezifischen Operationen
„ Abfrage-Mechanismen
„ Ressourcen-ManagementMechanismen
15
Schichtenmodell
– Connectivity Schicht
ichten
„ Sichere Kommunikation zwischen
heterogenen Systemen
„ Kommunikations- und
Authentisierungsprotokolle
„ Merkmale der Authentisierung:
„ Single sign on
„ Delegation
„ Integration lokaler
Sicherheitslösungen
„ Benutzerbasierte
Vertrauensbeziehungen
„ Realisiert Systemunabhängigkeit
16
Schichtenmodell – Resource Schicht
„ Überwachung und Verwaltung der
einzelnen Ressourcen
„ Protokolle
„ Informations-Protokolle für
Zustandsinformationen
„ Management-Protokolle für
gemeinsames Arbeiten
17
Schichtenmodell – Collective Schicht
„ Nutzung mehrerer Ressourcen
„ Effiziente und zuverlässige
Bearbeitung der Aufgaben
„ Positions-/Ressourcenunabhängigkeit
„ Funktionen: …
18
Schichtenmodell – Collective Schicht (2)
„ Funktionen der Collective Schicht
„
„
„
„
„
Directory Services zum Auffinden von Ressourcen
Scheduling und Brockering Services zur Planung
von Aufgaben und der Belegung der Ressourcen
Monitoring und Diagnostic Services zur
Überwachung des Fortschritts
Data replication services für einen performanten
Zugriff
…
19
Schichtenmodell – Application Schicht
„ Unabhängigkeit von bestimmten
Programmen und Aufgaben
„ Programme der Benutzer, die mit
dem Grid interagieren
„ Nutzung verschiedener
Frameworks und Bibliotheken
20
Schichtenmodell - Beispiel
21
4. Implementation
„ OGSA – Open Grid Service Architecture
„
„
Weiterentwicklung des Globus Toolkits
Verbindet Grid Computing mit Web Service
Techniken
22
Globus Toolkit
„ Open-Source Implementation der Architektur
„ Einsatz in vielen Grid Projekten
„ Unterstützt den Aufbau von Grids und Grid Programmen
durch Dienste und Software Bibliotheken
„ wichtigsten Komponenten
„
„
„
GRAM mit Gatekeeper-Dienst für das sichere und
zuverlässige Erstellen und Verwalten der Services
MDS zum Auffinden und zum Lesen der
Konfigurations- und Statusinformationen
GSI für die Sicherheit
23
Service Orientierung
„ Services
„
„
„
Alle Ressourcen werden durch Services repräsentiert
Virtualisierung
„ Vermeidet Abhängigkeiten
„ Mehrere Logische Ressourcen können auf eine
physische Ressource zugreifen
„ Vereinfacht Angebot komplexer Dienste auf
verschiedenen Plattformen
Interoperabilität lässt sich in zwei Teilprobleme zerlegen:
„ Definition der Service Schnittstellen
„ Definition der Protokolle zum Aufruf
24
Web Services
„ Web Services
„
„
Web Anwendungen
Vorteile durch die Verwendung von Web Services:
„ Es existieren bereits Mechanismen zum Auffinden
und Aufrufen von Services
„
Nutzung einer Vielzahl von bestehenden Web
Services und Tools
25
Grid Services
„ Grid Service
„
„
Web Service, der
„ sich an bestimmte Konventionen hält
„ eine bestimmte Schnittstelle zur Verfügung stellt
Schnittstelle stellt verschiedene Funktionen bereit
„ zum Auffinden von Diensten und zum
Abfragen von Informationen
„ zum dynamisch Erstellen von Services und zur
Beeinflussung ihres Lebenszykluses
„ um bei Zustandsänderungen von den Diensten
benachrichtigt zu werden
26
OGSA Architektur
27
5. Projekte
Ausgewählte internationale Grid Projekte:
„ Biomedical Informatics Research Network – www.nbirn.net
„
„
„
„
Integration und Analyse biomedizinischer Daten
Earth System Grid - www.earthsystemgrid.org
Analyse großer Datenbanken für Klimamodelle
European Union Data Grid – www.eu-datagrid.org
Hochenergiephysik, Umweltwissenschaften und Bioinformatik
GridLab – gridlab.org
Grid-Techniken und –Anwendungen
Network for Earthquake Engineering Simulation –
www.neesgrid.org - Erdbebenforschung
28
Zusammenfassung
„ Viele Probleme verlangen nach komplexen Problemlösungs-
strategien, die mit heutiger Technologie nicht umgesetzt
werden können
„ Man wünscht sich eine Infrastruktur, die eine gemeinsame
und koordinierte Nutzung unterschiedlichster Ressourcen in
dynamischen und verteilten virtuellen Organisationen
ermöglicht
„ Realisiert werden die Eigenschaften durch eine
Protokollarchitektur mit fünf Schichten
„ Das Globus Toolkit und die serviceorientierte OGSA sind
zwei Implementierungen, die man zum Aufbau von Grids
und Grid Anwendungen verwenden kann.
29
„The ultimate goal is a fundamental shift in how
we go about solving human problems, and a new
way of interacting with technology”
Carl Kesselman
30
Probleme
„ Ressourcen sind durch ein Netzwerk verbunden
„ Geschwindigkeit der Netzwerkverbindung bestimmt
„
„
Effizienz der Verarbeitung
Art der Anwendungen, die vom Grid profitieren
31
„The ultimate goal is a fundamental shift in how
we go about solving human problems, and a new
way of interacting with technology”
Carl Kesselman
32