- Universität Stuttgart

Universität Stuttgart
as
Anwendungssoftware
SRC: SimTech: Data Provisioning
for Scientific Workflows
DWISS-Treffen 29.10.2008
Peter Reimann
Universität Stuttgart
IST-Zustand
as
Anwendungssoftware
• Eingabe- und Ausgabedaten für Simulationsworkflows werden immer komplexer und größer
ÎEffiziente Datenhaltung und Datenbereitstellung
essentiell für zukünftige Simulationstechnologien
• Bis jetzt: Meist dateibasierte Datenhaltung
ƒ Proprietäre Formate
ƒ Transformation der Daten für andere Simulationen
ƒ Finden der richtigen Datenquellen
ÎZu großer Aufwand
29. Oktober 2008
2
Universität Stuttgart
Grobes Ziel
as
Anwendungssoftware
• Ausnutzen existierender DB-Technologien:
ƒ Zuverlässiger Umgang mit großen Datenmengen
ƒ Leicht zu bedienende Technologien für
Š
Š
Š
Š
Datenbeschaffung
Datentransformation
Datenarchivierung
Metadatenmanagement usw.
ƒ Wissenschaftler müssen keine systemnahen Details
der Datenbeschaffung spezifizieren
ÎProduktivitätssteigerung
29. Oktober 2008
3
Universität Stuttgart
as
Anwendungssoftware
Ein möglicher Weg
• Zugriff auf Daten über
Provisioning
einheitliche Schnittstelle
Flow
• Menge von (De-)ProvisioningTechniken nötig
• Erweiterung der
SimulationsWorkflowsprache um diese
workflow
Techniken
• z.B. BPEL/SQL
ÎRestrukturierung/Optimierung
Deprovisioning
Flowdes gesamten
Simulationsprozesses
Simulationsprozess
29. Oktober 2008
4
Universität Stuttgart
Erste Arbeitspakete
as
Anwendungssoftware
• Datenbeschreibung und Datentransformationen
ƒ Einheitlicher Zugriff (Abstraktion)
ƒ möglichst kompakt und komprimiert
• Metadaten-Management
• Auswahl geeigneter DB-Architekturen und
DB-Technologien
ƒ Hohes Datenvolumen, Skalierbarkeit
ƒ Geeignetes Maß an Abstraktion
• Datenreduktion (Optimierung)
• Sicherer und autorisierter Zugriff auf Daten
29. Oktober 2008
5
Universität Stuttgart
as
Anwendungssoftware
Erstes Beispiel: DUNE
• Wie geht DUNE mit Datenmengen um?
• Verbesserung des Daten-Managements?
29. Oktober 2008
6
Universität Stuttgart
BPEL/SQL in Apache ODE
as
Anwendungssoftware
• Realisierung der Einbindung von
SQL-Anweisungen in BPEL in Apache ODE:
ƒ Erweiterung des BPEL-Standards
ƒ Realisierung einer Datenbankanbindung in ODE
ƒ Anpassung von ODE, so dass Erweiterungen des
BPEL-Standards unterstützt werden
ƒ Erweiterung des Eclipse BPEL-Designers
29. Oktober 2008
7