DataService - Universität Passau

Hauptseminar Data Grid
am Lehrstuhl für verteilte Informationssyteme (Universität Passau)
Referent: Andreas Scherbauer
Datum: 31. Mai 2006
OGSA-DAI
OGSA-DQP
Überblick
●
●
OGSA-DAI
–
Definition
–
Designziele
–
Komponenten im Detail
–
Komponenten in Interaktion (Beispiel)
OGSA-DQP
–
Überblick
–
Anfragebehandlung (Beispiel)
DAI – Data Access & Integration
●
Was ist DAI?
●
Was soll DAI leisten?
●
Wie ist der Zusammenhang mit grid?
Zitat von der OGSA-DAI Homepage:
„The aim of the OGSA-DAI project is to
develop middleware to assist with access
and integration of data from separate
sources via the grid.“
DAI – Data Access & Integration
Designziele um Entwickler zu unterstützen:
●
Einfache APIs
●
Datenzugriff durch konventionelle Methoden
●
„Extension points“ zum Erweitern (zB DQP)
Gemeinsame Abstraktionsebene für
verschieden Datenresourcen:
●
●
Versteckt XML und SOAP Anfragen
Transparent gegenüber verschiedenen
Versionen von WSI und WSRF
Benutzen eines DataService
Client
Client sendet Request an DataService
Request
Activity
Activity
Activity
DataService
Request besteht aus 1..n Activity Elementen
Benutzen eines DataService
Client
DataService bearbeitet Anfrage und antwortet
Response
Result
Result
Result
DataService
Response besteht aus 1..n Result Elementen;
für jedes Activity Element ein Result
ServiceFetcher
getInstance()
GenericServiceFetcher
getDataService(URL, resourceID)
Client
perform(Request)
DataService
Request und Activity
Ein Request besteht aus 1..n Activity Elementen
● Activities können nebenläufig oder sequenziell sein
● Activity beschreibt auszuführende Aktion, wie:
 Datenquelle benutzen (Queries)
 Umwandlung von Daten (Transformation)
 Auslieferung/Rückgabe von Ergebnissen
● Daten fließen zwischen Activities
●
SQLQuery
java.sql.ResultSet
XML Daten
DeliverToURL
WebRowSet
Activity im Detail
●
●
●
Eine Activity (Javaklasse) für jede Aktivität,
die ein DataService unterstützt
Activities sind unabhängig von der
serverseitigen Umsetzung (WSI, WSRF)
Einfach zu Parametrisieren
SQLQuery q1 = new SQLQuery(
„SELECT * FROM GeneTable WHERE id<10000“);
SQLQuery q2 = new SQLQuery(
„SELECT * FROM GeneTable WHERE id>? AND id<?“);
q2.setParameter(1, „10“);
q2.setParameter(2, „20“);
Activities parallel/sequenziell
●
Sequence verarbeitet nacheinander
●
Flow verarbeitet nebenläufig
●
Komplexere Steuerung mit Verschachtelung
–
von RequestComponent abgeleitet
–
RequestComponent als Unterelemente
Sequence
SQLUpdate
SQLQuery
Flow
SQLQuery
SQLQuery
Sessions
Jedem Request ist eine Session zugeordnet
● Session erlaubt Datentransfer zwischen
einzelnen Requests
●
Session
Attribute
Request
Request
Activity
Activity
Zeit
●
Session gezielt wählen mittels
SessionRequirements und JoinExistingSession
Daten-ein/-ausgabe (Delivery)
DeliverToGFTP DeliverFromGFTP
DeliverToURL DeliverFromURL
DataService
DeliverToSMTP
DeliverToURL DeliverFromURL
DeliverToFile DeliverFromFile
DeliverToDT DeliverFromDT
GridFTP
WWW server
SMTP server
FTP server
Filesystem
DataService
Beispiel Datenintegration (1)
Client
select, DeliverToDT
select, DeliverToDT
DataService
DS1
MySQL
DataService
DS2
DB2
DeliverFromDT, BulkLoad, Merge
deliver
DataService
DS3
deliver
Oracle
Beispiel Datenintegration (2)
1. Alle drei DataService Objekte holen:
ServiceFetcher fetcher = GenericServiceFetcher.getInstance();
DataService ds1 = fetcher.getDataService(
„http://www.genes.org/DS1“, „MySQLResource“);
DataService ds2 = fetcher.getDataService(
„http://www.moregenes.org/DS2“, „DB2Resource“);
DataService ds3 = fetcher.getDataService(
„http://www.evenmoregenes.org/DS3“, „OracleResource“);
Beispiel Datenintegration (3)
2. Anfragen erstellen und senden:
SQLQuery query1 = new SQLQuery(
„SELECT * FROM GeneTable WHERE id<10000“);
WebRowSet rowset1 = new WebRowSet(query1.getOutput());
DTOutputStream output1 = new DTOutputStream(rowset1.getOutput);
ActivityRequest request1 = new ActivityRequest();
request1.addActivity(query1);
request1.addActivity(rowset1);
request1.addActivity(output1);
ds1.perform(request1);
Für DS2 sind die Schritte fast analog
Beispiel Datenintegration (4)
Client
select, DeliverToDT
DataService
DS1
MySQL
DataService
DS2
DB2
select, DeliverToDT
Beispiel Datenintegration (5)
3. DS3 empfängt und verarbeitet Ergebnisse:
DeliverFromDT deliver1 = new DeliverFromDT();
SQLBulkLoad load1 = new SQLBulkLoad(
deliver1.getOutput(), „table1“);
DeliverFromDT deliver2 = new DeliverFromDT();
SQLBulkLoad load2 = new SQLBulkLoad(
deliver2.getOutput(), „table2“);
//connect the data ­inputs and ­outputs
deliver1.setDataTransportInput(output1.getDataTransport());
deliver2.setDataTransportInput(output2.getDataTransport());
ActivityRequest request3 = new ActivityRequest();
request3.addActivity(deliver1);
request3.addActivity(load1);
request3.addActivity(deliver2);
request3.addActivity(load2);
ds3.perform(request3);
Beispiel Datenintegration (6)
Client
DataService
DS1
MySQL
DataService
DS2
DB2
DeliverFromDT, BulkLoad
deliver
DataService
DS3
deliver
Oracle
Beispiel Datenintegration (7)
4. DS3 verbindet die Ergebnisse:
SQLQuery merge = new SQLQuery(
„SELECT * FROM table1, table2 WHERE ...“);
WebRowSet rowset = new WebRowSet(merge.getOutput());
ActivityRequest request3 = new ActivityRequest();
request3.addActivity(merge);
request3.addActivity(rowset);
ds3.perform(request3);
Beispiel Datenintegration (8)
Client
DataService
DS1
MySQL
DataService
DS2
DB2
Merge
DataService
DS3
Oracle
Soviel zu OGSA-DAI
●
●
●
●
OGSA-DAI Client Toolkit vereinfacht die
Entwicklung von Clients die auf OGSA-DAI
DataService Dienste zugreifen
Bietet eine gemeinsame Abstraktion für
die benutzten Dienste WSI und WSRF
Versteckt XML und die Interaktion mit den
einzelnen Diensten
Bietet etwas Schutz vor Änderungen in
der Implementierung in den
zugrundeliegenden Diensten
Distributed Query Processing
●
●
●
●
OGSA-DQP ist ein service-basierter
„verteilter Anfrageprozessor“
Bietet seine Fähigkeiten wiederum als
Service an
Verarbeitet Anfragen auf verteilten
Resourcen (OGSA-DAI DataSource,
WebService)
Durch Erweiterung von DAI realisiert
DQP als Zwischenschicht
Anfrage
Ergebnis
●
OGSA DQP
●
OGSA DAI
OGSA DAI
●
DBMS
DBMS
Middleware Ansatz
wie bei OGSA-DAI
DQP kann als
Vermittlerschicht
über DAI
Datenresourcen
betrachtet werden
Kann selbst als Grid
Service benutzt
werden
DQP – die Hauptkomponenten
Grid Distributed Query Service (GDQS):
●
●
●
„Coordinator“
kompiliert, optimiert , partitioniert und plant
Anfragen
basiert in Teilen auf „Polar“
Query Evaluation Service (QES)
●
„Evaluator“
●
führt geplante Partitionen von Anfragen aus
DQP im Detail
●
DQP
reduce
DQP
join (A1,B1)
DQP
scan (A)
DQP
join (A2,B2)
●
DQP
scan (B)
DAI
DAI
DBMS
DBMS
●
DQP Anfragen können
über verschiedene
Knoten verteilt
ausgeführt werden
Operatoren (wie join)
können parallel
ausgeführt werden
DQP kompiliert,
optimiert und plant
die Anfrage für die
Ausführung auf den
verfügbaren Knoten
DQP Anfragebehandlung
Anfrage (Query)
Optimierung für einzelnen Knoten
Parser
Logische
Optimierung
Physikalische
Optimierung
Optimierung für mehrere Knoten
Partitionierer
Scheduler
Evaluators
Anfrageergebnisse (Query Results)
DQP Beispiel (1)
●
Gegeben sind zwei DBMS und ein Analysedienst:
–
goTerm – Gen Ontologie DBMS (realisiert als DAI
DataService)
–
protein – Proteinsequenz DBMS (realisiert als DAI
DataService)
–
Blast – Bewertet Sequenzausrichtungen (realisiert als
WebService)
●
Einzelne Anfrage referenziert mehrere Orte
●
Anfragen in OQL (Object Query Language):
SELECT p.proteinId, Blast(p.sequence)
FROM protein p, goTerm t
WHERE t.termId=“GO:0005942“ AND p.proteinId = t.proteinId
DQP Beispiel (2)
Logische Optimierung
reduce
op_call
(Blast)
join
(proteinId)
reduce
scan
(protein)
reduce
SELECT p.proteinId, Blast(p.sequence)
FROM protein p, goTerm t
WHERE t.termId=“GO:0005942“
AND p.proteinId = t.proteinId
●
●
Der Plan wird als logische
Algebra ausgedrückt
Konstruiert werden mehrere
Pläne mit gleichem Ergebnis
scan
termId=GO:0005942
(goTerm)
DQP Beispiel (3)
Physikalische Optimierung
reduce
SELECT p.proteinId, Blast(p.sequence)
FROM protein p, goTerm t
WHERE t.termId=“GO:0005942“
AND p.proteinId = t.proteinId
op_call
(Blast)
hash_join
(proteinId)
●
●
reduce
table_scan
(protein)
reduce
Der Plan wird als physikalische
Algebra ausgedrückt
Der auszuführende Plan wird
durch Kostenvergleich aus
mehreren äquivalenten Plänen
ausgewählt
table_scan
termId=GO:0005942
(goTerm)
DQP Beispiel (4)
Partitionierung der Anfrage
reduce
op_call
(Blast)
exchange
SELECT p.proteinId, Blast(p.sequence)
FROM protein p, goTerm t
WHERE t.termId=“GO:0005942“
AND p.proteinId = t.proteinId
hash_join
(proteinId)
exchange
reduce
table_scan
(protein)
exchange
reduce
table_scan
termId=GO:0005942
(goTerm)
●
●
Der Plan wird als parallele
Algebra ausgedrückt
An Datenübergabepunkten
werden „exchange“
Operatoren eingefügt
DQP Beispiel (5)
Planen der Ausführung
reduce
op_call
(Blast)
exchange
SELECT p.proteinId, Blast(p.sequence)
FROM protein p, goTerm t
WHERE t.termId=“GO:0005942“
AND p.proteinId = t.proteinId
hash_join
(proteinId)
exchange
reduce
table_scan
(protein)
exchange
reduce
table_scan
termId=GO:0005942
(goTerm)
●
Operatoren an Grid-Knoten
zuweisen zur Auswertung
OGSA-DQP – ein Fazit
●
●
●
DQP ist ein service-basierter Anfrageprozessor, der:
–
als Service realisiert ist
–
unter Verwendung von vorhandenen Services implementiert
ist
DQP zeigt wie die OGSA-DAI „Extensibility Points“
benutzt werden:
–
Activity wird hinzugefügt
–
implementiert neue DataResourceAccessors
Vorteile
–
Nebenläufigkeit wird durch OGSA-DAI realisiert
–
DQP kann vielfältige Transfermöglichkeiten von DAI nutzen
–
DQP wird durch DAI abgeschirmt von der verwendeten
Plattform (WSI, WSRF)
Quellen
●
●
http://www.ogsadai.org.uk/
http://www.ogsadai.org.uk/documentation/
ogsadai-wsi-2.2/doc/api-docs/index.html
●
http://www.neresc.ac.uk/projects/OGSA-DQP/
●
http://www.mygrid.org.uk/
●
http://www.cs.man.ac.uk/~gounaris/
ahm2003-ogsa-dqp.pdf
Ende
Danke für die Aufmerksamkeit
- Ende -