Strukturbasierte Abbildung von XML auf relationale Datenbanken

Strukturbasierte Abbildung
von XML auf relationale
Datenbanken
XML & Datenbanken
SS 2004
Marcel Keller
Inhalt des Vortrags
• 1.Einführung in das Thema
– 1.1 Motivation
– 1.2 Art der zu speichernden Dokumente
• 2.Automatisches Mapping
– 2.1. Prinzipielle Abbildungsvorschrift
– 2.2. Anfragen
– 2.3. Eigenschaften
• 3.Benutzerdefiniertes Mapping
– 3.1. Abbildungsvorschrift
– 3.2. Anfragen
– 3.3. Eigenschaften
• 4. Was machen die Hersteller?
– 4.1.Oracle 9i
– 4.2. IBM DB2
1.1.Motivation
Warum XML in DB speichern?
• Bewährte Datenbanktechnologie nutzen:
–
–
–
–
–
Transaktionsmanagement
Logging und Recovery
Synchronisation
Integritätsregeln
XML
Anfrageoptimierung
RDBS
Einordnung der strukturbasierten Abbildung
Speicherung
von XMLDokumenten
Textbasierte
Abbildung
Modellbasierte
Abbildung
Vollständiges
Automatisches
Mapping
Strukturbasierte
Abbildung
Benutzerdefiniertes
Mapping
•Klettke/Meyer
•Bourret
•Shanmugasundaram et al
•Deutsch/Fernandez/
•Deutsch/Fernandez/Suciu:STORED
Suciu:STORED
•Bourret
•IBM DB2 Extender
•Oracle 9i XSU
1.2. Art der zu speichernden XML-Dokumente
• Abbildung auf DB-Struktur besonders geeignet für datenzentrierte XMLDokumente
•Bei XML als Medium zum Datenaustausch zwischen Systemen sehr
strukturierte Daten
•Beispiele: Übermittlung von Bestellungen, Produktdaten usw.
•Leichte Abbildung in relationales Schema möglich
•Gemischte Inhalte treten selten auf
•Reihenfolge von Geschwisterelementen spielt in der Regel keine Rolle
•Hierarchische Strukturen lassen sich auf mehrere Tabellen mit
entsprechenden Fremdschlüsselbeziehungen abbilden
2. Automatisches Mapping
• DTD,XML-Schema muss vorhanden sein
• Datenbankentwurf richtet sich nach Struktur der Dokumente
• automatische Abbildung eines Schemas von XML-Dokumenten auf
Datenbankschema mit Hilfe einer Defaultmappingvorschrift
• Das Bedeutet:XML-Strukturen werden von allgemeingültigem, vom
Schema unabhängigem, Konzept umgesetzt
• bildet ganzes XML-Dokument ab
2.1. Prinzipielle Abbildungsvorschrift nach
Klettke/Meyer
XML-Information
Element
Attribut
Datenbank-Information
Wurzelelement
Relation mit eindeutiger ID
Normales XML-Element
Attribut einer Relation
Sequenz von Elementen
Attribute einer Relation
Alternative von Elementen
Attribute einer Relation
Element mit Quantifizierer ?
Attribut einer Relation,
Nullwerte möglich
Elemente mit Quantifizierer +
oder *
Relation mit eindeutiger ID und
Element ist Attribut der Relation
Komplex strukturiertes
(geschachteltes) Element,also
Element mit Subelementen
Relation mit eindeutiger ID
wobei Subelemente Attribute der
Relation
XML-Attribut
Attribut einer Relation
#IMPLIED
Nullwert erlaubt
#REQUIRED
Nullwert nicht erlaubt
Defaultwert
Defaultwert
Anwendung der Vorschrift
Beispiel-DTD:
<!ELEMENT hotel (hotelname, kategorie, adresse,
telefon+, fax)>
<!ATTLIST hotel id ID #REQUIRED>
<!ELEMENT hotelname (#PCDATA)>
<!ELEMENT kategorie (#PCDATA)>
<!ELEMENT adresse (plz, ort, strasse, nummer)>
<!ELEMENT plz (#PCDATA)>
<!ELEMENT ort (#PCDATA)>
<!ELEMENT strasse (#PCDATA)>
<!ELEMENT nummer (#PCDATA)>
<!ELEMENT telefon (#PCDATA)>
<!ELEMENT fax (#PCDATA)>
Datenbankentwurf:
CREATE TABLE Telefon (
ID INTEGER NOT NULL,
Telefon VARCHAR(30) NOT NULL,
PRIMARY KEY (ID,Telefon),
FOREIGN KEY (ID) references Hotel (ID)
);
CREATE TABLE Hotel (
ID INTEGER PRIMARY KEY,
Hotelname VARCHAR(50) NOT NULL,
Kategorie INTEGER NOT NULL,
Adresse VARCHAR(5) NOT NULL,
Telefon VARCHAR(5) NOT NULL,
Fax VARCHAR(30) NOT NULL
);
CREATE TABLE Adresse (
ID INTEGER PRIMARY KEY,
Plz INTEGER NOT NULL,
Ort VARCHAR(50) NOT NULL,
Strasse VARCHAR(30) NOT NULL,
Nummer INTEGER NOT NULL,
FOREIGN KEY (ID) references Hotel (ID)
);
Relationenschema für die DTD
Hotel
ID
Hotelname
Kategorie
Fax
1
Hotel Hübner
1
0381-543444
ID
PLZ
Ort
Strasse
Nummer
1
18119
Warnemünde
Seestraße
12
Adresse
Telefon
ID
Telefon
1
0381-54340
1
0381-540
Abbildung von Alternativen
• Elementnamen werden zu Attributnamen einer Relation
• Problem: Viele Nullwerte in der Tabelle (Speicherplatzverschwendung)
•Beispiel:
....
<!ELEMENT Kontakt (Telefon|Fax|Email)*>
<!ELEMENT Telefon (#PCDATA)>
<!ELEMENT Fax (#PCDATA)>
<!ELEMENT Email (#PCDATA)>
....
....
<Kontakt>
<Telefon>0381/7774</Telefon>
<Fax>0381/7775</Fax>
<Email>[email protected]
</Email>
<Kontakt>
....
Kontakt
ID
Telefon
Fax
Email
1
0712/4455
NULL
NULL
2
0381/7774
0381/7775
vertrieb@dbsolutions
Abbildung von rekursiven Datendefinitionen
•DTD's können beispielsweise rekursiv sein
•Unendliche Rekursion auf der Instanzenebene einer Datenbank nicht möglich
•Vorgehensweise:
•Aufspaltung in separate Tabellen
•Verwendung von Primär-/Fremdschlüssel
....
<!ELEMENT ort (name, einwohnerzahl, ausflugsziel*)>
<!ELEMENT ausflugsziel (ort, entfernung, beschreibung)>
....
•Beispiel:
Ort
ID
Name
Einwohnerzahl
Ausflugsziel
20
Jena
....
33
21
Weimar
22
Kahla
....
....
ID
Ort
Entfernung
Beschreibung
33
22
.....
....
33
21
....
....
....
Ausflugsziel
Abbildung von Elementordnungen
•
•
•
•
Dokumentordnung von XML-Dokumenten aus DB nicht erkennbar
Reihenfolge kann aber von Bedeutung sein (Beispiel:Wissenschaftliche
Publikationen)
In diesen Fällen: zusätzliches ordnungserhaltendes Attribut
Beispiel:
<Buch>
<Kapitel>Einführung</Kapitel>
<Kapitel>Theoretische Grundlagen</Kapitel>
<Kapitel>Konzeption</Kapitel>
<Kapitel>Beispiel</Kapitel>
<Kapitel>Zusammenfassung</Kapitel>
</Buch>
Ordnung
Kapitel
1
Einführung
2
Theoretische
Grundlagen
3
Konzeption
4
Beispiel
5
Zusammenfassung
Darstellung von Mixed-Content
•
•
•
•
•
Speicherung von Mixed-Content-Elementen in relationalen Datenbanken sehr
umständlich
Keine effizienten Anfragen möglich
Selten bei datenzentrierten Dokumenten
Andere Form der Speicherung wählen bei häufigem Vorkommen!
Beispiel:
<anreisebeschreibung>
Sie können unser Haus auf verschiedenen Wegen erreichen:
<!ELEMENT anreisebeschreibung
(#PCDATA | auto | bahn)*>
<bahn>per Bahn: 1km ab Bahnhof Warnemünde</bahn>
<auto>per Auto: 19km ab Autobahn A19 Rostock-Berlin</auto>
Sie finden uns direkt an der Uferpromenade.
</anreisebeschreibung>
Ordnung
#PCDATA
Bahn
Auto
1
Sie können unser Haus auf verschiedenen
Wegen erreichen:
NULL
NULL
2
NULL
per Bahn: 1km ab Bahnhof Warnemünde
NULL
3
NULL
NULL
per Auto: 19km ab Autobahn
A19 Rostock-Berlin
4
Sie finden uns direkt an der
Uferpromenade.
NULL
NULL
2.2. Anfragen
•Datenbankanfragen mit SQL:
–Struktur der Datenbank muss bekannt sein
–Joins, Aggregatfunktionen usw. lassen sich ausführen
–Optimierung übernimmt das DBMS
•XML-Anfragen mit den XML-QL:XPath oder XQuery:
–Prozess der Abbildung XML auf Datenbank muss protokolliert
sein
–Datenbankanfrage für XML-Anfrage muss automatisch generiert
werden können
–Ergebnis für die XML-Anfrage muss generiert werden können
2.3. Eigenschaften der Speicherung mit
automatischem Mapping
Schemabeschreibung (DTD o.XMLSchema)
erforderlich
Dokumentrekonstruktion
Nur eingeschränkt möglich (Protokollierung des Abbildungsprozesses
nötig)
Anfragen
SQL- und XML-Anfragen (Transformation) sind möglich
Effizienz
Hoch durch Einsatz der DB-Engine
Einsatz
Für datenzentrierte XML-Dokumente
Weitere Besonderheiten
•Erhalten der Dokumentordnung nur über zusätzliches Attribut
•OODBS/ORDBS erlauben natürlichere Abbildung der
Elementhierarchien
•Änderung des XML-Schemas erfordert Anpassung der DB
•Oft großes Schema & schwach gefüllte Datenbanken (Nullwerte)
•Speicherung von Alternativen,Mixed-Content-Typ, Rekursion
problematisch
•Speicherung von Elementen vom Typ ANY nicht möglich
•Speicherung von Kommentaren,PI‘s,Prolog und der DTD nicht möglich
•Bei DTD Anpassung der DB-Attributtypen vom Anwender nötig
3. Benutzerdefiniertes Mapping
• Art der Speicherung in der Datenbank konnte bisher nicht beeinflusst
werden
• Mappingvorschrift spezifiziert welche Informationen aus XMLDokument auf welche Datenbankstruktur abgebildet wird (vollständig
oder nur Ausschnitt)
• Sehr flexible Methode
• Unabhängiges Entwerfen von XML-Schema und Datenbankschema
möglich
• Speicherung von XML-Dokumenten in existierende Datenbanken
möglich
• Zusammenführen von XML-Dokumenten mit in anderer Form
gespeicherter Daten möglich
• Erstellen von Mappingvorschrift erfordert großen manuellen Aufwand
3.1. Beispiel einer Mappingvorschrift nach
Ronald Bourret
<Hotel url= "www.hotel-huebner.de“>
<HotelID>H0001</HotelID>
<Name>Hotel Huebner </Name>
<Adresse>
<PLZ>18119</PLZ>
<Ort>Warnemünde</Ort>
<Strasse>Seestrasse</Strasse>
<Nr>12</Nr>
</Adresse>
<Preise>
<Einzelzimmer>198</Einzelzimmer>
</Preise>
</Hotel>
Preise
Hotel_url
Name
Einzelzimmer
www.hotelhuebner.de
Hotel Hübner
198
<ClassMap>
<ElementType Name="Hotel“/>
<ToClassTable>
<Table Name="Preise">
</ToClassTable>
<PropertyMap>
<Attribute Name="url"/>
<ToColumn>
<Column Name="Hotel_url">
</ToColumn>
</PropertyMap>
<PropertyMap>
<ElementType Name="hotelname"/>
<ToColumn>
<Column Name="Name"/>
</ToColumn>
</PropertyMap>
<PropertyMap>
<ElementType Name="Einzelzimmer"/>
<ToColumn>
<Column Name="Einzelzimmer"/>
</ToColumn>
</PropertyMap>
.....
</ClassMap>
3.2. Anfragen
• Datenbankanfragen mit SQL:
– Struktur der Datenbank muss bekannt sein
• XML-Anfragen: (nur sehr eingeschränkt)
– Nur möglich wenn Abbildungsprozess in Metadaten
protokolliert wird
– Alle für Anfrage relevanten Daten müssen dabei
gespeichert sein
– Problem:unvollständige Speicherung,Art der
Speicherung gegenüber Originaldokument stark
verändert
3.3. Eigenschaften der Speicherung mit
benutzerdefiniertem Mapping
Schemabeschreibung (DTD o.XMLSchema)
erforderlich
Dokumentrekonstruktion
meist nicht möglich (Protokollierung des Abbildungsprozesses
nötig,vollständige Abbildung)
Anfragen
SQL-Anfragen möglich
XML-Anfragen in Ausnahmefällen möglich
Effizienz
Hoch durch Einsatz der DB-Engine
Einsatz
Für datenzentrierte XML-Dokumente
Weitere Besonderheiten
•Erhalten der Dokumentordnung nur über zusätzliches Attribut
•Änderung des XML-Schemas erfordert Anpassung der
Mappingvorschrift
•Zusammenhang von Elementen und Attributen eines XMLDokumentes kann verloren gehen
•sehr variable Methode
•Speicherung in bestehende Datenbanken möglich
•Verantwortung für das Mapping liegt beim Anwender
4. Was machen die Hersteller?
4.1. Oracle 9i (automatisches Mapping)
– Shredding Storage zur strukturierten Speicherung von XMLDokumenten
– Programm XSU (XML SQL Utility) kann Ergebnisse von SQL-Anfragen
in XML ausgeben und Daten aus XML-Dokumente in Tabellen einlesen
(Export & Import von XML-Daten)
Oracle DB
<ROWSET>
<ROW num="1">
<PersNr>234<PersNr>
<Name>Müller<Name>
<Gehalt>4000<Gehalt>
</ROW>
<ROW num="2">
...
</ROW>
...
</ROWSET>
Import von XML-Daten mit XSU
– Import:
• Name der bestehenden Tabelle und des XML-Dokumentes
müssen als Parameter an XSU übergeben werden
• XSU erzeugt automatisch SQL-Insert-Befehle
• XML- und relationales Schema müssen exakt übereinstimmen
• Ist dies nicht der Fall, Anpassung des relationalen Schemas
oder Transformation des XML-Dokumentes mit XSLT
4.2. IBM DB2 UDB (benutzerdefiniertes Mapping)
• DB2 XML-Extender (ab V.7.1. Bestandteil):
– 2 Zugriffs- bzw. Speicherungsformen für XML:
• XML-Collection (<Xcollection>): Abbildung auf relationale
Strukturen
• XML-Column: XML-Datentyp,Speicherung von ganzen
XML-Dokumenten oder Fragmenten
– Genaue Form der Speicherung wir in DAD-Datei (Document
Access Definition) beschrieben
– DAD-Datei ist XML-formatiertes Dokument welches auf Client
gespeichert ist
Weitere Eigenschaften der DAD-Datei
• DAD-Datei muss beim Aktivieren einer XML-Collection (Gruppe
relationaler Tabellen die XML enthalten) angegeben werden
• dxxEnableCollection(): Eingabe: DB-Name, Name der Collection, DAD als
CLOB, Tablespace
• Stored-Procedures:
• dxxShredXML(): Eingabe: DAD-Datei und XML-Objekt (!Tabellen müssen
vorhanden sein!)
• dxxInsertXML():Eingabe: Name der aktivierten XML-Collection, XMLObjekt
• Verwendung von <Xcollection> in DAD:
• 2 Abbildungsmethoden:
• SQL-Zuordnung (nur bei Export)
• RDB-node-Zuordnung (Import & Export)
XML-Column und XML-Collection
Shredding unter Verwendung von RDB-node
(Beispiel)
Beispiel-DTD:
<!ELEMENT Order (Customer, Part+)>
<!ATTLIST Order order_key ID #REQUIRED>
<!ELEMENT Customer (Name, Email)>
<!ELEMENT Name (#PCDATA)>
<!ELEMENT Email (#PCDATA)>
<!ELEMENT Part (Key, Quantity, ExtendedPrice,Tax,Shipment)>
<!ATTLIST Part color CDATA #IMPLIED>
<!ELEMENT Key (#PCDATA)>
<!ELEMENT Quantity (#PCDATA)>
<!ELEMENT ExtendedPrice (#PCDATA)>
<!ELEMENT Tax (#PCDATA)>
<!ELEMENT Shipment (ShipDate, ShipMode)>
<!ELEMENT ShipDate (#PCDATA)>
<!ELEMENT ShipMode (#PCDATA)>
order_tab
relationaler Entwurf:
part_tab
order_key
customer_name
cuctomer_email
1
Müller
mü[email protected]
part_key
order_key
price
tax
quantity
color
date
mode
1
1
100
16
1
black
20.05.2004
1
XML-Dokumentstruktur und mögliche Zuordnung von
Elementen/Attributen zu Spalten von relationalen Tabellen:
order_tab
part_tab
DAD-Fragment:Zerlegung mit Xcollection &
RDB_node
<?xml version="1.0"?>
<!DOCTYPE DAD SYSTEM "dxx_install_verz/samples/db2xml/dtd/dad.dtd">
<DAD>
<dtdid>dxx_install_verz/samples/dad/getstart.dtd</dtdid>
<validation>YES</validation>
<Xcollection>
<prolog>?xml version="1.0"?</prolog>
<doctype>! DOCTYPE Order SYSTEM "dxx_install_verz/samples/db2xml/dtd/getstart.dtd"</doctype>
<root_node>
<element_node name="Order">
<RDB_node>
<table name="order_tab" key="order_key"/>
<table name="part_tab" key="part_key order_key"/>
<condition>order_tab.order_key = part_tab.order_key</condition>
</RDB_node>
<attribute_node name="key">
<RDB_node>
<table name="order_tab"/>
<column name="order_key" type="integer"/>
</RDB_node>
</attribute_node>
Fortsetzung DAD-Fragment
<element_node name="Customer">
<element_node name="Name">
<text_node>
<RDB_node>
<table name="order_tab"/>
<column name="customer_name" type="varchar(30)"/>
</RDB_node>
</text_node>
</element_node>
<element_node name="Email">
<text_node>
<RDB_node>
<table name="order_tab"/>
<column name="email_name" type="varchar(30)"/>
</RDB_node>
</text_node>
</element_node>
</element_node>
................
..........
</element_node>
</root_node>.
</Xcollection>
</DAD>