Datenbanken und XML

Datenbanken und XML:
Mappingansätze und integrierte
Speicherverfahren
PD Dr.-Ing. habil. Meike Klettke
Universität Rostock
Institut für Informatik
2. November 2011
Motivation

XML als Format zur Dokumentdarstellung existiert seit
13 Jahren




als Schlagwort sehr populär (gewesen)
mittlerweile gibt es viele Anwendungen, die XML-Dokumente
erzeugen oder verwenden
Hauptanwendung: Austauschformat (auch EAD so eingesetzt)
In einigen Anwendungen ist eine dauerhafte Speicherung
notwendig (auch für EAD-Dokumente)


Eigene Systeme zur Speicherung (native XML-Datenbanksysteme)
Herkömmliche (relationale) Datenbanksysteme wurde erweitert, um
XML-Dokumente verarbeiten zu können
... zur Popularität von XML ...


„XML is the ASCII of the 21th century.“
„XML is the ASCII of the Web“
(Henry Thompson, 1999)

It takes ten minutes to understand (base) XML, and then ten
month to understand the new technologies hung around it.
(Peter Chen)

warum wurde XML so populär?



einfach zu verstehen, leicht zu erlernen (Syntax von XML-Dokumenten)
lesbar, selbstbeschreibend
damit prädestiniert als Austauschformat
... im Vortrag heute ...
Erweiterungen von Datenbankmanagementsystemen, um XMLDokumente zu speichern, anzufragen und zu verändern, dazu
1.
Klassifikation von Speicherungsverfahren
1.
2.
3.
2.
3.
Speicherung der Graphstruktur
strukturierte Speicherung in Datenbanken
Hybride Verfahren
Realisierung in objekt-relationalen Datenbanksystemen
(Oracle)
Erfahrungen mit generischer Speicherung (EAV)
1) Klassifikation von XML-Dokumenten
Datenzentrierte Dokumente
strukturiert, regulär
Beispiele: Produktkataloge, Bestellungen, Rechnungen,
Metadaten im Bibliothekswesen, ~ von Archiven
Dokumentzentrierte Dokumente
unstrukturiert, irregulär
Beispiele: wissenschaftliche Artikel, Bücher, E-Mails,
Webseiten, Dokumente in Archiven
Semistrukturierte Dokumente
daten- und dokumentzentrierte Anteile
Beispiele: Veröffentlichungen, Kundendaten und
Originalverträge, ...
<book>
<author>Neil Bradley</author>
<title>XML companion</title>
<isbn>1-234-56789-0</isbn>
</book>
<content>
XML builds on the principles of two existing
languages, <emph>HTML</emph> and
<emph>SGML</emph> to create a simple
mechanism ..
The generalized markup concept ..
</content>
<book>
<author>Neil Bradley</author>
<title>XML companion</title>
<isbn>1-234-56789-0</isbn>
<content>
XML builds on the principles of two existing
languages, <emph>HTML</emph> and ..
</content>
</book>
2) Anforderungen an die
XML-Speicherung
Nach (Fiebig, Kanne, Moerkotte)


Effektive Speicherung
Effizienter Zugriff auf XML-Dokumente oder Teile davon




Unterstützung von XPath und XQuery
Unterstützung von SAX und DOM für Anwendungen
Transaktionsverwaltung
Wiederherstellbarkeit der Dokumente (oder der
Informationen aus den Dokumenten)
Speicherung von XML-Dokumenten
Als Dateien /
Clobs
Speicherung der
Dokumentstruktur
Strukturierte
Speicherung
in Datenbanken
Volltextindex
Abbildung der
Graphstruktur
Vollständiges
Mapping
Volltextindex
und XML-Index
Abbilden des
DOM-Modells
Benutzerdefiniertes
Mapping
I) Speicherung als Ganzes und
Volltextindizierung
Term
Element
nachricht
autor
nachname
Fürst
vorname
Christian
inhalt
ueberschrift
Vermarktungsfest
text
Wolfgang
…
<nachricht id="ID0001" bedeutung="4">
<autor autor_id="A0001">
<nachname>Fürst</nachname>
<vorname>Christian</vorname>
<agentur>dpa</agentur>
<e-mail>[email protected]</e-mail>
</autor>
<einordnung>
<rubrik>Mozartjahr 2006</rubrik>
…
<inhalt>
<ueberschrift>Ein Vermarktungsfest
</ueberschrift>
<text>Als Wolfgang Amadeus Mozart im
Alter von 35 Jahren starb, ..
</text>
</inhalt>
</nachricht>
• bekannte Methode (älter als relationale Datenbanken)
• Verfahren aus dem Bereich Information Retrieval
• Anfragen können linguistische Merkmale nutzen
(Stammwortsuche, Ähnlichkeitssuche)
• keine Auswertung von Markup in den Anfragen
Erweiterung um Pfadindex
Term
Verweis
Element
Fürst
Christian
Mozartjahr
Vermarktungsfest
Wolfgang
…
Element
Verweis
Ordnung
nachricht
1
autor
1
nachname
1
vorname
2
…
inhalt
3
ueberschrift
1
text
2
Vorgänger
<nachricht id="ID0001" bedeutung="4">
<autor autor_id="A0001">
<nachname>Fürst</nachname>
<vorname>Christian</vorname>
<agentur>dpa</agentur>
<e-mail>[email protected]</e-mail>
</autor>
<einordnung>
<rubrik>Mozartjahr 2006</rubrik>
…
<inhalt>
<ueberschrift>Ein Vermarktungsfest
</ueberschrift>
<text>Als Wolfgang Amadeus Mozart im
Alter von 35 Jahren starb, ..
</text>
</inhalt>
</nachricht>
• damit Auswertung von Markup in den Anfragen möglich
• XPath, XQuery
II) Speicherung der Graphstruktur / 1
<nachricht id="ID0001" bedeutung="4">
<autor autor_id="A0001">
<nachname>Fürst</nachname>
<vorname>Christian</vorname>
<agentur>dpa</agentur>
<e-mail>[email protected]</e-mail>
</autor>
<einordnung>
<rubrik>Mozartjahr 2006</rubrik>
…
<inhalt>
<ueberschrift>Ein Vermarktungsfest
</ueberschrift>
<text>Als Wolfgang Amadeus Mozart im
Alter von 35 Jahren starb, ..
</text>
</inhalt>
</nachricht>
ID
Element
n001
Wert
Ordnung
Vorgänger
nachricht
1
-
n002
autor
1
h001
n003
nachname
Fürst
2
h001
n004
vorname
Christian
1
H002
n005
agentur
dpa
2
H002
n006
e-mail
fuerst@dpa
.de
3
h002
Element
Attribut
Typ
Wert
n001
id
xs:ID
ID0001
n001
bedeutung
xs:int
4
n002
autor_id
xs:ID
A0001
• generische Speicherung der XML-Dokumente
• kein Schema erforderlich
• ähnlich „Tripelstore“
III) strukturierte Speicherung in
(relationalen) Datenbanken

Änderung des Datenbankschemas
nachricht:
<nachricht id="ID0001" bedeutung="4">
<autor autor_id="A0001">
<nachname>Fürst</nachname>
<vorname>Christian</vorname>
<agentur>dpa</agentur>
<e-mail>[email protected]</e-mail>
</autor>
<einordnung>
<rubrik>Mozartjahr 2006</rubrik>
…
<inhalt>
<ueberschrift>Ein Vermarktungsfest
</ueberschrift>
<text>Als Wolfgang Amadeus Mozart im
Alter von 35 Jahren starb, ..
</text>
</inhalt>
</nachricht>
id
bedeutung
autor
inhalt
ID0001
4
A0001
P0001
autor:
ID
autor_id
nachname
Vorname
agentur
e-mail
x00001
A0001
Fürst
Christian
dpa
fuerst@dpa.
de
inhalt:
ID
ueberschrift
text
y00001
Ein
Vermarktungsfest
Als Wolfgang Amadeus Mozart
im Alter von 35 Jahren starb, ..
• Abbildung der Struktur der XML-Dokumente auf Datenbankstruktur
• Schema erforderlich !!
• Problem bei der Abbildung: mixed content: Texte
IV) Hybride Ansätze
nachrichten:
<nachricht id="ID0001" bedeutung="4">
<autor autor_id="A0001">
<nachname>Fürst</nachname>
<vorname>Christian</vorname>
<agentur>dpa</agentur>
<e-mail>[email protected]</e-mail>
</autor>
<einordnung>
<rubrik>Mozartjahr 2006</rubrik>
…
<inhalt>
<ueberschrift>Ein Vermarktungsfest
</ueberschrift>
<text>Als Wolfgang Amadeus Mozart im
Alter von 35 Jahren starb, ..
</text>
</inhalt>
</nachricht>
für daten- als auch dokumentzentrierte Anteile
 Auswahl unterschiedlicher Speicherungsmethoden
für verschiedene Dokumentanteile

id
bedeutung
autor
inhalt
ID0001
4
A0001
P0001
autor:
ID
autor_id
nachname
Vorname
x00001
A0001
Fürst
Christian
...
<inhalt>
<ueberschrift>Ein Vermarktungsfest
</ueberschrift>
<text>Als Wolfgang Amadeus Mozart im
Alter von 35 Jahren starb, ..
</text>
</inhalt>
aus dem Vortrag von heute:
„Größere Datenbankfeundlichkeit: weniger mixed
content“
Datenbanken können mittlerweile damit umgehen

Realisierung in objektrelationalen
Datenbanken


verschiedene Speicherungsmöglichkeiten werden unterstützt:
Speicherungsmöglichkeiten bei Oracle:
Abbildung nach Ulrike Schwinn,
Oracle

DB2:
Verwenden des XML-Typs


XML als nativer Datentyp, kann einzelnen Attributen zugeordnet
sein
Beispiel (Oracle):
create table nachrichten
( id integer not null primary key,
titel varchar(30) not null,
autor varchar(30) not null,
datum date,
agentur varchar(10),
text XMLType,
kontext XMLType );

also hybride Speicherung
Werte einfügen
insert into nachrichten values
(1, 'Ein Vermarktungsfest', 'Christian Fürst', '2006‐12‐12', 'dpa', XMLType('<text>Als Wolfgang Amadeus Mozart im Alter von 35 Jahren starb, war er bettelarm. Jetzt, zu seinem 250. Geburtstag, zeigen insbesondere österreichische PR‐
Experten, wie man mit dem Namen des Salzburger Genies Millionen machen kann... </text>‚), XMLType('<einordnung>
<ort>
<land>Österreich</land>
<stadt>Salzburg</stadt>
<stadt>Wien</stadt>
</ort>
<zeit> ... </zeit>
<rubrik>Festakte</rubrik>
<kategorie>Mozart</kategorie> <kategorie>Musik</kategorie>
<kategorie>Kultur</kategorie>
</einordnung>'));
Weiterhin möglich:


XML-Schema in Oracle registrieren
Beim Einfügen gegen das Schema validieren
3.2) Anfragen


Anfragesprache für relationale: SQL
Anfragesprache für XML-Dokumente: XQuery


Anfragemöglichkeiten (Kombination dieser Anfragen):
 SQL
 SQL mit eingebettetem XQuery
 XQuery
 (XQuery mit eingebettetem SQL)
Beispiel:
SELECT autor, datum, agentur
FROM nachrichten
WHERE extractvalue(kontext, '/einordnung/kategorie') like ‘%Mozart%’;
Bewertung

Hybride Speicherung in Oracle möglich




Relationale Speicherung für strukturierte Anteile
XML Type für unstrukturierte Anteile (Volltexte mit Markup, …)
Etabliert seit ca. 2006 in den Datenbanksystemen
Intern als „nativer Datentyp“ dargestellt
22
Überblick über Mapping von XMLDokumenten
Beschreibung
des Mappings
Gültigkeit
ist gegeben
EADSchema
EAD-Dokumente
ZielSchema
Durchführung
des Mappings
(automatisch)
XSLT, …
Probleme:
• nichtvalide XML-Dokumente
• Verändertes Schema (neue Version)
Ziel-XML-Dokumente
Ein Tool dafür: Altova MapForce:
Mappingtool
• Geeignet zur
Realisierung
eines ersten
Prototypen
• Einfach
bedienbar
• Eigene
Erweiterungen
möglich
• XSLT lässt sich
generieren
EAV-Speicherung, Tripel-Store



Hochflexibles Format zur Speicherung
Kann in relationalen Datenbanken, außerhalb oder in
eigenen Systemen erfolgen
Grundidee:


26
Auf Werteebene: Entity – Attribut – Value speichern
Verlustfreie Speicherung jeden beliebigen Formates:

Relationale Datenbanken, XML, excel, hierarchische Datenbanken

Ineffizient für komplexe Anfragen.
Grundidee der Speicherung
27
In der konkreten (relationalen) Umsetzung
28
Import in das EAV-Modell


Vollständig automatisierbar
Umgesetzt für XML (Anwendung in der Pflegeinformatik) von
Dortje Löper
29
Export aus dem EAV-Modell

Hier ist keine vollständige Automatisierung zu erreichen


30
Für bekannte Formate ist diese möglich
Für neue Formate (neue Versionen) müssen die
Transformationsregeln angepasst werden
Einige Performancemessungen
Präprozess
(Connection
herstellen, ..)
Umsetzung
der Query
Postprozess
(resultset
durchlaufen)
10 Dokumente
478-488 ms
15-18 ms
3-5 ms
100 Dokumente
451-566 ms
18-29 ms
2693-2987 ms
• Dieser Anteil ist
unabhängig von der
Query
31
• Resultset beinhaltete
39584 Tupel
• Nacheinander
ausgelesen (noch nicht
optimiert!)
Bewertung, Tripelstore







Hochflexibel
Nicht nur für verschiedene Schemata sondern zum Beispiel
auch für verschiedene Datenformate
Erweiterbar (für beliebige zukünftige Versionen)
Einfache Anfragen, die wenige Attribute betreffen, (z.B.
Suchanfragen) gut realisierbar
Komplexe Anfragen (z.B. Wiederherstellung der Originaldaten)
sind sehr aufwendig)
Verschiedene Implementierungen
Überlegung: wie viele Datenbankeigenschaften werden
benötigt
33
Literatur /1







www.ibm.com
Matthias Nicola, Fatma Ozcan: pureXML in DB2 9: Which way to query
your XML data?
http://www.ibm.com/developerworks/db2/library/techarticle/dm0606nicola/, Juni 2006
Holger Seubert: XML-Indizierung, Update und Schema-Verwaltung mit
DB2 9,
http://entwickler.de/zonen/portale/psecom,id,101,online,1037,p,0.html
www.oracle.com
Ulrike Schwinn (Oracle): XML in der Oracle Datenbank „relational and
beyond“, BTW 2003
Meike Klettke, Holger Meyer, XML and databases, dpunkt.verlag, 2003
Meike Klettke, Holger Meyer: http://www.xml-und-datenbanken.de
Literatur /2

Igor Tatarinov, Zachary G. Ives, Alon Y. Halevy, Daniel S. Weld, Updating
XML, Proceedings of the ACM SIGMOD International Conference on
Management of Data, 2001
(Syntax einer Updatesprache, basierend auf XQuery)

Patrick Lehti: Design and Implementation of a Data Manipulation Processor
for an XML Query Language, DA, TU Darmstadt, 2001

Hong Su, Diane K. Kramer, Elke A. Rundensteiner, XEM: XML Evolution
Management, Computer Science Technical Report Series, Worchester
Polytechnic Institute, WPI-CS-TR-02-09

Béatrice Bouchou, Denio Duarte, Mírian Halfeld Ferrari Alves, Dominique
Laurent and Martin Musicante: Schema Evolution for XML: A Consistencypreserving Approach. 29th International Symposium, Mathematical
Foundations of Computer Science MFCS 2004
Literatur /3

Meike Klettke, Holger Meyer, Birger Hänsel: Evolution --- The Other Side of the XML
Update Coin. 2nd International Workshop on XML Schema and Data Management
(XSDM), Tokyo, April 2005

Christian Will: Ableitung von Schemaevolutionsschritten aus XML-Updateoperationen,
Studienarbeit, Fakultät für Informatik und Elektrotechnik, 2006

Oracle9i XML Database Developer's Guide - Oracle XML DB
Release 2 (9.2),
http://download.oracle.com/docs/cd/B10501_01/appdev.920/a96620/xdb04cre.htm

Dortje Löper, Meike Klettke, Ilvio Bruder, Andreas Heuer: Integrating
Healthcare-related Information using the Entity-Attribute-Value Storage Model,
eingereicht zur HIS 2012

Dortje Löper, Meike Klettke, Ilvio Bruder, Andreas Heuer: Das Entity-AttributeValue-Konzept als Speicherstruktur für die Informationsintegration in der
ambulanten Pflege, in: GI Jahrestagung, Workshop "Datenmanagement und
Interoperabilität im Gesundheitswesen", 2011