Speichermethoden für XML
Werbung
Seminar XML und Datenbanken Speicherung von XML-Werten vor SQL:2003 XML vor SQL:2003 Inhalt Einführung und Motivation Grundlagen und Verständnis Speichermethoden Speicherung als Ganzes Speicherung der Dokumentenstruktur Abbildung auf Datenbankstruktur Andere Verfahren Zusammenfassung XML vor SQL:2003 Einführung und Motivation Notwendigkeit einer persistenten Speicherung von XML-Dokumenten Vor SQL:2003 Keine XML-Unterstützung in SQL-Norm Speichertechniken nur Notbehelf Mit Nachteilen behaftet XML vor SQL:2003 Inhalt Einführung und Motivation Grundlagen und Verständnis Speichermethoden Speicherung als Ganzes Speicherung der Dokumentenstruktur Abbildung auf Datenbankstruktur Andere Verfahren Zusammenfassung XML vor SQL:2003 Grundlagen und Verständnis Dokumenten-Charakter Datenzentrierte Dokumente Dokumentenzentrierte Dokumente Semistrukturierte Dokumente Document Object Model (DOM) XML vor SQL:2003 – Grundlagen und Verständnis Datenzentrierte Dokumente Daten <adresse> selbst von Interesse Strukturinformationen dienen Unterteilung <plz>07743</plz> Regulär <ort>Jena</jena> Strenge Typinformationen <strasse>Lutherplatz</strasse> <nummer>2</nummer> Dokumente meist aus anderen Informationen generiert <telefon>03641/406-0</telefon> Beispiele: Produktkataloge, Rechnungen, <fax>03641/406-113</fax> Fahrpläne </adresse>< XML vor SQL:2003 – Grundlagen und Verständnis Dokumentenzentrierte Dokumente Daten und Struktur beinhalten Information <anreisebeschreibung> Häufig als XML-Dokument erzeugt Sie können unser Haus auf Darstellung irregulär verschiedenen Wegen erreichen: Meist keine Typinformationen <bahn>per bahn: 1km ab Bahnhof …</bahn> Beispiele: wissenschaftliche Artikel, <auto>per Auto: 10km ab Autobahn A4 … </auto> Buchinhalte, eMails, Webseiten Sie finden uns in direkter Citylage. </anreisebeschreibung> XML vor SQL:2003 – Grundlagen und Verständnis Semistrukturierte Dokumente <hotel> Mischform aus daten- und <name>Schwarzer Bär</name> dokumentenzentrierten Dokumenten <adresse> <strasse>Fürstengraben</strasse> Beispiele: … Bücher (Metadaten vs. Inhalten) </adresse> Hotelinformationen (Preise, Adresse vs. <anreisebeschreibung> Beschreibungen, Anreisemöglichkeiten) Sie können unser Haus auf verschiedenen Wegen erreichen: Online-Buchhändler (Bücher, Lieferzeiten vs. … Inhaltsangeben, Rezessionen) </anreisebeschreibung> </hotel> XML vor SQL:2003 Grundlagen und Verständnis Dokumenten-Charakter Datenzentrierte Dokumente Dokumentenzentrierte Dokumente Semistrukturierte Dokumente Document Object Model (DOM) XML vor SQL:2003 – Speichermethoden für XML-Dokumente Document Object Model (DOM) DOMImplementation Node NodeList NamedNodeMap Attr Empfehlung des W3C CharacterData Comment Text CDataSection Document beschreibt Schnittstellen zum Zugriff auf XML-Dokumente und zur Veränderung von Struktur und Inhalten DocumentFragment DocumentType Element Entity EntityReference Notation ProcessingInstruction die zugrundeliegende Implementierung und Speicherung der XMLDokumente wird nicht definiert XML vor SQL:2003 Inhalt Einführung und Motivation Grundlagen und Verständnis Speichermethoden für XML-Dokumente Speicherung als Ganzes Speicherung der Dokumentenstruktur Abbildung auf Datenbankstruktur Zusammenfassung XML vor SQL:2003 – Speichermethoden für XML-Dokument Klassifikation der Speicherung Zahlreiche verschiedene Methoden Drei grundlegende Klassen von Verfahren Speicherung von XML-Dokumenten Speicherung als Ganzes Speicherung von der Dokumentenstruktur XML-Dokumenten Speicherung Abbildung auf von Datenbankstruktur XML-Dokumenten XML vor SQL:2003 Inhalt Einführung und Motivation Grundlagen und Verständnis Speichermethoden für XML-Dokumente Speicherung als Ganzes Speicherung der Dokumentenstruktur Abbildung auf Datenbankstruktur Zusammenfassung XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes XML-Dokumente als Datei in Dateisystem speichern und verwalten Keine Umwandlungsoperationen nötig Orginalzustand bleibt erhalten und jederzeit verfügbar Character Language OBject Speicherung als CLOBs in Datenbankfeld zur Speicherung Datenbanksystem von sehr langen Textdaten XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Anfragen durchsuchen Dokumente sequentiell Ineffizient bei großen Mengen Lösung: Index Speicherung als Ganzes Volltext-Index Volltext- und Struktur-Index XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Verwendung eines Volltextindex Information Retrieval Anfragen auf Volltext Verwendung in Suchmaschinen Anfragen möglich wie: „Welche Dokumente handeln von XML?“ „In welchem Dokument treten Datenbanken im Zusammenhang mit XML auf?“ Deskribierung – Aufbereitung von Dokumenten •Statistisch wortbasierte Verfahren Deskribierung, Recherche und •Linguistische Verfahren Ergebnispräsentation •Wissensbasierte Verfahren XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Verwendung eines Volltextindex Index als invertierte Liste Dokumente Stichworte Stichworte 1 A D F 2 B C D 3 A C D E A B C D E F Dokumente 1 2 2 1 3 1 3 3 2 3 XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Verwendung eines Volltextindex Index als invertierte Liste Begriff Verweis hotel Jena Richtung ort anreisebeschreibung <hotel> <hotelname>Schwarzer Bär</hotelname> <adresse> <plz>07743</plz> <ort>Jena</ort> <strasse>Lutherplatz</strasse> <nummer>2</nummer> </adresse> <anreisebeschreibung> Aus Richtung Erfurt kommend ... </anreisebeschreibung> </hotel> XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Verwendung eines Volltextindex Ranking Dokumente Stichworte 1 A D F 2 B C D 3 A C D Stichworte E A B C D E F Dokumente 3 2 3 2 3 1 1 2 3 1 XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Verwendung eines Volltextindex Anfragen: boolesches Retrieval Kombination von Anfrageteilen mit AND, OR oder NOT Beispiele: • Hotel AND Jena • (Hotel OR Pension) AND (Jena OR Weimar) linguistische Anfragen Stammwortsuche, phonetische Suche, Ähnlichkeitssuche XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Verwendung eines Volltextindex Fazit: Schemabeschreibung Nicht erforderlich Dokumentenrekonstruktion Dokumente bleiben im Original erhalten Anfragen Anfragen des Information Retrieval Besonderheiten Volltextfunktion Keine Auswertung der XML-Struktur Einsatz dokumentenzentrierte XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Kombination Volltext- und Strukturindex Erweiterung des Volltextindex um Strukturinfos Index geteilt (Struktur-, Volltextinformationen) Term Verweis Element Jena 07743 x x x x Element Verweis hotel adresse ort plz x x x x Volltext-Index <hotel> <name>Schwarzer Bär</name> <adresse> Ordnung Vorgänger 1 2 3 3 x x x <ort>Jena</ort> <plz>07743</plz> </adresse> </hotel> Struktur-Index XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Kombination Volltext- und Strukturindex Anfragen: Boolesches Retrieval Linguistische Anfragen Position der Stichworte im Index erlaubt weitere Anfragen Auswertung der XML-Struktur hotel.adresse CONTAINS (“Jena”) hotel.adresse CONTAINS (“Weimar”) OR pension.adresse CONTAINS (“Erfurt”) XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung als Ganzes Kombination Volltext- und Strukturindex Fazit: Schemabeschreibung nicht erforderlich Dokumentenrekonstruktion Original bleibt erhalten Anfragen Information Retrieval und Auswertung der Struktur Besonderheiten Volltextfunktion Einsatz dokumentenzentriert semistrukturiert XML vor SQL:2003 Inhalt Einführung und Motivation Grundlagen und Verständnis Speichermethoden Speicherung als Ganzes Speicherung der Dokumentenstruktur Abbildung auf Datenbankstruktur Zusammenfassung XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung der Dokumentenstruktur Speicherung der Dokumentenstruktur Einfache Abbildung der Graphenstruktur DOM XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung der Dokumentenstruktur Abbildung der Graphenstruktur Elemente: Attribute DocID Elementname ID Vorgänger Kind-Nr Wert h001 hotel 101 h001 name 102 101 1 h001 adresse 103 101 2 h001 strasse 104 103 1 Fürstengraben h001 nummer 105 103 2 2 h001 ort 106 103 3 Jena 1 Schwarzer Bär DocID Attributname ElementID Wert h001 url 101 www.schwarzer-baer-jena.de h001 id 101 h001 XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung der Dokumentenstruktur Abbildung der Graphenstruktur - Anfragen Einfache Anfragen effizient SQL, Fähigkeiten jedoch kaum genutzt Beispiel: alle Hotelnamen in Jena: SELECT FROM Elemente a, Elemente b WHERE a.elemetname = ‘name‘ AND b.elementname = ‘ort‘ AND b.wert = ‘Jena‘ AND a.DocID = b.DocID; XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung der Dokumentenstruktur Abbildung der Graphenstruktur - Anfragen Fazit: Schemabechreibung nicht erforderlich Dokumentenrekonstruktion möglich, aber sehr aufwendig Anfragen XQuery / XQL / angepasstes SQL Besonderheiten - Einsatz semistrukturiert, aber auch für daten- und dokumentenstrukturierte Anwendungen XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung der Dokumentenstruktur Document Object Model Speicherung von XML-Dokumenten node_id node_typ doc_id parent p_sibling n_sibling 001 element h001 - - - 002 element h001 001 - 003 003 element h001 001 002 004 034 attribut h001 027 033 035 035 attribut h001 001 034 - … Node XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung der Dokumentenstruktur Document Object Model Speicherung von XML-Dokumenten node_id tag_name text 001 hotel 002 name 003 adresse 004 plz 07743 … … … 011 anreisebeschreibung Sie finden ... node_id attr_name attr_value specified 012 url www.schwarzer-baer-jena.de true 013 id h001 true Element Schwarzer Bär Attribut XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung der Dokumentenstruktur Document Object Model Anfragen DOM-Methoden XPath oder XQuery SQL XML vor SQL:2003 – Speichermethoden für XML-Dokumente Speicherung der Dokumentenstruktur Document Object Model Fazit: Schemabechreibung nicht erforderlich Dokumentenrekonstruktion möglich, aber sehr aufwendig Anfragen XQuery / XQL / angepasstes SQL Besonderheiten Anfragen und Updates über DOMMethoden Einsatz semistrukturiert, aber auch für daten- und dokumentenzentrierte Anwendungen XML vor SQL:2003 Inhalt Einführung und Motivation Grundlagen und Verständnis Speichermethoden Speicherung als Ganzes Speicherung der Dokumentenstruktur Abbildung auf Datenbankstruktur Zusammenfassung XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Abbildung auf Datenbankstrukturen Automatische Verfahren Benutzerdefiniertes Mapping XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Abbildung auf Struktur objektorientierter Datenbanken XML-Dokument Objektrelationale Datenbank Hotel hotelID name adresse Ort H0001 <hotel url="www.schwarzer-baer-jena.de"> <name>Schwarzer Bär</name> <adresse> <ort>Jena</ort> <strasse>Fürstengraben</strasse> ... </adresse> <preise> <einzelzimmer>89 </einzelzimmer> ... </preise> </hotel> strasse Schwarzer Bär Jena Fürstengraben preise ... einzelzimmer ... 89 XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Abbildung auf Struktur relationaler Datenbanken XML-Dokument <hotel url="www.schwarzer-baer-jena.de"> <name>Schwarzer Bär</name> <adresse> <ort>Jena</ort> <strasse>Fürstengraben</strasse> ... </adresse> <preise> <einzelzimmer>89 </einzelzimmer> ... </preise> </hotel> Relationale Datenbank Hotel: HotelID Hotelname H0001 Schwarzer Bär A0001 Adresse: AdresseID Ort A0001 Adresse Preise Strasse Jena Fürstengraben Preise: PreiseID Einzelzimmer ... P0001 198 P0001 ... XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Automatische Verfahren - Fazit Schemabechreibung erforderlich Dokumentenrekonstruktion nur teilweise möglich Anfragen SQL- und XML-Anfrage und Transformation möglich Besonderheiten Erhalten der Dokumentordnung über zusätzliches Attribut Einsatz datenzentrierte Anwendungen XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Benutzerdefiniertes Mapping bisher: Art der Speicherung nicht beeinflussbar jetzt: Mappingvorschrift durch Benutzer spezifiziert Struktur der XML-Dokumente und Datenbankschema können unabhängig voneinander entworfen werden (und relativ autonom sein) ebenso: Speicherung von XML-Dokumenten in existierende Datenbanken XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Benutzerdefiniertes Mapping XML-Dokument Mapping Vorschrift <hotel url="www.schwarzer-baer-jena.de"> <name>Schwarzer Bär</name> <adresse> <ort>Jena</ort> <strasse>Fürstengraben</strasse> ... <ClassMap> <ElementType Name="hotel"/> <ToClassTable> <Table Name="Hotelpreise"/> </ToClassTable> <PropertyMap> </adresse> <preise> <einzelzimmer>89</einzelzimmer> ... </preise> </hotel> <Attribute Name="url"/> <ToColumn> <Column Name="Hotel_URL"/> </ToColumn> </PropertyMap> <PropertyMap> <ElementType Name="name"/> <ToColumn> <Column Name="Name"/> </ToColumn> </PropertyMap> ... </Classmap> (schreddern) Hotelpreise Hotel_URL Name www.schwarzer-baer-jena.de Schwarzer Bär Einzelzimmer Datenbank 89 XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Benutzerdefiniertes Mapping Beispiel nach Ronald Bourret <ClassMap> <ElementType Name="hotel"/> <ToClassTable> <Table Name="Hotelpreise"/> </ToClassTable> <PropertyMap> <Attribute Name="url"/> <ToColumn> <Column Name="Hotel_ULR"/> </ToColumn> </PropertyMap> ... </ClassMap> Verbindung zwischen Elementen und Relationen Verbindung zwischen Elementen/Attributen und Datenbankattributen XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Benutzerdefiniertes Mapping Anfragen: Datenbankenanfragen XML-Anfragen XML vor SQL:2003 – Speichermethoden für XML-Dokumente Abbildung auf Datenbankstrukturen Benutzerdefiniertes Mapping - Fazit Schemabechreibung erforderlich Dokumentenrekonstruktion nicht möglich Anfragen SQL Besonderheiten Mapping-Vorschriften erforderlich Speicherung der DokumentenOrdnung durch zusätzliches Attribut Einsatz datenzentrierte XML-Dokumente XML vor SQL:2003 Inhalt Einführung und Motivation Grundlagen und Verständnis Speichermethoden Speicherung als Ganzes Speicherung der Dokumentenstruktur Abbildung auf Datenbankstruktur Zusammenfassung XML vor SQL:2003 Zusammenfassung Vielzahl von Verfahren und Techniken existieren nebeneinander oft aus den Bereichen Datenbanken und Dokumentverarbeitung generell: keine „beste Lösung“ für alle XMLDokumente geeignetste Lösung ist abhängig von konkreten Erfordernissen vieles ist noch in der Entwicklung SQL:2003 <ende> Vielen Dank für die Aufmerksamkeit! <frage> Fragen? </frage> </ende> XML vor SQL:2003 – Speichermethoden für XML-Dokumente Document Object Model (DOM) Methoden der Klasse Node Fast alle Dokumentbestandteile basieren auf dieser Klasse Die Klasse Node enthält: Methoden zur Identifikation des Knotentyps Methoden zur Navigation durch die Dokumentstruktur Methoden zur Manipulation der Dokumentstruktur XML vor SQL:2003 – Speichermethoden für XML-Dokumente Document Object Model (DOM) Zugriff kann durch Navigation erfolgen Ausgehend vom Knoten liefern folgende Methoden der Klasse Node die Knoten bzw. Knotenlisten als Ergebnis: 1 5 4 6 2 3 1 - getParentNode() 2 - getFirstChild() 3 - getLastChild() 4 - getChildren() 5 - getPreviousSibling() 6 - getNextSibling() XML vor SQL:2003 – Speichermethoden für XML-Dokumente Document Object Model (DOM) Manipulation des Dokumentstruktur insertBefore (newChild, refChild) refChild newChild refChild appendChild (newChild) newChild removeChild (oldChild) oldChild Methoden zum oLöschen, oErgänzen, oVerschieben oVerändern von Dokumentanteilen XML vor SQL:2003 – Speichermethoden für XML-Dokumente Document Object Model (DOM) Methoden der Klasse Elemente getTagName() - Tagnamen eines Elementes getAttribute(name) - liefert das angegebene Attribut setAttribute(name, value) - Verändern und Ergänzen von Attributen removeAttribute(name) - löscht das spezifizierte Attribut getElementsByTagName(tagname) - alle Elemente des Dokumentes, mit angegebenen Elementnamen haben getElementsByTagName(*) - alle Elemente. XML vor SQL:2003 – Speichermethoden für XML-Dokumente Document Object Model (DOM) Methoden der Klasse Attribute Attributinformationen können über die folgenden Methoden erfragt werden: getName() getValue() setValue(value) - Attributnamen - Attributwert - setzt Attributwert. XML vor SQL:2003 – Speichermethoden für XML-Dokumente Document Object Model (DOM) Methoden der Klasse Character Data Zum Auslesen, Verändern und Setzen von Textanteilen getLength() getData() liefert den vollständigen Text substringData(start,count) appendData(text) replaceData(offset,count,text) insertData(offset,text) deleteData(offset,count)
