Systeme - XML und Datenbanken
Werbung
XML und Datenbanken - Systeme - Meike Klettke Universität Rostock Fakultät für Informatik und Elektrotechnik [email protected] www.xml-und-datenbanken.de Inhalt der Vorlesung Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Vorstellung verschiedener Systeme Objektrelationale und relationale Datenbanksysteme und ihre Erweiterungen – Oracle – DB2 – MS SQL-Server Native XML-Datenbanksysteme – Tamino – Infonyte Weitere Systeme – Galax – Berkeley DB XML Benchmarks Literatur Meike Klettke !!!!! Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Alle Systeme zur Speicherung und Verwaltung von XMLDokumenten unterliegen ständig Änderungen damit ändert sich auch die Funktionalität besonders aber kann sich auch die Syntax verändern es gibt also keine langfristige Garantie für die Korrektheit der Beispiele Syntaxbeispiele werden deshalb nur sparsam eingesetzt und dienen vorwiegend der Illustration von dargestellter Funktionalität Wenn Syntax aus dem Buch und der VL voneinander abweichen, dann gilt Syntax der VL Meike Klettke Oracle Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Mit Oracle 10, Vereinigung der Daten- (Data) und Inhaltsverarbeitung (Content Processing) Grundlegende Funktionen – – Ausgabe von Datenbankinhalten mit XML-Syntax Verschiedene Speicherungsverfahren Meike Klettke Oracle XML Developer's Kit (Oracle XDK) Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Grundbausteine zum Lesen, Manipulieren, Transformieren, Anzeigen und Generieren von XML-Dokumenten XML Parser: – DOM (einschließlich Version 3.0), SAX – direkter Zugriff auf XMLTypen in den Oracle Datenbanken über C DOM Schnittstellen XSLT Prozessoren (mit XSLT 2.0 Java Unterstützung) XML Schema Prozessoren: unterstützen die Validierung gegen ein XMLSchema XML Class Generator: generiert automatisch Java-Klassen aus DTDs oder XML-Schemata XML SQL Utility: – generiert XML-Dokumente, DTDs und XML-Schemas aus SQLAnfragen – realisiert das Insert von XML-Dokumenten in Oracle-Datenbanken … Meike Klettke verschiedene Modi zur XMLSpeicherung Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Speicherungsverfahren – Native Speicherung von XML-Dokumenten • Verschiedene Möglichkeiten • Anfrage mit XPath, XQuery – Strukturierte Speicherung von XML-Dokumenten in Datenbanken, • Anfragen: XPath, XQuery, SQL Meike Klettke 1. Speicherung als CLOB Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Verwendung von Oracle Text zur Speicherung kein Schema erforderlich Auswertung durch Anfragen, in denen auch das Markup ausgewertet wird SELECT * FROM hotels WHERE contains(hotel, 'Strand INPATH (/hotels/hotel/beschreibung) ') > 0 ORDER BY score DESC; Auch Methoden hasPath() und contains() erlaubt Meike Klettke 2. relationale Speicherung Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Umkehrung der Exportfunktion XML-Dokumente müssen einer bestimmten Syntax entsprechen (dreistufige Schachtelung von Elementen, die auch beim Export eingesetzt wird) diese Syntax kann auch über XSLT erreicht werden Meike Klettke native Speicherung als Dokument /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme ab Version 9i , Release 2: XMLType (Datentyp) Für Relationen oder Attribute einsetzbar, die dann XML enthalten können Validierung beim Einfügen von Daten ist möglich Transformation mit XSL kann erfolgen CREATE TABLE hotels ( name VARCHAR2(40), ort VARCHAR2(35), beschreibung SYS.XMLTYPE, ausstattung SYS.XMLTYPE, preise SYS.XMLTYPE, telefonnr VARCHAR(30) ) insert into hotels (name, ort, beschreibung, ausstattung, preise, telefonnr) values ('Hotel Neptun', 'Warnemuende', sys.XMLType.createXML('In Warnemuende ankommen und sich zu Hause fuehlen'), sys.XMLType.createXML('<schwimmbad> Original-Thalassozentrum. Wir haben fuer Sie frisches Ostseewasser in das Hotel geholt!</schwimmbad>'), sys.XMLType.createXML('<DZ waehrung="Euro">186</DZ> <EZ waehrung="Euro">135</EZ>'), '0381-54370'); Meike Klettke native Speicherung als Dokument /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XPath-Ausdrücke in SQL SELECT ausstattung.extract ('schwimmbad/text()').getStringVal() "Swimmingpool" FROM hotels; Swimmingpool ----------------Original-Thalassozentrum. Wir haben fuer Sie frisches Ostseewasser in das Hotel geholt! Meike Klettke native Speicherung als Dokument /3 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Neben create und extract weitere Methoden: – existNode(), – schemaValidate(), • Validierung der XML-Dokumente gegen das zugeordnete Schema – appendChildXML(), insertXMLBefore(), deleteXML(), updateXML(), • Also Updateoperationen – transform() • XSL-Transformationen Meike Klettke 4. native objektrelationale Speicherung Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme ab Version 9 i, Release 2 Einsatz eines annotierten XML-Schema, das die Zuordnung zwischen den – Elementen/Attributen der XML-Dokumente und den – Relationen und Attributen der Datenbank beschreibt. Beispiel: warum nativ: alle Informationen aus dem DOM in Metadaten gespeichert Meike Klettke native objektrelationale Speicherung Beschreibung des Mappings Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Oracle: XML schema extension <xs:schema … > <xs:element name="PurchaseOrder" type="PurchaseOrderType" xdb:defaultTable="PURCHASEORDER"/> <xs:complexType name="PurchaseOrderType" xdb:SQLType="PURCHASEORDER_T"> <xs:sequence> <xs:element name="Reference" type="ReferenceType" minOccurs="1" xdb:SQLName="REFERENCE"/> <xs:element name="Actions" type="ActionsType" xdb:SQLName="ACTIONS"/> <xs:element name="Reject" type="RejectionType" minOccurs="0" xdb:SQLName="REJECTION"/> <xs:element name="Requestor" type="RequestorType" xdb:SQLName="REQUESTOR"/> <xs:element name="User" type="UserType" minOccurs="1" xdb:SQLName="USERID"/> … Meike Klettke Kombination von Speicherungsvarianten Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Verschiedene Speicherungsvarianten können kombiniert werden. Unterstützung bei der hybriden Speicherung von XMLDokumenten dadurch möglich – Datenzentrierte Anteile werden strukturiert in Datenbanken gespeichert – dokumentzentrierte Anteile als XMLType gespeichert Anfragen können dann auf beiden Speicherungsvarianten durchgeführt werden. Beim Export lassen sich die verschiedenen Speicherungsformen wieder zusammenführen, sodass die XML-Dokumente wiederhergestellt werden können. Meike Klettke Oracle – Schemaprüfung Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme beim Einfügen von XMLDokumenten erfolgt "leichte" Schemaprüfung (Test auf Gültigkeit) aus Effizienzgründen vollständige Schemaprüfung ist aktivierbar Meike Klettke Anfragen Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme bei CLOB-Speicherung: – in SQL MM Text definierte Operationen XQuery-Anfragen als Bestandteil einer SQL-Anfragen SQL bei relationaler Speicherung Meike Klettke Oracle – Ausgabe von XML /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Anfrage: SELECT Name, Kategorie, Ort FROM Hotel, Adresse WHERE (Ort=‘Warnemuende') AND (Hotel.Hoteladr=Adresse.AdresseID) Ergebnis: <rowset> <row no=´1´> <Name>Hotel Huebner</Name> <Kategorie>4</Kategorie> <Ort>Warnemuende</Ort> </row> </rowset> Meike Klettke Oracle – Ausgabe von XML Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Weitere Möglichkeit: SQL/XML Folgt bei DB2 Meike Klettke logisch physisch Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme konzeptuell Oracle – Einordnung IR-Anfragen CLOB XMLType SQL + XPath relationale Speicherung nativ objektrelationale Sp. dokumentzentriert Meike Klettke XPath, XQuery semistrukturiert datenzentriert Oracle – Zusammenfassung /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Speicherung: Modell: objektrelationales Modell, oder Dokumentmodell (bei CLOBs) Schemabeschreibung: nicht notwendig, Validierung möglich, bei objektrelationaler Speicherung annotiertes Schema erforderlich Art der Speicherung: – (Als CLOB) – vollständige Speicherung als XMLType (nativ als Dokument), – Native objekt-relationale Speicherung – fragmentierte Speicherung ist ebenfalls möglich Ordnungserhaltung: ja, außer bei relationaler Speicherung Indizierung: Struktur, Pfade: in Oracle Text schon länger, Strukturindex seit Version 10 Werte: ja Volltext: ja Meike Klettke Oracle – Zusammenfassung /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Import, XML-Export: Export in festes Format, Import aus feststehendem Format, weitere Anpassungen mit XSLT Import über annotiertes XML-Schema Export durch SQL/XML oder auch XQuery Anfrage- und Manipulationsschnittstellen: Anfragen: XPath auf XMLType, XQuery, SQL Volltextfunktionalität: ja (Information Retrieval mit Oracle Text), also bei Speicherung als CLOB und XMLType Änderungsoperationen: darstellbar, bei XMLType und CLOB realisiert durch vollständigen Austausch der XML-Dokumente Transformationen: XSLT Werkzeuge, Besonderheiten XSLT-Prozessor, XML-Prozessoren (DOM, SAX), XML Schema Validator Meike Klettke DB2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme DB2 UDB mit XML- und TextExtender verschiedene Arten der Speicherung von XML-Dokumenten – direkte Speicherung in einem XML-Datentyp – Abbildung auf objektrelationale Strukturen – Speicherung als Volltext und Anfrage unter Berücksichtigung des Markups Meike Klettke XML Extender Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme vereinigt objektrelationale Datenbanktechnologie mit XML ab DB2 UDB V7.1 integriert realisiert zwei Speicherungstechniken – XML Collection • Mechanismus zur Abbildung auf objektrelationale Strukturen – XML Column • XML-Datentyp zur Speicherung von ganzen XMLDokumenten oder XML-Fragmenten eingesetzt Form der Speicherung wird mit Data Access Definition (DAD) beschrieben Einsatz beim Import und Export Anfragemöglichkeiten von SQL und XPath Meike Klettke Möglichkeiten zur Speicherung Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML Column XML Collection Meike Klettke Zusammenwirken der Komponenten Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Meike Klettke Syntaxbeispiel: DAD-File Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme <DAD> <Xcollection> <root_node> <element_node name="hotel"> <RDB_node> <table name="hotel" key="hname"/> <table name="zimmertyp" key="hname, ztyp"/> <condition>hotel.hname = zimmertyp.hname</condition> </RDB_node> <attribute_node name="hname"> <RDB_node> <table name="hotel"/> <column name="hname" type="VARCHAR(32)"/> </RDB_node> </attribute_node> RDB – node = relational DataBase node ... </root_name> </Xcollection> </DAD> Meike Klettke Anfragen Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Ausgabe aller Zimmerpreise: SELECT db2xml.extractDouble(zimmertyp, '/zimmertyp/preis') FROM zimmertyp WHERE hname = 'Hotel am Leuchtturm' Ausgabe aller Hotelnamen in Form einer Tabelle SELECT * FROM table(db2xml.extractStrings( db2xml.XMLFile('/home/hme/hotel/hotels.xml'), '/hotel/*/name')) AS hotelname Meike Klettke Text Extender und Volltextsuche Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Abspeicherung von XML-Dokumenten als Ganzes Textindizierung Text Retrieval Anfragen, auch unter Auswertung des Markup Beispiel: SELECT hotelname, beschreibung FROM hotel WHERE contains(hotel,'MODEL order SECTION(hotel/beschreibung) "Seeblick"') = 1 Meike Klettke Ausgabe von XML-Dokumenten Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme SQL/XML – Sprache wurde bei der Vorstellung von Oracle schon kurz beschrieben über DAD-Files angegeben damit Beschreibung, welche Daten ausgegeben werden sollen und wie die Syntax der Ergebnis-XML-Dokumente aussehen soll Meike Klettke Nativer Datentyp XML Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Seit 2006: nativer XML-Type Viper (Beta-Testversion) XML als Type kann Attributen beim Erzeugen von Relationen zugeordnet werden Einfügen von Werten in Form von XML-Dokumenten in diese Relationen Anfrage von XML-Attributen durch Pfadausdrücke (XPath) und XQueries Meike Klettke Viper Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Meike Klettke Viper Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Meike Klettke Viper Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Relationen mit XML-Attributen entwerfen create table items ( id brandname itemname sku srp comments ) int primary key not null, varchar(30), varchar(30), int, decimal(7,2), xml Erstellen eines Indexes in XML-Typen create index myindex on items(comments) generate key using xmlpattern '/Comments/Comment/CommentID' as sql double Meike Klettke Viper Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Datentypen in SQL-Anfragen select * from items where sku = 112233 select id, brandname, itemname, sku, srp, comments from items where sku = 112233 XQuery-Anfragen zur Suche im XMLType xquery db2-fn:xmlcolumn ('ITEMS.COMMENTS')/Comments/Comment/Message prefix XQuery ist erforderlich, weil Viper 2 Anfragesprachen unterstuetzt Gleiche Anfrage xquery for $y in db2fn:xmlcolumn('ITEMS.COMMENTS')/Comments/Comment return ($y/Message) Meike Klettke DB2 – Ausgabe von XML Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Weitere Möglichkeit: SQL/XML select xmlserialize (content xmlelement(name "testname",fachrichtung_name) as clob(120)) as "result" from studienfach select xmlserialize(content xmlelement(name "studentendaten", xmlelement(name "nachname", name), xmlelement(name "vorname", vorname)) as clob(120)) as "result" from student select xmlserialize(content (xmlelement(name "studentendaten", xmlagg(xmlelement(name "nachname", name))) as clob(600)) as "result" from student Meike Klettke logisch SQL-MM mit Erweiterungen physisch Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme konzeptuell DB2 – Einordnung Volltext- und Strukturindex dokumentzentriert Meike Klettke XML Type (Viper) Mapping durch DAD-Files SQL Verarbeitung des XML Types semistrukturiert objektrelationale Datenbank datenzentriert DB2 – Zusammenfassung /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Speicherung Modell: objektrelationales Modell Schemabeschreibung: Validierung bei Import (DTD, Schema) Art der Speicherung: sowohl vollständig als auch fragmentierend Ordnungserhaltung: nur XML-Datentyp (XML Column) XML-Datentyp: ja Indizierung: Pfade: nur TextExtender Werte: ja Volltext: nur TextExtender Meike Klettke DB2 – Zusammenfassung /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Import, XML-Export Unterstützung von Im- und Export, Abbildung spezifiziert durch DAD-Dateien Anfrage- und Manipulationsschnittstellen Anfragen: SQL und XPath 1.0 Volltextfunktionalität: ja (Information Retrieval mit TextExtender) Änderungsoperationen: SQL, spezielle Methoden Transformationen: nein Werkzeuge, Besonderheiten: XML-sensitiver Volltextindex Speicherung basiert auf dem objektrelationalen Modell Meike Klettke MS SQL Server Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme SQL Server 2000 Import und Export von XML-Dokumenten Middleware zur Verarbeitung von XML-Dokumenten Verwendung von XPath-Ausdrücken Ausgabe von Anfrageergebnissen mit XML-Syntax Manipulation von XML-Dokumenten durch Updategramme SQL Server 2005 Nativer XML-Datentyp XML-Index XQuery und XML DML (XML Data Manipulation Language) Meike Klettke Ausgabe von XML Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Ausgabe von SQL-Anfrageergebnissen als XML-Dokumente Drei Modi werden unterschieden: RAW – erzeugt für jedes Ergebnistupel ein XML-Element ohne Subelemente. AUTO – erzeugt ein geschachteltes XML-Dokument mit dem Anfrageergebnis EXPLICIT – erlaubt, die Form und Schachtelung des Ergebnisdokumentes in der Anfrage selbst zu bestimmen. in SQL-Server 2005 auch SQL/XML Meike Klettke Syntax Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme select from where for xml (raw | auto [, elements] | explicit) Meike Klettke RAW-Modus Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme SELECT Hotel.Name, Zimmertyp.Typ, Zimmertyp.Preis FROM Hotel, Zimmertyp WHERE Hotel.Name = Zimmertyp.HName FOR XML RAW vom SQL Server dieses XML-Fragment erstellt: <row Name="Hotel Neptun" Typ="EZ" Preis="120"/> <row Name="Hotel Neptun" Typ="DZ" Preis="170"/> <row Name="Hotel Neptun" Typ="Suite" Preis="350"/> Meike Klettke 3 Arten der Speicherung von XMLDokumenten Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Native Speicherung als XML Type Abbildung auf relationale Speicherung Speicherung als large Objekts LOBs – (wenn Dokumente exakt erhalten bleiben müssen und nicht nur Infoset „-konformität“ ausreicht) Hybride XML-Speicherungsverfahren sind möglich – Auswahl verschiedener Verfahren für unterschiedliche XML-Dokumentanteile Meike Klettke Nativer Datentyp XML /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Validitätstests beim Einfügen von Daten möglich Intern wird ein Binärformat verwendet, schneller in der Verarbeitung als die Textrepräsentation CREATE TABLE docs (pk INT PRIMARY KEY, xCol XML) INSERT INTO docs VALUES (1,‚ <book genre="security" publicationdate="2002" ISBN="0-7356-1588-2"> <title>Writing Secure Code</title> <author> <first-name>Michael</first-name> <last-name>Howard</last-name> </author> <author> <first-name>David</first-name> <last-name>LeBlanc</last-name> </author> <price>39.99</price> </book>') Meike Klettke Nativer Datentyp XML /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML Type kann in der gleichen Relation oder in einer separaten (verbunden durch Fremdschlüssel) abgelegt werden (in separater, wenn XML-Index nicht über dem Primärschlüssel der Hauptrelation erfolgen soll) XML-Index indiziert Tags, Werte, Pfade (verwendet B+-Bäume für alles) Volltextindex möglich SELECT * FROM docs WHERE contains (xCol, 'Visionen', LANGUAGE 'German') Anfragen: SELECT * FROM docs WHERE CONTAINS(xCol,'Secure') AND Col.exist('/book/title/text()[contains(.,"Secure")]') =1 Im oberen Beispiel: verschiedene Semantik von contains: – 1. Auftreten Stammwortreduktion – 2. Teilstring-Match Meike Klettke SQL-Server – XML-Sichten über einer Datenbank Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme durch annotierter XDR (XML-Data Reduced) Schema oder annotiertes XML-Schema (AXDS) wird Abbildung auf ein relationales Schema beschrieben, Beispiel: <schema xmlns="urn:schemas-microsoft-com:xml-data" xmlns:sql="urn:schemas-microsoft-com:xml-sql"> <ElementType name="zimmertyp" sql:relation="Zimmertyp"> <attribute type="ztyp" sql:field="ZTyp"/> <attribute type="hname" sql:field="HName"/> </ElementType> </schema> Meike Klettke logisch physisch Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme konzeptuell SQL-Server – Einordnung Meike Klettke XPath SQL Updategram Volltextoperationen Edge-Table dokumentzentriert semistrukturiert relationale Datenbank datenzentriert SQL-Server–Zusammenfassung /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Speicherung: Modell: relationales Modell Schemabeschreibung: XDR für XML-Sichten, DTD oder Schema zur Typableitung in OpenXML Art der Speicherung: fragmentierte Speicherung oder XMLDatentyp Ordnungserhaltung: ja (Beim XML-Datentyp) XML-Datentyp: ja Indizierung Struktur, Pfade: ja Werte: ja Volltext: ja Meike Klettke SQL-Server–Zusammenfassung /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Import, XML-Export: Import und Export durch annotiertes XDR-Schema oder XML-Schema (AXDS annotated …) Anfrage- und Manipulationsschnittstellen: Anfragen: SQL, XPath, XQuery Volltextfunktionalität: ja Änderungsoperationen: an XML mit Updategrammen Transformationen: XSLT 1.0 Werkzeuge, Besonderheiten: Integration mit Web-Services über Middleware Laden von XML-Massendaten Hybride Speicherung wird ausdrücklich empfohlen Meike Klettke Tamino Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme von der Software AG entwickelt eines des bekanntesten nativen XML-Datenbanken vollständig für die Verarbeitung von XML-Dokumenten entwickelt (Erfahrungen aus der Entwicklung von adabas) Meike Klettke Tamino - Eigenschaften Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme native Speicherung der XML-Dokumente Anfragen mit XPath / XQuery Volltextfunktionalität ergänzt Updateoperationen möglich Sperrverfahren auf der Ebene von ganzen XMLDokumenten Meike Klettke Tamino - Architektur XML Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme HTTP Web-Server X-Port X-Machine XML Engine Meike Klettke XML Data Server metadata Data map X-Node Server extensions X-Tension Data Store Kernel open API external data source Speicherung und Retrieval von XML-Dokumenten XML-Ausgabe Anfrage (URL) Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Query Interpreter XML Objekte, DTDs XML Parser Object Prozessor Object Composer Daten von externen Datenquellen und/ oder der internen Datenspeicherung Meike Klettke Data Map Utilities Daten an externe Datenquellen und/ oder an die intere Datenspeicherung Editor für XMLDokumente, Schema, ... XML Spy logisch XPath 1.0 XQuery 1.0 mit XPath 2.0 physisch Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme konzeptionell Tamino - Einordnung native Speicherung der XMLDokumente dokumentzentriert Meike Klettke semistrukturiert datenzentriert Tamino –Zusammenfassung /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Speicherung: Modell: native Speicherung, Basis adabas-Komponenten Schemabeschreibung: DTD + Datentypen von XML Schema, Test auf Gültigkeit, Schema ist zur Speicherung von XML-Dokumenten nicht erforderlich Art der Speicherung: vollständige Speicherung Ordnungserhaltung: ja Indizierung Struktur, Pfade: ja Werte: ja Volltext: ja Meike Klettke Tamino –Zusammenfassung /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Import, XML-Export Verarbeitung externer Informationen aus Datenbanken und Spezifikation von Zuordnungsvorschriften, Einbeziehung weiterer Formate Anfrage- und Manipulationsschnittstellen Anfragen: XPath 1.0, zukünftig XQuery auf XPath 2.0 Volltextfunktionalität: ja Änderungsoperationen: ja Transformationen: XSLT 1.0 Werkzeuge, Besonderheiten Transaktionsverwaltung, Mehrnutzerbetrieb, graphische Unterstützung der Angabe des Mappings, Integration von Editoren (XML Spy) Meike Klettke infonyte Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Am Fraunhofer Institut IPSI in Darmstadt entwickelt, vom Spin-Off Infonyte GmbH weiterentwickelt und vermarktet Grundidee: persistente Speicherung des DOM Vorgehensweise Speicherung kann ohne DTD oder Schemainformationen erfolgen Anfragen: XPath, XQL oder über DOM-API Integration eines XSLT-Prozessors Meike Klettke Systemeigenschaften Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme basiert nicht auf existierenden Datenbanken, entwickelt eigene Komponenten zur physischen Speicherung, Indizierung, usw. Benötigt also auch kein zusätzliches Datenbanksystem Modular konzipiert dadurch "schlanke und leistungsfähige" Implementierung Offengelegte Backend-Schnittstelle erlaubt die Integration anderer Speicherungssysteme Meike Klettke infonyte - Architektur Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Meike Klettke logisch DOM XPath1.0 XQL Updates physisch Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme konzeptionell infonyte - Einordnung Speicherung der DOM Informationen dokumentzentriert Meike Klettke semistrukturiert datenzentriert infonyte - Lösungen Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Datenintegration und -bereinigung in Data Warehouses – Mit Anfragetechniken und XSLT, verschiedene Umformungen, zum Beispiel Gruppierung möglich Datenpublikation – Individuell angepasste Lese-/Browsingumgebungen – Umfangreiche XML-Dokumente erfordern zur Speicherung oft 10-20fachen Platz im Hauptspeicher – Einsatz von infonyte reduziert das – Darstellung von Inhalten ohne Speicherbegrenzung Technische Dokumentationen – ähnliches Szenario – Autorenseite und – Anwender /Leserseite, über Webbrowser, aber auch PDAs Meike Klettke infonyte – Zusammenfassung /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Speicherung: Modell: Struktur des DOM Kompaktes verlustfreies Binärformat für XML-Dokumente Schemabeschreibung: Schema ist keine Voraussetzung für die Speicherung Art der Speicherung: vollständige Speicherung Ordnungserhaltung: ja XML-Datentyp: nein Indizierung: Struktur, Pfade: ja Werte: ja Volltext: ja Meike Klettke infonyte – Zusammenfassung /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme XML-Import, XML-Export nein, allerdings Integration von XSLT Anfrage- und Manipulationsschnittstellen Anfragen: XPath 1.0, XQL Volltextfunktionalität: nein Änderungsoperationen: über DOM-Methoden Transformationen: XSLT 1.0 Werkzeuge, Besonderheiten: Keine XSLT für riesige XML-Dokumente (im Gigabereich) 2-Phasen Commit Protokoll für Updaterealisierung Graphische XML-Autorenumgebung (Texteditor, Baumansichten, Fenster für XPath, XQL, Benutzerschnittstelle für Datenbankeinstellungen) Meike Klettke exist Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme eXist: Open Source native XML database • effiziente, index-basierte XQuery Verarbeitung, XQuery 1.0 Working Draft ist implementiert • Automatische Indizierung • Erweiterungen zur Volltextsuche • XQuery Update Erweiterung http://exist.sourceforge.net Meike Klettke Berkeley DB XML Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme basiert auf der Berkeley DB sind C++-Bibliotheken, die in die jeweilige Anwendung eingebunden werden – kostenfrei speichert XML-Dokumente im XML-Format (nicht in Form von Relationen) Zusammenfassung von gleichartigen XML-Dokumenten in Containern Abspeicherung als komplettes Dokument oder aufgeteilt auf individuelle Knoten möglich Ergänzen von individuellen Metadaten zu den XMLDokumenten ist möglich Anfragen: XPath, XQuery Meike Klettke Galax Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme open-source Implementation of XQuery 1.0 Ziel: volle Übereinstimmung mit den W3C XQuery Spezifikationen Referenzimplementation für XQuery 1.0 Anfrageoptimierung steht im Mittelpunkt über XQueyr hinaus gehende Eigenschaften: – Updates – Volltextoperationen Galax release 0.5.0 http://www.galaxquery.org Meike Klettke Galax - Mitwirkende Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Mary Fernández, AT&T Labs Jérôme Siméon, IBM Watson Research Cindy Chen, University of Massachusetts at Lowell Byron Choi, University of Pennsylvania Vladimir Gapeyev, University of Pennsylvania Amélie Marian, Columbia University Philippe Michiels, Universiteit Antwerpen, Belgium Nicola Onose, Ecole Polytechnique, France Douglas Petkanics, University of Pennsylvania Christopher Ré, University of Washington Michael Stark, University of Darmstadt Gargi Sur, University of Florida Avinash Vyas, Bell Laboratories Philip Wadler, University of Edinburgh, Scotland Meike Klettke Query-Verarbeitung Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Meike Klettke XML-Benchmarks /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Ziel: Vergleich von Systemen Bekannte Benchmarks – Xmark (Schmidt et.al: Niederlande) – XOO7 (Nambiar et al.: University of Singapore, Arizona State University) – XMach-1 (Böhme, Rahm: Universität Leipzig) – es gibt noch weitere, auch noch welche, die sich in der Entwicklung befinden Meike Klettke XML-Benchmarks /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme Vorgehensweise: definieren Umgebungen für Benchmarktests, bestehend aus – gegebenen XML-Dokumenten oder – Methoden zum Generieren von XML-Dokumenten mit bestimmten Eigenschaften – Menge von XQuery-Anfragen – teilweise Updates Bewertet wird der Durchsatz in den einzelnen getesteten Systemen. (Metrik: XML queries per second) Meike Klettke Wahl des Speicherungssystems Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme alle Systeme haben die „Datenbankvorteile“ gegenüber dem Filesystem, z.B.: – Datensicherheit, Konsistenztests, Indizierung, Anfragerealisierung, Optimierung, und viele mehr Wahl des Systems hängt von aktuellen Anforderungen ab hier dargestellte Eigenschaften stellen qualitative Kriterien dar (diese nähern sich aber durch die Standardisierung an) Benchmarks versuchen quantitative Vergleiche häufig spielt sicher auch eine Rolle, ob schon ein DBS in einer Firma/ einem Projekt/ einer Anwendung eingesetzt wird, das wird dann häufig auch für die Speicherung der XML-Dokumente verwendet Meike Klettke Literatur /1 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme – www.ibm.com – www.oracle.com/xml – Ulrike Schwinn (Oracle): XML in der Oracle Datenbank „relational and beyond“, BTW 2003 – Rüdiger Eichin, Excelon: Prozeßmanagement auf der Basis von XML, Fachgruppentreffen, GI-Fachgruppe Datenbanksysteme, Darmstadt, 2002 – eXtensible Information Server (XIS), Native XML Data Management System, www.exceloncorp.com/products/xis/ – www.microsoft.com Meike Klettke Literatur /2 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme – www.softwareag.com/tamino – Harald Schöning, Jürgen Wäsch: Tamino --- An Internet Database System, Advances in Database Technology --- EDBT 2000, LNCS 1777, S. 383—387 – Harald Schöning: XML und Datenbanken, Hanser Verlag, 2003 – Walter Waterfeld: Realisierungsaspekte eines XML Datenbanksystems, BTW 2001 – www.infonyte.com – Thomas Tesch, Peter Fankhauser, Tim Weitzel (infonyte): Skalierbare Verarbeitung von XML-Dokumenten in Datenbanken, BTW 2003 – Berkeley DB XML – www.sleepycat.com Meike Klettke Literatur /3 Einleitung Anwendungen XML XPath XQuery XML-Prozessoren Architektur Modellierung XML-Speicherung Indizierung XML-Generierung Systeme – Tim Rieger: Benchmarking XML Databases, Universität Rostock, Fachbereich Informatik, Bachelorarbeit, 2002 – Jana Jonas: Evaluating XML Database Benchmarks and Analyzing the Integration of XML Schema Evolution Steps, Studienarbeit, 2005 – Timo Böhme, Erhard Rahm: XMach-1 Homepage, http://dbs.uni-leipzig.de/de/projekte/XML/XmlBenchmarking.html, 2002 – Timo Böhme, Erhard Rahm: XMach-1: A Benchmark for XML Data Management, Proceedings of the BTW, S. 264-273, 2001 – Stephane Bressan, Gillian Dobbie, Zoe Lacroix, Mong-Li Lee, Ying Guang Li, Ullas Nambiar, Bimlesh Wadhwa: X007: Applying 007 Benchmark to XML Query Processing Tool, CIKM, S. 167-174, 2001 – Albrecht Schmidt, Florian Waas, Martin L. Kersten, Daniela Florescu, Ioana Manolescu, Michael Carey, Ralph Busse: XMark - An XML Benchmark Project, http://monetdb.cwi.nl/xml/, 2002 – Albrecht Schmidt, Florian Waas, Martin L. Kersten, Michael J. Carey, Ioana Manolescu, Ralph Busse: XMark: A Benchmark for XML Data Management, Proceedings of the VLDB Conference, 2002 Meike Klettke
