Informationsintegration

Informationsintegration
Heterogenität
Transparenz
Ulf Leser
Wissensmanagement in der
Bioinformatik
Klassifikationsdimensionen
Verteilung
Autonomie
Heterogenität
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
2
Verteilung
z Ein verteiltes Informationssystem ist eine
Sammlung mehrerer, logisch verknüpfter
Informationssysteme, die über ein gemeinsames
Netzwerk erreichbar sind
z Zwei Aspekte
z Physische Verteilung
z Logische Verteilung
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
3
Physische Verteilung
• Server stehen an unterschiedlichen Orten
• Anderes Land, Gebäude, Raum, Schrank, Rack, …
• Server sind physikalisch unabhängig (hoffentlich)
• Shared Nothing
• Server haben keine gemeinsamen Speicher, Disk, CPU, …
• Aber: Storage Area Networks
• Motiviert durch
•
•
•
•
•
Höhere Sicherheit (desaster protection)
Lokale Nähe von Servern zu Clients
Historisch begründete Orte
Physikalische Einschränkungen (Hitze, Gewicht, Energie)
Monetäre Gründe (Grid)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
4
Logische Verteilung
• Daten stehen an verschiedenen logischen „Orten“
•
•
•
•
Können, müssen aber nicht physikalisch unterschiedlich sein
Verschiedene Attribute/Tabellen/Schemata
Kann auch in einem Schema vorliegen (Tabellen buecher1, buecher2)
Zusätzlich: Intensionale Überlappung
• Immer mit Redundanz verbunden
•
•
•
Kontrollierte Redundanz – „jemand“ weiß, warum buecher1 oder buecher2
Unkontrollierte Redundanz – keiner weiß, …
Gefahr von (extensionalen) Duplikaten
• Ursachen
•
•
•
•
Schlechte Integration – Redundanz wird nicht entfernt
Historisch gewachsen
Autonomie von Datenquellen
Fehlende Kenntnisse (Unentdeckte Verteilung)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
5
Take Home Message
• Definition von logischer Verteilung ist anwendungsabhängig, die von physischer Verteilung nicht
• Daten können logisch verteilt sein, obwohl sie in einer
Datenbank liegen
•
•
Schema verdoppeln und Daten verteilen
Zwei Filmquellen unverändert in ein Schema kopieren
• Daten können physisch verteilt sein, obwohl sie logisch
unverteilt sind
•
•
•
Replikation und Caching
• Klare Master – Slave Beziehung
Performanzsteigerung durch Partitionierung
• Auftrennung nach festen Kriterien
Verteile Datenbanken: Strenge Kontrolle des „wo“ von Daten
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
6
Autonomie
z Der Grad, zu dem verschiedene DBMS
unabhängig voneinander betrieben werden
z Bezieht sich auf Kontrolle, Weiterentwicklung,
Administration
z Meint nicht „Unabhängigkeit“ im Sinne von
Stromversorgung, Verschaltung, Vernetzung …
z Klassen nach [ÖV99]
z Design-Autonomie
z Kommunikations-Autonomie
z Ausführungs-Autonomie
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
7
Autonomie → Heterogenität
z Verteilung als „Ursache“ für Autonomie
z Autonomie als „Ursache“ für Heterogenität
⇒ Gestaltungsfreiheit
⇒ Unterschiedliche Entscheidungen
⇒ Heterogenität
z Besonders schlimm: Softwareentwickler
z Das Recht, alles dauernd zu ändern
z „Not invented here“ Syndrom
z Wiederverwendung als ewiger Traum
z Standards grenzen Autonomie ein
z Im Web ist alles mega-autonom
z Aber: Marktplätze etc.
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
8
Inhalt dieser Vorlesung
• Heterogenität
•
•
•
•
•
Überblick
Technische Heterogenität
Syntaktische Heterogenität
Datenmodellheterogenität
Strukturelle Heterogenität
• Schematische Heterogenität
• Semantische Heterogenität
• Datenkonflikte
• Transparenz
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
9
Heterogenität
• Zwei Informationssysteme sind heterogen, wenn
sie sich „irgendwie“ unterscheiden
• Verschiedene Ausprägungen von „irgendwie“ =>
verschiedene Arten von Heterogenität
• Informationsintegration =
Überbrückung von Heterogenität
• Erstellung eines homogenen Systems
• Erweckung des Anscheins eines homogenen Systems
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
10
Übersicht
• Technische Heterogenität
•
•
Technische Realisierung des Datenzugriffs
Technische Unterschiede in der Darstellung
• Syntaktische Unterschiede
•
•
Unterschiede in der Darstellung
Gleiche Dinge verschieden repräsentieren
• Datenmodellheterogenität
• Strukturelle Heterogenität
•
•
Strukturelle Unterschiede in der Darstellung
Gleiche Dinge verschieden modellieren
• Semantische Heterogenität
•
Unterschiede in der Bedeutung von Informationen
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
11
Erinnerung
Anfrage
Integriertes Informationssystem
Oracle,
DB2…
Dateisystem
Web
Service
Anwendung
HTML
Form
Integriertes
Info.-system
Heterogenität zwischen Datenquellen
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
12
Erinnerung
Anfrage
Heterogenität
zwischen
globaler
Schicht und
Datenquellen
Integriertes Informationssystem
Quelle
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
13
Probleme gelöst
• Technische Heterogenität
• Das IntInfoSys kann eine Anfrage absetzen und kriegt „was“ zurück
• Syntaktische Unterschiede
• In dem „was“ sind gleiche Dinge auch gleich dargestellt
• Datenmodellheterogenität
• Die Quelle liefert das „was“ im Datenmodell des IntInfoSys
• Strukturelle Heterogenität
• Die Quelle liefert das „was“ im Schema des IntInfoSys
• Semantische Heterogenität
• Die Quelle meint mit Begriffen dasselbe wie das IntInfoSys
• Gilt auf Schema- und Datenebene
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
14
Heterogenitätsklassen
• Auch andere Klassifikationen möglich [BKLW99]
•
•
•
Syntaktische Heterogenität (= technische Heterogenität)
Datenmodellheterogenität (= Datenmodellheterogenität)
Logische Heterogenität (= semantische & strukturelle Heterogenität)
• … oder nach [Con97]
•
•
•
•
Semantische Konflikte (= semantische Heterogenität)
Beschreibungskonflikte (= strukturelle Heterogenität bei geringfügig
unterschiedlicher Intension)
Heterogenitätskonflikte (= Datenmodellheterogenität)
Strukturelle Konflikte (= strukturelle Heterogenität bei gleicher
Intension, schematische Konflikte)
• Aber
•
•
•
Man kann (und muss) das nicht immer klar trennen
In der Realität treten immer schwer entwirrbare Kombinationen auf
Ziel ist es, die Bandbreite der möglichen Probleme kennen zu lernen
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
15
Technische Heterogenität
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
16
Hardware Heterogenität
• Bandbreite
• Hauptspeicher
• CPU
• Art
• Geschwindigkeit
Nicht hier
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
17
Einschränkung des Zugriffs macht Sinn
• Komplexität
•
•
•
•
Negation: teuer
Gleichheit / Ungleichheit (Negation)
„=“ oder auch „>,<, ≥, ≤“
Konjunktion (UND) oder auch Disjunktion (ODER - teuer)
• Benutzbarkeit
•
Benutzer wollen einfache Schnittstellen (Volltextsuche)
• Technische Hindernisse
•
•
Gebundene und freie Variablen
Maximale Länge des Kommandozeilenpuffers
• Sicherheit
•
•
Nur bestimmte Funktionen erlauben
Teure Queries vermeiden, SQL-Injektion, …
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
18
Beispiel
Suche
Konjunktion/Disjunktion
gleich/ungleich
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
19
Beispiel
Gebundene Variablen,
vorgegebene Disjunktion
Feste Auswahl von
Werten, vorgegebene
Konjunktion
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
20
Typische Probleme
• Globale Anfragesprache ist mächtiger als lokale
Anfragesprache
•
•
Anfragen nicht ausführbar
Globales System muss kompensieren
• Lokale Anfragesprache ist mächtiger als globale
Anfragesprache
•
Verpasste Chance, lokale (effiziente) Ausführung auszunutzen
• Einschränkungen bzgl. Variablenbindung sind inkompatibel
•
Anfragen eventuell nicht ausführbar
• Übersetzung von Anfragesprachen notwendig
•
•
SQL – XQuery, SQL – HTTP, Web-Service – SQL, etc.
Oft nicht einfach möglich, da unterschiedliche Konzepte
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
21
Mächtige globale Anfragesprache
SQL
SELECT
FROM
WHERE
AND
*
Books
Author = „Defoe“
PubYear = 1979
HTML
Form
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
22
Kompensation möglich
SELECT
FROM
WHERE
AND
*
Books
Author = „Defoe“
PubYear = 1979
Daniel Defoe, Robinson Crusoe, 1979
PubYear = 1979
Daniel Defoe, Robinson Crusoe, 1986
Daniel Defoe, Robinson Crusoe, 1979
Daniel Defoe, Moll Flanders,
1933
Defoe
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
23
Kompensation nicht möglich
SQL
SELECT
FROM
WHERE
*
Books
Price < 10 Euro
HTML
Form
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
24
Syntaktische Heterogenität
• Unterschiedliche Darstellung desselben
Sachverhalts
•
•
•
•
•
•
•
Dezimalpunkt oder –komma
Euro oder €
Comma-separated oder tab-separated
HTML oder ASCII oder Unicode
Notenskala 1-6 oder „sehr gut“, „gut“, …
Binärcodierung oder Zeichen
Datumsformate (12. September 2006, 12.9.2006, 9/12/2006, …)
• Überwindung in der Regel nicht problematisch
• Umrechnung, Übersetzungstabellen, …
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
25
Inhalt dieser Vorlesung
• Heterogenität
•
•
•
•
•
Überblick
Technische Heterogenität
Syntaktische Heterogenität
Datenmodellheterogenität
Strukturelle Heterogenität
• Schematische Heterogenität
• Semantische Heterogenität
• Datenkonflikte
• Transparenz
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
26
Datenmodellheterogenität
• Typische Datenmodelle
•
•
•
•
•
•
CSV
Relational (Tupel)
XML (XML)
Non-Standard (ASN.1)
Domänenspezifisch (ACeDB, EXPRESS, OPEN-GIS, …)
Proprietär (UniProt, PDB, …)
• Unterschied: Zum Austausch oder zur Speicherung
•
XML als Speicherformat?
• Erfordert Konvertierung
•
•
•
Spezielle Semantik geht unter Umständen verloren
XML-Schachtelung im relationalen Modell?
Später mehr (Modellmanagement)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
27
Beispiel
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
28
Strukturelle Heterogenität
• Allgemein
• Gleiche Dinge in unterschiedlichen Schemata ausdrücken
• Andere „Aufteilung“ von Attributen auf Tabellen
• Setzt intensionale Überlappung voraus („gleiche Dinge“)
• Kann meist durch Anfragesprachen überwunden werden
• Sichten / Views
• Meistens mit semantischen Heterogenität verbunden
• Ausnahme: 1:1 Beziehungen
• Was bedeutet „Äquivalenz“ zweier Schemata?
• Spezialfall: Schematische Heterogenität
• Verwendung anderer Elemente eines Datenmodells
• Kann meist nicht durch Anfragesprachen überwunden werden
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
29
Beispiel
• Verursacht durch verschiedene Abbildungen eines
objektorientierten Modells
• Gleichwertig?
• Nur durch zusätzliche IC
• 1: Typ darf nur bestimmte
Werte annehmen
• 1: Umsatz darf nicht immer
gefüllt sein (abh. von typ)
• 2: Gleiche film_id darf nicht
in verschiedenen Tabellen
vorkommen
• …
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
30
Denormalisierung
• Geschachtelt vs. flach
• 1:n Assoziationen werden unterschiedlich dargestellt
• Als geschachtelte Elemente
• Als Schlüssel-Fremdschlüssel Beziehung
• Redundanz wird in Kauf genommen (höhere Performanz)
•ARTICLE
•artPK
•title
•pages
•AUTHOR
•name
•PUBLICATION
•pubID
•title
•author
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
ID?
31
Kardinalitäten
• Schema sind ähnlich, aber semantisch nicht
gleichwertig
• m:n Beziehung zwischen Film und Sprache
• 1:1 Beziehung zwischen Film und Sprache
• Wenn eine Anwendung aber nur 1:1 Beziehungen
enthält?
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
32
Spezialfall: Schematische Heterogenität
maenner( Id, vorname, nachname)
frauen( Id, vorname, nachname)
Relation vs. Wert
Relation vs. Attribut
person( Id, vorname, nachname,
maennlich?, weiblich?)
person( Id, vorname, nachname,
geschlecht)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
Attribut vs. Wert
33
Schematische Konflikte sind gemein
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
34
Integrierte Sichten
• Verlangt viele Verrenkungen
• Sicht muss angepasst werden, wenn neue Filmtypen
vorliegen
•
•
Datenänderungen erzeugen Schemaänderungen
Das will man unbedingt vermeiden
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
35
Lösung (Ausblick)
• SchemaSQL [LSS96]
• Erweiterung von SQL
• Daten und Metadaten werden gleich behandelt
Iteriert über alle Tupel von q1.Film
CREATE
SELECT
FROM
UNION
SELECT
FROM
WHERE
VIEW q1_q1
id, title, regisseur, typ
q1.film
A.id, A.title, A.regisseur, A
q1::Film F, q2-> A
A = F.Typ
Iteriert über alle
Relationennamen von q2
Join über Attributwerte in q1 und
Tabellennamen in q2
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
36
Exotische Probleme?
• Oh nein
• Schema zur Speicherung
von Filmen des
Verleihers „XYZ“
•
•
•
•
•
ACTORS als VARCHAR
ORIGINAL – bedeutet was?
TITLE, YEAR, … an drei
Stellen
ID-Räume DEUTSCH und
ORIGINAL getrennt?
…
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
37
Exotische Probleme?
• Schema von
eachmovie (HP)
• Eine einzige Tabelle für Filme
• Zusätzliche Informationen
über Benutzer des WebSystems
• Wenig Infos über Filme, aber
Links zu weiteren Quellen
• GENRE sind boolsche
Attribute
• …
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
38
Exotische Probleme?
• Schema von
movielens.umn.edu
• Praktisch keine
Informationen über Filme
• Eigene Tabelle für GENRE
• FILM-GENRE ist m:n
• Mehr Informationen über
Benutzer
• Links sind verschwunden
• …
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
39
Schema des Filmdienst
FILM-PERSONEN ist m:n
FILM-GENRE ist m:n
Personen können mehrere
Namen haben (Aliase,
Künstlernamen)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
Eigene Tabelle für Filmtitel und
40
Filmtiteltypen (?)
Schema der IMDB
ACTOR und ACTRESS in
verschiedenen Tabellen
Beteiligte in eigenen Tabellen
(FD hat Tabelle FUNKTIONEN)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
41
Inhalt dieser Vorlesung
• Heterogenität
•
•
•
•
•
Überblick
Technische Heterogenität
Syntaktische Heterogenität
Datenmodellheterogenität
Strukturelle Heterogenität
• Schematische Heterogenität
• Semantische Heterogenität
• Datenkonflikte
• Transparenz
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
42
Semantik
• Fremdwörterduden zu “Semantik”
• „Teilgebiet der Linguistik, das sich mit den Bedeutungen
sprachlicher Zeichen und Zeichenfolgen befasst“
• „Bedeutung, Inhalt eines Wortes, Satzes oder Textes“
• Programmiersprachen
• Syntax: EBNF, Grammatiken
• Semantik: Wirkungen der Ausführung; operationale Semantik,
Fixpunktsemantik, …
• Sprache
• Syntaktisch falsch: „Ich esse Butterbrot ein“
• Semantisch falsch: „Ich esse einen Schrank“
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
43
Semantik
• „Semantische Heterogenität ist ein überladener
Begriff ohne klare Definition. Er bezeichnet die
Unterschiede in Bedeutung, Interpretation und
Art der Nutzung.“
[ÖV91]
• Semantik von
• Schemaelementen (meistens)
• Daten (siehe Ontologien)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
44
Semantik von was?
Name
Extension
Realweltliche Objekte
Intension
repräsentiert
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
Konzept
45
Probleme
• Homonyme: Gleiche Namen, verschiedene Konzepte
• Synonyme: Verschiedene Namen, gleiche Konzepte
• Beziehungen zwischen Konzeptextensionen
•
•
•
•
A=B (Äquivalenz): „semantische“ (echte) Synonyme
• Kreditinstitut, Bank (?)
• Gibt es echte Synonyme?
A⊆B (Inklusion): B ist Hyperonym zu A; B ist Hyponym zu A
• Tochter ⊆ Kind
A ∩ B ≠ ∅ ∧ A≠B (Überlappung): Schwierigster Fall
• Küche-Kochnische; Haus-Gebäude; Regisseur-Schauspieler
A ∩ B = ∅ (Disjunktion): nicht verwandte Begriffe (häufigster Fall)
• Dose-Lohnsteuerjahresausgleich
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
46
Synonyme
• Verschiedene Worte für dasselbe Konzept
• Immer im Kontext der Anwendung
DB1:
Angestellter( Id, Vorname, Name,männlich,weiblich)
DB2:
Person( Id, Vorname, Nachname, Geschlecht)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
47
Homonyme
• Gleiche Worte verschiedener Bedeutung
• Treten oft bei Überschreitung von Domänengrenzen auf
Sekr., Sachbearbeiter,
Bereichsleiter, etc.
DB1:
Angestellter( Id, Vorname, Name, m, w, Funktion)
DB2:
Protein( Id, Sequenz, organismus, Funktion, …)
Transport, Katalyse, Signal, …
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
48
-nym Wörter
• Synonym
• Homonym
• Antonym
•
•
Verschiedene Wörter, gegenteilige Semantik
Hell-dunkel, billig-teuer, …
• Auto-Antonym
• Gleiche Wörter, gegenteilige Semantik
• Transparenz, left, clip, …
• Heteronym
•
•
Gleiche Schreibung, verschiedene Aussprache, verschiedene Semantik
„It's the referee's job to record the new world record.“
• Pseudonym
• http://www.fun-with-words.com/nym_words.html
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
49
Semantik: Woher nehmen?
• Schemaelemente sind erst mal nur Namen
• Was bestimmt die Semantik eines Namens?
• Für Attributnamen:
•
•
•
•
•
•
•
•
•
•
Datentyp
Constraints (Schlüssel, FK, unique, CHECK, …)
Zugehörigkeit zu einer Relation
Andere Attribute dieser Relation
Beziehung der Relation zu anderen Relationen
Dokumentation
Vorhandene Werte
Wissen über den Anwendungsbereich
…
Der Kontext
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
50
Konzepte sind schwierig
• Wie viele Mitarbeiter hat IBM?
• Was ist ein Mitarbeiter?
•
•
•
•
•
Temporäre Mitarbeiter
Feste Freie, Leiharbeiter, seit Jahren bei IBM arbeitende externe Berater
Studentische Mitarbeiter, Diplomanden
Stellen oder Köpfe?
Doppelte Zählung bei mehreren Anstellungen?
• Was ist IBM?
•
•
Welche Region? Welcher Geschäftsbereich?
Informix? PWC?
• Welcher Zeitpunkt ist gemeint?
•
•
Fester Zeitpunkt?
Im Schnitt über alle Tage im letzten Quartal?
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
51
Konzepte ändern sich
• Synonyme?
•
•
•
•
Prince, „The artist formerly known as prince“
Ja – dieselbe Person
Nein – dieselbe Person zu verschiedene Zeiten
Temporale Abhängigkeit
• Synonyme?
•
•
•
•
England, Großbritannien
Ja – für uns
Nein – für Schotten
Anhängig vom kulturellen Hintergrund
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
52
Kontext
• Semantik kann nur im Kontext ermittelt werden
• Beispiel
•
•
•
•
Unternehmen A: angestellte( …)
Unternehmen B: mitarbeiter( …)
Mitarbeiter und Angestellte kann man als Synonyme betrachten
Aber: A.angestellte ∩ B.mitarbeiter = ∅
• Wenn Personen nicht in zwei Unternehmen beschäftigt sind
• Erst bei einem Merger von A und B werden A.angestellte und
B.mitarbeiter zu Synonymen
• Sollten dann zu einer Tabelle integriert werden
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
53
Semantik ist individuell
• Konzepte existieren nur im Kopf
• Man kann sie beschreiben, aber meint man auch
dasselbe?
• Individuelle Kenntnisse und Erfahrungen
• Also: Reden, reden, reden
• Dann: Standards definieren
• Wie definiert man die Bedeutung eines Namens?
• Formale Wissensrepräsentation (Ontologien, OWL – später)
• Dokumentieren
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
54
Quasi-Synoynme
• Integration = Entfernen von semantischer Redundanz
•
Extensionen im integrierten Schema sollen disjunkt sein
• Keine Tabellen „gute Kunden“, „neue Kunden“ oder „Kunde1“, „Kunde2“
• Schwierig: Quasi-Synonyme
•
•
•
•
•
•
•
•
Konzepte in verschiedenen Quellen, die sich so ähnlich sind, dass sie zur
Integration genau untersucht werden müssen
A/R: Integritätsbedingungen?
A/R: Beziehungen zu anderen Elementen?
R: Fehlende oder zusätzliche Attribute?
R: Andere Schlüssel?
R: Unterschiedliche Kardinalitäten gleicher Beziehungen?
A: Unterschiedliche Einheiten?
A: Unterschiedliche Wertebereiche (Controlled Vocs)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
55
Beispiele
IC:
alter > 18
mitarbeiter
p_id
Vorname VARCHAR(35)
nachname
alter
1
Wolfgang
Meyer
33
5
Klaus
Schmidt
NULL
...
...
...
...
Vorname VARCHAR(20)
name
alter
Synonym
mitarbeiter
p_id
1
Peter
Müller
0
5
Petra
Weger
17
...
...
...
Default
Werte
...
Datentypkonflikt
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
56
Inhalt dieser Vorlesung
• Heterogenität
•
•
•
•
•
Überblick
Technische Heterogenität
Syntaktische Heterogenität
Datenmodellheterogenität
Strukturelle Heterogenität
• Schematische Heterogenität
• Semantische Heterogenität
• Datenkonflikte
• Transparenz
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
57
Identität
• Semantische Konflikte auf Datenebene
•
•
Konzept = Realweltobjekt
Name = Identifikation, Schlüssel
• Synonyme: Verschiedene IDs für gleiches Objekt
•
•
Personalausweisnummer und Führerscheinnummer
ISBN und Kombination Autor/Titel
• Homonym: Gleiche IDs für verschiedene Objekte
•
•
Dann ging was schief (gefälschte Pässe, …)
Oder über Unternehmensgrenzen hinweg (Kunden.ID, …)
• Schwieriges Problem: Lokale IDs
•
•
•
•
Schlüssel gelten in einer Tabelle
Häufig verwendet man nur surrogate Keys (sequence)
Die bedeuten nichts außerhalb der eigenen Datenbank
Integration erfordert Duplikaterkennung
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
58
Duplikaterkennung
• Objektidentifikation, Record Linkage, Data Cleansing, ...
• Wichtiger, als man denken man
• Anwendungsgebiete
•
•
•
•
Personen- und Adressdaten
• Volkszählungen
• Werbeaktionen
• Kundenpflege
Artikel und Autoren in Publikationsdatenbanken
Anzeigen in einer Immobiliendatenbank
…
• Typische Merkmale zur Entstehung
•
•
•
•
Gleiches Objekt mehrfach beobachtet
Fehler bei der Datenerfassung (manuelle Eingabe, OCR, …)
Objekt ändert Eigenschaften über die Zeit hinweg (Umzug)
Keine global konsistente ID vorhanden
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
59
Problem
• Duplikate in Relationen
•
•
Zwei Tupel, die das gleiche real-world Objekt repräsentieren
Attributwerte dürfen sich unterscheiden
• Formales Problem
•
•
Eine Tabelle mit (zunächst unbekannten) Duplikaten
Erzeuge für jedes Tupel einen Identifier, so dass Duplikate gleiche
Identifier erhalten
• Problemerweiterungen
•
•
Zwei Tabellen mit unterschiedlichem Schema
Ein XML Dokument mit Duplikaten
• Typisches Vorgehen (später mehr)
•
•
Ähnlichkeiten der Werte => Ähnlichkeit des Tupels
Hinzuziehen weiterer Informationen (Links, …)
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
60
Implementierung
• Praktisches, reales Problem
•
•
•
Potentiell sehr große Datenmenge
Kein Vergleich jedes Tupel mit jedem möglich
• Komplexität?
Kein Hauptspeicher-Algorithmus
• Als SQL Anfrage
•
•
Sei R die Relation mit Duplikaten
SELECT
C1.*, genID(C1,C2)
FROM
R as C1, R as C2
WHERE
sim(C1,C2)>t
• Schwieriger als normaler Join
•
Ähnlichkeitsmaß ist nicht nur Gleichheit
• Siehe VL „Duplikaterkennung“
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
61
Datenkonflikte
• Datenkonflikt
• Zwei Duplikate haben unterschiedliche Attributwerte für ein
semantisch gleiches Attribut.
• Datenkonflikte entstehen
• Innerhalb eines Informationssystems (intra-source)
• Bei der Integration mehrerer Informationssysteme (inter-source)
• Voraussetzung
• Duplikate (sonst kein Konflikt)
• Die muss man erst mal finden
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
62
Datenkonflikte - Beispiel
Konflikt kann auch mit
NULL-Wert herrschen
amazon.de
0766607194
H. Melville
$3.98

$5.99
‚‚
ID
0766607194
Herman Melville
Moby Dick
bol.de
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
63
Datenkonflikte – Entstehung
• Innerhalb eines Informationssystems
• Mangels Integritätsbedingungen oder Konsistenz-Checks
• Freitextfelder, Kommentarfelder
• Redundante Schemata
• Falsche Einträge
• Tippfehler, Übertragungsfehler, OCR-Fehler , …
• Obsolete Einträge
• Divergierende Aktualisierungszeitpunkte
• Vergessene oder verzögerte Aktualisierung
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
64
Datenkonflikte – Entstehung
• Bei der Integration von Informationssystemen
•
•
•
•
Lokal konsistent aber global inkonsistent
Duplikate (extensionale Redundanz)
Andere Datentypen („1“ versus „eins“)
Andere lokale Schreibweisen oder Konventionen
• Skalen, Währungen, …
• Auflösen
• Konfliktlösungsfunktionen
• Präferenzordnung über Datenquellen
• nach Aktualität, Trust (Vertrauen), Öffnungszeiten usw.
• Siehe VL „Informationsqualität“
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
65
Inhalt dieser Vorlesung
• Heterogenität
•
•
•
•
•
Überblick
Technische Heterogenität
Syntaktische Heterogenität
Datenmodellheterogenität
Strukturelle Heterogenität
• Schematische Heterogenität
• Semantische Heterogenität
• Datenkonflikte
• Transparenz
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
66
Transparenz
• Verteilung, Autonomie, Heterogenität kann in
unterschiedlichem Maße überwunden werden
• Ortstransparenz
• Benutzer müssen den Ort der integrierten Systeme nicht kennen
• Keine URLs, Datenbankpräfixe, …
• Quellentransparenz, Verteilungstransparenz
• Benutzer weiß nicht, welche Quelle für eine Anfrage benutzt werden
kann (und muss daher nicht auswählen)
• Benutzer weiß nicht, welche Quelle für eine Anfrage benutzt wurde
(Datenherkunft)
• Setzt ein globales Schema voraus
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
67
Transparenz 2
• Schnittstellentransparenz
• Benutzer kennt verschiedene Quellen, aber kann sie alle gleich
ansprechen
• Keine Kenntnis lokaler Anfragesprachen, Protokolle, …
• Schematransparenz
• Benutzer kennt die Schemata lokaler Quellen nicht
• Anfragen richten sich nur an das (homogene) globale Schema
• Spezialfall der Verteilungstransparenz
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
68
Will man nicht immer!
• Intuitiv strebt man maximale Transparenz an
• Tatsächlich ist das oft kontraproduktiv
• Benutzer kennen und lieben „ihre“ Datenquellen
• Datenherkunft ist wichtigstes Kriterium für Einschätzung der
Qualität der Informationen
• Zugriff durch globales Schemas nur bei Kenntnis dieses
• Benutzer muss neues Schema lernen
• Globale Schemata können sehr kompliziert werden
• Da sie viele Quellen integrieren
• Für „kleine“ Zugriffe unnötig schwierig
• Transparenz bedingt Informationsverlust
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
69
Literatur
• Wichtigste Literatur für heute
• [BKLW99] Busse, Kutsche, Leser, Weber, Federated Information
Systems: Concepts, Terminology and Architectures.
Forschungsbericht 99-9 des FB Informatik der TU Berlin, 1999.
• [Con97] Föderierte Datenbanksysteme. Konzepte der
Datenintegration
Stefan Conrad, Springer Verlag, 1997
Ulf Leser: Informationsintegration, Wintersemester 2006/2007
70