OLTP OLAP

Datenbanken
Informationssysteme
1
Managementinformationssysteme
Charakteristika von Informationssystemen:
• Dienen der Entscheidungsunterstützung
• Betreffen historische Daten, evt. über längere Zeiträume
• Können auf operativen Datenbanken basieren
• Die Daten können auch aus verschiedenen Quellen stammen
• Spezielle Arten von Auswertungen verlangt (OLAP)
• Korrektheit der Daten besonders wichtig, da fehlerhafte Daten bei der
Auswertung besonders schwer zu erkennen sind
Überlegen Sie sich jeweils einige Beispiele für OLTP- bzw.OLAPAuswertungen von Daten in einer Datenbank
Kühn /Fb W
Datenbanken
2006
K6-Informationssysteme.doc
Informationssysteme
2
Wiederholung: Unterschiede OLTP/OLAP
OLTP
OLAP
wie oft wird a. d. Daten zugegriffen
wie wichtig ist die Aktualität der Daten
Art d. Zugriffs (lesen / schreiben;
Dialog/Stapel)
Wie problematisch ist Datenredundanz
Überwiegen vorhersehbare oder nichtvorhersehbare Auswertungen
wieviele Benutzer gleichzeitig
durchsuchte Datenmenge pro Zugriff
Werden „historische Daten“ benötigt
Typischer Benutzer
Kühn /Fb W
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
3
Realisierung von Informationssystemen:
a) durch Zusatzprogramme auf operativen Datenbanken,
d.h.
operative (relationale) Datenbank mit entsprechenden Views
plus OLAP-Auswertungsprogrammen
b) bei großen Datenmengen und umfangreichen Auswertungen:
eigene Datenhaltung
d.h. Datenhaltung mit spezieller Speicherungsform, dabei
- Daten aus verschiedenen Quellen
- periodische Aktualisierung
- unterschiedliche Speicherungsformen möglich:
data warehouse und data mart
Kühn /Fb W
2006
Datenbanken
K6-Informationssysteme.doc
Informationssysteme
4
Erstellung eines Data Warehouse (DW)
OLAP und data mining
Data Mart
Datenextraktion,
-transformation
u.- laden (ETL)
Data Warehouse
sonstige Datenquellen
operative Datenbanken
Kühn /Fb W
Data Mart
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
5
Vorgehen bei der Erstellung eines Data Warehouse
• Aufgabenanalyse (Arten von Auswertungen) und Planung:
Verwendungszweck, Auswertungsarten,
Auswertungsdimensionen, welche Daten, Datenquellen
• DW-Software besorgen
• Datenstruktur entwerfen
• Daten extrahieren, transformieren, laden (ETL-Prozess)
• Erkannte Datenprobleme in den Datenquellen berichtigen
• Ein Programm für den künftigen ETL-Prozess
(Datenaktualisierung) erstellen (SW oder Vorgehensweise)
• Anbindung eines Entscheidungsunterstützungssystems mit
komfortabler Dialogschnittstelle
• Daten und Auswertungen testen
Kühn /Fb W
Datenbanken
2006
K6-Informationssysteme.doc
Informationssysteme
6
Der ETL-Prozess
(beim Erst-Laden bzw. inkrementellen Aktualisieren des DW)
• Daten extrahieren, in einen Zwischenspeicher laden,
fehlerhafte Daten identifizieren
z.B. Schreibfehler, uneinheitliche Schreibweise, fehlende
Daten, mehrfach vorhandene Daten, Inkonsistenz von
Daten aus verschiedenen Quellen, unplausible Daten…
Die Korrektur muss im Quellsystem erfolgen!
• Daten transformieren, bereinigen, evt. verdichten:
Felder transformieren,
z.B. DMÆ €, 2-stell. Jahr Æ 4-stell. Jahr
leeres Feld: Inhalt nicht vorhanden oder nicht bekannt?
Sätze transformieren, z.B. Selektion, Join, Aggregation
• Daten ins Data Warehouse laden
Kühn /Fb W
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
7
Data warehouse Architekturen:
1) MOLAP:
logisch: mehrdimensionaler Datenwürfel (cube, hypercube)
Realisierung: spezielle mehrdimensionale Speicherungsstukturen,
z.B. mehrdimensionale arrays:
+ schnellere Auswertungen
- evt. dünn besetzte Dimensionen (leere Würfelelemente),
2) ROLAP:
auf Basis eines relationalen Datenmodells;
Tabellen; diese aus Performancegründen meist nicht normalisiert
+ auch als front end zu vorhandenen Datenbanken möglich
- langsamere Auswertungen
Kühn /Fb W
2006
Datenbanken
K6-Informationssysteme.doc
Informationssysteme
8
1) Datenorganisation in multidimensionalen Stukturen („MOLAP“)
Datenwürfel (cubes, hypercubes) mit mehreren Dimensionen
Dimensionen: gewünschte Auswertungsgesichtspunkte
Inhalt der „Elementarwürfel“: (evt. mehrere) Fakten
Beispiel: Seminardaten;
Dimensionen (gewünschte Auswertg.): Kurstypen, Veranstaltungsorte, Zeit
Fakten: Anzahl Veranstaltungen
Kurs
Zeit
OOA
OOD
Java
C++
Kühn /Fb W
10
9
15
8
M
8
4
10
12
D
12
8
19
7
K
3
2
13
3
S
4/06
3/06
2/06
1/06
Veranstaltungsort
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
9
Die Dimensionen bilden die Achsen des Koordinatensystems
Dimensionshierarchien
max. Detaillierungsgrad
z.B. Tag - Monat - Quartal - Jahr
Kurs - Kurstyp
Der Datenwürfel ( = "Hypercube", "Faktenwürfel") ist in Zellen
(Elementarwürfel) zerlegt.
Jede Zelle enthält Werte (Kennzahlen) in Abhängigkeit von den (hier 3)
Dimensionen.
Der Detaillierungsgrad des Datenwürfels hängt von den gewünschten
Auswertungen ab. Dies beeinflusst stark die Datenmenge.
Operationen zur Manipulation des Datenwürfels:
• slice & dice
d.h. Auswahl einzelner Ebenen / Teilwürfel
• drill down / roll up
d.h. Wechsel in niedrigere oder höhere Verdichtungsstufen
(=Projektionen)
Kühn /Fb W
2006
Datenbanken
K6-Informationssysteme.doc
Informationssysteme
10
2) Datenorganisation in Tabellen („ROLAP“)
Werden die Daten in einem data warehouse in Tabellen gespeichert, so
ergibt sich ein sog. "Sternschema".
Faktentabelle (meist normalisiert; oft SEHR viele Einträge).
Dimensionstabellen (meist nicht normalisiert).
Dim1
Dim..
Dim2
Faktentabelle
Dim..
Kühn /Fb W
Dim3
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
11
Die Primärschlüssel der Dimensionstabellen sind als Fremdschlüssel in der
Faktentabelle enthalten und bilden gleichzeitig gemeinsam den
Primärschlüssel der Faktentabelle.
Die Abfragen erfolgen über Joins (Star-Join).
Durch Gruppierung und Summenbildung werden die Daten verdichtet
Viele Argumente im group by: drill down; wenige Argumente: roll up
•
•
•
•
Sternschema :
Faktentabelle und nicht-normalisierte Dimensionstabellen.
Zusätzlich Normalisierung der Dimensionstabellen
Æ Schneeflockenschema
In einem DW können auch mehrere Faktentabellen existieren.
Diese können unterschiedliche aber auch (wenige) gemeinsame
Dimensionstabellen haben (z.B. die Zeit)
Problem: Behandlung von Dimensionsgrößen, die sich ändern können?
Kühn /Fb W
Datenbanken
2006
K6-Informationssysteme.doc
Informationssysteme
12
Beispiel: Seminardaten;
Auswertungen: nach Kursen, Veranstaltungsorten, Zeit --> 3 Dim.
Fakten (-> Ergebnistab): Anzahl Veranstaltungen
Sternschema
Kurs
Ergebnis
Veranst.Ort
Kühn /Fb W
Zeit
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
13
Tabellen:
Kurs
Kurztitel
Java
C++
.....
Titel
...
...
...
Tage
5
10
...
VNr
23
27
...
Veranst.ort
Kennz
M
D
.....
Ort
München
Düsseldorf
...
Zeit
QuNr
1/06
2/06
...
Jahr
06
06
...
Quartal
1
2
...
Ergebnis
Kurztitel Kennz QuNr
Java
Java
Java
Java
Java
Java
Java
…
Java
…
AnzVeranst
AnzahlTN
Umsatz
153000
98000
...
...
M
M
M
M
D
D
D
1/06
2/06
3/06
4/06
1/06
2/06
4/06
15
13
8
10
10
6
6
142
88
126
75
128
81
75
M
…
1/07
…
8
…
102
…
Kühn /Fb W
Datenbanken
2006
…
K6-Informationssysteme.doc
Informationssysteme
14
Zeilenanzahl Dimensionstabellen
Seminartyp:
Veranstaltungsort
Zeit:
Zeilenanzahl Faktentabelle
Ergebnis:
Auswertungen: (Star-) Joins mit mehrfacher Gruppenbildung
Beispiel: Anzahl Veranstaltungen pro Kurstyp in München im Jahr 2006:
Kühn /Fb W
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
15
Hinweise zur Erstellung eines Data Warehouse bzw. von Datamarts für
analytische Auswertungen
• Prinzipiell gilt das übliche Phasenmodell
Speziell beachten:
• Exakte Zielvorgabe wichtig (welchem Zweck sollen die Abfragen dienen)
• Klein beginnen (data mart), iterativ erweitern
• Die richtige Auswahl der Dimensionen ist entscheidend für den Nutzen
• Die „Feinheit“ (Granularität) der niedrigsten Hierarchiestufe der jeweiligen
Dimension bestimmt den möglichen Detaillierungsgrad der Auswertungen, aber
auch die zu verwaltende Datenmenge
• Der zeitaufwendigste und fehlerträchtigste Teil ist meist der ETL-Prozess
(extrahieren, transformieren und laden der Daten)
• Entscheidend für Einsatz und Akzeptanz ist eine komfortable Oberfläche für
Dialogabfrage und Reporterstellung.
(s. z.B. ALEA (Microsoft): verwaltet Daten in Form von OLAP-Würfeln mit
mehreren Dimensionen und verwendet als Front End für die Auswertung Excel)
Kühn /Fb W
Datenbanken
2006
K6-Informationssysteme.doc
Informationssysteme
16
Benötigte Informationen zur Benutzung eines Data Warehouse
•
Welche Arten von Daten sind in dem Data Warehouse
enthalten (z.B. Daten über Kunden, Seminare, Patienten,….)
•
Nach welchen Kriterien (Dimensionen ) kann das Data
Warehouse ausgewertet werden
•
Welche Daten sind in der Faktentabelle enthalten
(Umsatzzahlen, Anzahl Veranstaltungen, Teilnehmerzahlen,…)
•
Detaillierungsgrad und Zeitraum der Faktentabelle
•
•
Woher (aus welchen Quellen) stammen die Daten
Welche vordefinierten Abfragen , Tools und grafischen
Auswertungen sind verfügbar
Kühn /Fb W
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
17
Hilfsmittel (Tools):
1. data warehouse Systeme
zur Datenauswahl, -speicherung und -verwaltung
2. Einzelwerkzeuge
für den ELT-Prozess, zur Datenmodellierung u.a.
3. Analyse- und Präsentationstools für vorhandene OLTP-DBs
Literaturhinweise:
Elmasri, Navathe: Grundlagen von Datenbanksystemen
Kemper, Eickler: Datenbanksysteme
Weitere Informationen zu Produkten und Anbietern
s. z.B. www.olapinfo.de
Kühn /Fb W
Datenbanken
2006
K6-Informationssysteme.doc
Informationssysteme
18
Data Mining
Ziel:
Auffinden bisher unbekannter Zusammenhänge („Muster“) aus einem
großen Datenbestand
Data Mining ist noch Gegenstand von Forschung und Entwicklung:
Einsatz neuronaler Netze, künstlicher Intelligenz, von regelbasiertem
Schließen…
Es werden v.a. zwei Arten von Zusammenhängen untersucht:
a) Assoziationsregeln: Zusammenhänge im Verhalten von Objekten
b) Klassifizierungsregeln: aus bekannten Attributwerten auf
unbekannte Eigenschaften/Verhalten schließen
Kühn /Fb W
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
19
Assoziationsregeln:
Zusammenhänge im Verhalten von Objekten erkennen und durch
Regeln ausdrücken
Für die Gültigkeit von Assoziationsregeln gibt es 2 wichtige Kenngrößen:
Confidence und Support
Confidence: in welchem Prozentsatz von Fällen, bei dem der linke Teil der
Regel zutrifft (Voraussetzung) ist auch die rechte Seite erfüllt (Folgerung)
Support: wieviele passende Datensätze gibt es insgesamt, um die Gültigkeit
der Regel zu überprüfen
Beispiel:
Vermutung: ein Kunde, der Produkt A kauft, kauft auch Produkt B
Beobachtung:
Von 5 Personen, die Prod. A gekauft haben, haben 4 auch Prod.B gekauft
Insgesamt sind 400 Verkaufsdatensätze gespeichert , jeder hundertste
betraf ProduktA zusammen mit Produkt B
--> support = 1%, confidence = 80%
Kühn /Fb W
Datenbanken
2006
K6-Informationssysteme.doc
Informationssysteme
20
Klassifizierungsregeln:
Vorhersagen über das Verhalten von Objekten aufgrund bekannter
Attributwerte
Dabei wird auch nach dem Einfluss mehrerer Attribute gesucht -->
Klassifizierungshierarchien
Beispiel:
Klassifizierung von Versicherungsnehmern in der Auto-Haftpflicht, z.B.
nach Alter, Geschlecht und gefahrenem Wagentyp --> Risikoeinstufung
Die Klassifizierungsregel muss mit einer repräsentativen Datenmenge
überprüft werden!
Kühn /Fb W
2006
K6-Informationssysteme.doc
Datenbanken
Informationssysteme
21
Beispielhafte Anwendungsbereiche für Data Mining
- Marketing
Analyse von Kaufmustern
--> Preisgestaltung, Warenplatzierung,Werbung,...
Segmentierung von Kunden, Läden oder Produkten
Ladenstandorte, Sortiment,...
- Finanzwesen
Kreditwürdigkeit von Kunden,
Performanz von Geldanlagen,
Betrugserkennung,...
- Gesundheitswesen
Analyse von Wirkungen und Nebenwirkungen von Behandlungen
und Medikamenten,
Kühn /Fb W
2006
K6-Informationssysteme.doc