OWB_Feb_07

Werbung
Oracle Warehouse Technologie
Single-Engine-Based-Data-Warehouse
Phasen der Data Warehouse
Entwicklung mit Oracle
Warehouse Builder 10g R2 (OWB)
Alfred Schlaucher
Leitender Berater
Business Integration & Data Warehouse
ORACLE Deutschland GmbH
Tel.: 040 / 89091-132
Email: Alfred.Schlaucher@Oracle.com
Stichpunkte zu
Ressourcen – schonenden Techniken
mit dem Oracle – basierten
Data Warehouse
business
intelligence
&
data
warehouse
Themen



Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Phasen der Data Warehouse Entwicklung
- unterstützt durch OWB
Weitere Informationen und Umsetzung
business
intelligence
&
data
warehouse
Themen



Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Phasen der Data Warehouse Entwicklung
- unterstützt durch OWB
Weitere Informationen und Umsetzung
Aufbau und Verwaltung von Data
Warehouse-Umgebungen
Verwaltung und
Dokumentation
Metadaten
Ownerschaften
Grid Control
Effiziente
Datenhaltung
Speichertechnik
ILM
Hardware
ASM
OLAP
Datenintegration
schnelles Bereitstellen
DB-basiertes Laden
MDM
QualitätsETL-Option
management
Data Profiling
Data Auditing
Daten-Zugriff
Security
Mandanten
BI-Anwendungen
Standard-Berichte
Interaktive Berichte
Data Mining
Komplexe Analysen
Oracle Warehouse Builder

Design des kompletten Data Warehouse Systems
Logisches Design und Beschreibungsinformationen
Physisches Oracle Datenbank Design
Fast alle Datenbankobjekte von Oracle 10g
 Bereitstellung der Datenbeschaffungsroutinen
 Runtime – System
 Universelles Metadatenrepository
 Automatisiertes ETL durch Scriptsprache
 Data Quality / Data Profiling
 Zugang zu allen EAI – Komponenten von
Oracle 10g
Neue Anforderungen an
Datenintegration und Datenmanagement
Immer mehr Anwender
benutzen Daten
Die Anzahl der Systeme
und damit der
Schnittstellen steigt
Die Bereitsstellungszeit
der Daten wird
zunehmend kürzer
Datenmengen
wachsen
Herausforderungen
für
Datenintegration
und
Datenmanagement
Datenintegrations- und
Datenmanagementaufgaben
 Zusammenführen von Daten aus heterogenen Systemen
 Korrigieren von Daten
Garantieren von Datenqualität
 Datenmigration von System zu System
 Harmonisieren von Datenbeständen
Inhaltliches Angleichen
 Synchronisieren
z. B. Abstimmung von verschiedenen Schlüsseln
 Zuliefern von Daten
Benutzergerechtes Bereitstellen
 Verwalten von Datenbeständen
z. B. Historisieren / Archivieren / ILM
„Lösungen“ der Vergangenheit

Programmierung von Hand
Zerstreute Programm-Sourcen
Fehler bei der Entwicklung
Unnötige Doppelarbeit

Schlechte oder fehlende Dokumentation
Schlechte Wartbarkeit
Enorme Folgekosten


Unkündbare „Inselexperten“
Immer wieder „Katastrophen“
im Echtbetrieb
Wie war
das nur?
Die Geschichte der ETL-Tools geht in
Richtung integrierter Werkzeuge
1992
1996
2000
2005
Datenbankbasierte
ETL-Werkzeuge
Separate
Engine-gestützte
ETL-Werkzeuge
Programmgeneratoren
Handprogrammierung
Schnittstellenkomponenten Oracle Data Warehouse
In Memory
nn
JCA
COM+
SOAP
WSIF & JBI
Enterprise Service Bus
Routing
QOS
BPEL
Transform
Rules
FlatFile
Oracle (Remote)
Log
XML
FlatFile
XML
Port
FTP
Port
SAP Int.
DB2 OS390, UDB
Sybase, Informix,
SQL-Server...
Ext. Table
Streams
tcp
Access/Excel
MessageBroker
Peoplesoft
CDC
UTL_FILE
Gateway
ODBC
DB-Link
Queue
Adapter
SQL Loader
Webservices
FlatFile
PL/SQL
XML
DB-Link
XML
Queue
Tabellen
View
Sequenz
Index
Cube
MView
Procedure
Function
Siebel
eMail
Warehouse
Datenbank
XML
A1
Metadaten gestützte Steuerungslogik
für das Data Warehouse
Repository
Steuertabellen
Workflow / BPEL
Variablen
Variablen
Datenbank-basiertes Laden
Datenbank – basiertes ETL
 SQL basiert, d. h. die Oracle Datenbank wird ausgenutzt
Möglichkeit primär mengenbasierte Operationen durchzuführen
Wesentlich höhere Performance
Automatisiertes Datenbankgeregelte Parallelisieren
Datenbankgestütztes Ressources - Management
 Unterstützung aller aktuellen Datenbank – ETL –
Funktionen wie
Multiple Inserts
Merge (Insert/Update)
Direct Path Load
Table Functions
Partition Exchange and Load
Datenbank – basiertes ETL


Vollständige Hints – Bibliothek
Verwendung aller Datenbank – Funktionen, z. B.
auch analytische Funktionen
Im Gegensatz zu den von 3. Herstellern nachgebildeten z. T.
unvollständigen Funktionen (Beispiel SQL CASE, Decode)
 Datennahes Entwickeln
Leichtes performantes und mengenbasiertes Updaten von Sätzen
Ausnutzen temporärere Strukturen
Temp – Tables
Cache – Tables
Ausnutzen besonders schneller Tabellen – Objekte
Index – Based Tables
Direkter Zugriff auf Tabelleninhalte
Datenbank - basiertes ETL

Nähe zu Katalogstrukturen
Alle Informationen stehen sofort zur Verfügung

Komplett – Definition aller physikalischen Objekte
im Data Warehouse
(Tables, Index, Materialised Views, Partitioning ...)
Datenbank – basiertes ETL
im Zusammenhang mit OWB
 ETL - Integriertes Data Quality
Data Cleansing / Data Profiling




ETL – Makro – Bildung / Experts
Integrierte datenbankbasierte Workflow –
Umgebung
Web – basiertes Auswerten von Metadaten und
Laufzeitergebnissen
Unterstützung der Datenbank – Near Realtime –
Funktionalität wie Queues, Streams, CDC, Web
Services
Workflow-Steuerung
4 – Schichten Prozessverwaltung
GesamtProzess
TeilProzess
TabellenMapping
Column
Transformation
Es gibt 3 Hauptgründe für den Einsatz
von OWB
1.
2.
3.
Performance
Effizientere Warehouse Architekturen
Preis
Komponenten
OWB
Control Center
Change Manager
Datenmodeller
Scheduler
Data Viewer
Mapper
Repository Browser
Runtime Audit
Experts-Macros
Rules Editor
Dependencies
Process Editor
Data Profiler
Das OWB Entwicklungs – Szenario
Unified Repository
Design
Metadaten
OWB-Modelle
OWB
Runtime
Metadaten
(Deploys)
Design
Modul Bestelldaten
Modul Warehouse
Deploy
SRC
Bestellung
WH_
Transaktionen
Oracle 9i /10g
Location
LOC_SRC
Tabellen
Quell-Systeme
Oracle 9i/10g
Location
LOC_DWH
My_Project
Warehouse
Warehouse
Bestellung
tabellen
tabellen
DWH
PL/SQL
Tabellen
Datenfluss
Warehouse
Warehouse
WH_Transtabellen
tabellen
aktionen
Ziel-System
Schnittstellenkomponenten Oracle Data Warehouse
In Memory
nn
JCA
COM+
SOAP
WSIF & JBI
Enterprise Service Bus
Routing
QOS
BPEL
Transform
Rules
FlatFile
Oracle (Remote)
Log
XML
FlatFile
XML
Port
FTP
Port
SAP Int.
DB2 OS390, UDB
Sybase, Informix,
SQL-Server...
Ext. Table
Streams
tcp
Access/Excel
MessageBroker
Peoplesoft
CDC
UTL_FILE
Gateway
ODBC
DB-Link
Queue
Adapter
SQL Loader
Webservices
FlatFile
PL/SQL
XML
DB-Link
XML
Queue
Tabellen
View
Sequenz
Index
Cube
MView
Procedure
Function
Siebel
eMail
Warehouse
Datenbank
XML
business
intelligence
&
data
warehouse
Themen



Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Phasen der Data Warehouse Entwicklung
- unterstützt durch OWB
Weitere Informationen und Umsetzung
Data Profiling
Reverse Engineering
Prozessmodell
Objektmodell
Quellenstudium
Systementwurf
Bebauungspläne
Komponenten
ZielDatenmodelle
Prozessanalyse
3NF
Dimensional
Mdimensional
Datenbankentwurf
Info FA
fehlerhafte
Prozesse
DDL / DML
Knowledge
Metadaten
Datentransport
Info
FA
Jobmanagement
ETL
Laufzeitmanagement
Testdaten
Weiter
Hinterlegung fachlicher
Beschreibungen
Zurück
Analyse der Quelldaten
- Data Profiling
Zurück
Zrück
Das gesamte System
modellieren
Zurück
Datenmodelle
entwerfen
Zurück
Komplette Definition
von Tabellen
Zurück
Transformationen
mit Mappings
Zusätzliche Hilfsfenster
des Mappingeditors
Operatoren des
Mappingeditors
Zurück
Testdatengenerierung
Zurück
Zusammenfassen von
Mappings zu Prozessen
Prozesssteuerung z. B.
mit Schleifen und Variablen
Reporting über
stattgefundene Ladeläufe
Zurück
Abhängigkeits- und
Auswirkungsanalyse
Zurück
Individuelle Listenreports über Metadaten
HTMLDB
Zurück
business
intelligence
&
data
warehouse
Themen



Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Phasen der Data Warehouse Entwicklung
- unterstützt durch OWB
Weitere Informationen und Umsetzung
Weitere Infos
http://www.oracle.com/technology/products/warehouse/index.html
Die neue Software OWB 10G R2 (Paris) kann über OTN bezogen werden.
http://www.oracle.com/technology/software/products/warehouse/index.html
Neue Projekte sollten nur mit diesem Release beginnen.
Step By Step kann bestellt werden bei:
Email: Alfred.Schlaucher@Oracle.com
oder
Tel.: 040 / 89091-132
Vorgehensweise Entwickeln
Multidimensionale Strukturen mit OWB
Data Object Editor
Control Center
Mapping Editor
Control Center
Binding /
Ableitung
Relationale
Tabellen
Generierung
Dimensions
und
Tabellen
Definition
Mappings
Dim + Fakten
Generierung
Mappings
(PLSQL)
Zuweisen
Analytical
Workspace +
Def.
Aggregationen
Generierung
Dimensionale
Objekte in
Analytical
Workspace
Definition
1 Mapping
Cube
Generierung
Mappings
Cube DML
Definition
Dimensionen
und Fakten
business
intelligence
&
data
warehouse
Themen
 Einführung: Multidimensionale Modelle


im Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Erstellen multidimensionaler Modelle mit OWB
Beispielscreens:
Wizard zur Erstellung einer Zeitdimension
Data Object Editor
Deployment Control Center
Der Mapping Editor
Ableiten EUL für Discoverer
 Weitere Aspekte OWB
 Umsetzung
Verschiedene Arten der
Erstellung der Zeitdimension
Storage Type
ROLAP / MOLAP
Festlegen Anzahl Jahre
Auswahl Hierarchie-Level
Übersicht generierte
Objekte zum Aufbau
der Zeitdimension
Mapping
Dimensional
Table
Table
Sequence
Generiertes Mapping
zum Laden der
Kalenderdaten
Ergebnisdaten
(DatenViewer)
business
intelligence
&
data
warehouse
Themen
 Einführung: Multidimensionale Modelle


im Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Erstellen multidimensionaler Modelle mit OWB
Beispielscreens:
Wizard zur Erstellung einer Zeitdimension
Data Object Editor
Deployment Control Center
Der Mapping Editor
Ableiten EUL für Discoverer
 Weitere Aspekte OWB
 Umsetzung
Data Objekt Editor
Eine Dimension
definieren
- Dimensionsattribute
Eine Dimension
definieren
- Dimensionslevel
Eine Dimension
definieren
- Dimensionshierarchie
Eine Dimension
definieren
- Speicherart
SparsityEigenschaften
definieren
Die Art der Vorberechnungen
für die Kennzahlen festlegen
business
intelligence
&
data
warehouse
Themen
 Einführung: Multidimensionale Modelle


im Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Erstellen multidimensionaler Modelle mit OWB
Beispielscreens:
Wizard zur Erstellung einer Zeitdimension
Data Object Editor
Deployment Control Center
Der Mapping Editor
Ableiten EUL für Discoverer
 Weitere Aspekte OWB
 Umsetzung
Control Center
Generierter Code
zur Definition
eines Würfels
business
intelligence
&
data
warehouse
Themen
 Einführung: Multidimensionale Modelle


im Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Erstellen multidimensionaler Modelle mit OWB
Beispielscreens:
Wizard zur Erstellung einer Zeitdimension
Data Object Editor
Deployment Control Center
Der Mapping Editor
Ableiten EUL für Discoverer
 Weitere Aspekte OWB
 Umsetzung
Mapping zum
Befüllen einer
Zwischentabelle
Operatoren des
Mappingeditors
Einfaches Mapping zur
Befüllung eines Würfels
- Eingeblendet ist die OLAP-Sicht
business
intelligence
&
data
warehouse
Themen
 Einführung: Multidimensionale Modelle


im Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Erstellen multidimensionaler Modelle mit OWB
Beispielscreens:
Wizard zur Erstellung einer Zeitdimension
Data Object Editor
Deployment Control Center
Der Mapping Editor
Ableiten EUL für Discoverer
 Weitere Aspekte OWB
 Umsetzung
business
intelligence
&
data
warehouse
Themen
 Einführung: Multidimensionale Modelle


im Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)
- allgemein
Erstellen multidimensionaler Modelle mit OWB
Beispielscreens:
Wizard zur Erstellung einer Zeitdimension
Data Object Editor
Deployment Control Center
Der Mapping Editor
Ableiten EUL für Discoverer
 Weitere Aspekte OWB
 Umsetzung
Process-Editor
Metadaten-Dependency-Manager
Metadaten-Browser (Web)
Job-Kontrolle im Web
Herunterladen
Random flashcards
Laser

2 Karten anel1973

Literaturepochen

2 Karten oauth2_google_55780ed8-d9a3-433e-81ef-5cfc413e35b4

Erstellen Lernkarten