OWB_Feb_07
Werbung
Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse Phasen der Data Warehouse Entwicklung mit Oracle Warehouse Builder 10g R2 (OWB) Alfred Schlaucher Leitender Berater Business Integration & Data Warehouse ORACLE Deutschland GmbH Tel.: 040 / 89091-132 Email: [email protected] Stichpunkte zu Ressourcen – schonenden Techniken mit dem Oracle – basierten Data Warehouse business intelligence & data warehouse Themen Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung business intelligence & data warehouse Themen Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Aufbau und Verwaltung von Data Warehouse-Umgebungen Verwaltung und Dokumentation Metadaten Ownerschaften Grid Control Effiziente Datenhaltung Speichertechnik ILM Hardware ASM OLAP Datenintegration schnelles Bereitstellen DB-basiertes Laden MDM QualitätsETL-Option management Data Profiling Data Auditing Daten-Zugriff Security Mandanten BI-Anwendungen Standard-Berichte Interaktive Berichte Data Mining Komplexe Analysen Oracle Warehouse Builder Design des kompletten Data Warehouse Systems Logisches Design und Beschreibungsinformationen Physisches Oracle Datenbank Design Fast alle Datenbankobjekte von Oracle 10g Bereitstellung der Datenbeschaffungsroutinen Runtime – System Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Zugang zu allen EAI – Komponenten von Oracle 10g Neue Anforderungen an Datenintegration und Datenmanagement Immer mehr Anwender benutzen Daten Die Anzahl der Systeme und damit der Schnittstellen steigt Die Bereitsstellungszeit der Daten wird zunehmend kürzer Datenmengen wachsen Herausforderungen für Datenintegration und Datenmanagement Datenintegrations- und Datenmanagementaufgaben Zusammenführen von Daten aus heterogenen Systemen Korrigieren von Daten Garantieren von Datenqualität Datenmigration von System zu System Harmonisieren von Datenbeständen Inhaltliches Angleichen Synchronisieren z. B. Abstimmung von verschiedenen Schlüsseln Zuliefern von Daten Benutzergerechtes Bereitstellen Verwalten von Datenbeständen z. B. Historisieren / Archivieren / ILM „Lösungen“ der Vergangenheit Programmierung von Hand Zerstreute Programm-Sourcen Fehler bei der Entwicklung Unnötige Doppelarbeit Schlechte oder fehlende Dokumentation Schlechte Wartbarkeit Enorme Folgekosten Unkündbare „Inselexperten“ Immer wieder „Katastrophen“ im Echtbetrieb Wie war das nur? Die Geschichte der ETL-Tools geht in Richtung integrierter Werkzeuge 1992 1996 2000 2005 Datenbankbasierte ETL-Werkzeuge Separate Engine-gestützte ETL-Werkzeuge Programmgeneratoren Handprogrammierung Schnittstellenkomponenten Oracle Data Warehouse In Memory nn JCA COM+ SOAP WSIF & JBI Enterprise Service Bus Routing QOS BPEL Transform Rules FlatFile Oracle (Remote) Log XML FlatFile XML Port FTP Port SAP Int. DB2 OS390, UDB Sybase, Informix, SQL-Server... Ext. Table Streams tcp Access/Excel MessageBroker Peoplesoft CDC UTL_FILE Gateway ODBC DB-Link Queue Adapter SQL Loader Webservices FlatFile PL/SQL XML DB-Link XML Queue Tabellen View Sequenz Index Cube MView Procedure Function Siebel eMail Warehouse Datenbank XML A1 Metadaten gestützte Steuerungslogik für das Data Warehouse Repository Steuertabellen Workflow / BPEL Variablen Variablen Datenbank-basiertes Laden Datenbank – basiertes ETL SQL basiert, d. h. die Oracle Datenbank wird ausgenutzt Möglichkeit primär mengenbasierte Operationen durchzuführen Wesentlich höhere Performance Automatisiertes Datenbankgeregelte Parallelisieren Datenbankgestütztes Ressources - Management Unterstützung aller aktuellen Datenbank – ETL – Funktionen wie Multiple Inserts Merge (Insert/Update) Direct Path Load Table Functions Partition Exchange and Load Datenbank – basiertes ETL Vollständige Hints – Bibliothek Verwendung aller Datenbank – Funktionen, z. B. auch analytische Funktionen Im Gegensatz zu den von 3. Herstellern nachgebildeten z. T. unvollständigen Funktionen (Beispiel SQL CASE, Decode) Datennahes Entwickeln Leichtes performantes und mengenbasiertes Updaten von Sätzen Ausnutzen temporärere Strukturen Temp – Tables Cache – Tables Ausnutzen besonders schneller Tabellen – Objekte Index – Based Tables Direkter Zugriff auf Tabelleninhalte Datenbank - basiertes ETL Nähe zu Katalogstrukturen Alle Informationen stehen sofort zur Verfügung Komplett – Definition aller physikalischen Objekte im Data Warehouse (Tables, Index, Materialised Views, Partitioning ...) Datenbank – basiertes ETL im Zusammenhang mit OWB ETL - Integriertes Data Quality Data Cleansing / Data Profiling ETL – Makro – Bildung / Experts Integrierte datenbankbasierte Workflow – Umgebung Web – basiertes Auswerten von Metadaten und Laufzeitergebnissen Unterstützung der Datenbank – Near Realtime – Funktionalität wie Queues, Streams, CDC, Web Services Workflow-Steuerung 4 – Schichten Prozessverwaltung GesamtProzess TeilProzess TabellenMapping Column Transformation Es gibt 3 Hauptgründe für den Einsatz von OWB 1. 2. 3. Performance Effizientere Warehouse Architekturen Preis Komponenten OWB Control Center Change Manager Datenmodeller Scheduler Data Viewer Mapper Repository Browser Runtime Audit Experts-Macros Rules Editor Dependencies Process Editor Data Profiler Das OWB Entwicklungs – Szenario Unified Repository Design Metadaten OWB-Modelle OWB Runtime Metadaten (Deploys) Design Modul Bestelldaten Modul Warehouse Deploy SRC Bestellung WH_ Transaktionen Oracle 9i /10g Location LOC_SRC Tabellen Quell-Systeme Oracle 9i/10g Location LOC_DWH My_Project Warehouse Warehouse Bestellung tabellen tabellen DWH PL/SQL Tabellen Datenfluss Warehouse Warehouse WH_Transtabellen tabellen aktionen Ziel-System Schnittstellenkomponenten Oracle Data Warehouse In Memory nn JCA COM+ SOAP WSIF & JBI Enterprise Service Bus Routing QOS BPEL Transform Rules FlatFile Oracle (Remote) Log XML FlatFile XML Port FTP Port SAP Int. DB2 OS390, UDB Sybase, Informix, SQL-Server... Ext. Table Streams tcp Access/Excel MessageBroker Peoplesoft CDC UTL_FILE Gateway ODBC DB-Link Queue Adapter SQL Loader Webservices FlatFile PL/SQL XML DB-Link XML Queue Tabellen View Sequenz Index Cube MView Procedure Function Siebel eMail Warehouse Datenbank XML business intelligence & data warehouse Themen Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Data Profiling Reverse Engineering Prozessmodell Objektmodell Quellenstudium Systementwurf Bebauungspläne Komponenten ZielDatenmodelle Prozessanalyse 3NF Dimensional Mdimensional Datenbankentwurf Info FA fehlerhafte Prozesse DDL / DML Knowledge Metadaten Datentransport Info FA Jobmanagement ETL Laufzeitmanagement Testdaten Weiter Hinterlegung fachlicher Beschreibungen Zurück Analyse der Quelldaten - Data Profiling Zurück Zrück Das gesamte System modellieren Zurück Datenmodelle entwerfen Zurück Komplette Definition von Tabellen Zurück Transformationen mit Mappings Zusätzliche Hilfsfenster des Mappingeditors Operatoren des Mappingeditors Zurück Testdatengenerierung Zurück Zusammenfassen von Mappings zu Prozessen Prozesssteuerung z. B. mit Schleifen und Variablen Reporting über stattgefundene Ladeläufe Zurück Abhängigkeits- und Auswirkungsanalyse Zurück Individuelle Listenreports über Metadaten HTMLDB Zurück business intelligence & data warehouse Themen Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Weitere Infos http://www.oracle.com/technology/products/warehouse/index.html Die neue Software OWB 10G R2 (Paris) kann über OTN bezogen werden. http://www.oracle.com/technology/software/products/warehouse/index.html Neue Projekte sollten nur mit diesem Release beginnen. Step By Step kann bestellt werden bei: Email: [email protected] oder Tel.: 040 / 89091-132 Vorgehensweise Entwickeln Multidimensionale Strukturen mit OWB Data Object Editor Control Center Mapping Editor Control Center Binding / Ableitung Relationale Tabellen Generierung Dimensions und Tabellen Definition Mappings Dim + Fakten Generierung Mappings (PLSQL) Zuweisen Analytical Workspace + Def. Aggregationen Generierung Dimensionale Objekte in Analytical Workspace Definition 1 Mapping Cube Generierung Mappings Cube DML Definition Dimensionen und Fakten business intelligence & data warehouse Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Verschiedene Arten der Erstellung der Zeitdimension Storage Type ROLAP / MOLAP Festlegen Anzahl Jahre Auswahl Hierarchie-Level Übersicht generierte Objekte zum Aufbau der Zeitdimension Mapping Dimensional Table Table Sequence Generiertes Mapping zum Laden der Kalenderdaten Ergebnisdaten (DatenViewer) business intelligence & data warehouse Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Data Objekt Editor Eine Dimension definieren - Dimensionsattribute Eine Dimension definieren - Dimensionslevel Eine Dimension definieren - Dimensionshierarchie Eine Dimension definieren - Speicherart SparsityEigenschaften definieren Die Art der Vorberechnungen für die Kennzahlen festlegen business intelligence & data warehouse Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Control Center Generierter Code zur Definition eines Würfels business intelligence & data warehouse Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Mapping zum Befüllen einer Zwischentabelle Operatoren des Mappingeditors Einfaches Mapping zur Befüllung eines Würfels - Eingeblendet ist die OLAP-Sicht business intelligence & data warehouse Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung business intelligence & data warehouse Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Process-Editor Metadaten-Dependency-Manager Metadaten-Browser (Web) Job-Kontrolle im Web
