Das Ende von OWB – was nun?
Werbung
Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte Dani Schnider Stanislav Lando BASEL BERN BRUGG DÜSSELDORF HAMBURG KOPENHAGEN LAUSANNE FRANKFURT A.M. FREIBURG I.BR. GENF MÜNCHEN STUTTGART WIEN ZÜRICH Agenda 1. Einleitung 2. ODI der offizieller Nachfolger von OWB 3. Migration nach PL/SQL 4. biGenius – DWH Generator 5. Kommerzielle ETL Tools (Informatica) 6. OpenSource ETL Tools (Talend) 7. Entscheidungskriterien 2 20.11.15 Das Ende von OWB – was nun? 1. Einleitung 3 20.11.15 Das Ende von OWB – was nun? Unser Unternehmen. Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: BETRIEB Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. 4 20.11.15 © Trivadis – Das Unternehmen Mit über 600 IT- und Fachexperten bei Ihnen vor Ort. KOPENHAGEN 14 Trivadis Niederlassungen mit über 600 Mitarbeitenden. HAMBURG Über 200 Service Level Agreements. Mehr als 4'000 Trainingsteilnehmer. Forschungs- und Entwicklungsbudget: CHF 5.0 Mio. DÜSSELDORF Finanziell unabhängig und nachhaltig profitabel. FRANKFURT STUTTGART FREIBURG BASEL GENF 5 20.11.15 MÜNCHEN BRUGG ZÜRICH BERN LAUSANNE © Trivadis – Das Unternehmen WIEN Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden. Wer wir sind Dani Schnider Principal Consultant, Trainer und DWH Lead Architect bei Trivadis Zürich 6 20.11.15 © Trivadis – Das Unternehmen Stanislav Lando Senior Consultant und DWH Location Architect bei Trivadis Düsseldorf OWB Support läuft aus Oracle Statement of Direction Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1 erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt Oracle Data Integrator ist offizieller Nachfolger vom OWB. Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten. Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur Verfügung 7 20.11.15 Das Ende von OWB – was nun? Welche Migrationsszenarien sind möglich? Handlungsbedarf Oracle 12C Nicht CDB-Architektur ist DEPRECATED seit 12.1.0.2 „ Oracle Warehouse Builder on a pluggable database operates the same as a multi-instance or an OWB_HOME configuration. ODIEE license is required to use this functionality.” 8 20.11.15 Das Ende von OWB – was nun? Zeit zu handeln 2. ODI der offizieller Nachfolger von OWB 9 20.11.15 Das Ende von OWB – was nun? Oracle Data Integrator (ODI) • • • • 2006 Übernahme durch Oracle Oracle Datenstrukturen/Modelle ETL Strecken mit DB-Mitteln Einbindung von PL/SQL • • • • • • Neu im Vergleich zu OWB Einbindung von heterogenen Umgebungen: DB, SOA, WebServices AGENT – Konzept mit zeitgesteuerter Jobverarbeitung Knowledge Module Konzept Version12c Übernahme der OWB Bedienkonzepte OWB Migration Utility 10 20.11.15 Das Ende von OWB – was nun? ODI Migration Utility Textbasierte Verarbeitung mit Config-Dateien Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3 migrierbar nach ODI sind • Module: Quelle und Ziel • Locations • Datenobjekte: Tabellen, Views, MViews • • Dateien, Sequenzen, externe Tabellen Mappings: klassisch set-based, code templates, pluggable Operatoren: fast alle nicht migrierbar nach ODI sind • Datenobjekte: Partitionen, Attribute Sets, Data Rules, Locations für externe Tabellen • Dimensionale, Discoverer und OBIEE Metadaten • Eigene PL/SQL Prozeduren und Packages • Queues, Streams, CDC Konfigurationen, • • • • Benutzerdefinierte Datentypen Process Flows Data Quality, Data Profilies Mappings: row-based, mit o.g. Elementen OMB*Plus Skripte OWB2ODI MIGRATION CHECK 11 20.11.15 Das Ende von OWB – was nun? ODI Migration Utility migration.config ODI_MASTER_USER=SUPERVISOR ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:orcl .. OWB_WORKSPACE_OWNER=OWB_OWNER OWB_URL=localhost:1521:orcl .. MIGRATION_MODE=DRY #CHECK|DRY|RUN .. >./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config OdiStartOwbJob –WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.> .. 12 20.11.15 Das Ende von OWB – was nun? 3. Migration nach PL/SQL 13 20.11.15 Das Ende von OWB – was nun? PL/SQL Migrationsoption 1 IST OWB IM HINTERGRUND NICHT PL/SQL? WB_RT_API_EXEC.RUN_TASK ( location task_type IN VARCHAR2, task_name IN VARCHAR2, custom_params IN VARCHAR2 system_params IN VARCHAR2 oem_friendly IN NUMBER background IN NUMBER RETURN NUMBER; 14 20.11.15 Das Ende von OWB – was nun? IN VARCHAR2, DEFAULT DEFAULT DEFAULT DEFAULT NULL, NULL, 0, 0 ) PL/SQL Migrationsoption 2 Sollte RUN_TASK unter der nächster DB Version nicht laufen? WB_RT_API_EXEC.RUN_TASK (...); OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten Anpassung des Repository mit weiteren DB Versionen möglich Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code 3000 – 4000 Zeilen Code pro Mapping OWB – PL/SQL Code ohne grafische Oberfläche 15 20.11.15 Das Ende von OWB – was nun? PL/SQL Migrationsoption 3 PL/SQL-Extraktion über Intermediate Results Einfache Extraktion der Logik durch Intermediate Results (set-based) Fehlerbehandlung wird unterstützt (LOG ERRORS INTO) Row-based Extraktion mit größerem Aufwand möglich Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung neu umgesetzt werden 16 20.11.15 Das Ende von OWB – was nun? müssen PL/SQL Migrationsoption 4 PL/SQL-Extraktion mit PL/SQL Analyser https://www.salvis.com/blog/downloads/tvdca-trivadis-plsql-sql-codeanalyzer/ Extraktion der Logik durch PL/SQL-Parser Automatisierung für viele Mappings (>1000) möglich Command Line Utility mit XML Parse-Tree Ausgabe Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt werden 17 20.11.15 Das Ende von OWB – was nun? 4. biGenius 18 20.11.15 Das Ende von OWB – was nun? biGenius Funktionsübersicht Business Department BRE Business Requirements Engineering Modelling Generation Deployment Generated Objects: - Tables - Views - ETL Processes 20.11.15 Technical Documentation Data Mart Business Blueprints 19 BI Architect MGD LCM Load Control Monitoring DWH Core Cleansing Area DQT Data Quality Testing Staging Area Source Das Ende von OWB – was nun? Source DWH Admin Source Data Steward Standardisierte DWH-Architektur Beispiel: 10 Dimensionen Data Mart 5 Faktentabellen 20 Entities DWH-Core 25 Quelltabellen Generierte DWH-Objekte: Cleansing 100 Tabellen Staging 175 Views 100 ETL-Packages 20 20.11.15 Source Das Ende von OWB – was nun? Source Source Migration eines standardisierten OWB-Projekts Import der Quell- und Zielstrukturen in biGenius Metadatenbank Zuordnung Quell- und Zielattribute – Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind – Manuelle Zuordnung von Spezialfällen Nachbearbeitung in biGenius Applikation – Metadaten für Historisierung und Dimensionshierarchien – Bei Bedarf Anpassungen von Templates – Für Spezialfälle separate Templates aus „Intermediate Results“ Generierung von Tabellen, Views und Packages mittels PL/SQL Generator 21 20.11.15 Das Ende von OWB – was nun? ETL-Logik in Templates 22 20.11.15 Das Ende von OWB – was nun? 5. Kommerzielle ETL Tools 23 20.11.15 Das Ende von OWB – was nun? Warum ein anderes ETL Tool als ODI? Mögliche Gründe Strategisches Tool im Unternehmen Bestehendes Knowhow vorhanden Heterogene DWH-Systeme Marktanteil des Herstellers Verbreitete kommerzielle ETL Tools Informatica PowerCenter IBM InfoSphere DataStage SAP Business Objects Data Services 24 20.11.15 Das Ende von OWB – was nun? Beispiel: Informatica PowerCenter Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014) Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren Ausführung der Transformationen im separaten ETL-Server ETL-Steuerung durch Integration Services (ETL in Blackbox) Datenzugriff durch ODBC, JDBC + native DB Treiber Systemüberwachung der Nodes (Domains) durch Service Management Prozess Lizenzierung pro Kern des Domain-Servers 25 20.11.15 Das Ende von OWB – was nun? Migration nach Informatica PowerCenter Die Migration ist mit manuellem Aufwand verbunden Import der Quell- und Zielstrukturen in PowerCenter Repository Manuelle Neuentwicklung der Mappings – Ähnliche Transformationen wie OWB-Operatoren – Stored Procedures können in Mappings eingebaut werden Nachbau der Ladeläufe mit Workflow Manager 26 20.11.15 Das Ende von OWB – was nun? Migration nach Informatica PowerCenter (Alternative) Extraktion von SQL Statements in OWB – Via Intermediate Results – Nur für set-based Mappings SQL Statements in PowerCenter Mapping verwenden – SQL Override – SQL Transformation Achtung – Schlechte Wartbarkeit der Mappings – Nur als Übergangslösung zu empfehlen! 27 20.11.15 Das Ende von OWB – was nun? 6. OpenSource ETL Tools 28 20.11.15 Das Ende von OWB – was nun? Warum OpenSource? Hauptgrund für OpenSource-Produkte Geringere Lizenzkosten Achtung: OpenSource ≠ Gratis OpenSource ETL Tools Talend Open Studio Pentaho Kettle 29 20.11.15 Das Ende von OWB – was nun? Beispiel: Talend Open Studio Open Source ETL Studio für wenig Geld Java Architektur Über 500 Components – Vergleichbar mit Operatoren für OWB Row-based Verarbeitung – Mengenbasierte Ausführung umständlich möglich Lizenzkosten pro Entwickler Talend Job Designer für die Ablaufsteuerung 30 20.11.15 Das Ende von OWB – was nun? Migration nach Talend Import der Quell und Zielstrukturen in die Metadatenbank Automatische Migration nicht möglich – Arbeitsweise unterscheidet sich von OWB Mögliche Lösung – Extraktion von SQL aus OWB (Intermediate Results) – SQL in Talend Component „rOracleRow“ kopieren – Gleiche Problematik wie SQL Override in Informatica Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich 31 20.11.15 Das Ende von OWB – was nun? 7. Entscheidungskriterien 32 20.11.15 Das Ende von OWB – was nun? Funktionsumfang Arbeitsweise Bedienbarkeit Grafische Darstellung der Arbeitsweise Grafisches ELT-Tool, Ausführung ODI in Zieldatenbank Datenflüsse Bedienbarkeit Prozedureale Programmierung in Programmierung in DatenbankPL/SQL Datenbank Editor, z.B. SQL Developer Plattformunabhängigkeit 33 Plattformunabhängigkeit Knowledge Module für zahlreiche Quell- und Zielplattformen Oracle-spezifisch biGenius Metadatenbasierter PL/SQLGenerator, Ausführung in Zieldatenbank GUI zur Erfassung und Pflege der Metadaten Generatoren für Oracle und SQL Server Kommerziell Grafisches ETL-Tool, Ausführung durch ETL-Server Grafische Darstellung der Datenflüsse Unterstützung zahlreicher Quellund Zielplattformen OpenSource Grafisches ETL-Tool, Ausführung durch ETL-Server 20.11.15 Das Ende von OWB – was nun? Grafische Darstellung der Datenflüsse Unterstützung zahlreicher Quellund Zielplattformen Migration von OWB Projekten 34 Migrationsaufwand Zeitaufwand Manuelle Nachbearbeitung Zusätzlicher Betriebsaufwand ODI Automatisierte Migration durch OWB Migration Utility gering Nachbau von Workflows und speziellen Operatoren zusätzlich Server pro Agent PL/SQL Generierter OWB-Code kann übernommen werden mittel, für große Projekte automatisierbar Implementierung von Fehlerbehandlung, Logging, etc. keiner biGenius Importieren von Quell- und Zielstrukturen, Generierung der ETL-Prozesse für standardisierte Projekte gering, für Spezialfälle groß Für Speziallogik müssen Templates erstellt oder angepasst werden Kommerziell Manuelle Übernahme von SQL-Statements in ETL-Tool hoher manueller Aufwand Überführung von SQLStatements in Logik des ETLTool ETL-Server OpenSource Manuelle Übernahme von SQL-Statements in ETL-Tool hoher manueller Aufwand Überführung von SQLStatements in Logik des ETLTool ETL-Server 20.11.15 Das Ende von OWB – was nun? keiner Zusätzliche Kosten 35 Schulungsaufwand Lizenzkosten ODI notwendig, aber für OWB-Entwickler gering pro CPU der Zieldatenbank PL/SQL PL/SQL-Knowhow bei OWB-Entwickler meistens vorhanden in Datenbanklizenz enthalten biGenius notwendig abhängig von Projektgröße Kommerziell notwendig pro CPU im Domain-server (Informatica) OpenSource notwendig pro Arbeitsplatz (Talend) 20.11.15 Das Ende von OWB – was nun? Wartung und Weiterentwicklung 36 Wartbarkeit Performance & Tuning ODI Sehr gut Mengenbasierte Ausführung in der Zieldatenbank PL/SQL Schlecht wartbar Mengenbasierte Ausführung in der Zieldatenbank biGenius Sehr gut Mengenbasierte Ausführung in der Zieldatenbank Kommerziell Sehr gut datensatzbasierte Ausführung über ETLServer OpenSource Sehr gut datensatzbasierte Ausführung über ETLServer 20.11.15 Das Ende von OWB – was nun? Trivadis White Paper: Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte. http://www.trivadis.com/sites/default/files/downloads/migrationspfade-fuer-owb-projekte.pdf 37 20.11.15 Das Ende von OWB – was nun? Vielen Dank Dani Schnider Stanislav Lando [email protected] [email protected] 38 20.11.15 Das Ende von OWB – was nun?
