ETL-Tool-unabhängige BI
Werbung
BI-Metadaten Ein ETL-Toolübergreifender Ansatz Dr. Lutz Driesen BI-Konferenz Hannover/ 11.03.2015 Inhalt 1 Die BI-Landschaft bei der Allianz Deutschland AG 2 Problem: Die technische Diversität der ETL-Prozesse erschwert ein lückenloses Datenfluss-Reporting 3 Unsere Lösung: ETL-Tool-unabhängige BI-Metadaten 4 5 6 Datenfluss-Reporting in der Praxis Potential und Grenzen der Metadaten-Anwendung Fazit Fragen / Erfahrungsaustausch / Kontakt BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 2 Inhalt 1 Die BI-Landschaft bei der Allianz Deutschland AG 2 Problem: Die technische Diversität der ETL-Prozesse erschwert ein lückenloses Datenfluss-Reporting 3 Unsere Lösung: ETL-Tool-unabhängige BI-Metadaten 4 5 6 Datenfluss-Reporting in der Praxis Potential und Grenzen der Metadaten-Anwendung Fazit Fragen / Erfahrungsaustausch / Kontakt BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 3 1 Die BI-Landschaft bei der Allianz Deutschland AG - Heterogene operative Quellen (z.B. Oracle, DB2, SAS-Files,…) - BI-Basisschicht (Core-DWH) als zentraler Datenverteiler OracleQuellsysteme SASSchnittstellen DB2-Quellen BIStagingSchicht BI-Basisschicht (Core-DWH) Data Marts Sonstige Quellen BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 4 1 6. 5. Die BI-Landschaft bei der Allianz Deutschland AG - Industrialisierter Änderungs-Workflow via Metadaten-Tool - Nutzung Metadaten-Tool als DDL-Generator im Release-Bau Einspielung der DDL-Skripte Aktualisierung der MetadatenReporting-Tabellen 6. 5. 4. ‚ReverseEngineering‘ von Sonder-Lösungen Historisierung des aktuellen MetadatenStandes 2. Übernahme von Strukturänderungen 3. Erzeugung von DDLStatements 1. ReleaseBau 4. 1. 2. 3. BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 5 1 Die BI-Landschaft bei der Allianz Deutschland AG - Mengengerüst der BI-Basisschicht: 50 Fachobjekte (z.B.: Vertrag, Person…) mit ca. 2000 Entitäten und ca. 50.000 Attributen - Ca. 20 % Änderungsvolumen je Release: 40 neue und 50 geänderte Entitäten (1000 neue Attribute) in der Basisschicht-Ebene - Oracle-Warehouse-Builder und komplexe fachliche Views innerhalb der Basisschicht - Nutzung unterschiedlicher Tools in den ETL-Strecken in die BI-Datamarts (z.B. OWB, SAS-DI-Studio, dynamisches PL/SQL, …) BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 6 Inhalt 1 Die BI-Landschaft bei der Allianz Deutschland AG 2 Problem: Die technische Diversität der ETL-Prozesse erschwert ein lückenloses Datenfluss-Reporting 3 Unsere Lösung: ETL-Tool-unabhängige BI-Metadaten 4 5 6 Datenfluss-Reporting in der Praxis Potential und Grenzen der Metadaten-Anwendung Fazit Fragen / Erfahrungsaustausch / Kontakt BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 7 2 Problem: Die technische Diversität im ETL-Umfeld erschwert ein lückenloses Datenfluss-Reporting - Heterogene technische Quell-Systeme und ETL-Strecken sind für jedes größere Unternehmen historisch gewachsen und damit unvermeidlich - Wie wird trotzdem eine durchgängige Nachvollziehbarkeit der Datenflüsse gewährleistet? - Wie kann die korrekte technische Umsetzung der fachlichen Vorgabe verifiziert werden? BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 8 Inhalt 1 Die BI-Landschaft bei der Allianz Deutschland AG 2 Problem: Die technische Diversität der ETL-Prozesse erschwert ein lückenloses Datenfluss-Reporting 3 Unsere Lösung: ETL-Tool-unabhängige BI-Metadaten 4 5 6 Datenfluss-Reporting in der Praxis Potential und Grenzen der Metadaten-Anwendung Fazit Fragen / Erfahrungsaustausch / Kontakt BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 9 3 3 ETL-Tool-unabhängige BI-Metadaten Ziel ist die Validität des Berichtswesens durch die Transparenz des Datenflusses über die gesamte BI-Landschaft von der Quelle bis ins Ziel: BIStagingSchicht BI-Basisschicht (Core-DWH) Data Marts Sonstige Quellen Oracle-Datenmodell BI-Metadaten Metadaten-Java-GUI BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 10 3 Unsere Lösung: ETL-Tool-unabhängige BI-Metadaten - Eigenständiges Oracle-Datenmodell für Entitäten, AttributInformationen und Umbauregeln - Integration fachlicher Dokumentation (Word, Excel, Oracle, …) durch Verweise in den Umbauregeln - Anbindung von DB2- oder Oracle-Repositories aller Verarbeitungs-Ebenen über Database-Links für Import und Abgleich - Eigenentwickelte Java-Anwendung für Pflege und Auswertung des Metadaten-Datenmodells - Nutzung der Schnittstellen einzelner ETL-Tools als Metadaten-Quellsysteme BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 11 3 Wie wird das Metadaten-Datenmodell gefüllt? Fachliche Vorgaben und Technik ergänzen sich! DB2/Oracle-DataDictionaries SQL-DDL/DMLSelect-Statements Import über DB-Links Reverse-Engin./Parsing Strukturen Fachliche Vorgaben Word, Excel, Oracle Auswertung und Import Attribut-Mappings Oracle-Datenmodell BI-Metadaten Release-Bau Skript-Generator Impact-Analyse Lineage-Analyse Dokumentation Metadaten-Java-GUI BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 12 ‚Parsen‘ eines Select-Statements 3 Definition: ‚Parsen‘ bedeutet die syntaktische Zerlegung eines SelectStatements in seine Grund-Bausteine und deren Beziehungen anhand der SQL-Schlüsselwörter - ‚Parsen‘ ist Bestandteil des Reverse-Engineering-Prozesses für ausgewählte ETL-Zielobjekte in die Metadaten - Auflösbar sind in DDL oder DML eingebundene SelectStatements sowie ‚Stand-Alone‘-Selects - Abspeicherung der Grund-Bausteine und ihrer Beziehungen in einem Metadaten-VSB-Datenmodell (‚View-Select-Builder‘) BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 13 ‚Parsen‘ eines Select-Statements 3 Beispiel: SELECT A.FGABTID, B.KPIWERT AS ZIELPROD FROM TBS_AASAS29 A LEFT OUTER JOIN TBS_AASAS34 B ON A.FGABTID = B.FGABTID WHERE TRUNC (A.GDAT) <= TRUNC (SYSDATE); Kennung Tiefe Objekt-Typ Objekt-String CREATE OR REPLACE FORCE VIEW BIBS.VBS_ORG_BMKPI (FGABTID,ZIELPROD) AS SELECT … SELECT A.FGABTID,B.KPIWERT AS ZIELPROD FROM TBS_AASAS29 A LEFT JOIN 1 SELECT-OBJEKT TBS_AASAS34 B … 2 ATTRIBUT-LISTE A.FGABTID,B.KPIWERT AS ZIELPROD 2 QUELLOBJEKT-JOIN TBS_AASAS29 A LEFT JOIN TBS_AASAS34 B ON A.FGABTID = B.FGABTID 2 WHERE-BEDINGUNG TRUNC (A.GDAT) <= TRUNC (SYSDATE) 3 ATTRIBUT-STRING A.FGABTID 4 ATTRIBUT-EXPRESSION A.FGABTID 4 ATTRIBUT-NAME FGABTID 3 ATTRIBUT-STRING B.KPIWERT AS ZIELPROD 4 ATTRIBUT-EXPRESSION B.KPIWERT 4 ATTRIBUT-NAME ZIELPROD 3 QUELLOBJEKT-STRING TBS_AASAS29 A 4 QUELLTABELLE TBS_AASAS29 4 QUELLOBJEKT-ALIAS A 3 JOIN-STRING LEFT OUTER JOIN 3 QUELLOBJEKT-STRING TBS_AASAS34 B 4 QUELLTABELLE TBS_AASAS34 4 QUELLOBJEKT-ALIAS B 3 ON-BEDINGUNG A.FGABTID = B.FGABTID 0 CREATE-GENERAT S1 S1S1S1S1-A1 S1-A2 S1-J1- S1-J2S1-J3- S1-J4- BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 14 3 ‚Parsen‘ eines Select-Statements Graphische Darstellung eines VSB-Mappings: BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 15 3 ‚Parsen‘ eines Select-Statements Anzeige des zerlegten Select-Statements: BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 16 ‚Parsen‘ eines Select-Statements 3 - Graphische Darstellung des Abhängigkeits-Netzes (VSB-Mapping) über Java-Swing-Methoden - Neben Joins, Aggregatoren und Setup-Konstrukten sind auch verschachtelte Inline-Selects abbildbar - Der zerlegte Select-String wird als CLOB-Objekt im Metadaten-Datenmodell gespeichert und ist über die Metadaten-Java-Anwendung abrufbar - Die End-To-End-Beziehung der Attribut-Mappings wird automatisiert in die Datenfluss-Reports integriert BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 17 Inhalt 1 Die BI-Landschaft bei der Allianz Deutschland AG 2 Problem: Die technische Diversität der ETL-Prozesse erschwert ein lückenloses Datenfluss-Reporting 3 Unsere Lösung: ETL-Tool-unabhängige BI-Metadaten 4 5 6 Datenfluss-Reporting in der Praxis Potential und Grenzen der Metadaten-Anwendung Fazit Fragen / Erfahrungsaustausch / Kontakt BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 18 4 Datenfluss-Reporting in der Praxis: Impact-Analyse für ein Basisschicht-Attribut: BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 19 4 Datenfluss-Reporting in der Praxis: Impact-Analyse für ein Basisschicht-Attribut: BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 20 4 Datenfluss-Reporting in der Praxis: Attribut-Beschreibung und Wertausprägungen: BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 21 4 Datenfluss-Reporting in der Praxis: Anzeige Attribut-Umbauregel (z.B. Pseudo-Code): BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 22 4 Datenfluss-Reporting in der Praxis: Umbauregel mit Dokument-Verweis (incl. ‚Hyperlink‘): BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 23 4 Datenfluss-Reporting in der Praxis: Objektnetz-Analyse mit Datamart-Entität als Startobjekt: BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 24 4 Datenfluss-Reporting in der Praxis: Detailbild für Attribut-Mappings im Objektnetz: BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 25 Inhalt 1 Die BI-Landschaft bei der Allianz Deutschland AG 2 Problem: Die technische Diversität der ETL-Prozesse erschwert ein lückenloses Datenfluss-Reporting 3 Unsere Lösung: ETL-Tool-unabhängige BI-Metadaten 4 5 6 Datenfluss-Reporting in der Praxis Potential und Grenzen der Metadaten-Anwendung Fazit Fragen / Erfahrungsaustausch / Kontakt BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 26 5 Ausblick: Welches Potential besitzt die Metadaten-Anwendung hinsichtlich einer Unterstützung der IT-Prozesse? - Möglichkeit der Gegenüberstellung von fachlicher Vorgabe und technischer Umsetzung in einem integrierten Tool - Automatisierbare Unterstützung der Entwickler/DBAs bei der Analyse und Steuerung von Datenbank-Auswertungen - Mengenorientierte Überarbeitung und Manipulation von Generaten/Select-Statements mit Datenbank(SQL)-Mitteln - Industrialisierbare Unterstützung bei der Migration von OWB-Mappings in andere ETL-Tools (z.B. Oracle-DataIntegrator) BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 27 5 Aktuelle technische Grenzen der vorgestellten Metadaten-Anwendung: - Spezielle SQL-Syntax ist im Parsing-Prozess noch nicht berücksichtigt (z.B. MERGE, PIVOT,…) - JAVA-Heap-Space-Grenzen beschränken die graphische Darstellbarkeit - Weitere SQL-‘Dialekte‘ neben Oracle-SQL werden bislang noch nicht berücksichtigt BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 28 Inhalt 1 Die BI-Landschaft bei der Allianz Deutschland AG 2 Problem: Die technische Diversität der ETL-Prozesse erschwert ein lückenloses Datenfluss-Reporting 3 Unsere Lösung: ETL-Tool-unabhängige BI-Metadaten 4 5 6 Datenfluss-Reporting in der Praxis Potential und Grenzen der Metadaten-Anwendung Fazit Fragen / Erfahrungsaustausch / Kontakt BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 29 6 Fazit: 8 Die hier vorgestellte Oracle-Java-Lösung für ETL-Toolunabhängige BI-Metadaten ist in der Lage, die Nachvollziehbarkeit der Datenflüsse über die gesamte BILandschaft hinweg sicherzustellen! Das Potential der Metadaten-Anwendung geht dabei über ein reines Visualisieren der Datenflüsse hinaus, da für zerlegte SQL-Select-Statements eine Analyse und gezielte Manipulation der Metadaten-Informationen mit Datenbank-Mitteln möglich wird! BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 30 Vielen Dank für Ihre Aufmerksamkeit! Ihre Fragen / Erfahrungen / Anregungen … BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 31 Kontakt Dr. Lutz Driesen Allianz Managed Operations & Services SE Business Intelligence Shared Services ETL and Market Management, A-IT04-BIS-B3 Gutenbergstraße 8, 85774 Unterföhring, Germany phone: +49 89 3800 4091 e-mail: [email protected] BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 32 Anhang A: Das Metadaten-Kern-Datenmodell 3 SDT_OBJEKT SDT_MAPPING_OBJ SDT_UMBAUREGEL ID_OBJEKT ID_EBENE OBJEKT_NAME DATENTYP LAENGE DEZIMAL TABELLE RELATION GRUPPE ID … ID_MAPPING ID_OBJ_SRC ID_OBJ_TGT ID_FUNKTION … ID_FUNKTION FUNKTIONSNAME FUNKTIONSART BESCHREIBUNG TEXT … SDT_EBENE ID_EBENE NAME BESCHREIBUNG BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 33 Anhang B: Das Metadaten-VSB-Datenmodell 3 SDT_VSB_MAPPING SDT_VSB_OBJEKT ID_MAPPING ID_OBJ_SRC ID_OBJ_TGT ID_GRUPPE_SRC ID_GRUPPE_TGT ANMERKUNGEN ID_OBJEKT ID_EBENE OBJEKT_NAME DATENTYP LAENGE DEZIMAL TABELLE ID GRUPPE RELATION SDT_VSB_GRUPPE … ID_GRUPPE ID_KOMP GRUPPE_NAME GRUPPE_TYP ID_REF_GRUPPE ON_KLAUSEL … … SDT_VSB_KOMPONENTE ID_KOMP ID_PARSING ID_KOMP_PARENT ID_KOMP_MASTER KOMP_NAME KOMP_TYP KOMP_ALIAS WHERE_KLAUSEL GROUP_BY_KLAUSEL ORDER_BY_KLAUSEL PARENT_KENNUNG … SDT_VSB_PARSING ID_PARSING ID_VERSION TARGET_NAME TARGET_SCHEMA TARGET_SELECTTYP GENERAT_STRING ATTRIBUT_LISTE TARGET_MAPPING GENERIERUNGS_STATUS SDT_VSB_PARSING_DETAILS ID_DETAILS ID_PARSING ID_PARENT STRUKTURTIEFE NR OBJEKT_TYP SELECT_TYP OBJEKT_STRING ANZAHL_CHARS PARENT_KENNUNG … BI-Metadaten Ein ETL-Tool-übergreifender Ansatz / Allianz AMOS BI / Dr. Lutz Driesen © Copyright Allianz 04.03.2015 34
