ODI für Big Data

ODI für Big Data
mehr als Konnektoren
Bodo Clausen
Senior Consultant & Competence Center Big Data Lead
Opitz Consulting Deutschland GmbH
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 1
Mission
Märkte
Wir entwickeln gemeinsam mit allen
Branchen Lösungen, die dazu führen, dass
sich diese Organisationen besser entwickeln
als ihr Wettbewerb.
 Branchenübergreifend
 Über 600 Kunden
Unsere Dienstleistung erfolgt
partnerschaftlich und ist auf eine langjährige
Zusammenarbeit angelegt.
29%
Handel / Logistik /
Dienstleistungen
29%
Industrie / Versorger /
Telekommunikation
42%
Öffentliche Auftraggeber / Banken und
Versicherungen / Vereine und Verbände
Leistungsangebot
Eckdaten
 Business IT Alignment
 Business Information Management
 Business Process Management
 Anwendungsentwicklung
 SOA und System-Integration
 IT-Infrastruktur-Management
 Gründung 1990
 400 Mitarbeiter
 8 Standorte
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 2
Themen
 Apache Hadoop?
 Startschwierigkeiten Big Data PoC
 Pragmatischer Start
 DWH Offload
 Beispiel DWH Offload mit dem ODI
 Beispiele
 Apache Hive
 Apache Pig
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 3
Hadoop ist
 ein Framework für die
Verwaltung von ClusterKapazitäten.
 eine Software, welche
Redundanz und Lastverteilung
gewährleistet.
 auf Skalierung mit
kostengünstiger Commodity
Hardware ausgelegt.
 eine Open-Source Plattform für
viele andere Werkzeuge.
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 4
Hersteller nutzen Hadoop um
 ihre Software skalierbarer zu
machen
 performanceoptimierte
Appliancelösungen
anbzubieten
 eine kostengünstige
Storagealternative anbieten zu
können.
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 5
Apache betreut 30+ Toplevel Big Data Projekte
 spezialisierter Anwendungszweck
 Keine Allrounder!
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 6
Startschwierigkeiten Big Data PoC
 Use Cases Identifizieren
 Gedanken zum Datenschutz
 Tools auswählen
 Distribution auswählen
 Hardware Sizing und ggf. Anschaffung
 Infrastruktur aufsetzen/installieren
 PoC umsetzen
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 7
Pragmatischer Start
 Use Case DWH Offload
 Infrastruktur Big Data Lite VM
 Möglichkeiten ODI
 Danach weitere Use Cases?
 Entwicklungs Cluster aufsetzen
 vielleicht Oracle Big Data Appliance
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 8
DWH Offload: Was ist das?
 Einfaches ETL und Daten auf Hadoop Cluster auslagern
 Daten empfangen
 Daten aggregieren
 Daten filtern
 Daten historisieren
 Daten persistieren
 Vorteile
 Platz für wichtigere Daten im DWH
 Resourcen frei für Analytics
 Neue Verarbeitungsmöglichkeiten
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 9
Das bedeutet in diesem Fall
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 10
Ist Zustand
Operationales System
Staging Area
Data Mart
SALES
SA_SALES
SALES_PRD_CST_MLY
Src 2 Staging
ODI für Big Data - mehr als Konnektoren
Staging 2 DM
© OPITZ CONSULTING GmbH 2016
Seite 11
Source 2 Staging (Oracle)
Logical Design
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 12
Source 2 Staging (Oracle)
Physical Design
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 13
Umwandlung zu Apache Hive Staging
Operationales System
Staging Area
Data Mart
SALES
SA_SALES
SALES_PRD_CST_MLY
Src 2 Staging
ODI für Big Data - mehr als Konnektoren
Staging 2 DM
© OPITZ CONSULTING GmbH 2016
Seite 14
Anpassungen
Oracle 2 Apache Hive
 SA_SALES Tabelle erstellen
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 15
Anpassungen
Oracle 2 Apache Hive
 SA_SALES im ODI zufügen
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 16
Anpassungen
Oracle 2 Apache Hive
 Neues Mapping Source zu Staging (Hive)
 Oracle Source
 Hive Target
 Expression Datum zu String
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 17
Anpassungen
Oracle 2 Apache Hive
 Neues Mapping Physical View
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 18
Ausführen
Oracle 2 Apache Hive
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 19
Anpassungen
Oracle 2 Apache Hive
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 20
Ergebnisse
Oracle 2 Apache Hive
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 21
Oracle Staging 2 DM
Operationales System
Staging Area
Data Mart
SALES
SA_SALES
SALES_PRD_CST_MLY
Src 2 Staging
ODI für Big Data - mehr als Konnektoren
Staging 2 DM
© OPITZ CONSULTING GmbH 2016
Seite 22
Staging 2 DM (Oracle)
Logical Design
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 23
Staging 2 DM (Oracle)
Physical Design
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 24
Staging 2 DM (Oracle)
SQL Code generiert
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 25
Daten in der Tabelle
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 26
Umwandlung zu Apache Hive Staging
Operationales System
Staging Area
Data Mart
SALES
SA_SALES
SALES_PRD_CST_MLY
Src 2 Staging
ODI für Big Data - mehr als Konnektoren
Staging 2 DM
© OPITZ CONSULTING GmbH 2016
Seite 27
Änderungen
Apache Hive Staging
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 28
Änderungen
Apache Hive Staging
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 29
Erzeugter Hive Code
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 30
Load Hive zu Oracle DWH
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 31
Anpassungen
um Apache PIG zu nutzen
 Logical Design
 Staging Location Hint => Pig
 Expression und Aggregate Execute on Hint => Staging
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 32
Anpassungen
um Apache PIG zu nutzen
 Physical Design erzeugen
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 33
Erzeugter Pig Code
Daten laden
String Manipulation
Aggregierung
Daten speichern
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 34
und Apache Spark
 Analog zu Pig
 ggf. Expressions anpassen (auch bei Pig)
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 35
Zusammengefasst
 ODI biete GUI für Hive, Pig, Spark Development
 Erweiterungen von Pig und Spark implizit verfügbar
 DWH Offloading als Use Case
 Pragmatischer Ansatz PoC
 Ist eine Überlegung wert
 Beispiele für Erweiterungen
 Weblogs verarbeiten
 360° Kundensicht (falls Webshop vorhanden)
 Foren, Blogs, Feeds crawlen
 Wie kommen unsere Produkte an
 Sensordaten aus z.B. Produktionslinien
 Predictive Maintenance
 Streaming der Daten
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 36
Kontakt
Bodo Clausen
Senior Consultant & Competence Center Big Data Lead
E-Mail: [email protected]
Telefon: 02261 6001 0
ODI für Big Data - mehr als Konnektoren
© OPITZ CONSULTING GmbH 2016
Seite 37