Die perfekte Kombination im Agilen Data Warehouse Oracle

www.ise-informatik.de
Die perfekte Kombination
im Agilen Data Warehouse
Oracle Engineered Systems mit Data Vault
Herbert Rossgoderer
Geschäftsführer
Matthias Fuchs
DWH Architekt
ISE Information Systems Engineering GmbH
Enable
eXtreme
Performance.
ISE Information Systems Engineering
www.ise-informatik.de





Gegründet 1991
Mitarbeiteranzahl: 50
Hauptsitz in Gräfenberg, Niederlassungen in München und Nürnberg
Schwerpunkte:
 Oracle Engineered Systems (Exadata / Exalogic / Exalytics)
 Data Warehousing & Business Intelligence
 Oracle DB – Migrationen, Optimierungen, Hochverfügbarkeit
 Managed Service für Datenbanken, BI und Middlewareapplikationen
Oracle Partner Engineered Systems Award 2013
Copyright (C) ISE GmbH - All Rights Reserved
2
Enable
eXtreme
Performance.
www.ise-informatik.de
ISE Oracle Technology Center
Copyright (C) ISE GmbH - All Rights Reserved
3
ISE Oracle Technology Center
Enable
eXtreme
Performance.
www.ise-informatik.de
Erstes und einziges Exastack Technology Center in
Deutschland in Nürnberg
Copyright (C) ISE GmbH - All Rights Reserved
4
Enable
eXtreme
Performance.
Überblick
www.ise-informatik.de




Data Vault Historischer Überblick
Grundsätzliche Annahmen
Ziele in der DWH Entwicklung
Key Indikatoren eines Agilen DWH
 Data Vault
 Automatisierung
 Engineered Systems

Agiles DWH PoC
Copyright (C) ISE GmbH - All Rights Reserved
5
Data Vault Historischer Überblick
Enable
eXtreme
Performance.
www.ise-informatik.de
© (Linstedt, Graziano, & Hultgren, The New Business Supermodel, The Business of Data Vault Modeling, 2008, p. 36)
Data Vault 1.0 Specification and certification (CDVDM) is now outdated. It focused
highly on *just* Data Vault modeling.
Data Vault 2.0 has arrived on the scene as of 2013 and brings to the table: Big Data,
NoSQL, Unstructured, Semi-Structured seamless integration. Along with
methodology, architecture, and implementation best practices.
Copyright (C) ISE GmbH - All Rights Reserved
6
Enable
eXtreme
Performance.
Grundsätzliche Annahmen
www.ise-informatik.de

Eine gemeinsame Geschäftssprache ist sehr schwierig zu
definieren und meistens existieren verschiedene
Geschäftsdefinitionen für das gleiche Geschäftskonzept
 Ein Unternehmensdatenmodell kann nicht auf einer einzigen Version
der Wahrheit (SVOT) in einem Unternehmen basiert sein

Kunden kennen und verstehen ihre Daten für 60 bis 70%
 Die anderen 30% bis 40% funktionellen Anforderungen werden


während der UAT (User Accaptence Tests) gefunden und müssen
zusätzlich entwickelt werden
Wir brauchen die atomaren historisierte Datenansicht so bald wie
möglich
Ein Unternehmen wird sich ändern - ein Status Quo bedeutet
Rückschritt
 Ein Unternehmensgeschäftsmodel das sich nicht ändert, gibt es nicht
 Ein Datenmodell muss leicht anpassbar, erweiterbar, sein ohne
Auswirkungen auf die bestehenden Entitäten
Copyright (C) ISE GmbH - All Rights Reserved
7
Single Version of Truth vs. Single Version of Facts
Enable
eXtreme
Performance.
www.ise-informatik.de
Grundlage
Geschäftsdefinition
Copyright (C) ISE GmbH - All Rights Reserved
Grundlage
Quelle
8
Ziele in der DWH Entwicklung
Enable
eXtreme
Performance.
www.ise-informatik.de
Implementationszeit senken, Kosten minimieren und Abfrage
Performance erhöhen:
 Zeit, Kosten
 Möglichst hohe Automatisierung im Data Warehouse
 Möglichst wenig Eigenentwicklungen
Automatisierung basierend auf Data Vault

Implementation
 Hohe Flexibilität im Datenmodel (Data Vault)
 Historische Daten (Data Vault)

Performance
 Geschwindigkeit der Engineered Systems (Data Vault, Exadata)
 Reduktion des Persitent Layer durch hohe Performance der Engineered
Systeme (Automatisierung basierend auf Exalytics)
Copyright (C) ISE GmbH - All Rights Reserved
9
Key Indikatoren eines Agilen DWH
Enable
eXtreme
Performance.
www.ise-informatik.de



Data Vault Modell
Automatisierung
Hochperformante Hardware – z.B. Engineered Systems
 Exadata
 Exalytics
Copyright (C) ISE GmbH - All Rights Reserved
10
Data Vault Theorie
Enable
eXtreme
Performance.
www.ise-informatik.de
Copyright (C) ISE GmbH - All Rights Reserved
11
Data Vault - Beispiel
Enable
eXtreme
Performance.
www.ise-informatik.de
Copyright (C) ISE GmbH - All Rights Reserved
12
Data Vault Vergleich
Enable
eXtreme
Performance.
www.ise-informatik.de

Pro
 Erweiterbares Modell aufgrund von Auslagerung von Schlüsseln &
Beziehungen
 Standardisierter Ansatz unterstützt Generierung von Datenmodell &
ETL Code
 Vollständig gelöstes Modell liefert gute Extraktionsleistung

Kontra
 Vervielfältigt die Anzahl der Entitäten im Vergleich zu 3 NF mindestens
um den Faktor 3
Copyright (C) ISE GmbH - All Rights Reserved
13
Data Vault - Basis Regeln
Enable
eXtreme
Performance.
www.ise-informatik.de


Nur Inserts (HUB, LINK)
Satellit Langsame Änderung Typ-2-Logik
 1 FK
 Beginn, End Datum
 HUB, LINK kann mehrere SATs haben

LINK – Gültigkeit -> offiziell im SAT
Copyright (C) ISE GmbH - All Rights Reserved
14
Enable
eXtreme
Performance.
Automatisierung
www.ise-informatik.de
Voraussetzungen für Code-Generierung:
 Häufige Wiederverwendung des Codes
 Viele Objekte mit unterschiedlicher Struktur, die auf einheitliche Weise



umgewandelt werden müssen
Hohes Standardisierungsniveau möglich Strikter Modellierungsansatz,
der bei der Implementierung eines bestimmten Modells keine großen
Abweichungen zulässt
Leichte und standardisierte ETL--‐Logik möglich
Metadaten für die Code-Generierung können für einen hohen
Prozentsatz (über 50 %) generiert werden
 Datenbank-Data Dictionary lesen
 ETL-Tool-Metadaten lesen
 DDL-Datei lesen
Copyright (C) ISE GmbH - All Rights Reserved
15
Automatisierung am Beispiel
Tripwire DWH Accelerator
Enable
eXtreme
Performance.
www.ise-informatik.de
Copyright (C) ISE GmbH - All Rights Reserved
16
Engineered Systems - Exadata
Enable
eXtreme
Performance.
www.ise-informatik.de



Hoch Performantes Datenbanksystem
Realtime Abfrage des Foundation Layers möglich
Durch zukünftige In-Memory Funktionalität Abfrage im Foundation
Layer performant
Copyright (C) ISE GmbH - All Rights Reserved
17
Enable
eXtreme
Performance.
Engineered Systems
Exalytics Key Features OBIEE
www.ise-informatik.de



Summary Advisor in OBIEE
Aggregat Erstellung Timesten InMemory
Hardware Optimization on BI Publisher, OBIEE and Essbase
Copyright (C) ISE GmbH - All Rights Reserved
18
Enable
eXtreme
Performance.
Engineered Systems
Summary Advisor and Aggregates
www.ise-informatik.de
Prinzip
1. Use
Dashboards
3. Run
Aggregates
2. Run
Summary
Advisor
Copyright (C) ISE GmbH - All Rights Reserved
19
Enable
eXtreme
Performance.
Summary Advisor and Aggregates
www.ise-informatik.de
Usage Tracking
Interactive
Dashboards
Reports
Answers
Oracle BI Server
Usage Tracking
Usage Tracking
User Data
Copyright (C) ISE GmbH - All Rights Reserved
20
Enable
eXtreme
Performance.
Summary Advisor and Aggregates
www.ise-informatik.de
Summary Advisor
BI
Model
Sumary
advisor
Script
Usage
Tracking
Copyright (C) ISE GmbH - All Rights Reserved
21
Enable
eXtreme
Performance.
Engineered Systems
Aggregates
www.ise-informatik.de
Building Aggregates
Reports
Answers
Interactive
Dashboards
Script
Logical SQL
Oracle BI Server
Physical SQL
Usage
Tracking
User Data
Copyright (C) ISE GmbH - All Rights Reserved
Oracle TT
22
Enable
eXtreme
Performance.
Engineered Systems
Query
www.ise-informatik.de
New Query
Reports
Answers
Interactive
Dashboards
Logical SQL
Oracle BI Server
Physical SQL
Usage
Tracking
User Data
Copyright (C) ISE GmbH - All Rights Reserved
Oracle TT
23
Enable
eXtreme
Performance.
Agiles DWH PoC
www.ise-informatik.de
50 %
Copyright (C) ISE GmbH - All Rights Reserved
50 %
24
Agiles DWH PoC
Enable
eXtreme
Performance.
www.ise-informatik.de

Model 1: Physical Layer
 FL (data vault) import based on views
 Import Views (Business Data Vault)

Model 2: Business Model
 Federated Model based on Foundation Layer
 Aggregates in TimesTen
Copyright (C) ISE GmbH - All Rights Reserved
25
Enable
eXtreme
Performance.
Agiles DWH PoC
www.ise-informatik.de
Model 1:
View Layer
Model 2:
Aggregates
50 % -> 20 %
50 % -> 20 %
Copyright (C) ISE GmbH - All Rights Reserved
26
Agiles DWH PoC
Enable
eXtreme
Performance.
www.ise-informatik.de

Data Vault Layer





Based on real implementation
8TB raw Data
Compressed to 1,6 TB
305 Tables, Satellite with 1.6 Billion records 60 GB
Time spent About 14 Days
2 days
2 days
3 days
2 days
load data, 5 days tune data vault tables query
view concept
RPD Approach
testing results
Copyright (C) ISE GmbH - All Rights Reserved
27
Enable
eXtreme
Performance.
Agiles DWH PoC
www.ise-informatik.de
Data Filter for 1 year
Number of corresponding FL records in fact : > 300 million
Single Dimension
FL performance
(views)
Times Ten
Performance
Standard Measure
+/- 40 sec
< 1 sec
Level Based
Measure
+/- 40 sec
< 1 sec
Share
+/- 40 sec
< 1 sec
TimeSeriesFunctions
+/- 60 sec
< 1 sec
Copyright (C) ISE GmbH - All Rights Reserved
28
Enable
eXtreme
Performance.
Agiles DWH PoC
www.ise-informatik.de
Data Filter for 1 year
Number of corresponding FL records in fact : > 300 million
Multi Dimension
FL performance
(views)
Times Ten
Performance
Standard Measure
+/- 80 sec
< 1 sec
Level Based
Measure
+/- 80 sec
< 1 sec
Share
+/- 70 sec
< 1 sec
TimeSeriesFunctions +/- 80 sec
< 1 sec
Copyright (C) ISE GmbH - All Rights Reserved
29
Enable
eXtreme
Performance.
www.ise-informatik.de
Q& A
Copyright (C) ISE GmbH - All Rights Reserved
30