Chancen und Herausforderung bei globalen DWH Projekten mit

Chancen und Herausforderung bei
globalen DWH Projekten mit
Data Vault und Agile BI
Ein Erfahrungsbericht
2150 GmbH | Unterfeldstrasse18 | CH-8050 Zürich
Tel. +41 32 511 27 89 | [email protected]
Vorstellung
Petr Beles verfügt
über langjährige Erfahrung
aus Data Warehouse
Projekten im Telko- und
Finanz-Umfeld.
An der TDWI 2015 am Stand
der Ventum Consulting.
Frode Voll Aasen ist zertifizierter
Data Vault Spezialist.
Er unterstütz seit 2009 Kunden in
der Automotive- und
Manufacturing-Branchen
bei der Konzeption und
Umsetzung von DWH- sowie
Reporting-Lösungen.
Agenda
Projektbeschrieb – Ausgangslage
Teil I: Agile Data Warehousing
Teil II: Data Vault Modellierung
Teil III :Herausforderungen in den Quelldaten
Lessons Learned
Projektbeschrieb
Ausgangslage
•
•
•
•
•
•
•
•
Branche: Produzierende Industrie
Ablösung von Out-of-Support Reporting Plattform
Weltweite Integration von rund 10 Sales und 3
Produktions-Standorten
Migration von Core ERP Systemen erwartet
Integration von Produktions-, Verkaufs- und
Finanzprozessen
Zeitrahmen:
1 Jahr aufgeteilt in 4 Phasen
Projektteam: 3 Personen. Verteilt über 3 Standorte
Zu integrierende Quellen: 15
Teil I : Agile
Definition des Scopes: Subject Areas
Sales
SCM
HR
Finance
Definition des Scopes: Systeme
System
Gross
System
Gross
System Sales
Mittel
System
Klein
SCM
HR
Finance
Definition des Scopes: Prozesse
Sales
Order
Bill
Sales
Delivery
SCM
HR
Finance
Mapping zu Agilen Elementen
• Subject Areas werden zu
“Epics”
• Prozesse werden zu
mehreren “Stories”
• Stories werden in Sprints
unterteilt
• Management in Jira
Herausforderungen von Agile
• Business User müssen bereit sein sich
aktiv in Reviews und Plannings
einzubringen
• Scope ändert während des Projektes,
was ein Vertrauen des Projekt Sponsors
voraus setzt
• DWH muss schnelle Release Zyklen
unterstützen
On Time, On Budget
Beispiel Phase I
Phase I Orders and Sales Accumulated Expenses vs. Budget
1.2
1.18
1.16
1.14
initial
setup
Scope
erweitert
Scope
reduziert
1.12
1.1
1.08
1.06
Sprint 1
Sprint 2
Sprint 3
Sprint 4
Sprint 5
Datenreihe 1
Sprint 6
Sprint 7
Sprint 8
Herausforderung verteiltes Team
Atlassian Stack:
• Jira
• Hipchat
Nachträgliche Herausforderungen
• Spätes Testing
• Frühere Phasen steuern
Änderungswünsche ein und
kannibalisieren spätere Phasen
• Budget leicht überschossen
(aber innerhalb von Cap 115%)
Teil II : Datavault
Data Vault Modellierung
• Wieso Data Vault?
• Welche Probleme hat Data Vault gelöst?
Dimensionales Modell
Core Data Warehouse
Generelles Einfügen von Links
Konsolidierung
Die Data Vault Fabrik
Technische Umsetzung
• Datenbank: MS SQL
• ETL: MS SSIS
• Reporting: QlikView
• 2150 Ventum Data Vault 1.0 Framework
Juli 2014 kummulativ
August 2014 kummulativ
September 2014 kummulativ
Oktober 2014
November 2014 kummulativ
Nur Januar 2015
Nur Mai 2015
Stand Heute
Selbstdokumentation
MATCH (n {name:'H_BILL'})-[*1..2]-(m)
return n,m
http://localhost:7474/browser/
Stammdaten Wiki
• Wiki als zweiter
Kommunikationskanal
mit den Usern
• User können
Stammdaten direkt
anpassen*
• Wiki wird wie jedes
andere Quellsystem
behandelt
* Atlassian Confluence mit Play SQL Plug In
Herausforderungen Data Vault
• Extrem viele Objekte
• Ein historisierter Data Store hat auf der
Leseseite immer mehr Komplexität als
ein AdHoc Reporting
• Schnelle Entwicklung stellt hohe
Anforderungen Governance
Gebrochene Beziehungen
Teil III :
Herausforderungen in den Quell-Daten /
Daten Modellierung
Unterschiedliche Stammdaten
MATCH (n {name:'H_ISOCOUNTRY'})-[*1..3]-(m) return n,m
Verteilte Stammdaten Produkt
Verteilte Stammdaten Produkt
MATCH (n {name:'H_PRODUCTSYSTEMVARIETY'})-[*1..3]-(m) return n,m
Business Vault: Herstellungskosten
Drill Across
Prozesse zusammenbringen:
Dimensionaler Output aus dem Data Vault
1:1
Data Vault Modelling
- Tables
Dimensional
Modelling / 3NF /
Flat
- Views
Define Business Keys, Attributes,
Relationships
Dim
Dim
Fact
Fact
Fact
Dim
Access Layer
Data Vault
Business Layer
Staging Views
Staging Tables
Dim
Business Vault Loads
Lessons Learned
Projekt Analyse: Budget
• Agiles Vorgehen mit Jira hat sich
bewährt
• Budget ok
• Agile bedeutet einen konstanten Druck
auf die Entwickler
Projekt Analyse: Kommunikation
• Co-Location ist immer wünschenswert
(Tisch an Tisch)
• Design Sessions an Whiteboard
• Kommunikation mit HipChat mit
integriertem Task Management hat aber
funktioniert
• Daily Stand Up Calls sind nötig
Projekt Analyse: Scope
• Würden heute bei der Definition des
Scopes mehr Gewicht auf Prozesse als
auf Source-System-Komplexität legen
• Scope war unter Kontrolle, hat sich aber
im Verlauf des Projektes verändert
Projekt Analyse: Data Vault
• Hält was es verspricht
• Bei folgenden Projekten Data Vault 2.0
anstatt 1.0 verwenden
• Ohne Framework nicht Managebar
• Unsere Abweichungen / Ergänzungen
vom Standard
Projekt Analyse: Potential
• Wie immer: früher Testen
• Schulungen früher ansetzen
• Tests genauer spezifizieren und
dokumentieren
• Berechtigungen früh angehen
(auch für Masterdaten)
• Mehr Workshops mit Business Usern
Feed Back aus Projektleitungssicht
• Einführung von Agile bedeutet auch ein
Umdenken bei der Projektorganisation
• Nach 2-3 Sprints aber verstanden
Offene Fragen?
Weitere Informationen
http://www.2150.ch
http://www.ventum.de
Komplette und aktualisierte Präsentation:
http://www.2150.ch/tdwi2015