Datenbankstammtisch HTW Dresden Realisierung von BI-Projekten bei arvato IT services: DWH/BI Framework und Vorgehensmodell November 13, 2013 1 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Agenda Überblick Realisierung von BI-Projekten bei arvato IT services Produkte Produktrealisierungsprozesse Projektmanagement People Produktrealisierungsprozesse im Detail Vorgehensmodell DWH/BI-Framework Zusammenspiel beider Komponenten Projekt-Beispiele aus der Praxis 2 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Überblick 3 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Übersicht arvato innerhalb von Bertelsmann arvato ist Teil des globalen Bertelsmann-Netzwerks Medien- und Kommunikationsdienstleister ca. 70.000 Mitarbeiter weltweit > 5 Mrd. EUR Umsatz in 2011 100%-ige Tochter der Bertelsmann AG Hauptsitz Gütersloh/Deutschland > 150 Standorte weltweit in mehr als 35 Ländern Fundiertes Branchen- und Prozess-Knowhow 4 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Übersicht Portfolio arvato > Creation > Print > Replication > e-Commerce Konzeption, Social Media, Kampagnenmanagement, Direktmarketing, Marketing Print Procurement, Vorstufenleistungen, Lettershop, Weiterverarbeitung CD/DVD-Produktion, digitale Distribution, Rechte- & Media Asset Management Multi Channel, Frontend & Backend Services, Fullfilment, Content Management > CRM > Customer Service > Financial Services > Logistik Kundenbindung & -karten, Bonusprogramme, Data Mining, Product Sourcing Auskunft & Mehrwertdienste, Telesales & Retention, technischer Support, Backoffice Risikoprüfung, Factoring, Zahlungsmanagement, Finanzbuchhaltung Order-to-Cash, Reparatur, Transportmanagement, Ersatzteillogistik, Warehousing > Integrierte IT-Lösungen 5 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Übersicht arvato IT services Interner IT-Dienstleister innerhalb der arvato AG arvato IT services berät die verschiedenen Markteinheiten innerhalb der arvato AG und stellt durch integrierbare IT-Lösungen die Wettbewerbs- und Lieferfähigkeit der Markteinheiten sicher Leistungen decken die gesamte Wertschöpfungskette der Markteinheiten ab und umfassen Beratung, Sourcing, Setup und Betrieb Innerhalb von arvato IT-services kann zwischen technischen und fachlichen Competence Centern unterschieden werden Neben den Competence Centern übernehmen zentrale Services übergreifende Aufgaben (z.B. Strategie, Risk & Compliance) – dienen als Regulativ zwischen den Competence Centern (z.B. Portfoliomanagement) 6 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Realisierung von BI-Projekten bei arvato IT services 7 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Realisierung von BI-Projekten bei arvato IT services Was macht BI-Projekte erfolgreich? Was macht (BI-)Projekte erfolgreich? – Professionelles Projektmanagement? – Geeignetes Vorgehensmodell? – Gut ausgebildetes und erfahrenes Team? Durch ein in der Organisation integriertes und ganzheitliches Realisierungsvorgehen bzgl. Produkte1, Produktrealisierungsprozesse, PM-Prozesse und Projektteam 1 Produktnahe Lösungen / Services 8 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Realisierung von BI-Projekten bei arvato IT services Integriertes und ganzheitliches Vorgehen Produkte ProduktrealisierungsProzesse Projektmanagement People • Produktnahe Lösungen / Services • Produktportfoliomanagement • spezialisierte DWH/BI-Tools / Shared Plattforms • DWH/BI-Framework & Vorgehensmodell • Projektabwicklung nach IPMA • Projektportfoliomanagement • Qualifikation und Erfahrung in: • Business Intelligence und Projektmanagement 9 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Realisierung von BI-Projekten bei arvato IT services Produkte Business Intelligence Lösungen von arvato IT services: Produkte Beratung & Coaching von der Anforderungsaufnahme bis zur Implementierung; Projekt- & Architekturreviews DWH/BIConsulting Advanced Analytics Data Mining & statistische Algorithmen: Forecasting, Fraud Detection (gem. Service mit weiterem CC) ProduktrealisierungsProzesse Klassischer Ansatz: Relationale Datenhaltung 3-Schichten-Architektur OLAP & Reporting Traditionelles DWH/BI Power BI Hybrider Integrationsansatz: Verteilte Datenhaltung Self Service BI Collaboration Projektmanagement Unterstützende Prozesse für Accounting & Billing eInvoicing Rating Operationalisie rung im BI Data Migration und Data Quality Data Profiling Data Cleansing Data Migration 10 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 People Realisierung von BI-Projekten bei arvato IT services Produktrealisierungsprozesse Effizienter Mix aus spezialisierten Datenintegrationstools, shared Plattforms, Vorgehensmodell und DWH/BI-Framework: Technologienwahl aus ToolPortfolio je nach Projektgröße und infrastrukturellen Gegebenheiten Produkte Tools: ETL, BI, DB ProduktrealisierungsProzesse DWH/BIFramework Eigenentwicklung für Standardisierung der DWH/BI-Prozesse Unterstützung sowohl in der Setupals auch in der Betriebsphase verbindlicher Einsatz in allen BIProjekten RUP-basiert / an arvato und BI angepasst Vorgehensmodell Unterstützung sowohl in der Setup- als auch in der Betriebsphase durch eigenes Competence-Center (QAM) definiert verbindlicher Einsatz in allen Projekten 11 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Projektmanagement People Realisierung von BI-Projekten bei arvato IT services Projektmanagement Projektmanagement und –Prozesse sind nach IPMA ausgerichtet und in unserer Organisation verankert (durch QAM vorgegeben und gesteuert) Project Management Office definiert im Rahmen des PM-Handbuch das Projektmanagement-Vorgehensmodell bei arvato IT services Verbindliche Leitlinie zur Projektarbeit für Projektmanager und Projektmitarbeiter Projektüberwachung und Steuerung im Rahmen des Projektportfoliomanagements Produkte ProduktrealisierungsProzesse Das PM-Handbuch enthält: – Grundlagen … die Verständnis für die Bedeutung der Aufgabe schaffen – Methoden …die verwendet werden, inkl. eine Vorgabe für die Skalierung in den Projektklassen – Werkzeuge …als zentrale Hilfsmittel bzw. Instanzen zur Bewältigung der Aufgabe 12 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Projektmanagement People Realisierung von BI-Projekten bei arvato IT services People (Team) Technisches Competence-Center Business Intelligence (BI) – 30 Mitarbeiter – Kooperation mit unterschiedlichen externen Partnern – Mehrere Standorte innerhalb von Deutschland: • Gütersloh, Cottbus, Münster, WHV, Rostock Qualifikation der Teammitglieder: – Projekterfahrung: • Aktuell ca. 40 Setup- und Bestandsprojekte im Portfolio, 5-7 in der Akquise • Je Projekt: Setup 30-1000PT, Betrieb 10-1000PT CR-& Wartungsvolumen p.a. • Branchenübergreifend (CRM, Telko, Customer Sevices, …) – Zertifizierungen: • Projektmanagement: IPMA • Business- & System-Analyse: IREB/CPRE • Architektur & Tools: Oracle, Microsoft Tool Stack, IBM Cognos • Testing: ISTQB Certified Tester • Betrieb: ITIL • Soft Skills: arvato-interne Schulungsprogramme Qualität der Teamarbeit: – Rollendefinition und –Verankerung im Vorgehensmodell Zufriedenheit der Mitarbeiter: – Instrumente zur Personal- und Teamentwicklung (Laufbahnmodell je Rolle) – Verantwortung für Services und Plattforms – Teamgeist 13 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Produkte ProduktrealisierungsProzesse Projektmanagement People Produktrealisierungsprozesse: Vorgehensmodell 14 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Produktrealisierungsprozesse – Vorgehensmodell Übersicht Grundlage des zentralen Vorgehensmodells: – Adaptierung des Rational Unified Process (RUP) im Rahmen der Organisation – an DWH/BI Bedürfnisse angepasst – Use Case basiert – Inkrementelles und iteratives Vorgehen – Rollen-basiert verschiedene Artefakte für die Umsetzung pro Phase fest vorgegeben – einheitliches Vorgehen projektunabhängig dadurch sichergestellt – Unterscheidung zwischen großen und kleinen Projekten Ständige Weiterentwicklung – Genutzte Methoden werden regelmäßig in einem zentralen Board auf Basis neuer Erkenntnisse angepasst 15 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Produktrealisierungsprozesse – Vorgehensmodell Phasen & Artefakte Akquisitionsphase Business Modeling Artefakte Projektphase Requirements Systemanforderungsspez., SSTSpez. Analysis & Design Implementation ETL/BI-Konzept Release, Release-Notes Betriebsphase Test Testplan, Testkonzept 16 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Deployment Deployment-Plan Configuration & Change Mgmt. Business- & System-CR Produktrealisierungsprozesse: DWH/BI-Framework 17 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Produktrealisierungsprozesse – DWH/BI-Framework Übersicht Theorie Projekteinsatz BI Trends DWH-Standards arvatoDefinition (Kimball, Inmon) Standards DWH-Framework DWH Framework Einsatz Guides Modules Tutorials Lessons Learned Wissenstransfer Control Board Weiterentwicklung Knowledge Management Prüfung, Konzeption 18 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Issue Management Produktrealisierungsprozesse – DWH/BI-Framework Design-Guide – Architektur (traditionelles DWH/BI) Über das DWH/BI-Framework wird eine zentrale Architektur vorgeben: Data Warehouse Quality Assurance ERP arvato oCRM CSV, XML, … ODS DWH BI Klasse II (Inmon) Bereinigt Data Marts Persistent Harmonisiert Keine physische Löschungen Angereichert Konsistent & effizient Mapping-Typen: SCD I und II In erforderlicher Granularität OLAP/ Reporting Billing / Abrechnung Hohe Datenqualität Kampagnenmanagement Grundleistung: weitestgehend automatisiert Closed Loop 19 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Produktrealisierungsprozesse – DWH/BI-Framework Design-Guide – Architektur (traditionelles DWH/BI) Hybrider Ansatz: Über das DWH/BI-Framework wird eine zentrale Architektur vorgeben: Persistente & qualitätsgesicherte Datenhaltung Data Warehouse Grundleistung ist weitestgehend automatisiert erstellbar OLAP/ (konfigurierbar & generierbar) Reporting BI Quality Assurance ERP arvato oCRM CSV, XML, … ODS DWH Dadurch schneller verfügbare Billing / KonsistentData-Marts & Abrechnung Klasse II (Inmon) Bereinigt Data Marts Persistent Harmonisiert Keine physische Löschungen Angereichert Mapping-Typen: SCD I und II In erforderlicher Granularität Grundleistung: weitestgehend automatisiert effizient Hohe Vorteile: Datenqualität Revisionssicherheit, KampagnenNachvollziehbarkeit und hohe management Datenqualität Konsistente und effiziente Data-Marts Closed Loop Geringe Setup-Kosten Höhere Flexibilität 20 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Produktrealisierungsprozesse – DWH/BI-Framework Design-Guide – traditionelles vs. Power BI Erweiterter Fachlicher Bedarf … Mehr Selbständigkeit, weniger Abhängigkeit von der IT; höherer Anspruch an Flexibilität, Bereitstellungszeiten & Verteilung sowie an die Qualität der Analysen (=Entscheidungsgrundlage fürs Business) …sowie aktuelle technologische Entwicklungen … Big Data Lösungen, In-Memory, Social BI, Mobile BI, Cloud… …implizieren neue Standards bzgl. DWH/BI-Architektur und Vorgehen: Social Intranet Business Apps Data Warehouse Data Warehouse / Analytics Relationale Daten Datenquellen Reporting OLTP CRM ERP LOB Self-Service BI direkter Datenzugriff OLAP ETL Datenhaltung Reporting ETL Intelligence Collaboration OLAP Polystrukturierte Daten OLTP CRM ERP LOB traditional DWH/BI 21 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Externe Daten Power BI Big Data Pools Produktrealisierungsprozesse: Zusammenspiel beider Komponenten 22 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Produktrealisierungsprozesse – Zusammenspiel von VGM und Framework Phasenmodell Akquisitionsphase Business Modeling Projektphase Requirements Analysis & Design Mapping- & Process-FlowGeneration, Gen. ETL-Doku. Module Artefakte Systemanforderungsspez., SSTSpez. Einsparungen* * Implementation ETL/BI-Konzept Release, Release-Notes, ETL-Doku 50% Betriebsphase Test Deployment Configuration & Change Mgmt. Automatisiertes Deployment Audit-Logging, QS Test-Framework (Toolgestützt) Testplan, Testkonzept 30% gegenüber Projekten ohne Framework-Einsatz 23 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Deployment-Plan 70% Business- & System-CR 30% Produktrealisierungsprozesse – Zusammenspiel von VGM und Framework Beispiel: Phase „Implementation“ Generierung ETL-Dokumentation ETL-Konzept Mapping- & ProcessFlow- Generation ETL-Doku. Release-NotesGenerierung Mapping / Processflow Release, Release-Notes 24 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Produktrealisierungsprozesse – Zusammenspiel von VGM und Framework Beispiel: Phase „Test“ Ergebnis-Auswertung Testkonzept Ergebnis-Report. Testdesign Testdurchführung Testfälle Testplan 25 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Testdaten Produktrealisierungsprozesse – Zusammenspiel von VGM und Framework Benefits Vorgehensmodell: – Abteilungsübergreifend für alle Projektarten verbindlich im Einsatz – BI-Spezifika sind berücksichtigt – VGM-Verantwortlicher im BI-Team (gesteuert durch CC QAM) DWH/BI-Framework: – Gleicht alle Defizite spezialisierter Datenintegrationstools aus: • Standardisierung • Automatisches Ausführungsmonitoring (inkl. Laufzeit- & Performanceanalyse) • Assistent für automatisiertes Deployment in unterschiedliche ZielUmgebungen • Dokumentationsgenerierung – Flexibel, erweiterbar, wartbar und einfach zu handhaben - Erhebliche Reduktion der Projektaufwände (Setup und Betrieb) - Qualitativ hochwertige Lösungen trotz schnelleren Realisierungszeiten 26 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Projekt-Beispiele aus der Praxis 27 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Projekt-Beispiele aus der Praxis Beispiel 1 Standard-Projekt (DWH/BI-Lösung für die DIY-Branche): – ODS & Core-DWH sind zu 100% generiert – KPI-Reporting – Revisionssichere Bildung von Rückstellungen – CPM Data Mart – Setup-Kosten im Verhältnis zur Leistung sehr gering – CR- und PU-Kosten sind minimal 28 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Projekt-Beispiele aus der Praxis Beispiel 2 Beispiel 2: Großprojekt (DWH/BI Lösung für ein Multipartnerprogramm): – Big Data DWH (realisiert auf Exadata X2-2) – Vollständiger Closed Loop – Partnerabrechnung – Monitoring von Partner-Schnittstellen – Werbeerfolgsreporting – Kampagnen-Kosten-Nutzen-Analyse – Filialreporting – Händlerportal 29 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Projekt-Beispiele aus der Praxis Beispiel 3 Beispiel 3: Großprojekt Telko (DWH/BI Lösung für das Subscriber Management System (SuMS) - einer White-Label-Plattform): – Starke fachliche Aufbereitung der operativen Daten für einfache Analysen – Standardreporting für unterschiedliche Label-Brands im SuMS • Neukunden pro Vertriebskanal • Umsatzanalyse • Nutzungsverhalten der Bestandskunden – Anbindung eines Kampagnenmanagement-Systems – Unterstützung von Abrechnungsprozessen – Datenlieferungen an Drittsysteme • Rating Engine für CDRs • Versicherungsdienstleister • Location Based Services • Online-Portale 30 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Projekt-Beispiele aus der Praxis Beispiel 4 Beispiel 4: Multimandanten-DWH/BI Plattform für arvato mail & document solutions: – Bestehend aus folgenden standardisierten Komponenten (Anbindung neuer Mandanten erfolgt über Konfiguration): • Revisionssicheres Abrechnungsmanagement (10 Jahre Vorhaltepflicht) • Self Service BI • Realtime-Monitoring von Geschäftsprozessen (Auftragsstatus, Sendungsnachverfolgung etc.) – Optionale Komponenten (nach Bedarf im Einsatz): • Täglicher Soll-Ist-Vergleich, SLA-Überwachung • Datenanalyse & Reporting der Datenqualität (Güte der Daten im Systemverbund) • Neartime-Produktionsanalyse (Performanceanalysen nach Standort, Mandant, Versanddienstleister, Leistungen und Verbräuche) – Operationalisierung BI • eInvoicing (unterstützter Standard: FINVOICE, in Vorbereitung: PEPPOL) – Mehr als 100 Mandanten integriert 31 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Projekt Zoom: Implementierung eines Kennzahlensystems für ServiceCenter auf Basis Microsoft BI 32 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Zoom Ausgangssituation jede Abteilung erstellt eigene Reporte Mehrfachaufwände unterschiedliche Sichten auf gleiche Sachverhalte kein integriertes Reporting das Erkennen wesentlicher Zusammenhänge wird erschwert Vermutungen statt Fakten. keine Validierung von Abrechnungsdaten fehlende Informationen zur Steuerung des operativen Geschäfts 33 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Zoom Ziele Schaffung von Transparenz in den beteiligten Bereichen Leichte Erweiterbarkeit durch modularen Aufbau Systemkonfiguration im Self-Service Reduzierung des Setup- und Schulungsaufwandes durch Verwendung von Microsoft Excel als Client-Tool 34 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Zoom Quellsysteme 35 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Zoom Systemarchitektur CSV Excel OLEDB … Microsoft SQL Server 2008 Microsoft Analysis Server 2008 Quelle 1 … Data Warehouse OLAP Quelle n Extrakt relevanter Daten Transformation 36 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Laden der Daten Zoom Plattform Microsoft Windows Server 2008 R2 Standard 12 GB RAM 2 Xeon-Prozessoren mit 24 Kernen Microsoft SQL Server 2008 R2, Standard Edition inkl. SSIS und SSAS Microsoft Excel 37 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Zoom ETL-Prozesse Abbildung von Abhängigkeiten in Form von SSIS-Masterpaketen Ausführung der Masterpakete durch SQL Server Agent Jobs einmal täglich früh für Vortagsdaten mehrmals täglich für aktuellen Tag AdHoc z.b. bei externen Dateien Verwendung von StoredProcedures zur Implementierung von Bewertungs- und Transformationsregeln Partitionierung der Kennzahlengruppen zur performanten Beladung der Cubes Scheduling-Konfiguration zum gezielten Nachladen 38 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Zoom Beispiel Analyse von Ist-Bearbeitungszeiten im Vergleich zum Soll Color-Expressions zur Visualisierung von Abweichungen gezielte Ursachenforschung durch Hinzuziehen weiterer Dimensionselemente 39 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Zoom Ausblick Integration weiterer Quellsysteme Integration weiterer Mandanten Monitoring – technisch … Sicherstellung der Systemverfügbarkeit – fachlich … proaktives Erkennen von Abweichungen Implementierung von Incentive-Modellen – Modellierung … auf Basis von Leistungsdaten … auf Basis von Kundenzufriedenheit – Reporting …Live-Sichten auf den aktuellen Prämienstatus 40 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013 Vielen Dank! 41 | Alexander Neumann, Mike Trepte | arvato IT services GmbH | DB-Stammtisch HTW Dresden | November 20, 2013