DQM_Kundentag_2008
Werbung
<Insert Picture Here> Datenqualität sichern Wenn sich Controlling und Buchhaltung streiten Praxisseminar zu Datenqualitätsanalysen mit einem Planspiel zur virtuellen Server GmbH Christoph Blessing, Alfred Schlaucher So... ...oder so? Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch Wer glaubt solchen Charts? Die Kosten der schlechten Daten Ohne Daten kein Business Daten sind der Treibstoff der Prozesse Information Chain Marketing Werbung Adresse KD-Daten Bedarf Adresse Kreditdaten Kunde Angebot Kredit OK Kundenbetreuer Bestelldaten Bestand Stammdaten Order Logistiksystem Lager Buchhaltung Verkaufsdaten Lieferschein Spedition Rechnung Mahnung Bezahlung Reklamation Kunde Operative Prozesse Die Qualität von Data Warehouse Daten wird immer wichtiger MIS Controlling Produkt Management Analytisches CRM Informationsbasis Oracle Data Warehouse Call Center Internetzugriffe Beschwerden Operatives CRM Diversifizierung Marketing-Material Warum wächst die Herausforderung der Qualität der Daten Gewachsene Bedeutung des Faktors Information für den Erfolg von Unternehmen. Fehlende Praxis in Datenmanagement Datenqualität Immer häufigere Prozessänderungen Ausufernde Datenmengen Vermehrtes Inseltum durch FertigAnwendungen Was ist Datenqualität? Aspekte (Dimensionen) der Datenqualität Brauchbarkeit der Daten! 1. Korrekt 2. Stimmig 3. Vollständig 4. Dokumentiert 5. Redundanzfrei 6. Aktuell 7. Verfügbar (Access) 8. Nützlich (TCO) 9. Handhabbar 10. Vertrauenswürdig 11. Harmonisch Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch Die SERVICE GmbH Fallbeispiel Die SERVICE GmbH – Historisch gewachsene Geschäftsfelder • Vermittlung von Dienstleistungen für Endkunden rund um das Handwerk • Handwerksleistung • Darlehen • Großhandel für Baumärkte und Einzelhandel • Haushaltswaren • Heimwerker • Gartenbedarf • KFZ-Zubehoer • Elektroartikel •Bereich Internet-/Versandhandel • Computerteile SERVICE GmbH Die SERVICE GmbH Die Problemfälle • Unterscheidung • Privatkunden • Firmenkunden • Kundenkarte wurde eingeführt • Nur Privatkunden dürfen Kundenkarten haben • Entstand aus Zusammenschluss mehrerer Vertriebsgesellschaften Integration der Stammdaten „mit Hindernissen“ Unterschiedliche SERVICE GmbH Artikel-/ Produktestammdaten Erwartungen aus dem Unternehmen Buchhaltung: Es fehlen Daten Warum sind die Spediteursrechnungen so hoch? Sind alle Bestellungen korrekt bezahlt worden? Wie hoch sind die Versandkosten pro Lieferung? Was wurde storniert? Controlling: Vergleichbarkeit fehlt Marketing: Absatzzahlen sind nicht aussagefähig Wie viel Kunden gibt es? Lohnt die Kundekarte? Welche Segmentierung gibt es? Vertrieb: wünscht leichtere Auswertungen Was sind wichtige Produkte? Was sind rentable Sparten? Hat sich der Servicebereich gelohnt? SERVICE GmbH Vertrieb Marketing Management Buchhaltung Controlling Was sind rentable Sparten? Wie rentabel sind einzelne Produkte? Was kosten Produkte im Einkauf? Wie teuer wurden Produkte verkauft? Management: Kennzahlen fehlen Wie hoch sind die liquiden Mittel? Wie hoch sind die Außenstände? Erwartungen aus dem Unternehmen Buchhaltung: Es fehlen Daten Warum sind die Spediteursrechnungen so hoch? Sind alle Bestellungen korrekt bezahlt worden? Wie hoch sind die Versandkosten pro Lieferung? Was wurde storniert? Controlling: Vergleichbarkeit fehlt Marketing: Absatzzahlen sind nicht aussagefähig Wie viel Kunden gibt es? Lohnt die Kundekarte? Welche Segmentierung gibt es? Vertrieb: wünscht leichtere Auswertungen Was sind wichtige Produkte? Was sind rentable Sparten? Hat sich der Servicebereich gelohnt? SERVICE GmbH Vertrieb Marketing Management Buchhaltung Controlling Was sind rentable Sparten? Wie rentabel sind einzelne Produkte? Was kosten Produkte im Einkauf? Wie teuer wurden Produkte verkauft? Management: Kennzahlen fehlen Wie hoch sind die liquiden Mittel? Wie hoch sind die Außenstände? Bekannte Probleme Korrekte Werte für: Umsatz pro Sparte? Umsatz pro Gruppe? Umsatz pro Produkt? Werden korrekte Rechnungen gestellt? Umsatz pro Kunde? Macht die Kundenkarte Sinn? Bestellung KundenStamm Sparten Gruppen Produkte Position • Auswertungen auf Spartenebene stimmen nicht mit den Aufstellungen Umsatz pro Produkt überein • Die Kundendaten erlauben keine Segmentierung für Marketingzwecke „Es werden Firmenkunden, als Privatkunden angeschrieben“ Die Controlling-Sicht Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch Methoden und Hilfsmittel • • • • • • • Datenmodellierung Attribut-Klassifizierung (Namen) Kategorisierung von Qualitätsregeln Data Profiling Tool ETL-Tool Datenbank Vorgehensmodell Datenmodellierung Ziel: Aufspüren und Minimierung von Redundanzen als eine der Hauptursachen von Datenfehlern • Schlüssel • Identifizierung von Dingen • Functional Dependencies • Versteckte Abhängigkeiten • Beziehungen • Existenzabhängigkeit • Orphans • Childless • Normalisierung • One Fact One Place Attribut-Klassifizierung Ziel: Erkennung der Anforderungen an Felder um diese optimal gestalten zu können Aufspüren von Synonymen und Homonymen • Einordnen von Attributen zu Basistypen • Identifier, Bezeichner, Beschreibungen, Werte, Zeiten..... • Ableitung von vermuteten Eigenschaften • Eindeutigkeit, Schlüsselkandidat, Muss-Feld.... • Erkennen von Synonymen / Homonymen über gleiche Merkmale und Namensbestandteile Data Profiling Tool • Standardanalysen • • • • • • • • Unique Keys Functional Dependencies Relationships Domains Redundant Columns Patterns, Types Statistiken Six Sigma • Rules (Business-/ IT-Rules) • Generierung von Korrekturen • Auditing • Eingebettet in ein ETL-Tool • hohe Flexibilität beim Bereitstellen von Daten • Direktes Anwenden erkannter Regeln für eine spätere Datenaufbereitung und Minitoring • Ablaufumgebung ist die Datenbank • Datennähe Data Profiling Tool Methoden Die operativen Daten Feintuning zu den Analysemethoden Protokollierung laufende Analysen Drill Down zu den operativen Daten ETL - Tool • SQL-basiert • wenig Lernaufwand • Ablaufumgebung ist die Datenbank • hohe Performance • Wiederverwendung von DB-Funktionen und Infrastruktur • Metadaten- / Modell-gesteuert Vorgehensmodell Datenqualitätsanalyse Zieldefinition Geschäftsregeln Erwartungen Bestandsaufnahme Owner User Ressourcen Kosten Modelle Problemkomplexe Priorisieren Strukturanalysen Felder Objekte Beziehungen Hierarchien Regelanalysen Daten Werte Fach Umsetzung Ergebnisse Abgleich-Alt Neudefinition Monitoring 6 Phasen, 95 Aktivitäten, 16 Ergebnis-Templates, 1 Metamodell, Klassifizierungen Bottom Up Top Down Planen Vorgehensmodell für Datenqualitätsprojekte Erheben der Grunddaten Geschäftsfelder Data Owner / Daten-Interessenten / Konsumenten DQ-Erwartungen Bekannte Schwachstellen Kosten Prioritäten Beschreibung der Geschäftsprozesse Objektmodell Datenflüsse und – schnittstellen Bekannte Geschäftsregeln Datenmodellprüfungen Vollständigkeitsbetrachtung Betrachtung der Verständlichkeit Schlüsselanalysen / Beziehungsanalysen Analyse von Hierarchien Suche nach Redundanzen (z. B. Normalisierung) Mengenanalyse / Stammdatenabgleiche Detailanalyse Überprüfen der Geschäftsregeln Analyse der erkannten Schwachstellen Verifizieren der DQ Erwartungen Vorgehensweisen / Methoden im Data Profiling .. .. .. Metadaten Data Quality Assessement Erwartungen an die Datenqualität Assertion Testing Abgleich Metadata Verification Neue Erkenntnisse (Überraschungen) Discovery Bottom up Unternehmensdaten Data Profiling Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch Warum ist ein Tooleinsatz bei Datenqualitätsanalysen sinnvoll? • Das meiste geht auch ohne Tool, allerdings mühsam Functional Dependencies Starten eines GenerierungProfiling-Laufs Rule Starten einer CorrectionMapping-Generierung Auswahl und Ergebnisansicht Methoden Die Tabellen, die zu dem Analysefukus gehören Tabellen-Darstellung Chart-Darstellung Feintuning zu den Analysemethoden Drill-Werte Operative Datensätze AnalyseJobProtokolle Aktivierbare Business Rules Analyseumgebung LDAP DBMS_LDAP non Oracle DB2, SQL Server Informix, Teradata Meta Daten Repository Gateway / ODBC / FTP Oracle 9i / 10g / 11g SAP Integrator SAP R/3 Source Stage Siebel CRM Oracle eBusiness Text / XML Profiling Stage Analyse Datenbank Direct Path DBLink Transportable Modules Eindeutigkeitsanalysen (Unique Key) Wertebereichsanalysen (Domain) Funktionale Abhängigkeiten Beziehungen (Relational) Beziehungen (Orphans / Childless) Wertmustererkennung (Pattern) Formate (Data Type) Statistiken (Aggregation) Individuelle Regeln (Data Rules) Korrekt: Zusammen 100% (Alle Fälle erfasst) Korrekt, muß 0 sein Korrekt: Es kann nur ein Wert gepflegt sein. Korrekt, muß 0 sein Korrekt, muß 0 sein Korrekt, das sind die richtigen Werte Korrekt, das sind richtige Werte Problem: kein Schlüsselfeld ist gepflegt Korrekt, muß 0 sein Korrekt: Zusammen 100%. (Alle Fälle erfasst) Korrekt, muß 0 sein Problem Korrekt Rule-Varianten Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch Problemkomplex Stammdaten (Produkte / Artikel) Stammdaten Hierarchien? Einkaufspreise (fehlerhaft?) Stammdaten (Kunden / Identifizierung ) Fragestellungen Benannte Probleme Auswertbarkeit Stimmen die Einträge Vergleichbarkeit von Einkaufs- und Verkaufspreisen Welche Produkte lohnen sich Rabatte? Messbarkeit für Controlling Korrekte Zahlen zur Steuerung von Marketingkampagnen und für den Vertrieb Wer hat wieviel gekauft? Kunden-Segmentierung Wo bleibt die gelieferte Ware? Lieferungen (Bestellungen /Stornierungen) Artikel-, Gruppen-, Spartenberichte Ergebnis Wie korrekt wird gezahlt? Spediteure? Nachvollziehbarkeit von Zahlungen für die Buchhaltung Fall 1: Auswertungen über die Artikelgruppen-Hierarchie Die Zahlen von Controlling und Buchhaltung passen nicht zusammen. Analysemodell: Was wissen wir über den Prozess? Produkte Handwerker bietet an beauftragt Dienstleistungen Kunden bietet an verkauft Lieferanten Service GmbH holt ab Privat Kundenkarte bestellt storniert beauftragt Firmen liefert aus Spediteur beliefert Lager holt stornierte Ware ab liefert ab Geschäftsprozess: Bestellungen Bestellprozess Status Beschaffung offene Posten Kundendaten prüfen MAX/MIN Menge Kreditlimit prüfen Kundenstamm Verfügbarkeit prüfen Spediteur beauftragen Bestellung anlegen Lieferschein Bestellsatz updaten Liefersatz anlegen Kundenstamm Produktestamm Bestellung Best_Pos Dienstleistung beauftragen Vertrag Bestellung Best_Pos Lieferung Objektmodell: Welche Geschäftsobjekte sind an dem Prozess beteiligt? Bewegungs daten Stornierung Lieferung Spediteur Stammdaten Zahlung Beauftragung / Order Partner Lieferanten Retouren Bestellung Dienstleister Produkte Artikel Service Kunde FirmenKunde Lager KundenKarte PrivatKunde Vollständigkeitsanalyse Wichtige Daten fehlen! Identifizierung nur über Bestellnummer Keine Untergliederung nach Positionen möglich. Bewegungs daten Stornierung Zahlung Lieferung Spediteur Stammdaten Retouren Bestellung Beauftragung / Order Partner Lieferanten Liefernummer fehlt. Identifizierung nur über Bestellnummer Dienstleister Produkte Artikel Service Kunde FirmenKunde Lager KundenKarte PrivatKunde Beziehungsanalyse Artikel_ Sparte Lieferung Bestellnr [6, (97%)] Order_ID Bestellnr [6, (97%)] Bestrellnr Stornierung Bestrellnr [0, (100%)] Bestrellnr Bestellung Kundencode [0, (100%)] Kunden_ID Bestrellnr [213, (90%)] Best_ Position KD_Nummer [0, (100%)] Kunden_ID Kundencode [0, (100%)] Kunden_ID Lager Artikelgruppennr [6, (92%)] Produktnummer [0, (100%)] Artikelnr [0, (100%)] KD_Nummer [1211, (46%)] Kundennr Kunden_ stamm Artikel_ Gruppe Order_ID [0, (100%)] Order_ID Bestrellnr [0, (100%)] Order_ID Zahlung Artikelspartennnr [1, (90%)] Produkte_ stamm Lieferant Legende Kundencode [0, (100%)] Kunden_ID FK-Column [Orphans, (%-korrekte Sätze) ] UK-Column Gezieltes Suchen nach „Waisenkinder“ (Orphans) Nachprüfen mit SQL Abfrage über die Hierarchie Artikelgruppe -> Produkte_Stamm -> Best_Position Abfrage über die Hierarchie Produkte_Stamm -> Best_Position ? Artikel-Hierarchie Analyse von Hierarchien Artikelsparte ARTIKELSPARTENNR 1 , 2 ,3 Artikel_Gruppe ARTIKELSPARTENNR 1,4,3 ARTIKELGRUPPENNR 1,2,3,4,5,6,11,10,9,8,7 Produkte_Stamm ARTIKELGRUPPENNR 100,1,6,2,5,4,7,3,10 Korrekte Business Intelligence Auswertungen? Korrekte Werte für: Umsatz pro Sparte? Umsatz pro Gruppe? Umsatz pro Produkt? Werden korrekte Rechnungen gestellt? Umsatz pro Kunde? Macht die Kundenkarte Sinn? Sparten Gruppen Produkte Fehlerhafte Spartenkennzeichnung von Gruppen Orphans Falsche Statuskennzeichnung von Finanzprodukten Fehlerhafte Verschlüsselung von Artikel- und Produkten Bestellung Position Doppelte Produktnummern KundenStamm Doppelte Wertebelegung von Statuskennzeichnung für Privat- und Firmenkunden. Fehlerhafte , nicht rechenbare Einzelpreisbezeichnung Wer hat Recht Controlling oder Buchhaltung? Zahlen: Controlling Zahlen: Buchhaltung Fall 2: Was wissen wir über den Kunden? Sind die Kundendaten ausreichend um MarketingKampagnen durchzuführen? Domain-Analyse Kundenkarte ? Überprufen der Regel: „Nur Privatkunden haben Kundenkarten“ Überprufen der Regel: „Nur Privatkunden haben Kundenkarten“ Überprufen der Regel: „Nur Privatkunden haben Kundenkarten“ Hilft das Feld Branche zur Qualifizierung von Kunden? Man stellt unterschiedliche Begriffe für dasselbe fest (Synonyme) ? ? Standardisierung von Feldern Erstellen einer Rule mit standardisierten Branchennamen Die Rule „BRANCHEN“ Ein Korrekturmapping wird erzeugt Generierter Prüflauf Anweisungen in welche Richtung standardisiert werden soll Vorher Nachher Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch Data Quality Management Process Data Quality Reporting Data Quality Auditing Data Profiling Datenkorrektur Audits in den Datenflüssen Datenqualitätsreporting Verarbeitete Sätze pro Berichtzeitraum (Anzahl Positionen pro Bestellungen) Füllstandsanzeige einzelner Werte Agenda 09:30 10:00 Teurer Datensumpf" oder "Schlechte Daten kosten einfach nur viel Geld" Einweisung in das Planspiel „Service GmbH“ „Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen. 10:15 10:30 10:45 11:00 12:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell Unterstützung durch Werkzeuge in Datenqualitätsprojekten Pause Datenqualität praktisch und hautnah: Data Profiling Analysen in der Service GmbH Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten 12:30 Ausklang mit Business Lunch
