APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ
Werbung
APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Ingo Lenzen, Johannes Imhof APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Agenda 1. Einleitende Gedanken 2. Datenqualität im ERP-Umfeld 3. Datenqualität im Griff 4. Steuerungskreislauf für Stammdaten 5. Fragen & Antworten 2 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Agenda 1. Datenqualität – Einleitende Gedanken 2. Datenqualität im ERP-Umfeld 3. InfoZoom Data Quality – Datenqualität im Griff 4. Steuerungskreislauf für Stammdatenmanagement (IZDQ & proALPHA) 5. Fragen & Antworten 3 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ gesetzliche Regelungen betriebliche Regelungen Kunde Unternehmen Lieferant Mitarbeiter sonstige Regelungen (z.B. Verbandsempfehlungen) 4 Compliance = Regelüberwachung Anforderungen an die Datenqualität (DQ) Anforderungen Datenqualität APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Datenqualität als kontinuierlicher Prozess Aufspüren neuer Problemfälle Ganzheitliche Betrachtung der Daten Definition eines Regelwerks (Business Rules) Definieren Historisiertes Controlling Auswirkung von Maßnahmen Definition von Kennzahlen Erstellung von Indexen Monitoren / Steuern Messen Analyse der Indexe Bearbeitung der Regelverstöße Feststellung des Gesamtindex Verbessern 5 Analysieren APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Datenqualitätspyramide DatenQualität Gesamtheit unterschiedlicher Qualitätsmerkmale Einzelaspekt der Datenqualität QualitätsMerkmale QualitätsMetriken 6 Objektive, messbare Größe, die in Bezug auf unterschiedliche Ausprägungen eines Qualitätsmerkmals sensitiv reagiert APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Merkmale/Metriken zum Dateninhalt Vollständigkeit NichtDefinitionsBereich Formatkonsistenz Zulässigkeit Plausibilität (inhaltlich und zeitlich) Feld QM nicht leer Feld leer Definitionsbereich Inhalt Feld nicht leer Format ok QM Feld leer Format QM nicht ok Wert im Wertebereich Wert nicht im QM Wertebereich IM Plausibilität greift nicht Plausibilität greift und ist ok Plausibilität greift QM und ist nicht ok Unschar- IM fer Bereich Legende Feld nicht leer Format ok Feld leer Format QM nicht ok Wert im Wertebereich Wert nicht im QM Wertebereich IM Plausibilität greift nicht Plausibilität greift und ist ok QM Qualitätsmetrik IM 7 Interne Metrik Plausibilität greift QM und ist nicht ok APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Agenda 1. Datenqualität – Einleitende Gedanken 2. Datenqualität im ERP-Umfeld 3. InfoZoom Data Quality – Datenqualität im Griff 4. Steuerungskreislauf für Stammdatenmanagement (IZDQ & proALPHA) 5. Fragen & Antworten 8 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Negativbetrachtung: Auswirkung schlechter Stammdaten Falsche Kontengruppe im Teilestamm verursache falsche Buchungen in Finanzbuchhaltung Fehlende Bestandsbuchung aufgrund falscher Schüttgutkennzeichen Unsaubere Statistiken wegen falscher Regionen im Kundenstamm 9 Falsche Dispovorschläge aufgrund unsauberer Dispoparameter Falsche Ermittlung der Steuer wg. falschen Steuergruppen im Kundenstamm © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Warum ist Stammdatenqualität wichtig? bessere Prozessqualität Reduzierung der Nacharbeit in Folgeprozessen Verminderung von Fehlbuchungen 10 Aussagefähigere Analysemöglichkeiten Auffinden von Dubletten © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Stammdatenqualität im Rahmen von „ERP-Governance“ Steuerungs- und Regelungssystem für die Entscheidungsfindung Geschäftsprozess- und Konfigurationskontrolle Regelwerk zur Umsetzung von Investitionsvorhaben Steuerungs- und Regelungssystem für den Umgang mit Daten Management der Systemumgebung und Kontrolle der Systemarchitektur Qualitätssicherung und Testmanagement Sicherheit Endanwender Support Netzwerk Anwenderbefähigung Compliance und IT-Standards 11 © 2014 proALPHA Software GmbH Kontinuierliche und zielgerichtete Nutzensteigerung von proALPHA APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Steuerungs- und Regelungssystem für den Umgang mit Daten Daten „Governance“ im ERP-Umfeld beinhaltet die folgenden Themen: Verankerung von Prinzipien der Datenverantwortung Definition von Verantwortlichkeiten für die Pflege der Daten Regelungen zur Datensicherheit Verfahren zur Sicherung der Datenqualität 12 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Einflussfaktoren auf die Stammdatenqualität – Beispiel Teilestamm Definierte Verantwortlichkeit für die Datenpflege Kontrollsystem für die Datenqualität Pflegequalität Teilestamm Benutzerdokumentation für die Teilestammpflege 13 © 2014 proALPHA Software GmbH Festgelegter Prozess für die Teilestammanlage inkl. Workflow APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Agenda 1. Datenqualität – Einleitende Gedanken 2. Datenqualität im ERP-Umfeld 3. InfoZoom Data Quality – Datenqualität im Griff 4. Steuerungskreislauf für Stammdatenmanagement (IZDQ & proALPHA) 5. Fragen & Antworten 14 © 2014 proALPHA Software GmbH ILE140411 APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Evolution einer Business Rule Datenbestand RegelEntwurf Data Mining RegelRepository Regel-Konkretisierung Bewertung 15 © 2014 | humanIT Software GmbH SofortKorrekturMaßnahme APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ InfoZoom Datenqualität (IZDQ) - Erstellung von Regeln und Jobs - Kategorisierung von Regeln - Speichern der Analyseergebnisse pA Analyzer (optional) Optionen: - Versand von Ergebnissen - Datenvalidierung über Webanbindung (z. B. Adressen) - DQ-Stammblätter - Informationsanreicherung Externe Systeme (…) 16 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ - automatisiertes DQ-Reporting Aufspüren von Fehlern und Lücken Automatisiertes Datenqualitäts-Controlling Integration von InfoZoom-Technologie Hochflexible Anwendung durch individuelle Regelwerksdefinition Geringer Investitions- und Zeitaufwand Anbindung an externe Systeme mit Ergebnisrückfluss 17 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ – Funktionen Direkter Import von FOX-Dateien nach IZDQ Direkte Regelprüfung und Analyse Vergabe von Regel-Restriktionen (Expert) Hintergrundverarbeitung von Jobs (Batch) Aktivitäten-Logging in Datenbank CSV-Export von Inhalten für weiterverarbeitende Prozesse Automatische Erstellung vorbereiteter Analysen (FOT/FOX) 18 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Agenda 1. Datenqualität – Einleitende Gedanken 2. Datenqualität im ERP-Umfeld 3. InfoZoom Data Quality – Datenqualität im Griff 4. Steuerungskreislauf für Stammdatenmanagement (IZDQ & proALPHA) 5. Fragen & Antworten 19 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Disclaimer Die im folgenden gezeigte Integration ist kein fertiges Produkt, sondern zeigt die prototypische Implementierung eines Steuerungskreislaufes mit InfoZoom Data Quality und proALPHA® ERP. 20 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ in Verbindung mit proALPHA Tabellen DQ001 DQ002 : FOX Export 21 Regel 1 Regel 2 Regel 3 Regel 4 Regel 5 Regel 6 Regel 7 : © 2014 proALPHA Software GmbH Job 1 Job 2 Job 3 Job 4 : Kennzahlen Historisierte Indexe Übergabe pA Workflow APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Demo IZDQ 22 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Startbildschirm Übersicht der erstellten Inhalte Logging 23 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Tabellenübersicht TabellenFunktionen Anzahl Objekte Verfügbare Tabellen Zugehörige Tabellenfelder 24 © 2014 proALPHA Software GmbH DatenPreview APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Regelübersicht Export der RegelDefinitionen (CSV) RegelFunktionen AnsichtsFilterung Anzahl von Regeln in der Ansicht Verfügbare Regeln 25 Import vordefinierter Regeln © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Regeltypen Regeltypen von IZDQ Formel Frei definierbare Prüfungen und Berechnungen Dublette Prüfung auf Dubletten mittels „Soundex“-Verfahren Metadata Generierung von Metadaten der Tabelle Import Import von Daten SQL Export Export von Ergebnissen oder Definitionen ETL Zuordnen von extern definierten ETL-Jobs (pentaho PDI) 26 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Beispiel: IZDQ Formel-Regel Aktivschaltung Tabellenzuordnung KategorieZuordnung Verfügbare Felder Regeldefinition Vergabe von Berechtigungen Indexbildung % der Datensätze, die diese Regel erfüllen als Kennzahl Definition von Ausnahmen Regeltest 27 Regelgewichtung: Wie ist die Regeln in der Wichtigkeit zu bewerten? 100: hoch - 10: niedrig © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Beispiel: IZDQ Formel-Regel Regeltest: 10% der Datenmenge als Preview Formel-Regel Index 28 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Beispiel: IZDQ Formel-Regel Definition von Ausnahmen Wertauswahl Feste Ausnahmen Unscharfe Ausnahme Unscharfe Suche (enthält) 29 Freie Texteingabe © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Beispiel: IZDQ Formel-Regel Feldzuordnungen festlegen Quell-Felder Mapping Ziel-Felder 30 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Beispiel: IZDQ Dubletten-Regel Dubletten in Kombination der Felder »Vorname«, »Name2«, »Name3« Tabellenzuordnung Verfügbare Felder DublettenDefinition Einstellung der Genauigkeit 31 Definition von Ausnahmen © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Beispiel: IZDQ Dubletten-Regel Anzahl der Objekte der Tabelle »DQAdressen« Tabellenzuordnung MetadataFunktion 32 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Beispiel: IZDQ Import Regel Import der Datei »adressen.fox« in die Tabelle »DQAdressen« Tabellenzuordnung FOX-Datei Feldmapping 33 © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ SQL Export-Regel Export der Tabelle »Overview« in eine FOX-Datei (OEM) Vorlagenzuordnung CSV- oder FOXFormat Zieldatei SQL-Statement © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ ETL-Regel Starten des ETL-Jobs »J-Statistik« Job-Auswahl © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Jobübersicht Testen von Jobs Manuelles Starten eines Batch-Jobs Verfügbare Jobs Jobs sind im Batch zeitgesteuert ausführbar (cmd-Datei). Bsp: »izqd 2« für Job 2 Speichern der Regel-Zuordnung Zugeordnete Regeln © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Analyseübersicht Export der Daten Navigation Ergebnisse der Formel-Regeln Analyse-Viewer Dubletten-Index Dubletten -Analyse © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Kategorienübersicht Angelegte Kategorien © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Konfigurationsübersicht Nutzung von PDI SQL-Server IP-Adresse Zuordnung zu einer InfoZoom/Analyzer Lizenz Lizenztyp © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ Historienanalyse Beispiel: Entwicklung der Indexwerte Auswahl Kennzahlentyp Darstellung Indexwert Auswahl Index © 2014 proALPHA Software GmbH Darstellung Abweichung APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ PDI Erweiterung Beispiel: Erstellung eines PDF-Stammblattes mit Auflistung der Regelverletzungen Ausgabe des Stammblattes als PDF Stammdaten Analyseinformationen © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ IZDQ PDI Erweiterung Mögliche abbildbare Prozesse (Auszug) Automatischer Import der Rohdaten Erstellung und Historisierung von Metadaten Erstellung von Reporting-Tabellen Erstellung von Reports (PDF, EXCEL etc.) Erstellung von Stammdatenblättern je Sachbearbeiter Automatischer Versand von Reports/Ergebnissen (Mail) … © 2014 proALPHA Software GmbH APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ Agenda 1. Datenqualität – Einleitende Gedanken 2. Datenqualität im ERP-Umfeld 3. InfoZoom Data Quality – Datenqualität im Griff 4. Steuerungskreislauf für Stammdatenmanagement (IZDQ & proALPHA) inkl. Reporting 5. Fragen & Antworten 43 © 2014 proALPHA Software GmbH Haben Sie noch Fragen? Ingo Lenzen, Johannes Imhof ? ??
