Hauptfunktionalitäten (1/3)
Werbung
Das Data Warehouse von CredaRate Köln, Februar 2013 (v4; Extern) 1 Inhalt 1. Projekt 6. Merkmale (1-2) 2. Anwendungsfälle 7. Glossar 3. Hauptfunktionalitäten (1-3) 4. Entitäten 5. Datenfluss © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 2 Projekt Beginn Mai 2009 Stufe 1a Auswahl Tool und Infrastruktur, Erstellung DWH Datenmodell Stufe 1b Inbetriebnahme der Infrastruktur und der Tools, Anbindung der Rating Datenbanken, Überführung in DWH Datenmodell, Ablösung der Basel 2 Reports Stufe 2a Integration von Bilanzdaten, Einheitsbilanzen und Kennzahlen, Anbindung der Projektbanken Stufe 2b Integration der Softfacts, BV Banks Stufe 3 Integration Retail 2 & 3 Ende Januar 2013 © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 3 Anwendungsfälle Über die Dialoganwendung: • Basel 2 Reporting • Mandantenstatistik • Kandidatenliste Über die Datenbank: DHH SELECT * FROM STAR.FACT_RATING_KERN WHERE … • Analyse von Daten, die in CredaRate überschrieben wurden • Kundenübergreifende Analysen von • Ratingergebnissen, • Hardfacts, • Einheitsbilanzen, • Softfacts, • … © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 4 Hauptfunktionalitäten (1/3) Konsolidierung der Portfolien Die leicht unterschiedlichen Portfolien • Rating (Corporate, Commercial Real Estate), • Retail und • Banks müssen konsolidiert werden. Dies ist sowohl aus fachlicher als auch technischer Sicht notwendig. Fachlich müssen Begriffe und Konzepte wie • Subsegment, • Mantel, • Masterskala, • Ratingstatus (open, mapped, prerated, rated, …), • Einheitsbilanz, • Kennzahl, … vereinheitlicht werden. Aus technischer Sicht sind die unterschiedliche Datenquellen und unterschiedliche Datenmodelle zu vereinheitlichen. Dies sowohl für die primären Bewegungsdaten (z. B. Kundenname, Ratingergebnis) als auch für die sekundären Metadaten (z. B. HF und SF Schemadefinitionen). © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 5 Hauptfunktionalitäten (2/3) Bildung der Historie Um eine tagesgenaue Historie aufbauen zu können, sind folgende Schritte nötig: 1. Das DHH zieht jede Nacht den kompletten Datenbestand aus der Ratingdatenbank ab. 2. Es werden alle Entitäten auf neue und geänderte Datensätze geprüft. 3. Neue oder geänderte Datensätze führen zu einem neuen Historieneintrag. D. h. der aktuelle Datensatz im DHH wird terminiert und ein neuer Datensatz wird erstellt. Beispiel QCI1100, Sonstige betriebliche Aufwendungen: Ausgangslage: BILANZ_POSITION AUFBEREITETER_WERT VON BIS QCI1100 75000 9999-12-31 2011-11-04 Änderung am 15.7.2012 von 75000 auf 56000 BILANZ_POSITION AUFBEREITETER_WERT VON BIS QCI1100 75000 2011-11-04 2012-07-15 QCI1100 56000 2012-07-15 9999-12-31 (Zeitliche Filterung: VON <= x < BIS; also ein rechtsoffenes Intervall) © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 6 Hauptfunktionalitäten (3/3) Darstellung zur Analyse Um dem Anwender eines Data Warehouses die Analyse der Datenbestände möglichst einfach zu machen, wurde das Konzept des „Star Schema“ entwickelt, welches den Status Quo im DWH Umfeld darstellt. Hier stehen effiziente Leseoperationen im Vordergrund und weniger der transaktionale Zugriff eines OLTP (Online Transaction Processing) Systems. Die Metapher des Sterns ergibt sich aus einer s. g. Faktentabelle im Zentrum, um die sich mehrere Dimensionstabellen gruppieren: Kunde … Branche Rating Softfact Portfolio Bilanz Weitere Faktentabellen sind Erfassbilanzen, Einheitsbilanzen und Softfacts. © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 7 Entitäten Unterstützte Entitäten Nicht unterstütze Entitäten + Kunde - Konzernbeziehungen + Rating - Ratingbeziehungen + Hardfacts - LGD/EAD + Einheitsbilanz - Ships + Softfacts - + Kennzahlen Objektdaten bei gewerblicher Immobilienfinanzierung + Schufa Score - BWAs, Planung + Risikoausfallstatus + Extern geratete Partner © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 8 Datenfluss CredaRate Corporates, CRE Retail Banks ZKVS ZUM (Banks Kundendaten) (Zentrales User Management) DHH System DHH Datenbank Bankeigenes DWH © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 9 Merkmale (1/2) ReleaseZyklus Die Entwicklung des DHH unterliegt einem eigenen Release-Zyklus, der teilweise mit dem von CredaRate synchronisiert werden muss - aus technischen, aber auch aus organisatorischen Gründen (z. B. zeitgleiche Testphase). Keine Migration Die Daten im DHH werden nicht von Version zu Version migriert. Das Datenmodell in einem DWH muss stabil gehalten werden. Es kann um Entitäten und Attribute erweitert werden. Parallelbetrieb Während des Parallelbetriebs von CredaRate muss sich das DHH auf Basis aus zwei unterschiedlichen CredaRate Versionen bedienen - je nach Mandantennummer. DQ Das Projekt hat eine Datenqualität-Management-Infrastruktur etabliert, in der aktuell 20 Kennzahlen definiert sind, die regelmäßig automatisch geprüft werden. Zeiten Aktuell dauert es knapp 9 Stunden, um einen Tag der OLTP zu verarbeiten. Mengen Aktuell verfügt die Faktentabelle für Bilanzen über ca. 70 Mio. Datensätze. Technische Infrastruktur Microsoft SQL Server mit SSIS (SQL Server Integration Services) auf Windows Rechnern mit jeweils mind. 32 GB RAM. (Die OLTP Datenbank ist eine IBM DB2 auf AIX.) © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 10 Merkmale (2/2) Meta-Daten Als Meta-Daten werden z. B. die möglichen Ausprägungen von ENUMs bezeichnet, aber auch die Schemainformationen von HF und SF. Während CredaRate diese Meta-Daten über die Applikation und dort auch nur für die aktuelle Version - zur Verfügung stellt, sind diese Informationen für mehrere Versionen von CredaRate auf Datenbankebene verfügbar. z. B. SUBSEGMENT_ENUM SUBSEGMENT_CODE SUBSEGMENT 11 sub_retail_ku_ges KU Gesellschaft oder auch ERFASS_BILANZ_POS_CODE ERFASS_BILANZ_POS_BEZEICHNUNG ERFASS_BILANZ_GLIEDERUNG_EBENE_1 ERFASS_BILANZ_GLIEDERUNG_EBENE_2 ERFASS_BILANZ_SCHEMA_BEZEICHNUNG ERFASS_BILANZ_FLAG ERFASS_BILANZ_SORT QCI40 Firmenwerte Anlagevermögen Finanzanlagen Jahresabschluss Kapitalgesellschaften (GKV) 5 ie3 Dokumentation • Interne Dokumentation in RatingPedia • 52 seitige Systemdokumentation • 30 seitige Anwenderdokumentation, die bei jeder Datenlieferung mit ausgeliefert wird. © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 11 Glossar Datenmodell Strukturierung von einzelnen Feldern in Entitäten und deren Beziehung zueinander. DHH Datenhaushalt DQ Datenqualität DWH Data Warehouse ENUM Abkürzung für Enumeration (deutsch: Aufzählung). Normalisiertes Unter Normalisierung eines relationalen Datenschemas (Tabellenstruktur) versteht Datenmodell man die Aufteilung von Attributen (Tabellenspalten) in mehrere Relationen (Tabellen) gemäß den Normalisierungsregeln (s. u.), sodass eine Form entsteht, die keine vermeidbaren Redundanzen mehr enthält. (Wikipedia) OLAP Online Analytical Processing OLTP Online Transaction Processing SSIS SQL Server Integration Services Star Schema Das Sternschema ist eine besondere Form eines Datenmodells, dessen Ziel nicht die Normalisierung ist, sondern eine Optimierung auf effiziente Leseoperationen. Hauptanwendungsfeld sind Data-Warehouse und OLAP-Anwendungen. (Wikipedia) XML Extensible Markup Language; Definition(sprache) zur strukturierten Ablage von Daten in Textdateien. © Copyright by CredaRate Solutions GmbH, Vervielfältigung und Weitergabe an Dritte sind ohne vorherige schriftliche Zustimmung unzulässig 12
