IBM Enterprise Content Management SEPA Archivierung mit IBM Content Manager OnDemand Sebastian Welter Technical Sales Consultant für Enterprise Content Management [email protected] © 2012 IBM Corporation IBM Enterprise Content Management SEPA Archivierung Ø Prozessierung im Kernbankensystem Ø Effiziente Massendaten-Archivierung, optional mit Prozessinformationen Ø SEPA XML Parser für Indexierung Ø Archivierung der nativen Daten – spez. SEPA Viewer-Komponente zur Anzeige Ø Hohe Komprimierung - OD77 – Faktor 20:1 und mehr Ø Effizienz bei der Archivierung vs. Rendering-Aufwand beim Abruf Nutzer greifen auf archivierte SEPA Daten zu – Suche über Metadaten SEPA Nachricht Dokumente werden Beim Abruf gerendert Core Banking Abbarbeitung Prozessierte Daten zusammen mit Header und ProzessinformaAonen Daten werden ohne KonverAerung geladen, notwendige Metadaten werden automaAsch als Suchkriterien in die DB indiziert Content Manager OnDemand © 2012 IBM Corporation IBM Enterprise Content Management IBM Content Manager OnDemand - Das Archiv für SEPA Daten § Hocheffizientes Langzeitarchiv der IBM § Spezialisiert auf Speicherung von – Druckdatenströmen (Ausgangspost, Rechnungen, etc.) – AFP und PDF Dokumente sowie Bilddaten (Scans) – Listen (Spools) wie Buchungslisten, Kontoauszüge, etc. – Text-Strukturdaten (XML) § Optimiert auf Durchsatz und Speichereffizienz – > 100 TB große Archive, 100 Millionen Dokumente pro Tag, >100 Milliarden Dokumente, Millionen User – Patentierte Kompressionsalgorithmen – Resource Debundling: Ein Bild, das in 2000 Dokumenten vorkommt, wird nur einmal gespeichert OnDemand § Basiert auf bewährten Technologien und Komponenten – Zuverlässiges Langzeitarchiv für über 6500 Kunden weltweit – Weit verbreitet im Banken- und Versicherungsbereich der Fortune 100 § Offenes System mit optimaler Integration – Von vielen Kunden direkt für Endkundenzugriffe (Online-Rechnung, Onlinebanking) verwendet – Flexible Clients und umfangreiche Anwendungsintegrationen – Offene Standards wie CMIS © 2012 IBM Corporation IBM Enterprise Content Management SEPA Archivierung mit IBM Content Manager OnDemand § Sehr effiziente Ablage der SEPA Daten – Kompressionsrate1 von 1:13 bis 1:30 – OnDemand ist als effizientes Backendsystem auf high-volume Verarbeitung mit geringem Footprint optimiert – Revisionssichere Speicherung der Daten, sowohl als Archiv als auch als aktive Ablage § Das System versteht und verarbeitet SEPA PAIN und PACS Nachrichten nativ – Heraustrennen der Transaktionen – Automatische Extrahierung der notwendigen Key-Werte zur Suche – Verarbeitung von zusätzlichen Processing-Informationen (Kernbanksystem), falls gewünscht § Die Lösung versteht sich als genereller SEPA-Store – Zugriff auf Messages und Transaktionen per API – direkt im standardisierten Rohformat à Daher direkt von Processing-Anwendungen verwendbar. Kein eigener transaktionaler SEPA Strore notwendig – Zugriff auf die Messages und Transaktionen per Webbrowser human-readable für Disputemanagement und andere Fachbearbeiter. Rendering on-the-fly aus den Rohdaten 4 1: Ermittelt von einem Kunden auf dessen Daten © 2012 IBM Corporation IBM Enterprise Content Management 5 © 2012 IBM Corporation IBM Enterprise Content Management Ansicht und Zugriff auf Transaktionen § Verarbeitung der Nachrichten ist flexibel anpassbar – Welche Metadaten? – Trennung wo und wie? – Mitführung von Bulk-Gruppierungsdaten? – Eigene Processing-Daten? § Anzeige frei renderbar nach eigenen Wünschen – XML Stylesheet § Trennung einer Bulk-Transfer-Nachricht in die einzelnen SEPA-Transaktionen – Ablage und Zugriff auf Einzel-Transaktions-Ebene – Granulare Security Steuerung auf Transktions- u. Metadatenebene möglich § Abruf und Zurückführung aller Transaktionen eines Bulk ist möglich 6 © 2012 IBM Corporation IBM Enterprise Content Management Rückgabe von Lastschriften § SEPA PACS 004: – Rückgabe einer SEPA-Basislastschrift durch die Zahlstelle wegen Widerspruchs durch den Zahler gegen eine unautorisierte Lastschrift – 13 Monate nach Settlement § SEPA PACS 002: – Rückgabe einer SEPA-Basislastschrift durch die Zahlstelle wegen Widerspruchs durch den Zahler gegen eine autorisierte Lastschrift – 8 Wochen nach Fälligkeit § Handling von Dispute Fällen: – Zugriff auf den gesamten MessageStrom zu diesem Vorgang – Zugriff auf verwandte Buchungen (gleiche IBANóIBAN) – Freie Recherche ? – Übergabe der relevanten Daten Banking-System 7 Payment Cancellation Request für eine Lastschrift vom inländischen KI an ein inländisches KI © 2012 IBM Corporation Src: technische_spezifikationen_sepa_lastschrift (Bundesbank) IBM Enterprise Content Management Handling Verbundener Dokumente § Anzeige verbundener Dokumente über vorbereitete Queries aus dem Client heraus § Rückgabe einer Lastschrift (Refund Message – z.B. SEPA PACS 004) àRücksprung auf andere, damit verbundene Dokumente § Queries: – Rücksprung auf die ursprüngliche Transaktion • Rückbuchungen enthalten einen Verweis auf die OrgnlMsgId – Alle Transaktionsnachrichten zwischen diesem Kreditor und Debitor (IBAN) § Komplexe, benutzerdefinierte Abfragen – Es können freie, komplexe Queries gegen alle Metadatenfelder des gesamten Datenbestands gebildet und ausgeführt werden • Unterscheidung ob SDD/SCT Reject, Query-Limitierung auf Zeiträume • SCL Return wg. Deckungsfehler à Absprung in andere Systeme (Link) – Aggregationen möglich (Summenbildungen, etc.) – Projektbasierter Ansatz 8 © 2012 IBM Corporation IBM Enterprise Content Management Reference file measurement (sample data by a German FSS, SEPA + processing data) Dataset 207‘509 transactions Reference file 221‘477‘961 bytes Ref file + Indexes 225‘010‘238 bytes Compressed (OD) 16‘751‘741 bytes Compression rate 13,43 : 1 Compression rate comparison Uncompressed SEPA Data 9 Data in CMOD © 2012 IBM Corporation IBM Enterprise Content Management Kalkulationsbeispiel: Einsparung durch die Ablage von SEPA Daten im CMOD Berechnung auf Basis von Messungen bei Kunden § SEPA ist ein Hochvolumenthema 500 – Große Datenstrukturen (Vor allem gegenüber bisherigen deutschen Formaten) – Ab 1. Februar 2014 sind alle Credit Transfer und Direct Debit Transaktionen SEPA Transaktionen 1 – Archivierung mit patentiertem Kompressionsalgorithmus ergibt drastische Storage-Einsparungen! – Minimaler Systemfootprint 400 350 300 TB § Content Manager OnDemand ist das beste System zur Ablage von XML- und Text-Massen 450 250 Rohdaten 200 150 100 Ablage im CMOD 50 § Kundenbeispieldaten: Bei 200 TB Rohdaten ergibt sich allein durch Storage eine Einsparung von > € 10 Millionen über 5 Jahre2 1. 2. 3. Raw Data CMOD 0 Year 1 2 3 4 5 Konservative Hochrechnung ohne Datenreduktion3 Die durchschnittliche Kompressionsdaten für SEPA Transaktionsdaten lag bei einer Messung eines FSS Kunden bei 13.43 : 1 Kumulierte Einsparung durch Storage über 5 Jahre liegt bei ~14.6 Mio €. Basis: 200 TB Rohdatenvolumen; 20% jährliches Wachstum; Für die Kostenberechnung wurden 4500 Euro pro TB pro Jahr primärer Speicherplatz und 3500 Euro pro TB und Jahr Sekundärer Speicherplatz (Backup/Tape) angenommen. Bei den Daten handelt es sich um Echtdaten eines Kunden (Outputdaten, Line und AFP), durchschnittliche Kompressionsrate zwischen 12:1 und 13:1 Vergleich basiert auf tatsächlichen Speicher- und Kompressionsvolumina eines europäischen Kunden Vergleich Rohdatenspeicherung gegenüber IBM CMOD; Anlage einer 13:1 Kompresionsrate. Durch Datenreduktion (Entfernung wiederkehrender Strukturmerkmale wie Header und Zielinformationen oder Routinginformationen ist noch nicht berücksichtigt und kann die Rate deutlich steigern). © 2012 IBM Corporation 10 IBM Enterprise Content Management 11 Sebastian Welter Field Technical Advisory Council IBM CMOD, ECM, Watson [email protected] +49-160-97236774 / +49-6131-84 x1926 Vielen Dank für Ihre Aufmerksamkeit © 2012 IBM Corporation Weiterführendes Material IBM Content Manager OnDemand (CMOD) 12 © 2012 IBM Corporation IBM Enterprise Content Management IBM Content Manager OnDemand V9.0 Available for z/OS since September 2012 Performance Security 24/7 100 million ProtecAon • User proxy • Last log in • Password limits/ restricAons Customer data is safe Users a day • • • ECM Dashboard FileNet System Monitor Content Navigator Support for customer’s customer Usability 128 Meta Data Fields • • Full Text Search IntegraAon with MS Excel Improve customer saAsfacAon © 2012 IBM Corporation IBM Enterprise Content Management Einzeldokumenten-Handling bei gleichzeitiger Durchsatz- und Speicheroptimierung § Massenoptimierte Speicherung der Dokumente Ø Bündelung der Dokumente bei der Übergabe und Blockbildung auf Speicherebene § Im Gegensatz zu anderen DMS Systemen besitzt OnDemand ein viel kleineres, effizienteres Datenmodell und ist auf die Ablage von sehr großen Volumen ausgelegt Untersuchung der TCO Kosten eines großen Finanzdienstleister: 0,60 € Untersuchung der TCO Kosten für einen großen Finanzdienstleister: 0,50 € 0,40 € DMS System 0,30 € Die Benutzung eines DMS-Archivs für Massendaten ist Kosten-Ineffizient, weil ein komplexes Datenmodell für jedes Dokument mitgeführt wird. 0,20 € 0,10 € - Archiv für Massendaten € 100 200 300 400 500 600 700 Archivierte Dokumente, in Mio. 14 © 2012 IBM Corporation IBM Enterprise Content Management Key Content Manager OnDemand Architecture Components OnDemand Clients Windows Web CICS LDAP Appl Dev Kit (ODWEK) Admin Batch Load (SSL) OnDemand Server WINDOWS AIX RHEL SLES HPUX SOLARIS LINUX zOS IBM i OnDemand Library Server OnDemand Object Server Common Services AFP Indexing Text Search Security PDF Indexing Batch Optimization Index Management Retention Management Line Data Indexing Batch Print Query Management Logging/Audit Cache Mgmt DB Optimization Compression TSM/OAM Management Large Object Handling JES Spool Management Datastream Transforms Print Distribution Other Indexings (XML,…) Datastream Viewers DB Table Segmentation Metadata Management DB2 or other 15 OAM TSM ODWEK Common Services OnDemand Cache © 2012 IBM Corporation IBM Enterprise Content Management OnDemand Platform and Database Support 16 © 2012 IBM Corporation IBM Enterprise Content Management Clients, APIs & Integration / Federation § ODWEK – OnDemand Web Enablement Kit – Java API des CMOD – Webservices als open source sample – Open source sample Web Applikationen § IBM Content Integrator – Webservices & Java RMI – Federated Search § CMIS Webservice API – Offener Standard von ECM Herstellern – SOAP und REST API § Clientoptionen – Windows-Client, CICS Client – IBM Content Navigator Webclient – Mashups, Servlet, CGI; WEBi, eClient, pClient 17 § Eingebundener PDF Konverter (AFP, Line, …) – Andere Konverterdienste anbindbar § IBM FileNet P8 und Business Process Management § SAP (Via IBM ICC4SAP), eMail (Archivierung) § … © 2012 IBM Corporation IBM Enterprise Content Management ECM Products on System z Linux IBM FileNet IBM Content CM P8 Manager OnDemand for Application Server Database System Z Linux for System Z ImagePlus z/OS CICS IBM Content IBM CM IBM Records Manager OnDemand Manager WebSphere Application Server DB2 z/OS z/OS FileNet P8 Application Server Other than z/OS © 2012 IBM Corporation IBM Enterprise Content Management OnDemand Requirements OnDemand Server Requirements § AIX 5.3 or later § Microsoft Windows Server 2008 (64-bit Intel/AMD) z/OS Prerequisites for CMOD V8.5 § z/OS 1.11 § COBOL 4.1, C/C++, HLASM V1.5 § DB2 9.1 § HP-UX V11i V3 or later (Itanium) § New Function Mode with ODBC support § RHEL V5 UO or later (64-bit Intel/AMD) § JDBC and SQLJ required for P8 integration § RHEL V5 UO on z/Series z/OS Prerequisites for CMOD V9.0 § SLES 10 or later (64-bit Intel/AMD) § z/OS 1.13 § SLES 10 or later on z/Series § Sun Solaris 10 or later (Ultraspark or Spark 64) § z/OS 1.11 (for CMOD V8.5), 1.13 (for CMOD V9.0) OnDemand Database Requirements § COBOL 4.1, C/C++, HLASM V1.6 § IBM XML Toolkit for z/OS V1.10 with 64-bit support (with PTFs UA51089, UA51090, and UA51091 applied) § DB2 9.1 § DB2 LUW V9.5 or later (9.1 on DB2/z) § New Function Mode with ODBC support § Oracle 11G or later (all OS except Linux) § JDBC and SQLJ required for P8 integration § SQL Server 2008 or later (Windows only) OnDemand End User Client Requirements OnDemand Tivoli Storage Mgr Requirements § Windows XP SP2 or later, including Visa and Windows 7 § TSM 5.5 or above (all platforms incl zOS) § Adobe Acrobat required for PDF viewing embedded viewing within OnDemand Windows client § Adobe Acrobat reader required for viewing PDF files § 32/64 bit Operating system supported 19 © 2012 IBM Corporation Weiterführendes Material SEPA Archivierung mit IBM CMOD 20 © 2012 IBM Corporation IBM Enterprise Content Management CMOD/SEPA-Archivierung - Bausteine § IBM Content Manager OnDemand Archivsystem § XML-Indexer für Content Manager OnDemand – Extrahierung beliebiger Inhalte aus dem XML-Strom – Indizierung von XML-Dateien mittels Xpath und XSLT Ausdrücken – Segmentierung und Splitting von Datenströmen – Kompatibel mit dem CMOD-Ladedienst § Viewer für XML-Dokumente aus dem Content Manager OnDemand – Anzeige der nativen XML-Ströme, die CMOD archiviert wurden – Rendering der Daten durch Verbindung mit Stylesheets (XSL) – Flexible automatische Verbindung von Daten und Stylesheets – Content Manager OnDemand und IBM Information Integrator § SEPA-Spezifischer Inhalt: – Parsing-XSLT für standardkonforme SEPA PAIN/(PACT) Nachrichten – Stylesheet zur einfachen Anzeige der Nachrichten – Beliebige Anpassungen einfach möglich 21 © 2012 IBM Corporation IBM Enterprise Content Management XML Archiving – Measuring on customer sample data (modified SEPA data, test done by a FSS provider in Germany) Storage Consumption 22 Compression rate © 2012 IBM Corporation