Populate the Stage - 1001 Möglichkeiten eine Staging
Werbung
Vorstellung Ausgangslage Szenarien Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Populate the Stage 1001 Möglichkeiten eine Staging Area zu füllen Sven Bosinger its-people GmbH Copyright its-people® DOAG-Konferenz 2013 Nürnberg 1 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Sven Bosinger Solution Architect BI und Portfoliomanagement BI its-people GmbH [email protected] www.its-people.de Copyright its-people® DOAG-Konferenz 2013 Nürnberg 2 its-people® auf einen Blick Das Team Zusammenschluss selbständiger IT-Experten unter einer gemeinsamen Marke Bündelung von umfassendem ITWissen Partnerschaft auf Augenhöhe Gemeinsam sind wir stärker Datenbank Technologien Oracle, MS SQL, My SQL, DB2 Plattform & Anwendungsentwicklung Best Practice ERP Mediation, Integration, Migration Business Intelligence & DWH Unternehmensdaten Gründung: 2003 Anzahl der Experten: 70 Stärken Oracle, Microsoft, IBM, Informatica, BO Architektur, Design & Implementierung IT Management Services Leistungsangebot Projekt-, Qualitäts-, Release-Mgmt Unternehmensphilosophie Kompetenz, Exzellenz und Qualität aus praktischer Erfahrung Partnerschaft auf Gegenseitigkeit Kundenorientierung auf höchster Ebene Zuverlässigkeit und Umsetzungsstärke Teams für komplexe Projektaufgaben Dienstleistungen von Menschen für Menschen Nähe zum Kunden its-people GmbH Competence Center „DatenbankTechnologie/ IT- Management Services" its-people ERP Beratungs-GmbH Competence-Center “ERP“ its-people GmbH Competence-Center “BI & DWH„ Büdesheimer Str. 17, 61130 Nidderau Tel.: +49 6187 605 999 - 0 E-Mail: [email protected] Lyoner Str. 44-48, 60528 Frankfurt am Main Tel.: +49 69 2475 198-0 E-Mail: [email protected] Lyoner Straße 44-48, 60528 Frankfurt am Main Tel: +49 69 2475 210-0 E-Mail: [email protected] Gemeinsame Besuchsadresse: Lyoner Str. 44-48, 60528 Frankfurt am Main. 8. OG Copyright its-people® 3 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Aufgabenstellung Transport • Umsatz-Tabelle im ERPSystem • Initialer Insert von 90.000 Datensätze • Inkrementeller Update von 10.000 Datensätze • Inkrementeller Insert von 5.000 Datensätzen • Tranasport der intialen und inkrementellen Datensätze • Flagen der Datensätze, ob Insert oder Update Copyright its-people® DOAG-Konferenz 2013 Nürnberg Lösungsalternativen • Flat-File mit SQL-Loader • Flat-File mit external Table • External Table mit Datapump • IAS über DB-Link • CTAS über DB-Link • Datapump • Trigger auf Quelltabelle (direkt) • Trigger auf Quelltabelle (indirekt) • Trigger auf Quelltabelle mit AQ • Change Data Capture • Transportable TBS • ODI und Golden Gate Bewertung • Stabilität • Geschwindigkeit • Komplexität/Wartbarkeit • Funktionalität • Aufwand/Kosten 4 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Füllen der Stage-Tabelle ERP - System DWH - System Stage Umsatz Umsatz 1. 90.000 Inserts 2. 10.000 Inserts 5.000 Updates Copyright its-people® DOAG-Konferenz 2013 Nürnberg 1. 90.000 Inserts Populate 2. 15.000 Inserts 5 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 1. Alternative: Flat-File mit SQL-Loader DWH-Server ERP-Server ERP-DB DWH-DB File-Copy Umsatz Copyright its-people® UTIL-File DOAG-Konferenz 2013 Nürnberg SQL-Loader Umsatz 6 Vorstellung Ausgangslage Schnittstellen GSA Global Staging Area - Implementierung einer zentralen Datendrehscheibe Benefits Live-Demo 1. Alternative: Flat-File mit SQL-Loader ERP -- Spool Initial(90.000 Sätze) begin admin_umsatz.spool(p_datum=>to_date('01.01.2013','DD.MM.YYYY')); end; / DWH -- File Copy copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE01.csv m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE01.csv -- SQL/Loader sqlldr DOAG2013_DWH_SHOWCASE01/DOAG2013_DWH_SHOWCASE01@ORCL-DWH control = load_umsatz_initial.ctl ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / -- Spool Inkrement (10.000 + 5.000 Sätze) begin admin_umsatz.spool(p_datum=>trunc(sysdate)); end; / DWH -- File Copy copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE01.csv m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE01.csv -- SQL/Loader sqlldr DOAG2013_DWH_SHOWCASE01/DOAG2013_DWH_SHOWCASE01@ORCL-DWH control = load_umsatz_change.ctl Copyright its-people® DOAG-Konferenz 2013 Nürnberg 7 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 1. Alternative: Flat-File mit SQL-Loader Copyright its-people® Vorteile: Nachteile: • • • • • Systembruch • Daten verlassen DBs • Aufruf SQL-Loader außerhalb PL/SQL • Kein Realtime möglich • Keine Wiederaufsetzbarkeit Einfach zu realisieren Leicht zu warten Entkoppelte Systeme Geringe Kosten DOAG-Konferenz 2013 Nürnberg 8 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 2. Alternative: Flat-File mit external Table DWH-Server ERP-Server ERP-DB DWH-DB File-Copy Umsatz Umsatz UTIL-File ext. Table Copyright its-people® DOAG-Konferenz 2013 Nürnberg 9 Vorstellung Ausgangslage Schnittstellen GSA Global Staging Area - Implementierung einer zentralen Datendrehscheibe Benefits Live-Demo 2. Alternative: Flat-File mit external Table ERP -- Spool Initial(90.000 Sätze) begin admin_umsatz.spool(p_datum=>to_date('01.01.2013','DD.MM.YYYY')); end; / DWH -- File Copy copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE02.csv m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE02.csv -- Insert insert /*+ append */ into umsatz select * from umsatz_ext where ... ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / -- Spool Inkrement (10.000 + 5.000 Sätze) begin admin_umsatz.spool(p_datum=>trunc(sysdate)); end; / DWH -- File Copy copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE02.csv m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE02.csv -- SQL/Loader insert /*+ append */ into umsatz select * from umsatz_ext where ... Copyright its-people® DOAG-Konferenz 2013 Nürnberg 10 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 2. Alternative: Flat-File mit external Table Copyright its-people® Vorteile: Nachteile: • • • • • • • • • Einfach zu realisieren Leicht zu warten Entkoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL DOAG-Konferenz 2013 Nürnberg Systembruch Daten verlassen DBs Kein Realtime möglich Keine Wiederaufsetzbarkeit 11 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 3. Alternative: External Table mit Datapump DWH-Server ERP-Server ERP-DB DWH-DB File-Copy Umsatz Umsatz Datapump ext. Table Copyright its-people® DOAG-Konferenz 2013 Nürnberg 12 Vorstellung Ausgangslage Schnittstellen GSA Global Staging Area - Implementierung einer zentralen Datendrehscheibe Benefits Live-Demo 3. Alternative: External Table mit Datapump ERP -- Spool Initial(90.000 Sätze) create table umsatz_initial_ext organization external (type oracle_datapump default directory erp_daten location ('UMSATZ-DOAG2013_ERP_SHOWCASE03.DMP')) as select * from umsatz; DWH -- File Copy copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE03.dmp m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE03.dmp -- Insert insert /*+ append */ into umsatz select * from umsatz_initial_ext ... ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / create table umsatz_inkremetal_ext organization external (type oracle_datapump default directory erp_daten location ('UMSATZ-DOAG2013_ERP_SHOWCASE03.DMP')) as select * from umsatz where datum >= trunc(sysdate); DWH -- File Copy copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE03.dmp m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE03.dmp -- SQL/Loader insert /*+ append */ into umsatz select * from umsatz_inkremetal_ext ... Copyright its-people® DOAG-Konferenz 2013 Nürnberg 13 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 3. Alternative: External Table mit Datapump Vorteile: Nachteile: • • • • • • • • • Einfach zu realisieren Leicht zu warten Entkoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL • Daten können komprimiert werden Copyright its-people® DOAG-Konferenz 2013 Nürnberg Systembruch Daten verlassen DBs Kein Realtime möglich Keine Wiederaufsetzbarkeit 14 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 4. Alternative: Insert as Select (IAS) über DB-Link DWH-Server ERP-Server ERP-DB DWH-DB Insert as Select Umsatz Umsatz Database Link Copyright its-people® DOAG-Konferenz 2013 Nürnberg 15 Vorstellung Ausgangslage Schnittstellen GSA Global Staging Area - Implementierung einer zentralen Datendrehscheibe Benefits Live-Demo 4. Alternative: Insert as Select (IAS) über DB-Link DWH -- Insert insert /*+ append */ into umsatz select * from umsatz@DBL_ERP#DOAG2013_ERP_SHOWCASE04; ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / DWH -- Insert insert /*+ append */ into umsatz select * from umsatz@DBL_ERP#DOAG2013_ERP_SHOWCASE04 where datum >= trunc(<Datum>); Copyright its-people® DOAG-Konferenz 2013 Nürnberg 16 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 4. Alternative: Insert as Select (IAS) über DB-Link Vorteile: Nachteile: • • • • • • ERP-DB muss verfügbar sein • DB-Link eventuell wegen Policy nicht möglich • Kein Realtime möglich • Eingeschränkte Wiederaufsetzbarkeit Einfach zu realisieren Leicht zu warten Lose gekoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL • Sehr schnell Copyright its-people® DOAG-Konferenz 2013 Nürnberg 17 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 5. Alternative: Create Table as Select (CTAS) über DB-Link DWH-Server ERP-Server ERP-DB DWH-DB Create Table as Select Umsatz Umsatz Database Link Copyright its-people® DOAG-Konferenz 2013 Nürnberg 18 Vorstellung Ausgangslage Schnittstellen GSA Global Staging Area - Implementierung einer zentralen Datendrehscheibe Benefits Live-Demo 5. Alternative: Create Table as Select (CTAS) über DB-Link DWH -- Insert create table umsatz as select * from umsatz@dbl_erp#doag2013_erp_showcase05; ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / DWH -- Insert create table umsatz as select * from umsatz@dbl_erp#doag2013_erp_showcase05 where datum >= trunc(<Datum>); Copyright its-people® DOAG-Konferenz 2013 Nürnberg 19 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 5. Alternative: Create Table as Select (CTAS) über DB-Link Vorteile: Nachteile: • • • • • • ERP-DB muss verfügbar sein • DB-Link eventuell wegen Policy nicht möglich • Strukturänderungen im laufenden Betrieb • Kein Realtime möglich • Eingeschränkte Wiederaufsetzbarkeit Einfach zu realisieren Leicht zu warten Lose gekoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL • Sehr schnell Copyright its-people® DOAG-Konferenz 2013 Nürnberg 20 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 6. Alternative: Datapump DWH-Server ERP-Server ERP-DB DWH-DB Datapump Umsatz Umsatz Database Link Copyright its-people® DOAG-Konferenz 2013 Nürnberg 21 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 6. Alternative: Datapump Vorteile: Nachteile: • • • • • • ERP-DB muss verfügbar sein • DB-Link eventuell wegen Policy nicht möglich • Kein Realtime möglich • Eingeschränkte Wiederaufsetzbarkeit Leicht zu realisieren Leicht zu warten Lose gekoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL • Sehr schnell Copyright its-people® DOAG-Konferenz 2013 Nürnberg 22 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 7. Alternative: Trigger auf Quelltabelle (direkt) DWH-Server ERP-Server ERP-DB DWH-DB After Insert/Update Trigger Umsatz Umsatz Database Link Copyright its-people® DOAG-Konferenz 2013 Nürnberg 23 Vorstellung Ausgangslage Schnittstellen GSA Global Staging Area - Implementierung einer zentralen Datendrehscheibe Benefits Live-Demo 7. Alternative: Trigger auf Quelltabelle (direkt) ERP -- Trigger create or replace trigger trg_umsatz_iu after insert or update on umsatz referencing new as new old as old for each row begin if inserting then insert into umsatz@dbl_erp#doag2013_dwh_showcase07(id ,...) values (:new.id,...,'I'); end if; -if updating then insert into umsatz@dbl_erp#doag2013_dwh_showcase07(id,...) values(:new.id ,...,'U'); end if; end trg_umsatz_iu; / ERP -- Initialerzeugen begin admin_umsatz.fill; end; / ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / Copyright its-people® DOAG-Konferenz 2013 Nürnberg 24 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 7. Alternative: Trigger auf Quelltabelle (direkt) Copyright its-people® Vorteile: Nachteile: • Mittelschwer zu realisieren • Wartung ist mittel aufwendig • Eng gekoppelte Systeme • Geringe Kosten • Kein Produkt außerhalb PL/SQL • Realtime • ERP-DB und DWH-DB müssen verfügbar sein • DB-Link eventuell wegen Policy nicht möglich • Beeinflussung der ERP-DB durch DWH • Langsame Einzelsatzverarbeitung DOAG-Konferenz 2013 Nürnberg 25 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 8. Alternative: Trigger auf Quelltabelle (indirekt) DWH-Server ERP-Server ERP-DB DWH-DB Trigger Umsatz Temp Insert As Select Umsatz Database Link Copyright its-people® DOAG-Konferenz 2013 Nürnberg 26 Vorstellung Ausgangslage Schnittstellen GSA Global Staging Area - Implementierung einer zentralen Datendrehscheibe Benefits Live-Demo 8. Alternative: Trigger auf Quelltabelle (indirekt) ERP -- Trigger create or replace trigger trg_umsatz_iu after insert or update on umsatz referencing new as new old as old for each row begin if inserting then insert into umsatz_tmp values (:new.id,...,'I'); end if; -if updating then insert into umsatz_tmp values(:new.id ,...,'U'); end if; end trg_umsatz_iu; / ERP -- Initialerzeugen begin admin_umsatz.fill; end; / DWH -- Insert insert /*+ append */ into umsatz select * from umsatz_tmp@DBL_ERP#DOAG2013_ERP_SHOWCASE08; ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / DWH -- Insert insert /*+ append */ into umsatz select * from umsatz_tmp@DBL_ERP#DOAG2013_ERP_SHOWCASE08 where datum >= trunc(<Datum>); Copyright its-people® DOAG-Konferenz 2013 Nürnberg 27 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 8. Alternative: Trigger auf Quelltabelle (indirekt) Copyright its-people® Vorteile: Nachteile: • Mittelschwer zu realisieren • Wartung ist mittel aufwendig • Lose gekoppelte Systeme • Geringe Kosten • Kein Produkt außerhalb PL/SQL • ERP-DB muss verfügbar sein • DB-Link eventuell wegen Policy nicht möglich • Langsame Einzelsatzverarbeitung beim Trigger • Datensätze werden doppelt geschrieben DOAG-Konferenz 2013 Nürnberg 28 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ) ERP-Server DWH-Server ERP-DB DWH-DB enqueue dequeue Umsatz Copyright its-people® Outbox DOAG-Konferenz 2013 Nürnberg AQ's Message Propagation Infrastructure Inbox Umsatz 29 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ) Livedemo Copyright its-people® DOAG-Konferenz 2013 Nürnberg 30 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ) Copyright its-people® Vorteile: Nachteile: • Wartung ist mittel aufwendig • Lose gekoppelte Systeme • Kein Produkt außerhalb PL/SQL • Realtime ist möglich • Wiederaufsetzbarkeit • Aufwendig zu realisieren • DB-Link eventuell wegen Policy nicht möglich • Langsame Einzelsatzverarbeitung • Zusätzliches Monitoring DOAG-Konferenz 2013 Nürnberg 31 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 10. Alternative: Change Data Capture (CDC) Change Data Capture Architecture Copyright its-people® DOAG-Konferenz 2013 Nürnberg 32 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 10. Alternative: Change Data Capture (CDC) Asynchronous Distributed HotLog Copyright its-people® DOAG-Konferenz 2013 Nürnberg 33 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 10. Alternative: Change Data Capture (CDC) Copyright its-people® Vorteile: Nachteile: • Lose gekoppelte Systeme • Kein Produkt außerhalb PL/SQL • Realtime ist möglich • RedoLogs werden genutzt • Wiederaufsetzbarkeit • Sehr aufwendig zu realisieren • Wartung ist sehr aufwendig • Langsame Einzelsatzverarbeitung • Zusätzliches Monitoring DOAG-Konferenz 2013 Nürnberg 34 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 11. Alternative: Transportable Tablespaces ERP-Server DWH-Server ERP-DB DWH-DB Umsatz Tablespace Copyright its-people® DOAG-Konferenz 2013 Nürnberg 1. Copy Datafiles 2. Import TBS Umsatz Insert/ Update Umsatz Tablespace 35 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 11. Alternative: Transportable Tablespaces Vorteile: Nachteile: • Lose gekoppelte Systeme • Wenig aufwendig zu realisieren • Sehr schnell • Wartung wenig aufwendig • Mehrere Tabellen auf einmal • Downtime auf ERP-DB • Kein Delta • Kein Realtime • Keine Wiederaufsetzbarkeit Copyright its-people® DOAG-Konferenz 2013 Nürnberg 36 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 12. Alternative: CDC mit ODI und Golden Gate Copyright its-people® DOAG-Konferenz 2013 Nürnberg 37 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung 11. Alternative: Transportable Tablespaces Copyright its-people® Vorteile: Nachteile: • Lose gekoppelte Systeme • Sehr schnell • Sehr stabil • Keine Beschränkung auf Oracle • Wiederaufsetzbarkeit • Aufwendig zu realisieren • Wartung ist sehr aufwendig • Zusätzliche Lizenzkosten DOAG-Konferenz 2013 Nürnberg 38 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Bewertungskriterien Stabilität Verfügbarkeit Geschwindigkeit Insert Komplexität/ Wartbarkeit Einrichtung Funktionalität Aufwand/Kosten Realtime Realisierung Betrieb Fehlertoleranz Transformation Update Änderung Wiederaufsetzbarkeit Abhängigkeit Copyright its-people® Wartung Filterung Lizenzen Datenmengen DOAG-Konferenz 2013 Nürnberg Monitoring Regeln Ausbildung 39 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Stabilität ODI und Golden Gate Transportable Tablespace Change Data Capture Flat-File mit SQL-Loader 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Flat-File mit External Table Datapump mit External Table Verfügbarkeit Insert as Select Fehlertoleranz Wideraufsetzbar Abhängigkeit Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) Copyright its-people® DOAG-Konferenz 2013 Nürnberg 40 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Geschwindigkeit ODI und Golden Gate Transportable Tablespace Change Data Capture Flat-File mit SQL-Loader 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Flat-File mit External Table Datapump mit External Table Insert Insert as Select Update Datenmengen Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) Copyright its-people® DOAG-Konferenz 2013 Nürnberg 41 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Komplexität/Wartbarkeit Flat-File mit SQL-Loader 4 ODI und Golden Gate 3,5 Flat-File mit External Table 3 2,5 Transportable Tablespace Datapump mit External Table 2 1,5 1 Einrichtung 0,5 Change Data Capture Insert as Select 0 Änderung Monitoring Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) Copyright its-people® DOAG-Konferenz 2013 Nürnberg 42 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Funktionalität ODI und Golden Gate Transportable Tablespace Change Data Capture Flat-File mit SQL-Loader 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Flat-File mit External Table Datapump mit External Table Realtime Insert as Select Transformation Filterung Regeln Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) Copyright its-people® DOAG-Konferenz 2013 Nürnberg 43 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Aufwand/Kosten ODI und Golden Gate Transportable Tablespace Change Data Capture Flat-File mit SQL-Loader 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Flat-File mit External Table Datapump mit External Table Realisierung Betrieb Insert as Select Wartung Lizenzen Ausbildung Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) Copyright its-people® DOAG-Konferenz 2013 Nürnberg 44 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Copyright its-people® DOAG-Konferenz 2013 Nürnberg Transportable Tablespace o + + + o o + + + + o + o + -+ - o + + + + o -- ++ + -- ODI und Golden Gate Change Data Capture o ++ + o + Advanced Queuing Datapump + + o + ++ ++ + + + o + + + ++ ++ Trigger (indirekt) Create Table as Select + + + o + Trigger (direkt) Datapump mit External Table + + + o + Insert as Select Flat-File mit External Table Stabilität Geschwindigkeit Komplexität/Wartbarkeit Funktionalität Aufwand/Kosten Flat-File mit SQL-Loader Ergebnis 45 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Schlussfolgerung Copyright its-people® DOAG-Konferenz 2013 Nürnberg 46 Vorstellung Ausgangslage Lösungen Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen Bewertung Kontakt: Email Home Blog Copyright its-people® [email protected] www.its-people.de www.its-people.de/blog/ DOAG-Konferenz 2013 Nürnberg 47
