Einsatz bei AMD
Werbung
Heterogene Echtzeitreplikation am Beispiel DB2-Oracle: Der Einsatz von GoldenGate® zur Unterstützung geschäftskritischer Prozesse bei AMD Datenbankstammtisch an der HTW Dresden - 26. März 2008 Thomas Richter IT Systems & Operations AMD Saxony LLC & Co. KG Übersicht Einführung GoldenGate – Transactional Data Management Der Einsatz von GoldenGate – TDM bei AMD Sonstige Aspekte 2 26. März 2008 Heterogene Echtzeitreplikation bei AMD Einführung 3 26. März 2008 Heterogene Echtzeitreplikation bei AMD AMD – Führende Mikroprozessor-Technologie Advanced Micro Devices (AMD) ist ein führender, global tätiger Hersteller von innovativen Prozessoren für die Computing-, Grafikund Consumer Electronics-Märkte. Multi-KernMikroprozessoren Desktops 4 Server and HPC 26. März 2008 HochleistungsGrafikprozessoren Chipsets Laptops Commercial Clients Emerging Markets Heterogene Echtzeitreplikation bei AMD UMPCs Consumer Electronics Handheld AMD in Dresden: Produktion Fab 36 Fab 38 Reinraumfläche 13.400 m2 14.000 m2 Produktionskapazität ~ 24.000 Waferstarts/Monat flexibel in 2008 Kapazitätserweiterung für Fab 36 Technologie aktuell 65 nm / 45 nm (300 mm Wafer) Umwandlung in ein neues 300-mm-Werk Technologie zukünftig 32 nm & kleiner Reinraumfläche Bump-Test-Gebäude 5 26. März 2008 Heterogene Echtzeitreplikation bei AMD ~11.000 m² AMD in Dresden 2008 DDC/OSRC Fab 36 EVC 2 Fab 38 EVC 1 Bump/Test Facility 65 nm Produktion in Fab 36, 45 nm Pilotlinien in Betrieb Parallele Volumenfertigung und Technologieentwicklung Flexible Kapazität in Fab 38 während der Konversionsphase 6 26. März 2008 Heterogene Echtzeitreplikation bei AMD Das ‘Factory Control System’ in Fab36 Komponenten Equipment Software Message-Busse Infrastruktur Netzwerk Hardware, Betriebssysteme, Datenbanken Telekommunikation Prozesse Advanced Process Control Yield Engineering SAP/PM Der Mensch Operations Factory Automation IT Systems & Operations 7 26. März 2008 Heterogene Echtzeitreplikation bei AMD Dispatching und Reporting Komponenten MES Manufacturing Execution System Zentrale Komponente des Factory Control System DB2 UDB Dispatching und Reporting Funktionalität – unzureichend DRS Echtzeit-Dispatching und Reporting System Echtzeitdaten aus MES Proprietäre Datenhaltung Interface zum Speichen und Abrufen der Daten MDS (AMD) Manufacturing Data Store Reporting, Visualisierung, Dispatching Replizierte und aggregierte Daten aus MES Echtzeitdaten aus MES Oracle 8 26. März 2008 Heterogene Echtzeitreplikation bei AMD Dispatching und Reporting - Datenfluss 9 26. März 2008 Heterogene Echtzeitreplikation bei AMD Dispatching und Reporting – Replikation vor GoldenGate 10 26. März 2008 Heterogene Echtzeitreplikation bei AMD Ausgangssituation DB2 Trigger Queue-Tabelle Verlust der Transaktionsintegrität Erwartete Performance- und Durchsatzprobleme DRS-Adapter Erwartete Performance- und Durchsatzprobleme MDS-Tap Unflexible Konfiguration Erwartete Performance- und Durchsatzprobleme MDS Datenbankschema aus DRS Erwartete Latenzprobleme Verlust der Transaktionsintegrität 11 26. März 2008 Heterogene Echtzeitreplikation bei AMD Alternative Replikation Anforderungen Asynchrone Replikation Transaktionsintegrität Performance: Durchsatz und Latenz Rückwirkungsfreiheit auf Primärdatenbank Hochverfügbarkeit Funktionsumfang Flexibilität Administration 12 26. März 2008 Heterogene Echtzeitreplikation bei AMD Alternative Replikation - Ziel 13 26. März 2008 Heterogene Echtzeitreplikation bei AMD GoldenGate® – Transactional Data Management 14 26. März 2008 Heterogene Echtzeitreplikation bei AMD GoldenGate® Software Inc. Die Firma GoldenGate Software Inc. ist ein Unternehmen, das Lösungen im Bereich des ‚Transactional Data Management’ (TDM) anbietet. TDM sorgt für garantiertes Extrahieren (Capture) Routen Transformieren Replizieren (Delivery) von transaktionsbasierten Daten in heterogenen Datenbank- und Systemumgebungen in Echtzeit. 15 26. März 2008 Heterogene Echtzeitreplikation bei AMD GoldenGate - TDM TDM findet Einsatz in den Bereichen Hochverfügbarkeit und Desaster-Toleranz Echtzeit-Datenintegration TDM unterstützt u.a. folgende Datenbank-Versionen Oracle DB2 Mainframe und UDB MS SQL Server Teradata Sybase MySQL ODBC ... 16 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM - Komponenten Komponenten (modularer Aufbau Æ flexible Architektur) Manager-Prozess Extract-Prozess(e) Replicat-Prozess(e) Trail-Files bzw. Extract-Files Checkpoints Collector-Prozess(e) 17 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM – Logische Architektur 18 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM – Der Manager-Prozess Manager-Prozess 1 Manager je GoldenGate-Installation kontrolliert Prozesse: Start, Stop, Restart wartet Trails protokolliert Fehler kommuniziert mit User Interface Konfiguration: Parameter-File 19 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM – Der Extract-Prozess Extract-Prozess Quellsystem Konfigurationsoptionen und Datenquellen Initialisierungen (Initial Loads) 9 Tabellen der Quell-Datenbank Änderungssynchronisation (Change Synchronization) 9 Datenbank-Transaktions-Log 9 GoldenGate-Log-Tabelle (triggerbasierte Extraktion) 9 GoldenGate Trails (Daten-Pumpen) Zugriff auf Datenbank-Transaktions-Log datenbankabhängig Extraktion aller Änderungen Nur festgeschriebene Daten (‘Commit’) werden zum Zielsystem gesendet. Konfiguration: Parameter-File ermöglicht Filterung flexible Architekturen 20 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM – Der Replicat-Prozess Replicat-Prozess Zielsystem verarbeitet extrahierte Daten Æ Replikation in die Tabellen der ZielDatenbank Konfigurationsoptionen Initialisierungen (Initial Loads) Änderungssynchronisation (Change Synchronization) Datenbank-Zugriff mit ‘Native Database Calls’ bzw. ODBC Datenbank-Zugriff lokal oder remote Transaktionsreihenfolge gewahrt Konfiguration: Parameter-File benötigt Informationen über Struktur der Quelltabellen ermöglicht Fehlerbehandlung ermöglicht Filterung und Transformation flexible Architekturen 21 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM - Trails Trail Temporäre Speicherung der extrahierten Datenänderungen Folge von Files auf Sekundärspeicher Trennung von Extract- und Replicat-Prozessen sorgen für Fehler-Toleranz genau 1 Extract-Prozess schreibt in 1 Trail kann von mehreren Replicat-Prozessen gelesen werden automatisches Anlegen und Altern auf Quell- und/oder Zielsystem möglich Trail-Formate Universal Data Format (UDF) 9 ermöglicht Verarbeitung in heterogenen Umgebungen 9 proprietär (GoldenGate) ASCII SQL XML Checkpoints werden registriert 22 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM – Weitere Komponenten Checkpoints Wiederanlaufpunkt für Extract- und Replicat-Prozesse ermöglichen Fehler-Toleranz und Recovery registrierten Lese- und Schreibposition eines Extract-Prozesses Leseposition eines Replicat-Prozesses Verwaltung in Files (Extract, Replicat) bzw. Checkpoint-Tabelle in ZielDatenbank Collector-Prozesse Hintergrundprozess auf Zielsystem empfängt Daten eines entfernten Extract-Prozesses (TCP/IP) schreibt in ein lokales Trail Start und Stop durch lokalen Manager-Prozess 23 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM - Weitere Komponenten User-Interface Error-Logfile Parameter-Files Report-Files Definitions-File Discard-Files 24 26. März 2008 Heterogene Echtzeitreplikation bei AMD TDM - Topologien 25 26. März 2008 Heterogene Echtzeitreplikation bei AMD Der Einsatz von GoldenGate - TDM bei AMD 26 26. März 2008 Heterogene Echtzeitreplikation bei AMD Einsatz bei AMD - Topologie 27 26. März 2008 Heterogene Echtzeitreplikation bei AMD Einsatz bei AMD – Aspekte der Implementierung Datenbankschema für neue MDS-Datenbank: DDLGEN Inbetriebnahme ohne Downtime Installation parallel zum Altsystem Staging-Betrieb parallel zum Altsystem Initialisierung der History-Tabellen aus Altsystem NULL-Value Mapping ‘Full Updates’ für Dispatching und Reporting System (DRS) Design für Hochverfügbarkeit 28 26. März 2008 Heterogene Echtzeitreplikation bei AMD Einsatz bei AMD – Aspekte der Administration Kommandozeilen-Interface: GGSCI Integration in Systemstart Autostart und Auto-Restart Monitoring Status: Integration in HP OpenView Performance 29 26. März 2008 Heterogene Echtzeitreplikation bei AMD Einsatz bei AMD – Aspekte der Hochverfügbarkeit Anforderung: Verfügbarkeit >= 99.85% Design Redundante Datenzentren, Systeme und Cluster Failover-Fähigkeit Shared Storage (SAN, NFS) Virtuelle Hostnamen Autostart und Auto-Restart Monitoring Recovery-Fähigkeit Umgebungen Produktion Integrations- und Stresstest, Entwicklung, Training Prozesse Integrations- und Stresstest Change Control 30 26. März 2008 Heterogene Echtzeitreplikation bei AMD Einsatz bei AMD - Ergebnisse 31 26. März 2008 Heterogene Echtzeitreplikation bei AMD Sonstige Aspekte 32 26. März 2008 Heterogene Echtzeitreplikation bei AMD Sonstige Aspekte Weitere Werkzeuge LOGDUMP REVERSE Daten-Filterung: Selektion und Projektion Daten-Transformation: Mapping Eingebaute Funktionen SQLEXEC: Externe Datenbank-Prozeduren und -Abfragen User-Exits Bidirektionale Replikation Sicherheit und Verschlüsselung Datenkompression Triggerbasiertes Extrahieren DDL-Synchronisation GoldenGate Director GoldenGate Veridata 33 26. März 2008 Heterogene Echtzeitreplikation bei AMD AMD, the AMD Arrow logo and combinations thereof are trademarks of Advanced Micro Devices, Inc. HyperTransport is a licensed trademark of the HyperTransport Technology Consortium. Microsoft and Windows are registered trademarks of Microsoft Corporation in the United States and/or other jurisdiction. Other names (DB2, DB2 UDB, Oracle, GoldenGate, GoldenGate Software Inc., GoldenGate TDM, SAP, SAP/PM, MS SQL Server, Teradata, MySQL, HP OpenView) are for informational purposes only and may be trademarks of their respective owners. ©2008 Advanced Micro Devices, Inc. All rights reserved. Source of all Graphics: AMD
