Exadata Version 2 - Technischer Überblick
Werbung
Future Trends DWH Infrastruktur Dipl.-Ing. Michael Ahrens Principal Solution Architect & SAP Technology Consultant Montag, 21. März 2011 Einleitung Storage Bottleneck • Storage limitiert Applikationsperformance • • • • Limitierung Storage zu Server durch Storage Subsystem Bottlenecks im Storage Array SAN Bottlenecks Random I/O Bottlenecks durch physikalische Plattengeschwindigkeit • I/O Bandbreite schränkt DWH Performance stark ein • Random I/O Bottlenecks beschränken OLTP Performance Montag, 21. März 2011 Einleitung Exadata Technologie Rechenintensive Verarbeitung • Datenbankserver • Rechen- und Speicherintensive Verarbeitung wird im DB server durchgeführt • Vollparallele Joins und Aggregate Bandbreitenintensives Suchen & Lesen • Exadata Storage Server • IO-intensives Suchen wird im Storage Server durchgeführt • Exadata Smart Scans und Exadata Storage Indizes filtern für die Query irrelevante Daten heraus Zusammenarbeit von Datenbankserver und Exadata Zellen um SQL auszuführen Exadata Zelle ist intelligenter Storage und kein Datenbankknoten Montag, 21. März 2011 Einleitung Exadata Technologie Single-Instance Database RAC Database InfiniBand Switch/Network Exadata Zelle • • • • Exadata Zelle Exadata Zelle Exadata Zellen als einzelne Storage Server mit Platten und Exadata Software Verteilung der Oracle Datenbanken über mehrere Exadata Zellen Datenbankerweiterungen für Kommunikation mit Exadata Storage Server Praktisch keine Limitierung der Anzahl der Exadata Zellen im Storage Grid Montag, 21. März 2011 Einleitung Ist die Database Maschine ein Toaster (Appliance) ? • Nein! Die Database Maschine ist nicht einfach ein “Toaster”, sondern eher eine “Bäckerei” mit allen Möglichkeiten… Oracle Exadata ist die klassische marktführende Oracle Datenbank mit einer besonders optimierten Hardware. Montag, 21. März 2011 Produktüberblick Exadata Database Machine • Exadata Storage Server • Optimierter Storage für Oracle • Extreme I/O und SQL Performance • Hardware und Software • Exadata Storage Server Software Montag, 21. März 2011 • Exadata Database Machine • • • • Vorkonfiguriert Hohe Performance Well-balanced Appliance-Ansatz • Oracle Database 11.2 Hardware Storage Server X2-2, X2 -8 Oracle Exadata Storage Server Hardware Montag, 21. März 2011 • Oracle X4275 Server • 2 x 6-Core Intel® Xeon® E5670 Prozessoren • 24GB RAM • Dual-port 4X QDR (40Gb/s) InfiniBand card • Disk Optionen • 12 x 600 GB SAS disks (7.2 TB gesamt) => HS HS heißt High Speed • 12 x 2TB SATA disks (24 TB gesamt) => HC HC heißt High Capacity • 4 x 96 GB Oracle Flash PCIe Cards (384 GB gesamt) • Zentraler Baustein des massiv parallelen Storage Grid • Bis zu 1.5 GB/sec Rohdaten Bandbreite pro Zelle • Bis zu 75,000 IOPS mit Smart Flash Cache • Software vorinstalliert • Oracle Exadata Storage Server Software • Oracle Enterprise Linux • Treiber, Utilities • Zentraler Ansprechpartner Oracle • 3 Jahre, 24 x 7, 4 Std. Reaktionszeit Exadata Software Features Exadata Smart Flash Cache • Transparentes Caching von “Hot Data” auf den 4 Flash Cards • PCI Express für hohen Durchsatz • Keine Beschränkung durch Disk Controller • Smart Caching • “Smarter” als bekannter LRU Algorithmus • Kein Überlauf des Caches • Automatismus • Caching kann durch Anwendungen optimiert werden Montag, 21. März 2011 4 x 96 GB Flash Cards Oracle Database 11g Release 2 und Flash Technologie Flash Cache • Vorteile F20 PCIe 96GB Flash Memory Dimm 15K SAS Disk • Weniger Platten • Einfachere Storagesysteme • Bessere Antwortszeit • Geringerer Stromverbrauch • Hoher ROI • Optimaler Ansatz • Großteil der Daten auf günstigen Platten • Transparenter Zugriff auf “Hot data” auf Flash • Vermeidung Controller Engpaß durch Nutzung flash cards anstelle von Flash Disks • Flash Cards im Exadata Storage • Hohe Bandbreite, low Latency Interconnect 15k SAS Disk • Speichern großer Datenmengen • Aber: Beschränkung auf 250 i/o’s pro Sekunde F20 PCIe 96GB Flash • Speichern geringer Datenmengen • Aber: Sehr hohe i/o Rate >> 10000 i/o’s pro Sekunde Montag, 21. März 2011 Tape Hardware Database Server X2-2 Oracle Exadata Database Server Hardware • • • • • • • • • • • Montag, 21. März 2011 Oracle X4170 Server 2 x 6-Core Intel® Xeon® E5670 Prozessoren 96GB RAM Dual-port 4X QDR (40Gb/s) InfiniBand card 2 x 10Gbit Ethernet Disk Optionen • 8 x 600 GB SAS disks (4.8 TB gesamt) => HS • 8 x 2TB SATA disks (16 TB gesamt) => HC Oracle Database Software vorinstalliert Oracle Enterprise Linux oder Oracle Solaris 11 Treiber, Utilities Zentraler Ansprechpartner Oracle 3 Jahre, 24 x 7, 4 Std. Reaktionszeit Hardware Database Server X2-8 Oracle Exadata Database Server Hardware • • • • • • • • • • • Montag, 21. März 2011 Oracle X4800 Server 8 x 8-Core Intel® Xeon® E7560 Prozessoren 1TB RAM 4 x Dual-port 4X QDR (40Gb/s) InfiniBand card 8 x 10Gbit Ethernet Disk Optionen • 8 x 600 GB SAS disks (4.8 TB gesamt) => HS • 8 x 2TB SATA disks (16 TB gesamt) => HC Oracle Database Software vorinstalliert Oracle Enterprise Linux oder Oracle Solaris 11 Treiber, Utilities Zentraler Ansprechpartner Oracle 3 Jahre, 24 x 7, 4 Std. Reaktionszeit Hardware Infiniband Netzwerk • Einheitliches InfiniBand Netzwerk • Verbindung zu Exadata Zellen • RAC Interconnect • Externe Anschlüsse (optional) • Hohe Leistung bei geringer Latenz • 80 Gb/s Bandbreite pro Link (40 Gb/s pro Richtung) • “SAN-Effizienz” : Zero copy, buffer reservation • Einfache Administration ähnlich einem IP Netzwerk • Protokolle • Zero-copy Zero-loss Datagram Protocol (ZDP RDSv3) • Internet Protocol over InfiniBand (IPoIB) Montag, 21. März 2011 Datacenter InfiniBand Switch 36 Hardware Full Rack • 8 Oracle X4170 M2 Database Server • Oder 2 Oracle X4800 Database Server • 14 Exadata Storage Server • 14 * 12 * 600GB SAS Platten (100TB gesamt) oder • 14 * 12 * 2TB SATA Platten (336TB gesamt) und • 14 * 4 * 96GB Oracle Flash PCIe Cards (5,3TB gesamt) • 3 Oracle Datacenter InfiniBand Switch 36 • 36-port Managed QDR (40Gb/s) Switch • 1 “Admin” Cisco Ethernet Switch 4948 • Keyboard, Video, Mouse (KVM) Hardware • Redundante Power Distributions Units (PDUs) • Zentraler Ansprechpartner Oracle • 3 Jahre, 24 x 7, 4 Std. Reaktionszeit Skalierbarkeit durch Hinzufügen weiterer Racks! Montag, 21. März 2011 Exadata Software Features Exadata Storagelayout und ASM Eine X4275 Exadata Storage Zelle 4x Oracle Flash PCIe F20 12x 600 GB SAS oder 2TB SATA 16 Celldisks Eine Griddisk entspricht genau einer ASM disk Sys Area Griddisk 1 ASM disk 1 Griddisk n ASM disk n 1 Celldisks Montag, 21. März 2011 Exadata Software Features Exadata Storagelayout und ASM ASM Failure Group ASM Failure Group Exadata Storage Zelle Exadata Storage Zelle Hot Hot Hot Hot Hot Hot Cold Cold Cold Cold Cold Cold Griddisk n Griddisk 1 Griddisk 1 • ASM Striping für Gleichverteilung I/O • ASM Spiegelung gegen Plattenfehler • ASM Failure Groups gegen Zellenfehler Montag, 21. März 2011 Griddisk n ASM Disk Group Exadata Software Features Exadata I/O Resource Management • Reserviert für unterschiedliche Datenbanken den jeweiligen Anteil am gesamten I/O • Beispiel Inter-Datenbank Plan: • Database A: 33% der I/O Bandbreite • Database B: 67% der I/O Bandbreite • Ungenutzte Bandbreite kann von DB A genutzt werden • Oder • DB B hat geringere Priorität als DB A • Z.B. Test- oder Entwicklungs-DB • Innerhalb jeder Datenbank Priorisierung gemäß DB Resource-Plan Montag, 21. März 2011 33% Database A (Single-Instance) 67% Database B (RAC) Integriertes “End to End” monitoring Von der Applikation über das Datacenter zum Support Grid Control OpsCenter My Oracle Support Application Operations Data Center Operations Oracle Support Exadata 17 Montag, 21. März 2011 Exadata Management Oracle Enterprisemanager OPS Center • Einheitliches, durchgängiges, automatisiertes Lifecyle-Management • Virtuelle und physikalische Systeme in einem Tool Virtuelle Systeme Physikalische Systeme • effizientes Management über alle Systeme • schnelle Deployments • weniger Downtime • “sprawl” unter Kontrolle © 2010 Oracle Corporation – Proprietary and Confidential Montag, 21. März 2011 18 Komplettes und integriertes Manageme Oracle Enterprisemanager OPS Center Maintain Deploy Remote Management Enterprise Manager - Telemetry Phone Home - Proactive Support Provisioning of Firmware, OS, Middelware, and Applications Clone and Scale-out Grid Control My Oracle Support Integration OpsCenter Manage Test End-to-End Diagnostics Functional Testing Load Testing Test Management - Service Levels - Root Cause Configuration Mgmt - Change Tracking Patch Automation - Firmware, OS Monitor Application-to-Disk Exadata Monitoring Integration - System, Switch, Storage Energy Utilization and Impact 19 Montag, 21. März 2011 Exadata Management Oracle Enterprisemanager OPS Center • Netzwerk discovery von Servern, Betriebssystemen und Virtuelle Maschinen • Support von zahlreichen Protokollen • • • • Oracle Service Tag SNMP SSH IPMI • Automatisches Inventory • CPU • Memory • Software payload • Intelligentes gruppieren von Systemen Montag, 21. März 2011 Exadata Management Oracle Enterprisemanager OPS Center End-to-End Monitoring • Hardwaremonitoring ohne Agenten • Stromverbrauch • Hardware status • Temperatur • Lüftergeschwindigkeit • Spannung • OS Überwachung der wichtigsten Statistiken • Load • CPU • Memory • History Montag, 21. März 2011 Exadata Management Oracle Enterprise Manager Grid Control OEM Agent SQLPlus Montag, 21. März 2011 Exadata Management Oracle Enterprise Manager Grid Control Exadata Plugin Management Cluster Exadata Plugin Cell cli Cell cli Cell cli Cell cli • Database Management • • • • Montag, 21. März 2011 Single Instance RAC Dataguard RMAN Exadata Management Oracle Enterprise Manager Grid Control • OEM Grid Control kann ohne Funktionserweiterungen zum Management des ASM’s und der Datenbankinstanzen im Exadata verwendet werden. • OEM Grid Control kann durch Management Packs, Konnektoren und System Monitoring Plugins erweitert werden. (http://www.oracle.com/technology/products/oem/datasheets.html) • Provisioning and Patch Automation Pack for Database (http://www.oracle.com/technology/products/bi/db/exadata/index.html) • Exadata Storage Server Plug-in from (http://www.oracle.com/technology/products/bi/db/exadata/index.html) Montag, 21. März 2011 Exadata Maximum Availability Archtitecture (MAA) Komplette, offene, integrierte Verfügbarkeit Exadata ist in sich hochverfügbar • Keine Single Points of Failure in Exadata Storage Architektur • Oracle Automatic Storage Management (ASM) • Schutz vor Platten- und Zellen-Ausfällen Datenspiegelung über Zellen hinweg • Oracle Real Application Clusters (RAC) • Redundante Infiniband Strecken (Disk, Interconnect) und Switches Montag, 21. März 2011 Exadata Maximum Availability Archtitecture (MAA) Extended RAC HA Management Real Application Clusters Real Application Clusters LAN ASM ASM Fast Recovery Area • Infiniband • 10 Gigabit Ethernet • Infiniband • max. 100m • freigegebene Kabel Montag, 21. März 2011 Fast Recovery Area • 10 Gigabit Ethernet • max. 40 Km • Veränderung der Performance Exadata Maximum Availability Archtitecture (MAA) Desaster Recovery Data Guard Real Application Clusters Active Data Guard Sync / Async Redo Transport WAN ASM Fast Recovery Area • Schutz vor • • • • Server Fehlern Storage Fehlern Netzwerk Fehlern RZ Fehlern Montag, 21. März 2011 HA Management Data Guard • Echtzeit Standby offen für queries • Korrektur menschlichen Versagens • Datenbank-, Tabellen-, Zeilen, Transaktionsebene • Online Indizierung und Tabellenredefinition • Online patching und upgrades Exadata Maximum Availability Archtitecture (MAA) Bi-Direct Desaster Recovery Golden Gate • • • • Wird direkt auf dem DB System installiert Überwacht den Datenbestand Änderungen am Datenbestand werden transaktionssicher auf das Zielsystem übertragen Das Ganze funktioniert bidirektional Montag, 21. März 2011 Exadata Maximum Availability Archtitecture (MAA) Bi-Direct Desaster Recovery Golden Gate Capture: Committed changes are captured (and can be filtered) as they occur by reading the transaction logs. Trail files: Stages and queues data for routing. Pump: Distribute data for routing to multiple targets. Route: Data is compressed, encrypted for routing to targets. Delivery: Applies data with transaction integrity, transforming the data as required. Read/Write Workload Pump Capture Database(s) Montag, 21. März 2011 LAN / WAN / Target Trail Source Trail Internet Pump Source Delivery (TCP/IP) Target Trail Delivery Read/Write Workload Target Source Trail Bi-directional Capture Database(s) Exadata Backup Exadata Backup Grundlagen • Backupserver • Hält die Backup DB • Steuert die Backupzycklen • Kann auch Mediaserver sein • Mediaserver • Steuert die Backupmedien • Tape, Disks, Worm usw. • Network Data Management Protocol (NDMP) • Entwickelt für Systeme ohne Backupclients • NAS Montag, 21. März 2011 Exadata Backup Exadata Backup Client • Legato Networker • Netbackup • EMC • Muss auf der Database Machine installiert werden. • Netzwerk basiertes Backup • Symantec • Muss auf der Database Machine installiert werden. • Netzwerk basiertes Backup • Tivoli Storage Manager • IBM • Muss auf der Database Machine installiert werden. • Netzwerk basiertes Backup Montag, 21. März 2011 Exadata Backup Exadata Backup Strategie • Empfohlene Oracle Backup Strategie • Einmaliges Level 0 Image Copy = Basis Backup • Tägliches Erstellen von inkrementellen Level 1 Backups • Nur geänderte Blöcke werden geschrieben • Geänderte Blöcke werden bereits auf den Exadata Zellen identifiziert und nur diese zum Datenbank Server gesendet • Das inkrementelle Backup des Tages wird mit dem existierenden Backup aktualisiert (Merge) • Der RMAN Katalog sollte außerhalb der Database Maschine gespeichert werden Montag, 21. März 2011 Exadata Backup Exadata Variante 1 Exadata Full Rack Backup Server • • • • 10 Gbit Ethernet Backupserver Administration Mediaserver Administration Backupclient SW Installation 10Gbit Database Machines Media Server Mehrere RMAN Datenströme mittels Backupclient Montag, 21. März 2011 Backupclient schreibt über das Netzwerk Media Server schreibt Backupclientdaten auf Tape Exadata Backup Exadata Variante 2 Oracle Database Machine Oracle X4170 Oracle Secure Backup Management Server Infiniband Quad Data Rate Network Mehrere RMAN Datenströme via TCP/IP tunneled über IB © 2010 Oracle Corporation – Proprietary and Confidential Montag, 21. März 2011 StorageTek SL500 Zwei Oracle x4275 Oracle Secure Backup Server Media Service tracks, konvertiert RMAN daten in Fibre channel Blöcke Brocade 5100 8GB FC SAN Zu jedem RMAN Datenstrom gehört ein Tape Laufwerk 34 Exadata Backup Exadata Variante 3 Exadata Full Rack RMAN Backup to Disk S7320 NDMP N* J4400 40Gbit Infiniband NFS oder iSCSI • • • • • Mehrere RMAN Datenströme via TCP/IP tunneled über IB Montag, 21. März 2011 40 Gbit Infiniband Storageappliance Modular Erweiterbar Clusterbar Raidschutz RMAN schreibt die Datenströme in Backupfiles auf dem OpenStorage gespeichert NDMP fähige Backupsoftware schreibt die RMAN Backupfiles auf Tape Exadata Backup Exadata eine Appliance passt zur Database Maschine S7000 • • • • • Oracle StorEdge S7320 NAS 1 8-Core Intel® 2.4GHz Prozessor up to 72GB RAM per Node Dual-port 4X QDR (40Gb/s) InfiniBand card Disk Optionen je J4400 • 24 x 300 GB SAS disks (7.2 TB gesamt) • 24 x 500 GB SATA disks (12 TB gesamt) • 24 x 1TB SATA disks (24 TB gesamt) • 24 x 2TB SATA disks (48 TB gesamt) • Maximal 4 * J4400 Montag, 21. März 2011 Exadata Siteplanning Exadata Anforderungen an die Infrastruktur • Bauliche Anforderungen • • • • Wege System Standort Bodenausschnitte Servicefläche • Anforderung an die Umgebung • Temperatur • Relative Luftfeuchte • Kühlung und Luftströmung • Stromversorgung • Netzwerkrichtlinien • Oracle Enterprise Installation Standards (EIS) • Site Audit Report Montag, 21. März 2011 Exadata Siteplanning Exadata Full Rack Anforderungen Power Max – 14 kW (14,3 kVA) Typical – 9.6 kW (9.9 kVA) Cooling Max – 48,600 BTU/hr Typical – 32,800 BTU/hr Max ~2200 CFM Typical ~950 CFM Airflow: front-to-back (subject to actual data center environment) Physical Dimensions Weight Operating Temperature 78.66” (H) x 23.62”(W) x 47.24”(D) 1998mm (H) x 600mm (W) x 1200mm (D) 2171 lbs (986.8 kg) Operating temperature/humidity: 5 ºC to 35 ºC (41 ºF to 95 ºF), 10% to 90% relative humidity, non-condensing Altitude Operating: Up to 3,048 m, max. ambient temperature is de-rated by 1° C per 300 m above 900 m IP addresses Network Drops External Connectivity Montag, 21. März 2011 22 (InfiniBand Network) 68 (Ethernet Network - assuming single cluster) Minimum 10 network drops 8 (up to 24 ) Ethernet Ports At least 12 InfiniBand Ports Exadata Siteplanning Exadata Netzwerk Anforderungen • Management Netzwerk • Wird an das Firmennetzwerk angeschlossen • Innerhalb der Oracle Database Machine sind alle Server, ILOM und die Switche selber an den Ethernet Switch verbunden • Von dort führt eine Verbindung nach außen • Änderungen sind nicht erlaubt • KVM Netzanschluss • Client Netzwerk • Bietet Anschluss an das Firmennetz für den Zugriff der Clients • InfiniBand Netzwerk • Privates Netzwerk zwischen Datenbank Rechnern und Exadata Zellen • Oracle RAC Cluster Interconnect • Zusätzliche Netzwerke • Die Datenbank Rechner haben zusätzliche Netzwerkkarten Montag, 21. März 2011 Exadata Siteplanning Exadata Netzwerk Diagramm Management/ILOM Client Netzwerk Zusätzliches Netzwerk 1 Zusätzliches Netzwerk 2 Privates Infiniband Netzwerk Montag, 21. März 2011 Exadata Anlieferung Exadata Container Montag, 21. März 2011 Exadata Anlieferung Exadata der Weg in das Rechenzentrum. • Rack Dimensionen • • • • Höhe: 2000 mm ! Breite: 600 mm Tiefe: 1200 mm Servicefläche • Gewicht • Quarter Rack: 342 kg • Half Rack: 550 kg • Full Rack: 987 kg • Maximale Neigung 6° • Bi Mobile • Gabelstapler Montag, 21. März 2011 Exadata Anlieferung Exadata der Weg in das Rechenzentrum. Montag, 21. März 2011 Exadata Installation Exadata HW/OS Installation • EIS Installation ist in der Regel nach 4 Stunden fertig. • Vorkonfiguration im Fertigungswerk • Keine Transportschäden Montag, 21. März 2011 Fragen & Antworten Montag, 21. März 2011
