emc infrastruktur für leistungsfähige
Werbung
White Paper EMC INFRASTRUKTUR FÜR LEISTUNGSFÄHIGE DATENBANKSYSTEME VON MICROSOFT UND ORACLE EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 • Einfacheres Speichermanagement mit FAST VP • Beschleunigte Performance mit XtremCache EMC Lösungen Zusammenfassung In diesem White Paper wird eine automatisierte Speicher-Tiering-Lösung für mehrere geschäftskritische Anwendungen beschrieben, die mit VMware vSphere auf der EMC® Symmetrix® VMAX® 40K-Speicherplattform virtualisiert sind. Mit auf dem Host aktivierten EMC XtremCache™ wird die Lese-I/O zwischengespeichert und dadurch der virtuelle Speicherpool auf der VMAX entlastet. Dezember 2013 Copyright © 2013 EMC Deutschland GmbH. Alle Rechte vorbehalten. EMC ist der Ansicht, dass die Informationen in dieser Veröffentlichung zum Zeitpunkt der Veröffentlichung korrekt sind. Diese Informationen können jederzeit ohne vorherige Ankündigung geändert werden. Die Informationen in dieser Veröffentlichung werden ohne Gewähr zur Verfügung gestellt. Die EMC Corporation macht keine Zusicherungen und übernimmt keine Haftung jedweder Art im Hinblick auf die in diesem Dokument enthaltenen Informationen und schließt insbesondere jedwede implizite Haftung für die Handelsüblichkeit und die Eignung für einen bestimmten Zweck aus. Für die Nutzung, das Kopieren und die Verteilung der in dieser Veröffentlichung beschriebenen EMC Software ist eine entsprechende Softwarelizenz erforderlich. Eine aktuelle Liste der Produkte von EMC finden Sie unter EMC Corporation Trademarks auf germany.emc.com. Alle in diesem Dokument erwähnten Marken sind das Eigentum ihrer jeweiligen Inhaber. Art.-Nr.: H11035.3 EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 2 Inhaltsverzeichnis Zusammenfassung ............................................................................................................................. 6 Business Case ................................................................................................................................. 6 Lösungsüberblick............................................................................................................................. 6 Wichtige Ergebnisse ......................................................................................................................... 6 Einführung ......................................................................................................................................... 7 Zweck .............................................................................................................................................. 7 Umfang ............................................................................................................................................ 7 Zielgruppe ....................................................................................................................................... 7 Terminologie .................................................................................................................................... 7 Wichtige Technologiekomponenten .................................................................................................... 9 Überblick ......................................................................................................................................... 9 EMC XtremSF und EMC XtremCache.................................................................................................. 9 Serverseitiges Flash-Zwischenspeichern für maximale Geschwindigkeit ...................................... 9 Write-Through-Zwischenspeichern im Array für Rundumschutz .................................................. 10 Anwendungsunabhängigkeit ..................................................................................................... 10 Integration in vSphere ............................................................................................................... 10 Minimale Auswirkungen auf Systemressourcen ......................................................................... 10 Aktiv-Passiv-Clusterunterstützung von XtremCache ................................................................... 10 EMC Symmetrix VMAX 40K ............................................................................................................. 10 EMC Virtual Provisioning ................................................................................................................ 11 EMC FAST VP .................................................................................................................................. 11 NEC Express5800/A1080a-E .......................................................................................................... 11 VMware vSphere ............................................................................................................................ 11 VMware vSphere 5 .................................................................................................................... 11 VMware vCenter-Server ............................................................................................................. 11 EMC PowerPath/VE .................................................................................................................... 12 Oracle Database 11g R2 ................................................................................................................. 12 Oracle Automatic Storage Management ..................................................................................... 12 Oracle Grid-Infrastruktur ............................................................................................................ 12 Microsoft SQL Server 2012 ............................................................................................................. 12 SQL Server Failover Clustering ................................................................................................... 12 Lösungsarchitektur und -design ....................................................................................................... 13 Überblick ....................................................................................................................................... 13 Physische Architektur .................................................................................................................... 13 Hardwareres-sourcen ..................................................................................................................... 14 Softwareressourcen ....................................................................................................................... 15 Speicherkonnektivität .................................................................................................................... 15 Speicherdesign für Virtual Provisioning .......................................................................................... 16 FAST VP-Konfiguration .................................................................................................................... 17 Überlegungen zum Speicherdesign ........................................................................................... 17 EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 3 Oracle-Datenbank- und Workload-Profil ......................................................................................... 18 Oracle-Datenbankschema .............................................................................................................. 19 Oracle-Datenbankservices ............................................................................................................. 19 Oracle-LUN-Konfiguration ............................................................................................................... 20 Workload-Typ des Microsoft SQL Server ......................................................................................... 20 Workload und Profil von SQL Server 2012-DSS............................................................................... 20 LUN-Konfiguration von SQL Server 2012-DSS ................................................................................. 21 Workload und Profil von SQL Server 2012-OLTP ............................................................................. 21 LUN-Konfiguration von SQL Server 2012-OLTP................................................................................ 22 Einstellungen für DSS- und OLTP-Workloads von SQL Server 2012 und Windows 2008 R2 ............. 22 Einstellungen für Betriebssystem und SQL Server-Instanz ......................................................... 22 Datenbankeinstellungen ........................................................................................................... 23 Konfiguration von VMware vSphere ................................................................................................ 23 Konfiguration der virtuellen VMware-Maschine .............................................................................. 23 SQL Server 2012-Clustering auf VMware ........................................................................................ 24 EMC Virtual Storage Integrator ....................................................................................................... 25 Konfiguration von XtremCache mit VMware .................................................................................... 26 Prozesse für Performancetests ......................................................................................................... 29 Überblick ....................................................................................................................................... 29 Validierung .................................................................................................................................... 29 Anwendungs-Workloads ................................................................................................................ 29 Testverfahren ................................................................................................................................. 30 Testszenarien................................................................................................................................. 30 FAST VP mit drei Tiers ohne und mit XtremCache............................................................................... 31 Zielsetzung .................................................................................................................................... 31 Testszenarien................................................................................................................................. 31 Zusammenfassung der Testergebnisse .......................................................................................... 31 Performanceergebnisse für Three-Tier FAST VP ............................................................................... 33 Two-Tier FAST VP ohne und mit XtremCache ...................................................................................... 34 Überblick ....................................................................................................................................... 34 Testszenarien................................................................................................................................. 34 Performanceergebnisse für FAST VP-OLTP mit zwei Tiers ................................................................ 34 Performanceergebnisse für XtremCache mit zwei Tiers und FAST VP-OLTP ...................................... 35 Zusammenfassung der Performanceergebnisse für FAST VP mit zwei Tiers ..................................... 37 Auswirkung von XtremCache auf FAST VP.......................................................................................... 38 Überblick ....................................................................................................................................... 38 Verhalten von Three-Tier FAST VP mit XtremCache .......................................................................... 38 XtremSF und XtremCache mit DSS-Workload..................................................................................... 40 Überblick ....................................................................................................................................... 40 Zwischenspeichern ........................................................................................................................ 40 Lokaler Speicher ............................................................................................................................ 41 EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 4 XtremCache mit SQL Server Failover Cluster Instance........................................................................ 42 Überblick ....................................................................................................................................... 42 Unterstützung von Microsoft Failover Clustering (aktiv/passiv) ...................................................... 42 Validierung .................................................................................................................................... 43 Fazit ................................................................................................................................................. 44 Zusammenfassung......................................................................................................................... 44 Ergebnisse ..................................................................................................................................... 44 Referenzen ....................................................................................................................................... 45 White Papers.................................................................................................................................. 45 Produktdo-kumentation ................................................................................................................. 45 Andere Dokumentation .................................................................................................................. 45 EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 5 Zusammenfassung Business Case Lösungsüberblick Wenn Unternehmen ihre Datenbanken und Anwendungen in die Private Cloud verlegen, müssen IT-Abteilungen für größere Effizienz und bessere Servicequalität sorgen. Dazu gehören folgende Aufgaben: • Ausweitung der leistungsfähigen Flashtechnologie des Speichers auf Hosts zur Unterstützung gemischter Workloads • Verlagerung von Workloads vom Speicherarray auf hostbasierten Flash, damit das Array mehr I/O-Abfragen anderer Anwendungen bedienen kann • Senkung der Investitionsausgaben und Betriebskosten • Aufrechterhaltung hoher Performancelevels und Bereitstellung zuverlässiger Performance zur Einhaltung der erforderlichen Servicequalität in diesen Umgebungen Vereinfachung der Speichermanagementprozesse und Steigerung der Performance durch Infrastruktur und Tools mit einem Minimum an manuellen Aufgaben EMC® Symmetrix® VMAX® 40K und zugehörige Managementtools wurden als Grundlage dieser Infrastruktur entwickelt und sollen echte geschäftliche Anforderungen unterstützen: • Performanceoptimierung – Optimierung und Priorisierung von Geschäftsanwendungen, sodass Kunden Ressourcen in einem einzigen Array dynamisch zuweisen können • Einfaches Management – Wegfall des manuellen Tiering von Anwendungen bei Änderungen der Performanceziele • Hostseitige Speicherbeschleunigung – Beschleunigung der Anwendungsperformance auf einen hohen Level und Platzierung aktiver Daten so nah wie möglich am Arbeitsspeicher des Servers durch Konsolidierung mit EMC XtremSF™ und EMC XtremCache™ NEC Express5800/A1080a-E bildet die Basisserverplattform dieser Lösung. Als 5. Generation der Enterprise-Speicherarchitektur von NEC tritt diese Serverreihe das Erbe von NEC bezüglich der Entwicklung skalierbarer Enterprise-Server an, die außergewöhnliche Konfigurationsflexibilität, Kapazität, Zuverlässigkeit und Verfügbarkeit bieten. Mit NEC Express5800/A1080a-E und VMware® vSphere® 5 auf dieser Plattform entsteht eine hervorragende Lösung zur Erfüllung der Anforderungen von Enterprise-Virtualisierung. Wichtige Ergebnisse Unsere Tests dieser Lösung bestehend aus der Symmetrix VMAX mit Enginuity™ 5876, EMC Fully Automated Storage Tiering for Virtual Pools (FAST VP™), XtremSF und XtremCache führten zu folgenden Performanceergebnissen: • XtremSF und XtremCache verbessern die OLTP-Performance, indem sie das Speicherarray von einem Großteil des Lese-I/O-Verkehrs entlasten, sodass Ressourcen für andere Anwendungen frei werden. • XtremSF und XtremCache können einen OLTP-Workload mit zentralem SAN-basierten Speicher stabil unterstützen und die Anwendungsperformance auf FAST VP mit zwei Tiers verbessern. • Durch die Unterstützung von Aktiv-Passiv-Hypervisor und physischem Cluster können XtremSF und XtremCache für Datenintegrität sorgen und gleichzeitig die Anwendungsperformance in einer Umgebung mit hoher Verfügbarkeit steigern. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 6 Einführung Zweck Dieses White Paper beschreibt Design, Tests und Validierung einer Enterprise VMware-Infrastruktur auf der Grundlage einer Symmetrix VMAX 40KSpeicherplattform mit Enginuity 5876, XtremSF und XtremCache. Diese Lösung zeigt, wie XtremSF und XtremCache FAST VP bezüglich Performance, Skalierbarkeit und anwendungsspezifischen Funktionen für repräsentative Anwendungsumgebungen einschließlich Microsoft SQL Server und Oracle ergänzen. Sie erledigt insbesondere folgende Aufgaben: • Validierung, dass XtremSF und XtremCache von mehreren Anwendungen in einer virtualisierten VMware-Umgebung gemeinsam genutzt werden können • Validierung, dass XtremCache auf Symmetrix VMAX mit aktiviertem FAST VP konsolidiert werden kann und dass Daten, auf die Workloads vor Kurzem zugegriffen haben, effektiv aus SAN-basiertem Speicher in XtremSF ausgelagert werden können • Validierung, dass XtremSF und XtremCache die Performance steigern können, um leseintensiven Workloads hervorragende Antwortzeiten zu bieten • Demonstration, dass durch Hinzufügen von XtremCache zu einer geclusterten SQL Server-Instanz für Datenintegrität gesorgt werden kann Umfang In diesem White Paper werden mehrere EMC Produkte und Produkte anderer Anbieter erläutert. Es umreißt verschiedene allgemeine Konfigurations- und Betriebsverfahren. Um jedoch detaillierte Informationen zur Produktinstallation zu erhalten, sollten Sie die Benutzerdokumentationen dieser Produkte konsultieren. Zielgruppe Dieses White Paper ist an EMC Mitarbeiter, Partner und Kunden gerichtet, einschließlich IT-Planer, Virtualisierungsarchitekten und -administratoren sowie alle anderen IT-Fachkräfte, die an Bewertung, Erwerb und Management, dem Betrieb oder dem Entwurf einer EMC Technologien nutzenden Infrastruktur beteiligt sind. Wir setzen für dieses White Paper voraus, dass Sie sich mit den Konzepten und dem Betrieb von Enterprise-Speicher und Virtualisierungstechnologien sowie deren Einsatz in Informationsinfrastrukturen ein wenig auskennen. Terminologie Tabelle 1 führt einige in diesem White Paper verwendete Begriffe auf. Tabelle 1. Terminologie Begriff Definition ASM Oracle Automatic Storage Management DSS Decision Support System (auch Data Warehouse) FAST VP Fully Automated Storage Tiering for Virtual Pools FC Fibre Channel FCI Failover Cluster Instance HBA Hostbusadapter EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 7 Begriff Definition HS Hot Swap IOPS I/O pro Sekunde LUN Logical Unit Number NIC Netzwerkschnittstellenkarte OLTP Online Transaction Processing (Onlinetransaktionsverarbeitung) pRDM Physisches Raw Device Mapping RAID Redundant Array of Independent Disks. SAN Storage Area Network SAS Serial Attached SCSI SATA Serial Advanced Technology Attachment SCSI Small Computer System Interface SLC Single-Level-Cell TDev Thin-Gerät TPS Transaktionen pro Sekunde VSI Virtual Storage Integrator EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 8 Wichtige Technologiekomponenten Überblick Bei dieser Lösung wurden folgende wichtige Hardware- und Softwarekomponenten verwendet: • EMC XtremSF • EMC XtremCache − EMC XtremSF und EMC XtremCache Hinweis: Nennungen von VFCache oder XtremSW Cache in diesem White Paper beziehen sich auf XtremCache. • EMC Symmetrix VMAX 40K • EMC Virtual Provisioning™ • EMC FAST VP • NEC Express5800/A1080a-E • VMware vSphere • Oracle Database 11g R2 Enterprise Edition • Microsoft SQL Server 2012 Enterprise Edition EMC XtremSF ist eine PCIe-Flashhardware, die auf dem Server bereitgestellt wird und die Anwendungsperformance durch eine geringere Latenz und einen schnelleren Durchsatz deutlich verbessert. XtremSF kann als lokales Speichergerät zur Beschleunigung der Lese- und Schreibperformance verwendet werden. XtremSF kann auch in Verbindung mit der ServerflashZwischenspeicherungssoftware EMC XtremCache verwendet werden und bietet dann eine beschleunigte Leseperformance mit Datensicherheit. Bei XtremCache handelt es sich um eine intelligente Zwischenspeicherungssoftware, die serverbasierte Flashtechnologie nutzt, um die Latenz zu reduzieren und den Durchsatz zu steigern. So wird die Anwendungsperformance deutlich verbessert. Einige Funktionen von XtremCache werden im Folgenden hervorgehoben. Weitere Informationen finden Sie im XtremCache-Installations- und Administrationshandbuch. Serverseitiges Flash-Zwischenspeichern für maximale Geschwindigkeit Die XtremCache-Software führt eine Zwischenspeicherung der am häufigsten referenzierten Daten auf dem Flashspeicher im Server (XtremSF oder anderer) aus, wodurch sich der Abstand zwischen Daten und Anwendung verringert. XtremCache passt sich automatisch den sich verändernden Workloads an, indem die am häufigsten referenzierten Daten bestimmt und im Serverflash gespeichert werden. Dies bedeutet, dass die aktivsten Daten automatisch auf der PCIe-Karte im Server gespeichert werden, damit schneller auf sie zugegriffen werden kann. XtremCache verlagert den Leseverkehr vom Speicherarray, wodurch anderen Anwendungen eine höhere Verarbeitungsleistung zugewiesen werden kann. Während eine Anwendung mit XtremCache beschleunigt wird, bleibt die Arrayperformance für andere Anwendungen gleich oder erhöht sich sogar leicht. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 9 Write-Through-Zwischenspeichern im Array für Rundumschutz Da XtremCache mit Write-Through-Cache ausgestattet ist und Schreibvorgänge direkt in den Speicher erfolgen, werden Lesevorgänge beschleunigt und Daten geschützt. So werden eine dauerhaft hohe Verfügbarkeit sowie dauerhafte Integrität und Disaster Recovery ermöglicht. Anwendungsunabhängigkeit XtremCache ist Anwendungen gegenüber transparent, deshalb sind keine erneuten Schreib-, Test- oder Zertifizierungsvorgänge erforderlich, um XtremCache in der Umgebung bereitzustellen. Integration in vSphere Die Integration des VSI-Plug-in in VMware vSphere vCenter vereinfacht das Management und die Überwachung von XtremCache. Minimale Auswirkungen auf Systemressourcen XtremCache erfordert keine großen Mengen Arbeitsspeicher oder CPU-Zyklen, da das Flashmanagement größtenteils auf XtremSF erledigt wird. Im Gegensatz zu anderen Serverflashlösungen kommt es durch die Verwendung von XtremSF und XtremCache nicht zu einem beträchtlichen Overhead bei Serverressourcen. Aktiv-Passiv-Clusterunterstützung von XtremCache Die Aktiv-Passiv-Clusterunterstützung ermöglicht Datenintegrität einer aktiv und passiv geclusterten Anwendung. Die Clusterunterstützung von XtremCache steigert darüber hinaus die Anwendungsperformance. EMC Symmetrix VMAX 40K Die EMC Symmetrix VMAX 40K mit Enginuity 5876 war die Tiered-StorageKonfiguration in dieser Testumgebung. Aufbauend auf einer Strategie für leistungsstarken, vertrauenswürdigen und intelligenten Speicher konnten in dieser Lösung Symmetrix VMAX-Arrays dank der integrierten, hoch skalierbaren Virtual Matrix Architecture™ nahtlos und kosteneffizient ausgebaut werden. Symmetrix VMAX unterstützt Flashlaufwerke, FC-Laufwerke (Fibre Channel) und SATA-Laufwerke innerhalb desselben Arrays sowie eine Vielzahl von RAID-Typen. Das EMC Enginuity-Betriebssystem steuert alle Komponenten im Symmetrix VMAX-Array. Enginuity 5876 für Symmetrix VMAX bietet Folgendes: • Höhere Effizienz: Neue Technologie für Migrationen (Tech Refreshes) ohne Ausfallzeiten und niedrigere Kosten dank automatisiertem Tiering • Höhere Skalierbarkeit: Bis zu zweimal mehr Performance und potenzielle Steigerung der zu managenden Kapazität je Speicheradministrator um das Zehnfache • Höhere Sicherheit: Integrierte Verschlüsselung, integriertes RSA-KeyManagement, erhöhter Wert für virtuelle Server- und Mainframeumgebungen, Replikationsoptimierungen und ein neues elektronisches Lizenzierungsmodell EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 10 EMC Virtual Provisioning EMC Virtual Provisioning ist die EMC Implementierung von Thin Provisioning. Es wurde entwickelt, um das Speichermanagement zu vereinfachen, die Kapazitätsauslastung zu erhöhen und die Performance zu steigern. Virtual Provisioning sorgt für die Trennung der physischen Speichermedien von den Speichergeräten, wie sie von Hostsystemen wahrgenommen werden. Dies ermöglicht unterbrechungsfreies Provisioning und effizientere Speichernutzung. Die Lösung verwendet für alle implementierten Anwendungen virtuell bereitgestellten Speicher. Weitere Informationen zu Virtual Provisioning finden Sie im EMC Solutions Enabler Symmetrix Array Controls CLI v7.4 Product Guide. EMC FAST VP EMC FAST VP ist eine Funktion von Enginuity 5875 und höher, die automatisches Speicher-Tiering auf der Sub-LUN-Ebene ermöglicht. Bei den virtuellen Pools handelt es sich um Thin-Pools von Virtual Provisioning. FAST VP unterstützt das Verschieben von Sub-LUN-Daten in Umgebungen mit Thin Provisioning. FAST VP verbindet die Vorteile von Virtual Provisioning mit automatisiertem Speicher-Tiering auf Sub-LUN-Level und ermöglicht so eine Optimierung von Performance und Kosten, während das Speichermanagement vereinfacht und die Speichereffizienz gesteigert wird. Die Datenverschiebung zwischen Tiers über FAST VP basiert auf Performancemessungen und benutzerdefinierten Policies. Sie wird automatisch unterbrechungsfrei ausgeführt. NEC Express5800/ A1080a-E Der NEC Express5800/A1080a verfügt über viele wichtige Designmerkmale, die für große Virtualisierungen mit gemischten Workloads ideal sind. Mit einer maximalen Arbeitsspeicherkonfiguration von 2 TB, 8 CPU-Sockeln (160 Threads) und 14 PCI-Express-2.0-Steckplätzen, die komplette Datenbank-, Anwendungsund Webinfrastrukturen auf einen einzigen NEC Express5800/A1080a konsolidieren, gehört dieser Server zur bevorzugten Lösung für wachsende ITAnforderungen. VMware vSphere Für diese Lösung werden Microsoft SQL Server und die Oracle-Anwendungsserver vollständig mit VMware vSphere 5 virtualisiert. In diesem Abschnitt wird die Virtualisierungsinfrastruktur beschrieben, die folgende Komponenten und Optionen verwendet: • VMware vSphere 5.0.1 • VMware vCenter-Server • EMC PowerPath®/VE für VMware vSphere Version 5.7 VMware vSphere 5 VMware vSphere 5 ist eine umfassende, skalierbare und leistungsstarke Virtualisierungsplattform. Sie bietet Infrastrukturservices, die die IT-Hardware in eine leistungsfähige gemeinsame Computing-Plattform verwandeln, und Anwendungsservices, mit der IT-Abteilungen ein Höchstmaß an Verfügbarkeit, Sicherheit und Skalierbarkeit bereitstellen können. VMware vCenter-Server VMware vCenter ist die zentrale Managementplattform für vSphere-Umgebungen, die auf jeder Ebene der virtuellen Infrastruktur Kontrolle und Sichtbarkeit bietet. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 11 EMC PowerPath/VE EMC PowerPath/VE für VMware vSphere bietet PowerPath-MultipathingFunktionen zur Optimierung von virtuellen VMware vSphere-Umgebungen. PowerPath/VE wird als Kernel-Modul auf dem VMware ESXi-Host installiert und funktioniert als MPP (Multipathing-Plug-in), das erweiterte Pfadmanagementfunktionen für ESXi-Hosts bereitstellt. Oracle Database 11g R2 Oracle Database 11g Release 2 Enterprise Edition bietet Performance, Skalierbarkeit, Sicherheit und Zuverlässigkeit mit einer Auswahl an Cluster- oder Einzelservern, die auf Windows, Linux oder UNIX ausgeführt werden. Sie bietet umfassende Funktionen für Transaktionsverarbeitungs-, Business-Intelligenceund Contentmanagementanwendungen. Oracle Automatic Storage Management Oracle ASM (Automatic Storage Management) ist ein Volume Manager und Dateisystem für Oracle-Datenbanken. ASM ist die von Oracle empfohlene Speichermanagementlösung als Alternative zu herkömmlichen Volume Managers, Dateisystemen und unformatierten Medien. ASM verwendet Festplattengruppen zur Speicherung von Datendateien. Eine ASMFestplattengruppe ist eine Sammlung von Festplatten, die vom ASM als eine Einheit gemanagt werden. Innerhalb einer Festplattengruppe stellt ASM eine Dateisystemschnittstelle für Oracle-Datenbankdateien bereit. Dateiinhalte werden gleichmäßig über die Festplattengruppe verteilt, um Hotspots zu vermeiden und eine einheitliche Performance über alle Festplatten zu erreichen. Die Performance ist mit der von unformatierten Medien vergleichbar. Oracle Grid-Infrastruktur Die Oracle Grid-Infrastruktur wurde für diese Lösung als eigenständiger Server installiert. Die Oracle Grid-Infrastruktur bietet als eigenständiger Server Unterstützung für eine Oracle-Datenbank mit Funktionen für Volume-Management, Dateisystem und automatischen Neustart. Wenn Sie vorhaben, Oracle Restart oder Oracle ASM einzusetzen, müssen Sie die Oracle Grid-Infrastruktur vor Installation und Erstellung der Datenbank installieren. Die Oracle Grid-Infrastruktur als eigenständiger Server kombiniert Oracle Restart und Oracle ASM in einem einzigen Satz Binärdateien, der ins Stammverzeichnis der Oracle Grid-Infrastruktur installiert wird. Microsoft SQL Server 2012 Microsoft SQL Server 2012 ist das Datenbankmanagement- und Analysesystem von Microsoft für E-Commerce-, Geschäftsbereichs- und Data-WarehousingLösungen. Durch den Einsatz von SQL Server 2012 auf einer modernen Plattform erhalten Anwender integrierte, geschäftskritische Funktionen und können sich mithilfe von bekannten Analysetools und auf Unternehmen zugeschnittenen Big Data-Lösungen Insights auf allen Ebenen des Unternehmens verschaffen. SQL Server Failover Clustering Bei SQL Server Failover Clustering arbeiten das Betriebssystem und SQL Server zusammen und sorgen bei einem Anwendungsausfall, Hardwareausfall oder Betriebssystemfehler für Verfügbarkeit. Failover Clustering bietet Hardwareredundanz mit einer Konfiguration, in der funktionstüchtige, gemeinsame Ressourcen automatisch von einem ausgefallenen Computer an einen gleich konfigurierten Server übertragen werden. SQL Server Failover Clustering ist im Aktiv-Passiv-Modus für eine Instanz eines Datenbanksatzes verfügbar. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 12 Lösungsarchitektur und -design Überblick Lösungen von EMC sind validierte Architekturen, die Bereitstellungen aus der realen Welt reflektieren. Dieser Abschnitt beschreibt die wichtigsten Komponenten und Ressourcen sowie die allgemeine Architektur, aus denen diese Lösung und ihre Umgebung bestehen. Physische Architektur Abbildung 1 zeigt die physische Architektur dieser Lösung. Abbildung 1. Diagramm der physischen Architektur Diese Lösung baut auf einem EMC Symmetrix VMAX 40K-Array mit Enginuity 5876 auf. Das Array besteht aus einer Mischung aus Flash-, FC- und SATA-Laufwerken. FAST VP überwacht die Performance und optimiert diese basierend auf den Zugriffsmustern und vordefinierten FAST-Policies fortlaufend durch die Umverteilung von Daten über Storage Tiers hinweg. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 13 Wir haben Microsoft SQL Server 2012 (2 OLTP-Workloads und 1 DSS (Decision Support System)) und Oracle 11g R2 (OLTP) bereitgestellt. Darüber hinaus haben wir Microsoft Failover Clustering auf der virtualisierten Umgebung eingerichtet, um die Konsolidierung mit XtremCache und MSCS (Microsoft Cluster Service) zu validieren. Diese Anwendungen wurden auf virtuellen Maschinen in einer VMware vSphere 5-Clusterumgebung auf EMC VMAX 40K-Speicher ausgeführt. Über Load-Generator-Tools wurden diese Anwendungen gleichzeitig versorgt, um die Infrastruktur und die Funktion der XtremCache-Beschleunigung zu validieren. Failover wurde für SQL Server Failover Clustering durchgeführt, um die Integration von XtremCache und WSFC (Windows Server Failover Clustering) zu überprüfen. Die Auswirkungen der angewandten FAST-Policy finden Sie im Abschnitt „Prozesse für Performancetests“ dokumentiert. Hardwareressourcen Tabelle 2 listet die in dieser Lösungsumgebung verwendeten Hardwareressourcen auf. Tabelle 2. Hardwareressourcen Hardware Menge Konfiguration EMC Symmetrix VMAX 40K Enginuity 5876 1 • Mit 3 Engines, 128 GB Cache pro Engine • 33 Flashlaufwerke mit je 200 GB (einschließlich 1 HS) • 132 FC-Laufwerken mit je 600 GB, 10.000 U/min (einschließlich 6 HS) • 70 SATA-Laufwerke mit je 2 TB, 7.200 U/min (einschließlich 3 HS) • 64 FC-Laufwerke mit je 450 GB, 15.000 U/min (einschließlich 2 HS) NEC Express5800/A1080a-E 2 • 8 Sockel (10 Kerne/2,40 GHz/30 MB Cache) • 1 TB RAM • 4 GbE-IP-Ports • 4 2,5-Zoll-SAS-Laufwerke mit je 146 GB, 15.000 U/min • 1 interner RAID-Controller • 12 8x-PCIe-Steckplätze/2 16x-PCIeSteckplätze • 2 2-Port-HBAs mit 8 Gbit/s (4 FC) • 1 4-Port-GbE-NIC SAN 1 8 Gbit Fibre-Channel-Switch der EnterpriseKlasse EMC XtremSF 2 SLC-PCIe-Karten mit 700 GB EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 14 Softwareressourcen Speicherkonnektivität Tabelle 3 listet die in dieser Lösungsumgebung verwendeten Softwareressourcen auf. Tabelle 3. Softwareressourcen Software Version EMC Symmetrix VMAX Enginuity 5876 EMC XtremCache 1.5 EMC PowerPath/VE für VMware 5.7 EMC Unisphere® for VMAX 1 EMC Solutions Enabler 7.4 VMware vSphere 5 (Enterprise Plus) 5.0.1 Oracle ASMlib 2.0.5 Oracle Database 11g R2 11.2.0.3 Microsoft Windows Server 2008 R2 SP1 Microsoft SQL Server 2012 RTM Microsoft TPC-E Toolkit 1.12.0 Quest Benchmark Factory 5.8.1 Red Hat Enterprise Linux Server 5.7 Swingbench 2.3 Die Anwendungs-Workloads waren logisch über die Masking-Ansichten in der VMAX 40K und den HBAs getrennt. Abbildung 2 zeigt die Front-end-Portbelegung jeder Anwendung. Oracle- und SQL Server-OLTP-Workloads befanden sich auf getrennten ESXi-Hosts, nutzten jedoch die 8 Front-end-Ports der VMAX gemeinsam. Die SQL Server-OLTPund DSS-Workloads befanden sich auf demselben ESXi-Host, jedoch an getrennten Front-end-Ports der VMAX. Dies wurde so konfiguriert, um die Anwendungen nach I/O-Größe zu trennen. Die OLTP-Anwendung wird mit einer typischen I/O-Größe von 8 bis 64 KB in IOPS gemessen. Beim DSS wird die Festplattenperformance aufgrund der höheren I/O-Größen von 8 bis 256 KB anhand des Durchsatzes (in Megabyte pro Sekunde) gemessen. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 15 Abbildung 2. Logische Gruppierung der Anwendungsports Speicherdesign für EMC Virtual Provisioning vereinfacht das Speicherdesign deutlich. Wir haben auf dem Array 4 auf den verfügbaren Laufwerkstypen basierende Thin-Pools erstellt. Virtual Provisioning Tabelle 4 zeigt die Thin-Pool-Definitionen. Tabelle 4. Thin-Pool-Konfiguration Name des ThinPools Laufwerksgröße/ Technologie/ U/min Anz. der Laufwerke Größe des Datengeräts Anz. der Datengeräte Poolkapazität Verwendung von FAST VP FLASH_3RAID5 200 GB Flash RAID 5 (3+1) 32 68,8 GB 64 4,2 TB Oracle-/SQL Server-OLTP FC10K_RAID1 600 GB, FC, 10.000 RAID 1 126 66 GB 504 32 TB Oracle-/SQL Server-OLTP FC15K_RAID1 450 GB, FC, 15.000 RAID 1 64 49,2 GB 256 12,2 TB DSS SATA_6RAID6 2 TB, SATA, 7.200 RAID 6 (6+2) 72 240 GB 256 60 TB Oracle-/SQL ServerOLTP/DSS RAIDSchutz Für diese Lösung wurden die Oracle- und die Microsoft-OLTP-Anwendungen an den Pool FC10K_RAID1 gebunden. Die Microsoft-DSS-Anwendung war an den aus weniger Laufwerken bestehenden Pool FC15K_RAID1 gebunden. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 16 FAST VPKonfiguration VMAX-Speicheradministratoren können performanceorientierte Policies, die mehr Kapazität von Flashlaufwerken für kritische Anwendungen nutzen, und kostenoptimierende Policies festlegen, aufgrund derer mehr Kapazität auf SATALaufwerken für weniger kritische Anwendungen genutzt wird. Die ideale FAST VP-Policy besteht darin, sämtliche Kapazität aller enthaltenen Tiers zuzuweisen. Eine derartige Policy stellt die größte Flexibilität für eine verbundene Speichergruppe bereit, da sie 100 Prozent ihrer Kapazität an einen beliebigen Tier innerhalb der Policy herauf- oder herunterstuft. Data-Warehouse-Anwendungen neigen jedoch zu scanintensiven Operationen, die gleichzeitig auf große Datenmengen zugreifen und im Allgemeinen Leseoperationen sammeln. Diese Operationen führen zu höheren I/O-Größen als bei OLTP-Workloads. Sie benötigen ein Speichersubsystem, das den erforderlichen Durchsatz bieten kann. Dadurch wird der Durchsatz – in Megabyte pro Sekunde (MB/s) – zur kritischen Messgröße. Obwohl Speicher mit Flashlaufwerken einen Durchsatz von über 100 MB/s erreichen kann, eignet er sich normalerweise besser dafür, einen kleinen Teil der aktiven Daten der Datenbanken zur Verfügung zu stellen. Daher haben wir in dieser Lösung eine aus FC- und SATA-Speicher bestehende Policy mit zwei Tiers eingesetzt, um eine kosteneffiziente Speichermischung zu erhalten, die die Anforderungen von DSS-Workloads erfüllt. Tabelle 5 zeigt die FAST VP Policies, die für die Anwendungs-Workloads in dieser Lösung für Oracle, SQL Server-OLTP und SQL Server-DSS verwendet wurden. Tabelle 5. FAST VP Policy für Oracle, SQL Server-OLTP und SQL Server-DSS Speichergruppe Name der FAST-Policy Flash FC SATA MSSQL_OLTP MSSQL_OLTP 100 % 100 % 100 % MSSQL_DSS MSSQL_DSS 0% 100 % 100 % Oracle Oracle 100 % 100 % 100 % Überlegungen zum Speicherdesign Das Design richtet sich nach folgenden empfohlenen Best Practices für geschäftskritische Datenbankanwendungen mit FAST VP: • Verwendung separater Speicher-Volumes für Datendateien und Protokolldateien • Verwendung separater Dateigruppen für große Datenbanken • Folgen der Empfehlung von EMC, getrennte ASM-Festplattengruppen für DATA, REDO, FRA und TEMP einzurichten • Bindung aller Thin-Geräte an den FC-Tier • Bindung von Protokollgeräten und temporären Dateien an den FC-Tier Abbildung 3 zeigt einen Überblick über die Konfigurationen der einzelnen kritischen Anwendungen für FAST VP. In dieser Implementierung werden von FAST VP nur DatenLUNs gemanagt. LUNs für BS, TEMP und LOG sind an den FC-Tier gebunden, wodurch sie aus Entscheidungen und Verschiebungen von FAST VP herausfallen. Hinweis: Die DSS-SQL Server-Instanz tempdb wurde nach Verschiebung der DSS-tempdb zu XtremCache ausgelagert. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 17 Abbildung 3. Allgemeine Übersicht über die FAST VP-Konfiguration für geschäftskritische Anwendungen Oracle-Datenbank- Das Swingbench-Schema Order Entry – PL/SQL Server (SOE) wurde verwendet, um die für diese Lösung erforderlichen OLTP-Workloads bereitzustellen. Swingbench und Workloadbesteht aus einem Load Generator, einem Koordinator und einen Profil Clusterüberblick. Die Software lässt zu, dass eine Last erzeugt und die Transaktionen sowie die Antwortzeiten aufgezeichnet werden. Tabelle 6 enthält Einzelheiten zum Oracle-Datenbank- und Workload-Profil dieser Lösung. Tabelle 6. Oracle-Datenbank- und Workload-Profil Profilmerkmal Details Datenbankgröße 2 TB Datenbankversion Oracle Database 11g R2 Einzelinstanz Speichertyp Oracle ASM Oracle SGA (System Global Area) 24 GB Workload-Typ OLTP Workload-Profil Workload für Swingbench Order Entry (TPC-Cähnlich) Datenbankmetrik Transaktionen pro Sekunde (TPS) Verhältnis von Workload-Lese/Schreibvorgängen 80:20 Swingbench-Sitzungen 1.800 EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 18 OracleDatenbankschema 2 identische Schemata wurden verwendet, um die für diese Lösung erforderlichen OLTP-Workloads bereitzustellen: die Schemata SOE1 und SOE2. Ein Swingbench Order Entry-Workload wurde erzeugt und mit Schema SOE1 durchgeführt. Da die I/O-Verteilung über die Datenbank komplett gleichmäßig und zufällig erfolgte, wurden Abweichungen auf Sub-LUN-Ebene verringert (da die gesamte Datenbank sehr aktiv war). Daher blieb das zweite Schema SOE2 inaktiv, um eine normale Umgebung zu simulieren, in der nicht auf alle Objekte oft zugegriffen wird. Tabelle 7 beschreibt die Tabellen und Indizes des in dieser Lösung verwendeten SOE-Schemas (SOE1). Tabelle 7. SOE-Schema Tabellenname Index CUSTOMERS CUSTOMERS_PK (UNIQUE), CUST_ACCOUNT_MANAGER_IX, CUST_EMAIL_IX, CUST_LNAME_IX, CUST_UPPER_NAME_IX INVENTORIES INVENTORY_PK (UNIQUE), INV_PRODUCT_IX, INV_WAREHOUSE_IX ORDERS ORDER_PK (UNIQUE), ORD_CUSTOMER_IX, ORD_ORDER_DATE_IX, ORD_SALES_REP_IX, ORD_STATUS_IX ORDER_ITEMS ORDER_ITEMS_PK (UNIQUE), ITEM_ORDER_IX, ITEM_PRODUCT_IX PRODUCT_DESCRIPTIONS PRD_DESC_PK (UNIQUE), PROD_NAME_IX PRODUCT_INFORMATION PRODUCT_INFORMATION_PK (UNIQUE), PROD_SUPPLIER_IX WAREHOUSES WAREHOUSES_PK (UNIQUE) LOGON – Datenbankservices sind die Einstiegspunkte einer Oracle-Datenbank, die das OracleDatenbankservices Workload-Management über das Cluster hinweg ermöglichen. Für diese Lösung wurde jedem Testschema, wie in Tabelle Tabelle 8 aufgelistet, ein Datenbankservice zugeordnet. Dadurch konnten auch die Überwachungsergebnisse der Oracle-I/O jedem individuellen Service und somit dem Schema zugeordnet werden. Tabelle 8. Oracle-Datenbankservices Schema Service Instanz Swingbench-Sitzungen SOE1 SOE1.oracledb.ie orafast 1.800 SOE2 SOE2.oracledb.ie orafast 0 EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 19 Oracle-LUNKonfiguration Workload-Typ des Microsoft SQL Server Workload und Profil von SQL Server 2012-DSS Tabelle 9 beschreibt die LUN-Konfiguration für die Oracle-Anwendung. Tabelle 9. Oracle-LUN-Konfiguration ASMLaufwerksgruppe TDev-Hyper-Größe Anzahl TDevs Kapazität (GB) +DATA 64 GB 2 128 +SOE1 64 GB 15 960 +SOE2 64 GB 15 960 +FRA 64 GB 2 128 +TEMP 64 GB 1 64 +REDO 64 GB 1 64 Summe (GB) 2304 Die folgenden 2 Anwendungen haben in der Testumgebung die verschiedenen Workload-Muster erzeugt, die auf der Microsoft SQL Server 2012-Plattform der Enterprise-Klasse laufen: • Eine TPC-E-ähnliche Anwendung, die als typische OLTP-Anwendung agiert • Eine TPC-H-ähnliche Anwendung, die als typische DSS-Anwendung agiert Der Test-Workload für die SQL Server 2012-DSS-Anwendung basierte auf einem TPC-H-ähnlichen Workload. Die TPC-H-ähnliche Anwendung simuliert den Analyseteil der Businessumgebung, in dem Trends berechnet und resultierende Daten fundierte Geschäftsentscheidungen unterstützen. In einer TPC-H-ähnlichen Anwendung wird die DSS-Datenbank, deren Inhalt von verschiedenen Entscheidungsträgern oder in deren Namen abgefragt wird, regelmäßig aktualisiert. Tabelle 10 enthält Einzelheiten zum SQL Server-DSS-Datenbank- und Workload-Profil dieser Lösung. Tabelle 10. SQL Server-DSS-Datenbank und -Anwendungsprofil Profilmerkmal Details Gesamtdatenbankkapazität von SQL Server 2 TB Anzahl der SQL Server-Instanzen 1 Gleichzeitige Benutzer 2 Lese-/Schreibverhältnis (Anwenderdatenbanken) 100:0 (typisch) EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 20 LUN-Konfiguration von SQL Server 2012-DSS Workload und Profil von SQL Server 2012-OLTP Tabelle 11 zeigt die LUN-Auslastung von Microsoft SQL Server-DSS-LUNs und wie sie verwendet wurden. Tabelle 11. LUN-Verwendung von Microsoft SQL Server-DSS Zweck LUN-Größe Anzahl TDevs Kapazität (GB) Datenspeicher für virtuelle Maschinen von SQL Server-DSS 128 1 128 Dateigruppe 1–8 480 8 3840 Log 64 1 64 tempdb log 32 1 32 tempdb 64 6 384 Summe (GB) 4.448 Der Test-Workload für die SQL Server 2012-OLTP-Anwendungsinstanzen basierte auf einem TPC-E-ähnlichen Workload. Er setzte sich aus einer Reihe Transaktionsoperationen zusammen, die einen Onlinebörsenhandelsplatz simulieren. Diese Operationen sind latenzempfindlich und kombinieren mehrere Abfragetypen. Darunter befinden sich Einfüge- und Aktualisierungsoperationen pro Anwendungstransaktion. OLTP-Anwendungen werden hauptsächlich stark indiziert, um Abrufe mit geringer Latenz zu unterstützen. Diese Abrufe betreffen wenige Reihen aus Datasets mit oft nur geringem historischen Datenvolumen. Diese Art von Datenbankoperationen ist mit umfangreichen Bewegungen des Festplattenkopfes verbunden und erzeugt klassische Scanmuster mit zufälligen I/O-Operationen. Tabelle 12 enthält Einzelheiten zum Profil der SQL Server-OLTP-Datenbank und Workload dieser Lösung. Tabelle 12. SQL Server-OLTP-Datenbank und -Anwendungsprofil Profilmerkmal Details Gesamtdatenbankkapazität von SQL Server 1 TB Anzahl der SQL Server-Instanzen 2 Anzahl der Anwenderdatenbanken pro virtueller Maschine 1 (400 GB, 600 GB) Gleichzeitige Benutzer Gemischte Workloads zur Simulation einer aktiven und einer weniger aktiven Anwendungsumgebung Lese-/Schreibverhältnis 90:10 EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 21 LUN-Konfiguration von SQL Server 2012-OLTP Tabelle 13 und Tabelle 14 zeigen die LUN-Verwendung der Microsoft SQL Server-LUNs. Tabelle 13. Zweck LUN-Größe Anzahl TDevs Kapazität (GB) Datenspeicher für virtuelle Maschinen von SQL Server-OLTP 128 1 128 SQL1 tpce root 64 1 64 SQL1 Dateigruppe 1–8 128 8 1024 SQL1_Log 256 1 256 SQL1 tempdb log 64 1 64 SQL1 tempdb 64 4 256 Summe (TB) 1.792 Tabelle 14. Einstellungen für DSS- und OLTPWorkloads von SQL Server 2012 und Windows 2008 R2 Microsoft SQL Server-LUN-Verwendung – SQL Server-OLTP-Instanz Nr. 1 Microsoft SQL Server-LUN-Verwendung – SQL Server-OLTP-Instanz Nr. 2 Zweck LUN-Größe Anzahl TDevs Kapazität (GB) Datenspeicher für virtuelle Maschinen von SQL Server-OLTP 128 1 128 SQL2 tpce root 32 1 32 SQL2 Dateigruppe 1–8 64 8 512 SQL2_Log 128 1 128 SQL2 tempdb log 64 1 64 SQL2 tempdb 64 4 256 Summe (TB) 1.120 Einstellungen für Betriebssystem und SQL Server-Instanz Für die Tests mit SQL Server 2012 haben wir Windows 2008 R2 als Betriebssystem eingesetzt. Für die DSS- und OLTP-Workloads wurden folgende Einstellungen verwendet: • Bei der SQL Server-Instanz wurde die Unterstützung von Arbeitsspeicher für umfangreiche Seiten über Startparameter 834 aktiviert. • Bei den SQL Server-Instanzen wurde die Option Lock pages in memory verwendet. • Alle Daten- und Protokoll-LUNs wurden mit einer Zuordnungseinheitengröße von 64 KB formatiert. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 22 Datenbankeinstellungen Für Anwenderdatenbanken wurden folgende Einstellungen verwendet: • Mehrere Datendateien für DSS-Anwenderdatenbank: 16 Datendateien auf 16 Thin-Geräten (TDevs) • Mehrere Datendateien für OLTP-Anwenderdatenbank: 8 Datendateien auf 8 TDevs • Die Option für automatisches Wachstum von Datendateien wurde deaktiviert, das Wachstum aller Datendateien wurde manuell gesteuert. Für tempdb wurden folgende Einstellungen verwendet: • Im Voraus zugewiesener Speicherplatz mit 1 Datendatei pro LUN, bei gleicher Größe aller Dateien • Zuweisung der temporären Protokolldateien zu einer der für die Protokolldateien dedizierten LUNs • Aktivierung von automatischem Wachstum: Im Allgemeinen eignet sich bei Data Warehouse Workloads die Verwendung eines großen Wachstumsinkrements. Ein Wert von ca. 10 Prozent der ursprünglichen Dateigröße stellt einen angemessenen Startpunkt dar. Bei der Größenplanung für Datenbank und tempdb sind wir den Standard-BestPractices für SQL Server gefolgt. Weitere Informationen finden Sie unter Kapazitätsplanung für tempdb in der Onlinedokumentation von SQL Server. Für das Transaktionsprotokoll haben wir folgende Konfiguration verwendet: Konfiguration von VMware vSphere • Eine einzige Transaktionsprotokolldatei wurde pro Datenbank in einer der LUNs erstellt, die dem Transaktionsprotokoll zugewiesen sind. Die Protokolldateien für verschiedene Datenbanken wurden auf alle verfügbaren LUNs verteilt. Alternativ wurden nach Bedarf mehrere Protokolldateien für das Protokollwachstum verwendet. • Die automatische Wachstumsoption für Protokolldateien wurde aktiviert. VMware vCenter sorgte für eine skalierbare und erweiterbare Plattform zum zentralen Management von vSphere-Umgebungen, die auf jeder Ebene der virtuellen Infrastruktur Kontrolle und Sichtbarkeit bot. Wir haben 2 ESXi5-Hosts mit dem VMAX 40K-Array verbunden. Auf Host A lief die virtuelle Maschine für Oracle zusammen mit der für den FCI-Stand-by-SQL Server. Auf Host B liefen die virtuellen Maschinen für SQL Server-OLTP und -DSS sowie für den FCI-Active-SQL Server. Die geclusterten SQL Server-Daten-LUNs verwendeten pRDM-Festplatten (physical Konfiguration der virtuellen VMware- Raw Device Mapping). Neben diesen gemeinsam genutzten Festplatten verwendeten alle virtuellen Maschinen in dieser Konfiguration VMDKs (Virtual Maschine Machine Disks) auf VMFS-Datenspeicher-Volumes (VMware Virtual Machine File System), einschließlich BS- und Start-LUNs. Jeder VMFS-Datenspeicher beherbergte eine einzige VMDK, um eine hohe Performance zu ermöglichen und Konflikte auszuschließen. Diese Vorgehensweise stellte sicher, dass mit EMC TimeFinder Clone und Snap auf dem VMAX 40K-Array Wiederherstellungen auf Anwendungsebene durchgeführt werden konnten. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 23 Tabelle 15 zeigt die CPU- und Arbeitsspeicherzuordnung für jede virtuelle Maschine der Anwendungen. Tabelle 15. SQL Server 2012Clustering auf VMware CPU- und Arbeitsspeicherzuordnung der virtuellen Maschinen Anwendung Name der virtuellen Maschine Anzahl der CPUs RAM (MB) Oracle ORACLEDB 32 54.272 Microsoft SQL Server-DSS SQLTPCH01 32 131.072 Microsoft SQL Server-OLTP SQLTPCE01 32 16.000 SQLTPCE02 32 16.000 Domain controller 4 4.096 In dieser Lösung wurde für den Funktionstest von XtremCache eine geclusterte SQL Server-Instanz über 2 ESXi-Hosts eingerichtet. Das Cluster erforderte spezielle Hardware und Software. Die ESXi-Hosts waren folgendermaßen konfiguriert: • Ein für den VMkernel dedizierter physischer Netzwerkadapter • Gemeinsamer Speicher auf einem Fibre-Channel-SAN (In dieser Lösung gehörten die 2 gemeinsam genutzten Festplatten zur VMAX 40K.) • RDM im Physical Compatibility Mode (Pass-through) Tabelle 16. LUN-Verwendung von Microsoft SQL Server-FCI (Failover Cluster Instance) Zweck Anzahl der LUNs Kapazität (GB) Datenspeicher für Start-LUN von SQL Server-FCI 2 160 Datenspeicher für MSDTC (Microsoft Distributed Transaction Coordinator) 1 200 Datenspeicher für Microsoft SQL Server-Anwenderdatenbanken 2 200 Summe (TB) 0,92 EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 24 EMC Virtual Storage Integrator EMC VSI (Virtual Storage Integrator) bietet direkt über die vCenter-GUI einen besseren Einblick in die Symmetrix VMAX 40K. Abbildung 4 zeigt Informationen über den Datenspeicher und den Speicherpool sowie Details zur Verwendung des virtuellen Pools durch den Datenspeicher Oracle_SOE1_1. Abbildung 4. Informationen zu Datenspeicher und Speicherpool im VSI Die VMFS-Datenspeicher und pRDM-Festplatten dieser Lösung befanden sich auf VMAX 40K-Volumes. Abbildung 4 zeigt die Speicherzuordnung vom ESXi-Server und der Symmetrix VMAX 40K mit Details zu den VMFS-Datenspeichern und den LUNs. Die Funktion Storage Viewer des VSI liefert Einzelheiten über VMFS-Datenspeicher wie beispielsweise über die VMAX-Speicher-Volumes mit den Datenspeichern, die Pfade zu den physischen Speichermedien, Nutzungsinformationen des Pools und Performancestatistiken zum Datenspeicher. Abbildung 5 zeigt die LUN-Ansicht im VSI. Hier können Administratoren die Symmetrix-Geräte-ID der LUNs und Datenspeicher nachsehen, wenn bei den VMAXLUNs benutzerdefinierte Bezeichnungen gesetzt wurden. Administratoren können diese Listen in CSV-Dateien exportieren, um sie mit VMware PowerCLI-Skripten anzupassen und schnell Datenspeicher für die ESXi-Hosts bereitzustellen. Abbildung 5. LUN-Ansicht im EMC Virtual Storage Integrator EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 25 Konfiguration von XtremCache mit VMware In einer VMware-Umgebung befindet sich die XtremCache-Karte im ESXi-Server, während die XtremCache-Software auf jeder der virtuellen Maschinen installiert wird, die durch XtremCache beschleunigt werden. Zum Management von XtremCache dient das XtremCache-VSI-Plug-in, das sich auf dem vCenter-Client befindet. XtremCache kann die Performance von RDM- oder VMFS-LUNs in einer VMware-Umgebung beschleunigen. Die Installation von XtremCache erfolgt verteilt über verschiedene Komponenten des vSphere-Systems. Abbildung 6 zeigt die Position dieser installierten Komponenten. Die XtremCache-Software wird auf den Gastmaschinen und das XtremCache-VSI-Plug-in auf einem vSphere-Client installiert. Abbildung 6. XtremCache in einer VMware-Umgebung EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 26 Mehrere virtuelle Maschinen können auf demselben ESXi-Server die Performancevorteile einer einzigen XtremSF-Karte gemeinsam nutzen. Wie in Abbildung 7 gezeigt, ist das Flashgerät (VMFS) in virtuelle Laufwerke unterteilt und kann von den virtuellen Maschinen genutzt werden. Weitere Informationen zur Konfiguration von XtremCache für VMware finden Sie im XtremCache Installation Guide for VMware 1.5. Abbildung 7. XtremCache in einer VMware-Umgebung XtremCache ist in VSI-Plug-ins integriert, um Management und Überwachung von XtremCache zu erleichtern. Abbildung 8 zeigt die Verwendung von VSI zum Management von XtremCache in der VMware-Umgebung. Abbildung 8. VSI-Management von XtremCache EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 27 Wir haben die Anzahl der ausgelagerten I/Os durch die XtremCache-Karte, wie in Abbildung 9 dargestellt, überwacht und beobachtet. Abbildung 9. VSI-XtremSF-Monitor EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 28 Prozesse für Performancetests Überblick In diesem Abschnitt wird beschrieben, wie wir die Anwendungen in der Lösungsumgebung getestet haben. Jeder Test wird in den folgenden Abschnitten detailliert beschrieben. Anmerkungen Validierung • Benchmarkergebnisse hängen sehr stark von Workload, besonderen Anwendungsanforderungen sowie Systemdesign und -implementierung ab. Die relative Systemperformance variiert also basierend auf diesen und anderen Faktoren. Daher sollte dieser Workload nicht als Ersatz für einen Benchmark einer speziellen Kundenanwendung dienen, wenn wichtige Kapazitätsplanung oder Entscheidungen zu Produktevaluierungen im Fokus stehen. • Die Umgebung wurde gründlich kontrolliert. Ergebnisse aus anderen Betriebsumgebungen können deutlich von den hier gewonnenen abweichen. • EMC Deutschland GmbH gibt keine Gewährleistung, dass ein Anwender eine ähnliche Performance, wie hier beschrieben, erreichen kann oder wird. Um die Umgebung zu validieren, haben wir alle Anwendungen bereitgestellt und mit Testdaten versehen. Jede der Anwendungen (Oracle, SQL Server-OLTP und SQL Server-DSS) wurde am Produktionsspeicherort bereitgestellt. Während sie gleichzeitig auf dem VMAX 40K-Speicherarray liefen, wurden alle Anwendungen mit Workloads belastet. Zusätzlich zu den Überwachungstools für die Anwendungsperformance haben wir das Performance Analyzer-Modul von Unisphere auf der VMAX verwendet, um Daten zur Speicherperformance zu überwachen und zu sammeln. AnwendungsWorkloads Wir haben bei jeder Anwendung Load-Generator-Tools eingesetzt, um echte Anwenderinteraktionen nachzustellen. Die Einzelheiten: • Wir haben ein Microsoft TPC-E Toolkit auf den virtuellen Maschinen, die als Client fungierten, eingesetzt, um für die SQL Server-OLTP-Datenbanken gleichzeitig TPC-E-ähnliche Lasten zu erzeugen. So wurden weniger aktive und aktive Workloads simuliert. Das I/O-Muster der SQL Server-OLTPAnwendung besteht normalerweise aus 8-KB-Lese-/Schreibvorgängen mit einem Lese-/Schreibverhältnis von 90:10. • Wir haben Quest Benchmark Factory verwendet, um für die SQL ServerDSS-Datenbank eine TPC-H-ähnliche Last zu erzeugen. Das I/O-Muster der DSS-Anwendung besteht normalerweise zu 100 Prozent aus 64-KBLesezugriffen auf die Daten-LUNs. • Wir haben mit Swingbench einen TPC-C-ähnlichen Workload (Auftragserfassung) mit 1.800 Anwendern erzeugt und die OracleDatenbank damit belastet. Das I/O-Muster von Oracle besteht aus 8-KBLese-/Schreibvorgängen mit einem Lese-/Schreibverhältnis von 80:20. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 29 Testverfahren Das Testverfahren stellt sich wie folgt dar: 1. Baselinetest Die Baselineperformancemetriken wurden erfasst, als die AnwendungsWorkloads (Oracle, SQL Server-OLTP und SQL Server-DSS) gleichzeitig liefen und 3 Stunden Zeit hatten, sich zu stabilisieren. Wir haben die Performance jeder Anwendung gemessen, um sicherzustellen, dass diese sich innerhalb vorab definierter KPIs befinden und dass alle Workloads nebeneinander laufen, ohne sich gegenseitig negativ zu beeinflussen. 2. Aktivierung von XtremCache Nachdem sich die Anwendungs-Workloads stabilisiert hatten, haben wir bei den OLTP-Workloads XtremCache aktiviert und die Performancesteigerung sowie die Workload-Auslagerung vom FAST VPSpeicher mit drei Tiers zu XtremSF gemessen. Wir haben bei jeder der virtuellen Maschinen für SQL Server-OLTP und Oracle eine Karte aktiviert und für alle 3 Workloads je nach Bedarf so viel Platz wie möglich konfiguriert. Die Aktivierung von XtremCache wurde bei einem DSSWorkload als Cache und bei tempdb als lokale Festplatte verifiziert. Die Mindestgröße an Speicherplatz beträgt bei XtremCache 25 GB. Die Kapazitäten der beiden 700-GB-XtremSF-Karten (651 GB nutzbarer Speicherplatz) wurden aufgeteilt und den 4 virtuellen Maschinen auf den beiden ESXi-Servern zugewiesen. Die genaue Zuordnung ist in Tabelle 17 aufgeführt. Tabelle 17. Testszenarien XtremSF-Zuordnung für virtuelle Maschinen XtremSF-Zuordnung pro Anwendung/virtuelle Maschine ESXi 01 (Zuordnungseinheit: GB) ESXi 02 (Zuordnungseinheit: GB) Oracle-OLTP 600 - SQL Server-DSS - 200 SQL Server-OLTP 01 - 200 SQL Server-OLTP 02 - 200 Gesamt 625 625 In folgenden Szenarien wurde die Performance getestet: • FAST VP mit drei Tiers ohne und mit XtremCache • FAST VP mit zwei Tiers ohne und mit XtremCache • Auswirkung von XtremCache auf FAST VP • XtremCache mit DSS-Workload • XtremCache mit SQL Server Failover Cluster Instance EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 30 FAST VP mit drei Tiers ohne und mit XtremCache Zielsetzung Das Ziel dieses Tests war die Validierung der eingerichteten Lösung mit aktiviertem FAST VP-Speicher-Tiering unter normalen Betriebsbedingungen eines gewöhnlichen Arbeitstages. Die Tests wurden ohne und mit aktiviertem XtremCache ausgeführt, um die Auslagerung hoher Workloads vom FAST VPSpeicher mit drei Tiers zu XtremSF zu evaluieren. Wir haben alle Aspekte dieser Lösung evaluiert, einschließlich VMware vSphereServer und Performance der virtuellen Maschinen, Oracle, SQL Server-OLTP und SQL Server-DSS als Server und Client. Testszenarien Zusammenfassung der Testergebnisse Der Auslagerungstest für XtremCache bestand aus 2 Szenarien: • Vor der Aktivierung von XtremCache: Alle OLTP-Workloads befanden sich auf der VMAX mit aktiviertem FAST VP mit drei Tiers. Der Speicher kann die Workloads mit einer hervorragenden Antwortzeit für Anwendungen unterstützen. Die Workload auf dem Array war jedoch sehr hoch. • Nach Aktivierung von XtremCache für die virtuellen Maschinen: Die LeseI/O kann zu XtremCache ausgelagert werden. Beim Array ist FAST VP mit drei Tiers immer noch aktiviert und kann andere I/O-Anfragen verarbeiten. Das Testergebnis stellt sich wie folgt dar: • Ohne aktivierten XtremCache erhielt das Array über 40.000 IOPS von den Hosts. Mit aktiviertem XtremCache fiel diese Zahl auf nur (ungefähr) 12.000 IOPS von den Hosts. • XtremCache verringerte die IOPS und die Auslastung des Back-endAdapters des Speicherarray in der FAST VP-Konfiguration mit drei Tiers deutlich. Bezüglich der Performance der OLTP-TPS gab es keine Änderung. Das Array wurde für andere I/O-Anfragen entlastet. • Die Antwortzeiten von SQL Server-OLTP, Oracle-Datenbank und LUNs wurden nach Aktivierung von XtremCache kürzer. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 31 Wie in Abbildung 10 dargestellt, fielen die IOPS, die den Front-end-Adapter des VMAX 40K-Array erreichten, von ungefähr 40.000 auf 12.000, während die prozentuale Auslastung des Back-end-Adapters von 67 Prozent auf 33 Prozent sank. Das bedeutet, dass ungefähr 28.000 IOPS von XtremCache übernommen wurden. Abbildung 10. Array-Workload vor und nach Aktivierung von XtremCache Das Testverfahren wurde ausgeführt, während die drei Anwendungs-Workloads (Oracle, SQL Server-OLTP und SQL Server-DSS) gleichzeitig liefen. Abbildung 11 zeigt, um wie viel XtremCache die IOPS zum Speichergerät bei den Oracle- und SQL Server-OLTP-Daten-LUNs jeweils gesenkt hat. Abbildung 11. IOPS zum Speichergerät vor und nach Aktivierung von XtremCache EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 32 Performanceergebnisse für ThreeTier FAST VP Tabelle 18 zeigt detaillierte Ergebnisse der auf dem Quellarray laufenden Workloads für Oracle- und SQL Server-OLTP-Anwendungen vor und nach Aktivierung von XtremCache auf dem FAST VP mit drei Tiers. Mit Flash-, FC- und SATA-Tiers im FAST VP-Pool, nach Aktivierung von XtremCache: • Die Speicher-IOPS fielen deutlich von über 40.000 auf ungefähr 12.000, da XtremCache für eine Auslagerung der IOPS sorgte und der SAN-basierte Speicher I/Os anderer Anwendungen verarbeiten konnte. Als Folge der geringeren Back-end-Speicherauslastung stieg die Auslastung der virtuellen Maschinen und der ESXi-CPU. • Bei den OLTP-TPS war keine signifikante Zunahme feststellbar, da das FAST VP mit drei Tiers die Anwendungen mit hervorragender Performance bedienen konnte. • Die Antwortzeiten wurden verkürzt, da die XtremCache-Lösung eine Zwischenspeicherung der am häufigsten referenzierten Daten auf der serverbasierten PCIe-Karte ausführte, wodurch sich der Abstand zwischen Daten und Anwendung verringerte. Tabelle 18. Detaillierte Ergebnisse vor und nach der Aktivierung von XtremCache Komponenten Performance 3 Tiers, ohne XtremCache konfiguriert 3 Tiers, mit XtremCache konfiguriert VMAX VMAX-OLTP-IOPS (gesamt) 40.605 12.275 ESXi 01 Durchschnittliche CPUAuslastung 65 % 77 % ESXi 02 Durchschnittliche CPUAuslastung 42 % 43 % Swingbench-TPS 8.535 8.537 Durchschnittliche Antwortzeit der Oracle-Datenbank (ms) 4 3 vCPU-Auslastung 84,4 % 91,4 % SQL01-Latenz (ms, Lesen/Schreiben/Übertragen) 7/8/7 3/5/3 SQL02-Latenz (ms, Lesen/Schreiben/Übertragen) 3/4/4 2/4/2 SQL01-vCPU-Auslastung 30 % 73 % SQL02-vCPU-Auslastung 66 % 81 % Transaktionen/Sekunde 5.725 5.846 Oracle-OLTP SQL Server EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 33 Two-Tier FAST VP ohne und mit XtremCache Überblick Mit ausschließlich FC- und SATA-Tiers im FAST VP-Pool könnte der zentrale Speicher ein Performanceengpass sein, da die begrenzte Spindelanzahl bei hohen Workloads möglicherweise keine hervorragenden Antwortzeiten bieten kann. Mit bei den virtuellen Maschinen aktiviertem XtremCache kann der Performanceengpass aufgelöst werden, sodass die Anwendung weiterhin von einer hervorragenden Speicherlatenz profitieren kann. Testszenarien Der Auslagerungstest für XtremCache bestand aus 2 Szenarien: Performanceergebnisse für FAST VPOLTP mit zwei Tiers • Vor der Aktivierung von XtremCache: Alle OLTP-Workloads befanden sich auf der VMAX mit aktiviertem FAST VP mit zwei Tiers. Der Speicher mit zwei Tiers verfügt über eine begrenzte Anzahl an Spindeln, die Lese-I/Ointensiven Anwendungen hervorragende Antwortzeiten liefern. • Nach Aktivierung von XtremCache für die virtuellen Maschinen: XtremCache kann die Anwendungsperformance deutlich verbessern. Nach der Deaktivierung des Flash-Tier in FAST VP wurde der Großteil der Workload über den FC-Tier bedient. Die Festplattenauslastung des FC-Tier war sehr hoch und der SAN-basierte zentrale Speicher (FC und SATA) konnte den I/O-intensiven OLTP-Anwendungen nicht genügend IOPS oder annehmbare Antwortzeiten bieten. Die Testergebnisse lauten wie folgt: • Die mittleren IOPS betrugen bei den FC-Festplatten 142, was dem theoretischen Maximalwert bei FC-Festplatten mit 10.000 U/min entspricht. • Die maximale Auslastung der FC-Festplatten lag bei fast 100 Prozent. • Die gesamten OLTP-IOPS lagen im Durchschnitt bei ungefähr 10.000, mehr IOPS konnte der Speicher nicht bedienen. • Bei SQL Server-OLTP lag die durchschnittliche Festplattenantwortzeit bei über 20 ms. Bei Oracle lag die Anwendungsantwortzeit bei über 35 ms. Diese Zeiten überschreiten die vom Anbieter empfohlenen Grenzwerte. • Die CPU-Auslastung war bei ESXi und der virtuellen Maschine niedrig: Die ESXi-CPU-Auslastung betrug weniger als 20 Prozent. Die CPU-Auslastung der virtuellen Maschine lag unter 5 Prozent. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 34 Abbildung 12 zeigt die Heatmap der Festplatten im FC-Tier. Die Farbe Rot zeigt an, dass die Festplatten-Workload sehr hoch war (hohe Aktivität). Die Auslastung erreichte 100 Prozent der gesamten IOPS-Kapazität. Abbildung 12. Performanceergebnisse für XtremCache mit zwei Tiers und FAST VP-OLTP Heatmap der Festplatten im FC-Tier ohne XtremCache Die Performance nach Aktivierung von XtremCache für die virtuellen Maschinen für Oracle und SQL Server-OLTP. Die Testergebnisse lauten wie folgt: • Die mittleren IOPS betrugen bei den FC-Festplatten 43, was ungefähr 30 Prozent der maximalen IOPS von FC-Festplatten mit 10.000 U/min entspricht. • Die maximale Auslastung der FC-Festplatten lag bei ungefähr 65 Prozent. • Bei SQL Server-OLTP lag die durchschnittliche Festplattenantwortzeit bei unter 3 ms. Bei Oracle lag die Anwendungsantwortzeit bei unter 3 ms. • Die CPU-Auslastung von ESXi und virtueller Maschine nahm in Bezug auf die Ergebnisse vor der Aktivierung von XtremCache deutlich zu: Bei ESXi-1 stieg die CPU-Auslastung von 16 Prozent auf 21 Prozent und bei ESXi-2 von 2 Prozent auf 40 Prozent. Die CPU-Auslastung durch die SQL Server-OLTP-Datenbank stieg von unter 2 Prozent auf 60–70 Prozent. Bei der Oracle-Datenbank stieg sie von 48 Prozent auf 89 Prozent. XtremCache kann einem Lese-I/O-intensiven OLTP-Workload hervorragende Antwortzeiten bieten und die Speicher-Workload des Systems verringern. Als Ergebnis war das System in der Lage, mehr OLTP-TPS zu verarbeiten. Die CPUAuslastung von ESXi und virtueller Maschine stieg aufgrund der höheren SQL Server- und Oracle-Auslastung durch Transaktionsverarbeitung. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 35 Abbildung 13 zeigt die Heatmap der Festplatten im FC-Tier. Die Farbe Gelb bedeutet eine normale Festplattenauslastung im Vergleich mit den Werten aus Abbildung 12. Die vorherige hohe Belastung dieses Tier wurde durch XtremCache reduziert. Abbildung 13. Heatmap der Festplatten im FC-Tier mit XtremCache Abbildung 14 zeigt, dass hohe Oracle-Latenz und hohe Latenz der SQL Server-DatenLUN auf dem SAN-basierten Speicher mit zwei Tiers effektiv durch Hinzufügen von XtremCache zu den virtuellen Maschinen, in denen die Anwendungen laufen, beschleunigt werden kann. Die durchschnittlichen Antwortzeiten fielen bei SQL Server-OLTP und Oracle um einen Faktor von ungefähr 6 bis 10. Abbildung 14. Latenz von Oracle und SQL Server vor und nach Aktivierung von XtremCache EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 36 Zusammenfassung der Performanceergebnisse für FAST VP mit zwei Tiers Tabelle 19 zeigt detailliert die Performancemetriken für Speicher, ESXi und virtuelle Maschinen der auf dem Quellarray laufenden Workloads für Oracle- und SQL Server-OLTP-Anwendungen vor und nach Aktivierung von XtremCache auf dem FAST VP mit zwei Tiers. Mit FC- und SATA-Tiers im FAST VP-Pool, nach Aktivierung von XtremCache: • TPS und Antwortzeiten der OLTP-Anwendung verbesserten sich deutlich, da mit XtremCache Lese-I/O-Verarbeitungsvorgänge aus dem Speicherarray ausgelagert und gleichzeitig Festplattenlatenzen reduziert werden. Damit ist ein höherer Transaktionsdurchsatz möglich. XtremCache kann sich um „Hotspots“ im Rechenzentrum kümmern und die hohe Auslastung einer FAST VP-Speicherumgebung mit zwei Tiers verringern. • Die CPU-Auslastung stieg aufgrund der höheren SQL Server- und OracleAuslastung durch Transaktionsverarbeitung. Mit aktiviertem XtremCache konnte das System mehr TPS von SQL Server und Oracle verarbeiten. Tabelle 19. Performancemetriken für Speicher, ESXi und virtuelle Maschinen Komponenten Performance 2 Tiers, ohne XtremCache konfiguriert VMAX VMAX-IOPS 23.514 13.798 ESXi 01 Durchschnittliche CPUAuslastung 16 % 21 % ESXi 02 Durchschnittliche CPUAuslastung 2% 40 % Swingbench-TPS 6.653 8.590 Durchschnittliche Antwortzeit von Oracle (ms) 35 3 vCPU-Auslastung 47,6 % 89 % SQL01-Latenz (ms, Lesen/ Schreiben/Übertragen) 22/4/21 3/2/3 SQL02-Latenz (ms, Lesen/ Schreiben/Übertragen) 21/4/21 2/3/2 SQL01-vCPU-Auslastung 1,20 % 69,84 % SQL02-vCPU-Auslastung 1,46 % 63,04 % Transaktionen/Sekunde 2.073 6.054 Oracle-OLTP SQL Server 2 Tiers, mit XtremCache konfiguriert EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 37 Auswirkung von XtremCache auf FAST VP Überblick Wir haben in dieser Lösung die Auswirkung von XtremCache auf FAST VP evaluiert, um einschätzen zu können, ob die Entlastung durch XtremCache einen Einfluss auf das vorhandene FAST VP mit drei Tiers hatte. FAST VP verschiebt Daten zwischen den Tiers. Die Eingangs- und Ausgangsnachverfolgung zeichnet auf, welche Daten in welchem Tier oder aus diesem heraus verschoben werden. Bei vielen Eingangs- oder Ausgangsnachverfolgungen pro Sekunde leidet die Back-end-Performance, wenn die Anwendung auf dem jeweiligen Tier läuft. Im Allgemeinen verfügt FAST VP über eine QoS-Einstellung (Quality of Service, Servicequalität) zur Steuerung der Neuzuweisungsrate der Datenverschiebung. Der Mindestwert dieser Einstellung beträgt 10, was bedeutet, dass die maximale Verschiebungsrate bei 1 GB/s liegt. Wenn Eingang/Ausgang der einzelnen Tiers weit unter diesem Wert liegt, sind die Auswirkungen auf das Back-end minimal. In der Lösung wurde die Eingangs-/Ausgangsnachverfolgung bei jedem Tier (FLASH, FC und SATA) bei der Aktivierung von XtremCache in den virtuellen Maschinen überwacht. Das Ziel war, bewerten zu können, ob XtremCache in großem Maße Datenverschiebungen zwischen den von FAST VP gesteuerten Speicherpools verursacht und ob der FLASH-Tier automatisch bei Aktivierung von XtremCache freigegeben werden kann. Verhalten von Three-Tier FAST VP mit XtremCache In der FAST VP-Implementierung mit drei Tiers betrugen die Eingangs-/ Ausgangsnachverfolgungen pro Sekunde nach Aktivierung von XtremCache weniger als 200 Nachverfolgungen pro Sekunde, wie Abbildung 15, Abbildung 16 und Tabelle 20 zeigen. In diesen Diagrammen wird deutlich, dass XtremCache angefangen hat, die Last vom Flash-Tier im FAST VP mit drei Tiers auf die FC- und SATA-Tiers zu verlagern, und diese Ressourcen so für andere I/O-intensive Anwendungen freigegeben hat. Diese Verschiebung wurde von FAST VP gesteuert. Abbildung 15. Eingangsnachverfolgung der drei Tiers nach Aktivierung von XtremCache auf Three-Tier FAST VP EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 38 Abbildung 16. Tabelle 20. Ausgangsnachverfolgung der drei Tiers nach Aktivierung von XtremCache auf Three-Tier FAST VP Durchschnittliche Eingangs-/Ausgangsnachverfolgung pro Sekunde FC-Tier Flash-Tier SATA-Tier Eingangsnachverfolgung pro Sekunde bei FAST 78,03 1,68 55,68 Ausgangsnachverfolgung pro Sekunde bei FAST 49,55 78,30 18,95 Das Maximum der Eingangs- oder Ausgangsdaten zwischen den Tiers lag bei ungefähr 200 x 64 KB = 13 MB/s. Die Verschiebungsrate hatte eine minimale Auswirkung auf die Festplatten-Workload im Back-end. Da FAST VP Daten erst nach einer längeren Zeitspanne herunterstuft (Herunterstufen inaktiver Daten aus dem Flash- oder FC-Tier zum niedrigeren Tier), stuft der mit XtremCache laufende Workload die Daten nicht aktiv herunter. Das bedeutet, dass obwohl die zuvor häufig aufgerufenen Daten von XtremCache zur Verfügung gestellt werden können und der Flash-Tier vom Workload entlastet wird, kann die Flashkapazität immer noch belegt sein. Der Flash-Tier kann in FAST VP proaktiv freigesetzt werden, um mehr IOPS verarbeiten zu können. Obwohl XtremCache die Performance von SQL Server- oder Oracle-OLTPWorkloads steigern kann, ist FAST VP mit Flash-Tier weiterhin eine gute Ergänzung zu XtremCache. Der zentrale Speicher kann mit XtremCache zu einer kosteneffizienten Lösung werden. Während XtremCache leseintensive I/Os bedient, kann FAST VP mit aktiviertem Flash-Tier andere I/O-Anfragen verarbeiten. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 39 XtremSF und XtremCache mit DSS-Workload Überblick XtremCache verfügt über eine Split-Card-Funktion, bei der ein Teil der XtremSFKarte als Cache und der verbleibende Teil als lokaler Speicher verwendet werden kann. Wir haben XtremCache im Split-Card-Modus mit einem DSS-Workload als Cache und der SQL Server-Instanz tempdb als Direct Attached Storage (DAS) getestet. Zwischenspeichern Wir haben eine 200-GB-LUN von der verfügbaren Kapazität von 700 GB abgeteilt und als Cache getestet, um die Daten-LUNs der TPC-H-ähnlichen Datenbank zu beschleunigen, wie in Abbildung 17 gezeigt. Der Parameter Max IO gibt die maximale I/O-Größe für den Cache von XtremCache an. Der Anwender kann diesen Parameter für verschiedene I/O-Muster von Anwendungen anpassen. In dieser Lösung wurde er für den DSS-Workload auf 128 KB gesetzt. Das bedeutet, dass sämtliche I/O kleiner als 128 KB im Cache gespeichert werden, während alles, was größer ist, XtremCache umgeht. Abbildung 17. LUN-Erstellung Abbildung 18 zeigt die Speicherplatzzuordnung für DSS von der verfügbaren Kapazität von 700 GB. Abbildung 18. XtremCache-Zuordnung für DSS EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 40 Wir haben bei SQL Server-DSS und aktiviertem FAST VP einen Baselineperformancetest mit anderen gleichzeitig laufenden AnwendungsWorkloads (Oracle und SQL Server-OLTP) durchgeführt. Wir haben eine Performancebaseline, die die DSS-Umgebung nach Anwendung der FAST VPPolicies zur Stabilisierung der Workloads repräsentiert, wie folgt definiert: • Die durchschnittliche Bandbreite war 650 MB/s. • Die Spitzenbandbreite betrug über 1,2 GB/s. Nach Aktivierung von XtremCache wurde keine Erhöhung der Abfragebandbreite beobachtet. Dies liegt daran, dass XtremCache nicht groß genug ist, um die gesamten Daten oder den Index der 2 TB großen DSS-Datenbank zwischenzuspeichern. Lokaler Speicher Wir haben 200 GB von der Kapazität von 700 GB zur Nutzung als tempdbDatenbankdaten und Protokollspeicher abgetrennt. Eine TPC-H-ähnliche Abfrage (Q2 in den 22 TPC-H-ähnlichen Abfragen) wurde als DSS-Abfrage ausgewählt, um die Performance von tempdb zu messen. Sie wurde 5 Mal gleichzeitig ausgeführt. Die tempdb von SQL Server wurde durch eine Sortierfunktion stark genutzt, während die DSS-Abfrage lief. Tabelle 21 zeigt die Performanceergebnisse vorher und nachher. Tabelle 21. Performancevergleich vor und nach der Verwendung von XtremSF Ohne lokalen Speicher Mit lokalem Speicher Bandbreite (MB/s) 270 396 Durchschnittliche LUNLatenz (ms) 13 1 Durchschnittliche Leselatenz 13 1 Durchschnittliche Schreiblatenz 3 1 Maximale LUN-Latenz 84 20 vCPU-Auslastung 74,7 % 89,4 % Als tempdb-Speicher für DSS-Workloads kann XtremSF Folgendes erreichen: • Erhöhung der tatsächlichen Abfragebandbreite von 270 MB/s auf 396 MB/s • Senkung der durchschnittlichen Latenz der tempdb-Daten-LUN von 13 ms auf 1 ms • Senkung der Spitzenlatenz der tempdb-Daten-LUN von 84 ms auf 20 ms Aufgrund der schnelleren I/O für tempdb zur Speicherung der Zwischenergebnisse der TPC-H-ähnlichen Abfrage konnte die Anwendung mehr Abfragen ausführen, sodass als Folge die CPU-Auslastung der virtuellen Maschine entsprechend stieg. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 41 XtremCache mit SQL Server Failover Cluster Instance Überblick Dieser Abschnitt behandelt XtremCache-Unterstützung für eine SQL Server-FCI auf einer aktiv und passiv geclusterten Windows-Umgebung für OLTP-Anwendungen. Unterstützung von Microsoft Failover Clustering (aktiv/passiv) SQL Server innerhalb eines SQL Server-Failover-Clusters (mit mehreren Servercluster-Nodes) kann auch mithilfe von XtremCache beschleunigt werden, da die Daten zuerst auf das gemeinsame Speichergerät – in diesem Fall VMAX – und dann synchron auf das Serverflashgerät – in diesem Fall XtremSF – geschrieben werden. Bei einem Failover kann die virtuelle SQL Server-Instanz auf dem Standby-Node gestartet und auf dem aktiven Node, falls ansprechbar, gestoppt werden und weiterhin wie im normalen Betrieb auf die gemeinsam genutzte LUN schreiben. Wenn beim neuen Node XtremCache aktiviert ist, startet die I/OZwischenspeicherung vom SQL Server jetzt auf diesem neuen Cluster-Node. Das Gerät des vorherigen Node (Failover-Quelle) erhält keine I/O mehr, da die Anwendung verschoben wurde. Wenn ein Failback des SQL Server auf den ursprünglichen Node durchgeführt wird, ruft die Anwendung Daten vom Cachegerät ab, das jetzt aber möglicherweise alte Daten enthält. Die Konfiguration des mitgelieferten XtremCache-Clustering-Skripts sorgt dafür, dass niemals alte Daten abgerufen werden. Die Skripte verwenden Clustermanagementereignisse, die sich auf den Start-/Stoppübergang eines Anwendungsservices beziehen, um einen Mechanismus auszulösen, der den Anwendungscache löscht. Clusterunterstützung wird derzeit für Cluster bereitgestellt, die für den Betrieb im Aktiv-/Stand-by-Modus konfiguriert sind und bei denen XtremCache auf dem einzigen aktiven Node und einer beliebigen Kombination der Stand-by-Nodes installiert ist und betrieben wird. XtremCache kann nur von einer Anwendung in einem Cluster verwendet werden. Wenn Sie XtremCache für mehrere Anwendungen verwenden möchten, müssen Sie diese Anwendungen als separate Ressourcen in einer einzigen Anwendung konfigurieren, sodass sie zwischen Hosts als eine einzige Einheit per Failover übergeben werden. Die folgenden Schritte und Empfehlungen beschreiben, wie XtremCache für Microsoft Cluster Service konfiguriert wird: 1. Erstellen Sie die XtremCache-Ressource in der SQL Server-Instanz, die XtremCache verwendet: Add a resource > Generic Script. 2. Entpacken Sie XtremCache_State_Control.vbs im Installationsverzeichnis von EMC XtremCache und speichern Sie es im selben Verzeichnis auf dem aktiven und dem passiven Node des geclusterten SQL Server. Legen Sie die Datei beispielsweise unter C:\Program Files\EMC\VFC\XtremCache_ Cluster_Support_1.5\XtremCache_Cluster_Support\Microsoft_Cluster_Ser vice ab. 3. Stellen Sie die Ressource (Generic Script) online. 4. Legen Sie die Abhängigkeit fest: • Legen Sie die Abhängigkeit für die XtremCache-Ressource abhängig von den beschleunigten, gemeinsam genutzten Quell-LUNs fest. • Legen Sie die Abhängigkeit für den SQL Server-Service abhängig von der XtremCache-Ressource fest. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 42 5. Starten Sie das Skript auf dem passiven Node, um alle Quellgeräte freizugeben, sodass sie von einem aktiven Node übernommen werden können: v f c mt s et - c l us t er mode pa s s i v e Weitere Informationen finden Sie im EMC XtremCache Installation and Administration Guide. Validierung Die folgenden Schritte dienen zur Validierung des durch XtremCache beschleunigten A/P Microsoft Cluster Service mit unterstütztem Clustering. 1. Auf dem primären SQL Server wird eine Testtabelle erstellt und 40.000 Zeilen werden eingefügt. Einer der Spaltentypen ist varchar. 2. Die Cache- und Quell-LUN werden festgelegt, um die Quell-LUN zu beschleunigen, in der die Datenbank und die Testtabelle gespeichert sind. 3. Alle Daten in der SQL Server-Instanz werden abgefragt, um die „später alten“ Daten nach XtremCache zu verlegen. 4. Ein Failover der SQL Server-Instanz auf den passiven Node wird durchgeführt und jede Reihe aktualisiert, um die Spalte varchar auf eine neue Zeichenfolge zu setzen. 5. Ein Failback der SQL Server-Instanz wird ausgeführt, die Tabelle abgefragt und dann mit und ohne aktiviertes XtremCache-Clustering-Skript validiert. Tabelle 22 zeigt die Ergebnisse ohne und mit aktiviertem XtremCacheClustering-Skript. Tabelle 22. Ergebnisse mit und ohne XtremCache-Clustering-Skript Kein XtremCacheClustering-Skript Aktiviertes XtremCacheClustering-Skript Dirty Reads Ja Nein Status der Anwenderdatenbank Verdächtig, muss manuell wiederhergestellt werden In Ordnung Status der gemeinsamen LUN Die Dateisystemstruktur der Festplatte ist beschädigt und nicht verwendbar. In Ordnung SQL Server-Service Offline, aufgrund des Festplattenfehlers Online EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 43 Fazit Zusammenfassung Diese EMC Lösung hat die Implementierung mehrerer geschäftskritischer Anwendungen in eine Private Cloud-Umgebung unter VMware auf VMAX 40KSpeicher und mit auf dem ESXi-Server installiertem XtremCache demonstriert. Jede Anwendung wies unterschiedliche Workload-Eigenschaften auf und stellte andere Anforderungen an den zugrunde liegenden Speicher. XtremCache ermöglicht eine bessere Performance von Anwendungen mit einem hohen LeseI/O-Vorkommen: Ergebnisse • Bei einer FAST VP-Konfiguration mit drei Tiers lagert XtremCache eine signifikante Anzahl an Array-IOPS aus. Die Arrays wurden dann für andere I/O-Anfragen entlastet. • Bei einer FAST VP-Konfiguration mit zwei Tiers kann XtremCache die Anwendungsperformance durch hervorragende Antwortzeiten verbessern. Die wichtigsten Ergebnisse der Tests zeigen Folgendes: • XtremCache verbessert die OLTP-Performance, indem das Speicherarray von einem Großteil des Lese-I/O-Verkehrs entlastet wird. In dieser Lösung wurde das Speicherarray durch XtremCache um 70 Prozent der IOPS entlastet. • XtremCache bietet eine stabile Unterstützung für OLTP-Workloads. Wenn der SAN-basierte zentrale Speicher nur eine begrenzte Anzahl Spindeln zur Verfügung hat, um den Lese-I/O-intensiven Workload zu unterstützen, oder der Flash-Tier aus FAST VP entfernt und anderen Anwendungen zugewiesen wird, ist die Auswirkung auf FAST VP minimal. In dieser Lösung ist die durchschnittliche Antwortzeit der Oracle-Datenbank von 35 ms auf 3 ms gesunken, was beinahe einer Verbesserung um den Faktor 12 entspricht. Die TPS der SQL Server-Datenbank stiegen von 56 auf 162, was beinahe einer Verbesserung um den Faktor 3 entspricht. • XtremCache arbeitet gut mit einer geclusterten SQL Server-Failover-Instanz zusammen und sorgt für eine Beschleunigung der Quell-LUN und für Datenintegrität. EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 44 Referenzen White Papers Zusätzliche Informationen erhalten Sie in den folgenden White Papers: • XtremCache Installation and Administration Guide v1.5 • XtremCache Installation Guide for VMware 1.5 • XtremCache Troubleshooting Guide 1.5 • XtremCache Troubleshooting Guide for VMware v1.5 • XtremCache VMware VSI Plug-in Guide 1.5 • Implementing Virtual Provisioning on EMC Symmetrix VMAX with Oracle Database 10g and 11g – Applied Technology • EMC Mission Critical Infrastructure for Microsoft SQL Server 2012 • Provisioning EMC Symmetrix VMAXe Storage for VMware vSphere Environments • Maximize Operational Efficiency for Oracle RAC with EMC Symmetrix FAST VP (Automated Tiering) and VMware vSphere – An Architectural Overview • EMC Symmetrix Virtual Provisioning – Applied Technology • FAST VP Theory and Practices for Planning and Performance – Technical Notes • Best Practices for Fast, Simple Capacity Allocation with EMC Symmetrix Virtual Provisioning – Technical Notes • Implementing Fully Automated Storage Tiering for Virtual Pools (FAST VP) for EMC Symmetrix VMAX Series Arrays • EMC Storage Optimization and High Availability for Microsoft SQL Server 2008 R2 Produktdokumentation Zusätzliche Informationen finden Sie im EMC Solutions Enabler Symmetrix Array Controls CLI Version 7.4 Product Guide. Andere Dokumentation Zusätzliche Informationen finden Sie in den unten aufgeführten Dokumenten. • SQL Server Best Practices • Oracle Grid Infrastructure Installation Guide 11g Release 2 (11.2) for Linux • Oracle Real Application Clusters Installation Guide 11g Release 2 (11.2) for Linux • Oracle Database Installation Guide 11g Release 2 (11.2) for Linux • Oracle Database Storage Administrator's Guide 11g Release 2 (11.2) EMC Infrastruktur für leistungsfähige Datenbanksysteme von Microsoft und Oracle EMC Symmetrix VMAX 40K, EMC XtremSF, EMC XtremCache, NEC Express5800/A1080a-E und VMware vSphere 5 45
