Oracle Big Data Roadshow 2015

Big Data Roadschow
Realisierung
Betriebsmodelle und Hardware
Big Data Roadshow im Oktober 2015
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
3
Agenda – Realisierung - Betriebsmodelle und Hardware
1
Big Data Eigenbau oder Big Data Appliance
2
Erweiterte Big Data Sicherheit
3
Big Data Cloud Service
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
4
Warum eine eigene Hadoop Appliance bauen?
Initiale Infrastrukturkosten1
Hadoop Cluster
$700k
HW Design
Rack und Stack
Software auswählen
Support
Software installieren
Installation
Software
Hardware
Design
Einkauf
Hadoop optimieren
$0k
1
Oktober 2015
http://www.oracle.com/us/corporate/analystreports/esg-getting-real-bigdata-2228170.pdf
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
5
Oracle Big Data Appliance
Initiale Infrastrukturkosten1
$700k
Hadoop Cluster
HW Design
Rack and Stack
Identify SW
SoftwareCluster
Install
Schlägt Eigenbau
bei:
Procurement
•
•
•
•
Anschaffungskosten
Wertschöpfung
Betrieb
Optimize Hadoop
Leistung
$0k
Eigenbau
BDA
1
Oktober 2015
http://www.oracle.com/us/corporate/analystreports/esg-getting-real-bigdata-2228170.pdf
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
6
Oracle Big Data Appliance
$700k
%
40
Optimiert
Geringeres Risiko.
Gebaut für optimale Leistungs.
Cost Savings
%
33
Faster Time to Value
$0k
DIY
BDA
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
7
Big Data Appliance X5-2
Homogene Knoten
• Alle Server in der BDA sind exakt
gleich
– Es werden keine spezialisierten Head
oder Edge Knoten in der BDA
verwendet
• Wegen der Homogenität kann jeder
Knoten jede Rolle ausfüllen
– Master Knoten
– Datenknoten
– Falls erforderlich wechseln Datenknoten in Master-Knoten die Rolle
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
8
Big Data Appliance X5-2 Starter Rack
Das Einstiegsmodell
• 6 Xeon-basierte zwei-Sockel Server
– 216 Cores (36 Cores pro Server)
– 768 GB / 4608 GB Hauptspeicher (128 GB / 768 GB pro Server)
– 576 TB (96 TB – 12x 8 TB SAS High Capacity Platten pro Server)
– 12x InfiniBand 4X QDR (40Gb/s) CX3 Ports (PCIe 3.0) (2 pro Server)
– 24x 10GbE ports (4 per server)
• 1 Sun Datacenter InfiniBand (Spine) Switch 36
– 36-port Managed QDR (40Gb/s) Switch
• 2 NM2 Gateway InfiniBand Switch
• 1 “Admin” Cisco Ethernet Switch
• Redundante Netzteile (PDUs)
Erweiterbar durch BDA HC Knoten
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
9
Elastisches Scale-Out vom Starter Rack bis Multi-Rack
HC
Starter
Full
• Mit 6 BDA Knoten und allen Switches starten
• BDA HC Konten nach Bedarf hinzufügen
• Maximal 18 BDA HC Knoten pro Rack
Oktober 2015
Multi-Rack
Wachsen durch zusätzliche Racks –
bis zu 18 Racks ohne zusätzliche Switches
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
10
Big Data Appliance Software Stack
• Integrierte Software (4.2)
– Oracle Linux 6.6, Oracle JDK 7 oder 8
– Cloudera Distribution of Apache Hadoop (CDH) 5.4
– Cloudera Manager 5.4
– Oracle R Distribution 3.1.1-2
– Oracle NoSQL Database CE 3.3.4
• Optionale, separat lizenzierbare Software
– Oracle Big Data SQL 1.1
– Oracle Big Data Connectors 4.2
– Oracle Big Data Discovery 1.1
– Oracle Big Data Spatial and Graph 1.0
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
11
Oracle’s Big Data Hardware Architektur
Optimiert für Hadoop,
R, und NoSQL Verarbeitung
Oracle
Big Data
Konnektoren
Hadoop
Open Source R
Oracle Event
Processing
Oracle NoSQL
Datenbank
Oracle
Big Data
Konnektoren
Oracle
Data
Integrator
Oracle
Exadata
Oracle
Exalytics
“System of Record”
optimiert für DW/OLTP
Optimiert für Analytics &
In-Memory Arbeitslasten
Oracle Advanced
Analytics
Data
Warehouse
Oracle
Datenbank
Anwendungen
Akquirieren
In-Database Analytics
Oracle
Big Data Appliance
Oracle Enterprise Performance
Management
Oracle Business Intelligence
Applications
Oracle Business Intelligence
Tools
Oracle Endeca Information
Discovery
Eingebettetes Times Ten
Organisieren
Oktober 2015
Analysieren
Entscheiden
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
Real Time
Entscheidungen
12
Erweiterte Big Data Sicherheit
• Authentisieren
von Benutzern mit sicheren Kerberos
Protokoll
• Zugriffsberechtigung
auf Daten mit detailierten Zugriffsregeln
• Überwachen
von Aktivität und Zugriff mit Oracle Audit
Vault und Database Firewall
• Verschlüsseln
von Daten die das System durchlaufen
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
13
Kerberos und Apache Sentry
Erste
• Kerberos und Sentry Freigabe für
Hadoop Appliance
• Gründungsmitglied von Apache
Sentry stellt detaillierte Zugriffsberechtigung für Hadoop bereit
• Oracle’s Beitrag zur Sicherheit und
Unterstützung für Apache Hadoop
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
14
Oracle Audit Vault und Database Firewall
Ein
Hadoop
Non-Relational Data
Audit Vault
Operating Systems
• konsolidiertes, sicheres Repository
für alle Audit Daten
• Zentralisierte Plattform für Audit
Reports, Alarmierung und Policy
Management
Databases
Relational Data
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
15
Verschlüsselung auf Platte und auf dem Netzwerk
Nur
Network
Encryption
• Bei Cloudera Hadoop Appliance mit
vorkonfiguriertem Dateisystem und
Netzwerk Verschlüsselung
Encryption at
Rest
• Transparent gegenüber
Anwendungen und keine
Extrakosten
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
16
Oracle Big Data Cloud Service
Beständig hohe Leistung
• Dedizierte Instanzen
– Hohe und konstante Leistung
• Elastisch
– Scale up und Scala down bei Bedarf
• Sicher
– Sichere Hadoop Cluster Out-of-the-Box
• Umfassend
– Nutzt neueste Big Data Datenverarbeitung
– Vereinigt Datenabfragen mit Oracle Big Data SQL
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
17
Oracle Big Data Cloud Service
Voraussagbare und kalkulierbare Kosten
• Hochgeschwindigkeitsverbindungen ohne
Zusatzkosten
– Big Data Cloud Service (40 Gb/s Infiniband)
– Exadata Cloud Service (40 Gb/s Infiniband)
– Oracle Storage Cloud
• Keine “Query Tax”
– Big Data SQL hat festen Preis pro Clusterknoten
• Aufnahme von Daten über die Oracle Cloud
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
18
Einrichtung von Hadoop in Sekunden
ist view
• Erzeugt ein Hadoop Cluster
mit nur einem Mausklick
• Zugriff auf Big Data als Teil
von Cloud My Services
• Zugriff und Verwaltung
aller Hadoop Instanzen
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oktober 2015
2
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
19
Zugriff und Verwaltung von Oracle Big Data Cloud Service
• Zugriff auf die Instanzen durch
– SSH
– Site-to-Site VPN
– Equinix Direct Connect*
• Instanzen mit Oracle My Services
verwalten
• Hadoop Cluster mit Cloudera Manager
Enterprise verwalten
* Zukünftige Verfügbarkeit abhängig vom Rechenzentrum
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
20
Die neuesten Werkzeuge benutzen oder selbst mitbringen
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
21
Oracle Big Data Appliance Cloud Service
Big Data Discovery Cloud Service
Big Data Preparation Cloud Service
Big Data SQL Cloud Service,
Fast Data Cloud Service,
und mehr
Plattform als Infrastruktur
Die Oracle Big Data Appliance Cloud Services fallen unter den Platform as a Service
(PaaS) Überbegriff. Sie dienen als Infrastruktur für zukünftige Big Data Services
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
22
Oracle Big Data Appliance Cloud Service – Infrastruktur
Basiert auf Engineered Systems
B
B
B
• Engineered Infrastruktur
B
B
• Elastische Konfigurationen
– Version 1 beschränkt auf 6 und 12 Clusterknoten
• Big Data für produktive Umgebung
– Cloudera’s Distribution inklusiv Hadoop (CDH)
• Komplettes Big Data Management System in der
Cloud
• Fixe Storage und Memory Größen
– 6-Knoten: 192 CPUs, 96TB HDFS Plattenspeicher
– 12-Knoten: 384 CPUs, 192TB HDFS Plattenspeicher
– Verbindet Big Data SQL Cloud Service und Exadata
Cloud Service
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
23
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
24
Oktober 2015
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Roadshow
25