Big Data - Oracle Data Warehouse Community Seite

DATA WAREHOUSE
Big Data
Alfred Schlaucher, Oracle
Scale up
Noch mehr
Informationen
aus
UnternehmensDaten ziehen!
Unternehmensdaten
zusammenfassen
Datenmengen,
Performance
und Kosten
Daten als
„Geschäftsmodell“
- Big Data
Oracle Data Warehouse Architektur für
unternehmensweites Datenmanagement
Any
Source
BI Server
Interactive
Dashboards
Information Layer Architecture Concept
User View Layer
Enterprise Information Layer
Data Management Concept
Operational Data Layer
Data Quality Rules Checks&Monitoring
Controlling
HR
Marketing
Metadata Business
Utilities Catalogue
Oracle Database Management System
Technical
Auditing
Storage
Storage
Hierarchie
Hierarchy
Big Data
Solution
DWH System Monitoring Utilities
DWH Security Utilities
Optimized
OptimiertesNetwork
Netzwerk
Exadata / Database Machine / Exalytics
DWH Backup / Recovery Concept
Concept Framework
Scorecards
Financial
Lifecycle Management Concept
Operating
Operating
System
System
Ad-hoc
Analysis
Sales
Dynamic Data Marts
DWH Logistic Utilities
Server
Server
Cluster
Cluster
Reporting &
Publishing
BI Apps
Reference Data Models
MOLAP
M
Data Integration
Real Time & Batch
ROLAP
Data Integration Layer
Office
Integration
Mobile
Performance und Kosten im Data
Warehouse optimieren mit Exadata
• Paradigmenwechsel
• Mix aus Software+Hardware
• Smart Scan
• Storage Index
• High-Performance-Komponenten
• Infiniband
• Flashspeicher
• bis zu 2 TB RAM
• 25/50 GB/sec IO
• Kostengünstiger High-Performance
Storage
• > 300 TB pro Box
• Hybrid Columnar Compression
Big Data: Potentielle Anwendungsfälle
Aufgabenstellung
„Neue“ Daten
Lösungen
Healthcare
Teures Gesundheitssystem
Remote Erfassung
von Patientendaten,
Krankenverläufe etc
Genauere+günstigere
Medikation
Weniger Krankenhausaufenthalte
Produktion
Personeller Support
Location Based Services
Öffentlicher Dienst
Bürger-Angebote
Retail
Marketing
Sensoren an Maschinen
und Anlagen
Realtime
Bewegungsdaten
potentieller Kunden
Bevölkerungsstatistiken
Soziale Netzwerke /
Medien
Remote – Support
Ausfallvorhersagen
Geo-bezogenes Marketing,
Verkehrsanalysen
Individualisierte Dienste
Kostensenkung
Stimmungsanalysen
Genauere Segmentierungen
Big Data: Herausforderungen
SOCIAL
BLOG
101100101001
001001101010
101011100101
010100100101
SMART
METER
Datenmengen
Schnelligkeit
bei Entstehung
Unterschiedlichkeit
Business
Value
Big Data: Infrastructur Anforderungen
Acquire
Organize
• Unvorhersehbares Auftreten
• Hohe Datenmengen
• Flexible Daten-Strukturen
• Arbeiten mit vielen Servereinheiten
• Abfragen mit extrem
hohen Daten-Durchsatz
• Bearbeitung am
Speicherplatz
•Hohe Parallelisierung
Analyze
• Komplexe statistische
Analysen
• Agile
Berichtsentwicklung
• Massive Skalierung
• Real Time Ergebnisse
Heutige Lösungen sind isoliert und
“handgemacht”
Data
Variety
Unstructured
Distributed
HDFS
File Systems
(z. B. HDFS)
Schema-less
Schema
Information
Density
Transaction (KeyOracle
Value)Stores
NoSQL
DB
(Cassandra)
DBMS
RDBMS
(OLTP)
(OLTP)
Acquire
NoSQL
Hadoop
MapReduce
Solutions
(Hadoop MapReduce)
Oracle Loader for
“R”
Hadoop
Home
Grown
ETL
ETL
ETL
Home
Advanced
DBMS
RDBMS Analytics
Grown
Advanced
(DW)
(DW)
BI
Analytics
Organize
Analyze
Flexible
Specialized
Developer
Centric
SQL
Trusted
Secure
Administered
Oracle’s integrierte Software Lösung
Data
Variety
Unstructured
HDFS
Schema-less
Schema
Information
Density
Oracle
NoSQL DB
Hadoop
Oracle
MapReduce
Oracle
Hadoop
Loader
Acquire
Mining
R
Spatial
Graph
Oracle
Data Integrator
Oracle
(OLTP)
Oracle
(DW)
Organize
Oracle
Analytics
OBI EE
Analyze
Oracle Engineered Systems
Data
Variety
Unstructured
Exalytics
Schema-less
Schema
Information
Density
Big Data
Appliance
Exadata Database Machine
Acquire
Organize
Analyze
Oracle Integrated Software Stack
DATA
VARIETY
HADOOP
(MapReduce)
In-DB
Oracle Loader
for HADOOP
Oracle NoSQL DB
In-DB MapReduce
Oracle Database
Oracle Data
Integrator
Mining
Data
Warehouse
In-DB
‘R’
OBIEE
Advanced Analytics
HDFS
INFORMATION
DENSITY
ACQUIRE
ORGANIZE
InfiniBand
ANALYZE
InfiniBand
DECIDE
R Statistische Programmiersprache
Open source Sprache und
Entwicklungsumgebung
Geeignet für statistische
Berechnungen und
graphische Darstellung
der Ergebnisse
Endbenutzertaugliche
Graphiken
Erweiterbar
Oracle R Enterprise Lösung
Vorher
Kleine Modelle oft nur auf
Benutzer Laptops
Oracle R
Modelle laufen in der
skalierbaren Datenbank
Große Datenmengen
können verarbeitet werden
Nutzt die Performance der
Oracle DB und von Exadata
Gleicher Code nur schneller
Oracle Data Warehouse Architektur für
unternehmensweites Datenmanagement
Any
Source
BI Server
Interactive
Dashboards
Information Layer Architecture Concept
User View Layer
Enterprise Information Layer
Data Management Concept
Operational Data Layer
Data Quality Rules Checks&Monitoring
Controlling
HR
Marketing
Metadata Business
Utilities Catalogue
Oracle Database Management System
Technical
Auditing
Storage
Storage
Hierarchie
Hierarchy
Big Data
Solution
DWH System Monitoring Utilities
DWH Security Utilities
Optimized
OptimiertesNetwork
Netzwerk
Exadata / Database Machine / Exalytics
DWH Backup / Recovery Concept
Concept Framework
Scorecards
Financial
Lifecycle Management Concept
Operating
Operating
System
System
Ad-hoc
Analysis
Sales
Dynamic Data Marts
DWH Logistic Utilities
Server
Server
Cluster
Cluster
Reporting &
Publishing
BI Apps
Reference Data Models
MOLAP
M
Data Integration
Real Time & Batch
ROLAP
Data Integration Layer
Office
Integration
Mobile
Big Data: Herausforderungen
Business
Value
Big Data
Platform
→ Komplexe Analysen
→ Hohe Agilität
→ Extreme Skalierung
→ Real Time
Morgen
Challenges
→ Hohe Unterschiedlichkeit
→ Hohes Datenvolumen
→ Hohe Komplexität
→ Hohe Änderungs-
Big
Data
geschwindigkeit
Heute
Zeit
Heutige Lösungen sind isoliert und
“handgemacht”
Data
Variety
Unstructured
Distributed
File Systems
(z. B. HDFS)
Schema-less
Schema
Information
Density
Transaction (KeyValue)Stores
(Cassandra)
DBMS
(OLTP)
Acquire
NoSQL
MapReduce
Solutions
(Hadoop MapReduce)
Flexible
Specialized
Developer
Centric
“R”
Home
Grown
ETL
ETL
DBMS
(DW)
Organize
Home
Advanced
Grown
Analytics
BI
Analyze
SQL
Trusted
Secure
Administered
Heutige Lösungen sind “handgemacht”
Data
Variety
Unstructured
NoSQL
HDFS
Flexible
Specialized
Developer
Centric
Hadoop
MapReduce
Schema-less
Cassandra
“R”
Schema
Information
Density
RDBMS
Acquire
Home
Grown
ETL
Hive
Organize
Home
Grown
BI
Analyze
SQL
Trusted
Secure
Administered
Hadoop + Oracle – Welten werden vereint
Data
Variety
Unstructured
HDFS
Hadoop
MapReduce
Schema-less
Cassandra
Oracle Loader for
Hadoop
Schema
Information
Density
RDBMS
(OLTP)
Acquire
ETL
RDBMS Advanced
(DW)
Analytics
Organize
Analyze