Big Data - Oracle Data Warehouse Community Seite
Werbung
DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Noch mehr Informationen aus UnternehmensDaten ziehen! Unternehmensdaten zusammenfassen Datenmengen, Performance und Kosten Daten als „Geschäftsmodell“ - Big Data Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement Any Source BI Server Interactive Dashboards Information Layer Architecture Concept User View Layer Enterprise Information Layer Data Management Concept Operational Data Layer Data Quality Rules Checks&Monitoring Controlling HR Marketing Metadata Business Utilities Catalogue Oracle Database Management System Technical Auditing Storage Storage Hierarchie Hierarchy Big Data Solution DWH System Monitoring Utilities DWH Security Utilities Optimized OptimiertesNetwork Netzwerk Exadata / Database Machine / Exalytics DWH Backup / Recovery Concept Concept Framework Scorecards Financial Lifecycle Management Concept Operating Operating System System Ad-hoc Analysis Sales Dynamic Data Marts DWH Logistic Utilities Server Server Cluster Cluster Reporting & Publishing BI Apps Reference Data Models MOLAP M Data Integration Real Time & Batch ROLAP Data Integration Layer Office Integration Mobile Performance und Kosten im Data Warehouse optimieren mit Exadata • Paradigmenwechsel • Mix aus Software+Hardware • Smart Scan • Storage Index • High-Performance-Komponenten • Infiniband • Flashspeicher • bis zu 2 TB RAM • 25/50 GB/sec IO • Kostengünstiger High-Performance Storage • > 300 TB pro Box • Hybrid Columnar Compression Big Data: Potentielle Anwendungsfälle Aufgabenstellung „Neue“ Daten Lösungen Healthcare Teures Gesundheitssystem Remote Erfassung von Patientendaten, Krankenverläufe etc Genauere+günstigere Medikation Weniger Krankenhausaufenthalte Produktion Personeller Support Location Based Services Öffentlicher Dienst Bürger-Angebote Retail Marketing Sensoren an Maschinen und Anlagen Realtime Bewegungsdaten potentieller Kunden Bevölkerungsstatistiken Soziale Netzwerke / Medien Remote – Support Ausfallvorhersagen Geo-bezogenes Marketing, Verkehrsanalysen Individualisierte Dienste Kostensenkung Stimmungsanalysen Genauere Segmentierungen Big Data: Herausforderungen SOCIAL BLOG 101100101001 001001101010 101011100101 010100100101 SMART METER Datenmengen Schnelligkeit bei Entstehung Unterschiedlichkeit Business Value Big Data: Infrastructur Anforderungen Acquire Organize • Unvorhersehbares Auftreten • Hohe Datenmengen • Flexible Daten-Strukturen • Arbeiten mit vielen Servereinheiten • Abfragen mit extrem hohen Daten-Durchsatz • Bearbeitung am Speicherplatz •Hohe Parallelisierung Analyze • Komplexe statistische Analysen • Agile Berichtsentwicklung • Massive Skalierung • Real Time Ergebnisse Heutige Lösungen sind isoliert und “handgemacht” Data Variety Unstructured Distributed HDFS File Systems (z. B. HDFS) Schema-less Schema Information Density Transaction (KeyOracle Value)Stores NoSQL DB (Cassandra) DBMS RDBMS (OLTP) (OLTP) Acquire NoSQL Hadoop MapReduce Solutions (Hadoop MapReduce) Oracle Loader for “R” Hadoop Home Grown ETL ETL ETL Home Advanced DBMS RDBMS Analytics Grown Advanced (DW) (DW) BI Analytics Organize Analyze Flexible Specialized Developer Centric SQL Trusted Secure Administered Oracle’s integrierte Software Lösung Data Variety Unstructured HDFS Schema-less Schema Information Density Oracle NoSQL DB Hadoop Oracle MapReduce Oracle Hadoop Loader Acquire Mining R Spatial Graph Oracle Data Integrator Oracle (OLTP) Oracle (DW) Organize Oracle Analytics OBI EE Analyze Oracle Engineered Systems Data Variety Unstructured Exalytics Schema-less Schema Information Density Big Data Appliance Exadata Database Machine Acquire Organize Analyze Oracle Integrated Software Stack DATA VARIETY HADOOP (MapReduce) In-DB Oracle Loader for HADOOP Oracle NoSQL DB In-DB MapReduce Oracle Database Oracle Data Integrator Mining Data Warehouse In-DB ‘R’ OBIEE Advanced Analytics HDFS INFORMATION DENSITY ACQUIRE ORGANIZE InfiniBand ANALYZE InfiniBand DECIDE R Statistische Programmiersprache Open source Sprache und Entwicklungsumgebung Geeignet für statistische Berechnungen und graphische Darstellung der Ergebnisse Endbenutzertaugliche Graphiken Erweiterbar Oracle R Enterprise Lösung Vorher Kleine Modelle oft nur auf Benutzer Laptops Oracle R Modelle laufen in der skalierbaren Datenbank Große Datenmengen können verarbeitet werden Nutzt die Performance der Oracle DB und von Exadata Gleicher Code nur schneller Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement Any Source BI Server Interactive Dashboards Information Layer Architecture Concept User View Layer Enterprise Information Layer Data Management Concept Operational Data Layer Data Quality Rules Checks&Monitoring Controlling HR Marketing Metadata Business Utilities Catalogue Oracle Database Management System Technical Auditing Storage Storage Hierarchie Hierarchy Big Data Solution DWH System Monitoring Utilities DWH Security Utilities Optimized OptimiertesNetwork Netzwerk Exadata / Database Machine / Exalytics DWH Backup / Recovery Concept Concept Framework Scorecards Financial Lifecycle Management Concept Operating Operating System System Ad-hoc Analysis Sales Dynamic Data Marts DWH Logistic Utilities Server Server Cluster Cluster Reporting & Publishing BI Apps Reference Data Models MOLAP M Data Integration Real Time & Batch ROLAP Data Integration Layer Office Integration Mobile Big Data: Herausforderungen Business Value Big Data Platform → Komplexe Analysen → Hohe Agilität → Extreme Skalierung → Real Time Morgen Challenges → Hohe Unterschiedlichkeit → Hohes Datenvolumen → Hohe Komplexität → Hohe Änderungs- Big Data geschwindigkeit Heute Zeit Heutige Lösungen sind isoliert und “handgemacht” Data Variety Unstructured Distributed File Systems (z. B. HDFS) Schema-less Schema Information Density Transaction (KeyValue)Stores (Cassandra) DBMS (OLTP) Acquire NoSQL MapReduce Solutions (Hadoop MapReduce) Flexible Specialized Developer Centric “R” Home Grown ETL ETL DBMS (DW) Organize Home Advanced Grown Analytics BI Analyze SQL Trusted Secure Administered Heutige Lösungen sind “handgemacht” Data Variety Unstructured NoSQL HDFS Flexible Specialized Developer Centric Hadoop MapReduce Schema-less Cassandra “R” Schema Information Density RDBMS Acquire Home Grown ETL Hive Organize Home Grown BI Analyze SQL Trusted Secure Administered Hadoop + Oracle – Welten werden vereint Data Variety Unstructured HDFS Hadoop MapReduce Schema-less Cassandra Oracle Loader for Hadoop Schema Information Density RDBMS (OLTP) Acquire ETL RDBMS Advanced (DW) Analytics Organize Analyze
