ISE IOTC Big Data Appliance

www.ise-informatik.de
ISE IOTC
Big Data Appliance
Matthias Fuchs
DWH Architekt
ISE Information Systems Engineering GmbH
Enable
eXtreme
Performance.
Agenda
www.ise-informatik.de




Das Testcenter
Big Data Appliance der erste Eindruck
Erste Tests
Gesammelte Erfahrungen
Copyright (C) ISE GmbH - All Rights Reserved
2
Enable
eXtreme
Performance.
www.ise-informatik.de
ISE Oracle Technology Center
Copyright (C) ISE GmbH - All Rights Reserved
3
Enable
eXtreme
Performance.
ISE Oracle Technology Center
www.ise-informatik.de
Erstes und einziges Exastack Technology Center in
Deutschland in Nürnberg
ODA X5
Copyright (C) ISE GmbH - All Rights Reserved
4
Enable
eXtreme
Performance.
www.ise-informatik.de
Big Data Appliance der erste Eindruck
Copyright (C) ISE GmbH - All Rights Reserved
5
Enable
eXtreme
Performance.
Big Data Systemübersicht
www.ise-informatik.de
Processing Layer
Big Data SQL
Resource Management YARN + MapReduce
Storage Layer
Filesystem (HDFS)
Copyright (C) ISE GmbH - All Rights Reserved
6
Enable
eXtreme
Performance.
Big Data Sql - Übersicht
www.ise-informatik.de
Oracle Big Data SQL
Cloudera
Hadoop
NOSQL
R Advanced
Analytics
Exadata
Connectors
ODI
Advanced
Analytics
Advanced
Security
Or BigData Lite VM
Copyright (C) ISE GmbH - All Rights Reserved
7
Enable
eXtreme
Performance.
www.ise-informatik.de
Erste Tests
Copyright (C) ISE GmbH - All Rights Reserved
8
Mögliches Einsatzszenario
Enable
eXtreme
Performance.
www.ise-informatik.de

Ziel:
 Auslagern von Daten in Hadoop
Csv files im HDFS ablegen
Import über externe Tabelle in Hive
 Datenladen über Hadoop
 Vergleich Exadata - Big Data Appliance bei der
Datenverarbeitung

Vorgehen
 Gesamtübersicht
 Big Data SQL
 Laden von Daten
 Transfer von Daten
Copyright (C) ISE GmbH - All Rights Reserved
9
Enable
eXtreme
Performance.
Gesamtübersicht – DB Analyse
www.ise-informatik.de
Generating CSV Files, DB Monitoring DATA
HDFS
HIVE
Big Data
SQL
BDA
DB
Exadata
Copyright (C) ISE GmbH - All Rights Reserved
10
Enable
eXtreme
Performance.
Big Data SQL - Vergleich
www.ise-informatik.de

Big Data SQL






Geht nur mit Exadata und Big Data Appliance
Weiterentwicklung der Connectoren
Einfach in der Handhabung
External Smart Scan wie bei Exadata Cells
Parallel processing (vergleiche Resilient Distributed Datasets)
Alternativen




ODBC connect (prallel?)
Oracle Connectoren (offloading?)
FUSE mit externer Tabelle – mount als Datasystem
…
Copyright (C) ISE GmbH - All Rights Reserved
11
Enable
eXtreme
Performance.
Load Data
www.ise-informatik.de
HIVE
External
Table
Big
Data
SQL
DB
Exadata
BDA
Copyright (C) ISE GmbH - All Rights Reserved
12
Enable
eXtreme
Performance.
Load Data
www.ise-informatik.de
https://www.youtube.com/watch?v=xSv-nm4ufsU
Copyright (C) ISE GmbH - All Rights Reserved
13
Enable
eXtreme
Performance.
Transfer Data
www.ise-informatik.de
1. Hash creation
inside EXA
2. Hash creation
inside BDA
HIVE
External
Table
DB
Exadata
BDA
Copyright (C) ISE GmbH - All Rights Reserved
14
Transfer Data
Enable
eXtreme
Performance.
www.ise-informatik.de
https://www.youtube.com/watch?v=txiDyrPIkhU
Copyright (C) ISE GmbH - All Rights Reserved
15
Lessons Learned
Enable
eXtreme
Performance.
www.ise-informatik.de

Big Data hat viele Resourcen
 Mehr CPUs


6*36 vs 2*8 (DB) +3*8 (Zellen)
Mehr Platten aber langsamer
6*12 HDD 4GB vs 3*12 HDD 600GB HP
Implementation mit Big Data SQL einfach
 Copy data per SQL
 Hohe Geschwindigkeit

Aber
 Hadoop - Hive ist anders
 Andere Tools, Andere Herausforderungen

Nächste Tests
 Analyse mit Spark oder R
 DML mit HBase
Copyright (C) ISE GmbH - All Rights Reserved
16
Enable
eXtreme
Performance.
www.ise-informatik.de
Q& A
Copyright (C) ISE GmbH - All Rights Reserved
17