Netezza TDWI Webcast MBastien_ohne Logos_mit letzter Folie

Marc Bastien– Systems Engineer Netezza
Mehr Zeit für das Wesentliche!
© 2011 IBM Corporation
Information Management
Klassische Problemstellung in DWH-Projekten (fachlich)
Identifikation des Geschäftsproblems, der Anforderungen
Identifikation der benötigten Daten / Herkunft dieser
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
Entwicklung der analytischen Abfragen / Reports
2
Information Management
Klassische Problemstellung in DWH-Projekten (ganz technisch)
Auf der Basis der gestellten Anforderungen (bzw.
„Corporate Policy“)
– Auswahl ETL und BI Tools
• Passende Server und Infrastrukturen
• ETL oder ELT?
• Dashboards, Ad-Hoc, OLAP oder Reports
– Auswahl Datenbank und -Server
• Sizing Datenbank
Edition (1 aus 3, Optionen (x von 9), Packs
(x von 2), Security (x aus 8)?
• Auswahl und Sizing Hardware für RDBMS bzw.
OLAP-Server
Server (CPU, RAM, andere Komponenten)
Netzwerk, Platten, RAID
3
Information Management
Klassische Problemstellung in DWH-Projekten (ganz technisch)
Auf der Basis der gestellten Anforderungen (bzw.
„Corporate Policy“)
– Auswahl ETL und BI Tools
• Passende Server und Infrastrukturen
• ETL oder ELT?
• Dashboards, Ad-Hoc, OLAP oder Reports
– Auswahl Datenbank und -Server
• Sizing Datenbank
Edition (1 aus 3, Optionen (x von 9), Packs
(x von 2), Security (x aus 8)?
• Auswahl und Sizing Hardware für RDBMS bzw.
OLAP-Server
Server (CPU, RAM, andere Komponenten)
Netzwerk, Platten, RAID
4
Information Management
Klassische Problemstellung in DWH-Projekten (Projekt / Auswahl)
Identifikation des Geschäftsproblems, der Anforderungen
Identifikation der benötigten Daten / Herkunft dieser
– Entwurf einer ETL-Strategie, Auswahl von Tools und Methoden
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
– Entwurf des technischen DWH und der Datamarts, Größenschätzungen
Entwicklung der analytischen Abfragen / Reports
– Entwurf der BI-Strategie, Auswahl von Tools
5
Information Management
Klassische Problemstellung in DWH-Projekten (Realisierung)
Identifikation des Geschäftsproblems, der Anforderungen
Identifikation der benötigten Daten / Herkunft dieser
– Entwurf einer ETL-Strategie, Auswahl von Tools und Methoden
• Reicht die Nacht?
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
– Entwurf des technischen DWH und der Datamarts, Größenschätzungen
• Alle Fachlichkeit abbildbar?
Entwicklung der analytischen Abfragen / Reports
– Entwurf der BI-Strategie, Auswahl von Tools
• Performance der Berichte / Ad-Hoc Abfragen / Management Dashboards?
6
Information Management
Klassische Problemstellung in DWH-Projekten (Technik gegen
Fachlich!)
Identifikation des Geschäftsproblems, der Anforderungen
Identifikation der benötigten Daten / Herkunft dieser
– Entwurf einer ETL-Strategie, Auswahl von Tools und Methoden
• Reicht die Nacht?
Nein: Reduktion der verfügbaren Daten = Reduktion der fachlichen Anforderungen!
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
– Entwurf des technischen DWH und der Datamarts, mit allen Konsequenzen,
Größenschätzungen
• Alle Fachlichkeit abbildbar?
Nein: Reduktion auf das technisch Machbare = Reduktion der Anforderungen!
Entwicklung der analytischen Abfragen / Reports
– Entwurf der BI-Strategie, Auswahl von Tools
• Performance der Berichte / Ad-Hoc Abfragen / Management Dashboards?
Nein: Performance-Tuning im DWH, oder Reduktion...
7
Information Management
Klassische Problemstellung in DWH-Projekten (Technik gegen
Fachlich!)
Identifikation der benötigten Daten / Herkunft dieser
– Entwurf einer ETL-Strategie, Auswahl von Tools und Methoden
• Reicht die Nacht?
Nein: Reduktion der verfügbaren Daten = Reduktion der fachlichen Anforderungen!
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
– Entwurf des technischen DWH und der Datamarts, mit allen Konsequenzen,
Größenschätzungen
• Alles Fachlichkeit abbildbar?
Nein: Reduktion auf das technisch Machbare = Reduktion der Anforderungen!
- - zusätzliche Spalten, Indices, Materialisierte Sichten, Summentabellen,
- Wechsel der Technologie -> das technische Modell wird immer komplexer!
Entwicklung der analytischen Abfragen / Reports
– Entwurf der BI-Strategie, Auswahl von Tools
• Performance der Berichte / Ad-Hoc Abfragen / Management Dashboards?
Nein: Performance-Tuning im DWH, oder Reduktion...
8
Information Management
Klassische Problemstellung in DWH-Projekten (Technik gegen
Fachlich!)
Identifikation der benötigten Daten / Herkunft dieser
– Entwurf einer ETL-Strategie, Auswahl von Tools und Methoden
• Reicht die Nacht?
Nein: Reduktion der verfügbaren Daten = Reduktion der fachlichen Anforderungen!
- Weitere ETL-Schritte, Komplexitätssteigerung und Verlängerung
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
– Entwurf des DWH und der Datamarts, mit allen Konsequenzen, Größenschätzungen
• Alles Fachlichkeit abbildbar?
Nein: Reduktion auf das technisch Machbare = Reduktion der Anforderungen!
- - zusätzliche Spalten, Indices, Materialisierte Sichten, Summentabellen,
- Wechsel der Technologie -> das technische Modell wird immer komplexer!
Entwicklung der analytischen Abfragen / Reports
– Entwurf der BI-Strategie, Auswahl von Tools
• Performance der Berichte / Ad-Hoc Abfragen / Management Dashboards?
Nein: Performance-Tuning im DWH, oder Reduktion...
9
Information Management
Klassische Problemstellung in laufenden DWH-Projekten
Laufende Wartung:
– Ständiges Nachpflegen der Indices, ..., aller Performancefeatures der eingesetzten
Technologie
– Bis zu: Ersatz des Plattensystems durch schnellere Technologie (z.B. SSD)
– Die Nacht mal wieder zu kurz? -> Tagverarbeitung beginnt und Verarbeitungen
behindern sich
– Lange Abfragezeiten frustrieren IT- und Fachabteilung
Praxisbeispiel: Neue Query durch Fachabteilung (Tool basierend)
– unmöglich, da bisher nicht genutzte Spalte verwendet wurde, Laufzeit: nach mehreren
Stunden abgebrochen
– Abfrage manuell umgeschrieben: wenige Minuten Laufzeit
– Neue Spalte fest in Tabelle ergänzt: ab dann zig-Minuten Laufzeit (aber jederzeit durch
Endnutzer nutzbar)
Echte Weiterentwicklung? Unmöglich!
10
Information Management
Traditionelle Data Warehouse Anwendungen
sind einfach zu komplex
Sie basieren auf Datenbanken die für die Transaktionsverarbeitung
optimiert wurden – NICHT um die Anforderungen von fortschrittlichen
Analysen auf großen Datenbeständen abzubilden
Zu komplexe Infrastruktur
Zu ineffiziente Analysen
Zu komplizierter Einsatz
Zu viel Personal für die Wartung
Zu viel Tuning notwendig
Zu kostspielig im Betrieb
Zu zeitraubend für schnelle Antworten
11
Information Management
„Inhalt“ der Netezza Appliance
Auf der Basis der gestellten Anforderungen (bzw.
„Corporate Policy“)
– Auswahl ETL und BI Tools
• Passende Server und Infrastrukturen
• ETL oder ELT?
• Dashboards, Ad-Hoc, OLAP oder Reports
– Auswahl Datenbank und -Server
• Sizing Datenbank
Edition (1 aus 3, Optionen (x von 9), Packs
(x von 2), Security (x aus 8)?
• Auswahl und Sizing Hardware für RDBMS bzw.
OLAP-Server
Server (CPU, RAM, andere Komponenten)
Netzwerk, Platten, RAID
12
Information Management
Wert einer Appliance!
(Lego-Kasten mit
unterschiedlichen Steinen
aller Farben und Größen)
13
Information Management
Wert einer Appliance!
14
Information Management
Wert einer Appliance!
15
Information Management
Die Netezza TwinFin™ (=IBM Netezza 1000) Appliance
Plattengehäuse
SMP Hosts
S-Blades™
(mit FPGA-basierendem
Databankbeschleuniger)
16
Nutzdaten
Swap- und Spiegelpartitionen
Hochgeschwindkeitsdatenstrom
SQL Compiler
Query Plan
Optimize
Admin
Prozessor &
DB- und Datenstrom-Logik
Hochgeschwindigkeitsdatenbank
Im Datenstrom: Joins,
Aggregationen, Sortierung, etc.
Information Management
S-Blade™ Komponenten
16 GB DRAM
SAS Expander
Module
Dual-Core FPGA
125 MHz
Intel Quad-Core
2+ GHz CPU
IBM BladeCenter Server
Netezza DB Accelerator
Information Management
Asymmetric Massively Parallel Processing™
SOLARIS
AIX
TRU64
HP-UX
WINDOWS
LINUX
Client
Netezza TwinFin Appliance
1
S-Blade
Processor &
ODBC 3.X
JDBC Type 4
OLE-DB
SQL/92
streaming DB logic
2
SQL
Compiler
S-Blade
Processor &
streaming DB logic
Query
Plan
Execution
Engine
3
S-Blade
Processor &
streaming DB logic
Optimize
Admin
ETL Server
High-Speed
Loader/Unloader
920
DBA CLI
Front End
QuellSysteme
High-Performance
Database Engine
Streaming joins,
aggregations, sorts
S-Blade
Processor &
streaming DB logic
3rd Party
Apps
SMP Host
High
Performance
Loader
Netzwerk
Massively Parallel
Intelligent Storage
Information Management
S-Blade Datenstrom
Data
Cache
FPGA Core
DeKomprimieren Projektion
Select sex, age, count(*)
From MultiBillionRowTable
Where BirthDate < ’01/01/1967’
And PostCode like ’SW%’
Group by sex, age;
CPU Core
Sichtbarkeit
einschränken
Complex ∑
Joins, Aggs, etc.
Information Management
Klassische (Problem)stellung in DWH-Projekten mit Netezza:
Überwindung von Grenzen - Performance
Identifikation der benötigten Daten / Herkunft dieser
– Entwurf einer ETL-Strategie, Auswahl von Tools und Methoden
• Reicht die Nacht?
Ja: Ladegeschwindigkeit ca. 2 TB/h ohne Tuning = Maximaler Datendurchsatz zur
Unterstützung aller fachlichen Anforderungen!
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
– Entwurf des technischen DWH und der Datamarts, Größenschätzungen
• Alle Fachlichkeit abbildbar?
Ja: Grenzen im Datenvolumen unwahrscheinlich, Skaliert bis 1,5 PB
Entwicklung der analytischen Abfragen / Reports
– Entwurf der BI-Strategie, Auswahl von Tools
• Performance der Berichte / Ad-Hoc Abfragen / Management Dashboards?
Ja: kein Tuning notwendig, durch minimale Optimierung weitere Verbesserungen =
Maximale Unterstützung der fachlichen Anforderungen
20
Information Management
Klassische (Problem)stellung in DWH-Projekten mit Netezza:
Überwindung von Grenzen - Performance
Identifikation der benötigten Daten / Herkunft dieser
– Entwurf einer ETL-Strategie, Auswahl von Tools und Methoden
• Reicht die Nacht?
Ja: Ladegeschwindigkeit ca. 2 TB/h ohne Tuning = Maximaler Datendurchsatz zur
Unterstützung aller fachlichen Anforderungen!
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
– Entwurf des technischen DWH und der Datamarts, Größenschätzungen
• Alle Fachlichkeit abbildbar?
Ja: Grenzen im Datenvolumen unwahrscheinlich, Skaliert bis 1,5 PB
Keine Änderungen am technischen Modell wg. Performanceengpässen!
Entwicklung der analytischen Abfragen / Reports
– Entwurf der BI-Strategie, Auswahl von Tools
• Performance der Berichte / Ad-Hoc Abfragen / Management Dashboards?
Ja: kein Tuning notwendig, durch minimale Optimierung weitere Verbesserungen =
Maximale Unterstützung der fachlichen Anforderungen
21
Information Management
Eine echte Appliance ermöglicht
Geschwindigkeit, die das
Unternehmen transformiert
…when something took 24 hours I could only do so much
with it, but when something takes 10 seconds, I may be
able to completely rethink the business…
- SVP Application Development, Nielsen
15.000 Benutzer; mehr, als 800.000
Abfragen pro Tag; 50x schneller
22
Information Management
Performance ist nicht alles! (Aber ohne Performance….)
•
•
•
•
•
•
Keine Tablespaces
Keine Partitionierung
Keine Indices
Kein Log-Management
1x DB Server Cluster
(active/passive)
Verbindungen: 5 x IP und
Strom.
Information Management
Nicht Einfach (Beispiel)
Einfach!
Führende relationale Datenbank
CREATE TABLE "MRDWDDM"."RDWF_DDM_ROOMS_SOLD" ("ID_PROPERTY" NUMBER(5,
0) NOT NULL ENABLE, "ID_DATE_STAY" NUMBER(5, 0) NOT NULL ENABLE,
"CD_ROOM_POOL" CHAR(4) NOT NULL ENABLE, "CD_RATE_PGM" CHAR(4) NOT
NULL ENABLE, "CD_RATE_TYPE" CHAR(1) NOT NULL ENABLE,
"CD_MARKET_SEGMENT" CHAR(2) NOT NULL ENABLE, "ID_CONFO_NUM_ORIG"
NUMBER(9, 0) NOT NULL ENABLE, "ID_CONFO_NUM_CUR" NUMBER(9, 0) NOT
NULL ENABLE, "ID_DATE_CREATE" NUMBER(5, 0) NOT NULL ENABLE,
"ID_DATE_ARRIVAL" NUMBER(5, 0) NOT NULL ENABLE, "ID_DATE_DEPART"
NUMBER(5, 0) NOT NULL ENABLE, "QY_ROOMS" NUMBER(5, 0) NOT NULL
CREATE INDEX "MRDWDDM"."RDWF_DDM_ROOMS_SOLD_IDX1" ON "RDWF_DDM_ROOMS_SOLD"
ENABLE, "CU_REV_PROJ_NET_LOCAL" NUMBER(21, 3) NOT NULL ENABLE,
("ID_PROPERTY" , "ID_DATE_STAY" , "CD_ROOM_POOL" , "CD_RATE_PGM" ,
"CU_REV_PROJ_NET_USD"
3) NOT NULL) ENABLE,
"CD_RATE_TYPE" ,NUMBER(21,
"CD_MARKET_SEGMENT"
PCTFREE 10 INITRANS 6 MAXTRANS 255
"QY_DAYS_STAY_CUR"
NUMBER(3,
NOT NULL "DDM_DATAMART_INDEX_L"
ENABLE, "CD_BOOK_SOURCE"
STORAGE( FREELISTS
10) 0)
TABLESPACE
NOLOGGING
DEGREE 4PCTFREE
INSTANCES
1) LOCAL(PARTITION
PCTFREE
10
CHAR(1)PARALLEL
NOT NULL( ENABLE)
5 PCTUSED
95 INITRANS 4"PART1"
MAXTRANS
255
INITRANS
6 MAXTRANS
255 STORAGE(INITIAL
4194304 NEXT
4259840 MINEXTENTS 1
STORAGE(
FREELISTS
6) TABLESPACE
"DDM_ROOMS_SOLD_DATA"
NOLOGGING
MAXEXTENTS
PCTINCREASE
0 FREELISTS"PART1"
10 FREELIST
PARTITION
BY RANGE100000
("ID_PROPERTY"
) (PARTITION
VALUESGROUPS
LESS 1 BUFFER_POOL
DEFAULT) TABLESPACE "DDM_DATAMART_INDEX_L" NOLOGGING, PARTITION "PART2"
THAN (600)
PCTFREE
5 PCTUSED
95 INITRANS
MAXTRANS 255
PCTFREE
10 INITRANS
6 MAXTRANS
255 4STORAGE(INITIAL
4194304 NEXT 4259840
STORAGE(INITIAL
FREELISTS
6 FREELIST
GROUPS
1) TABLESPACE
MINEXTENTS16777216
1 MAXEXTENTS
100000
PCTINCREASE
0 FREELISTS
10 FREELIST GROUPS
CREATEDEFAULT)
BITMAP
INDEX
"CRDBO"."SNAPSHOT_MONTH_IDX13"
ON
1 BUFFER_POOL
TABLESPACE
"DDM_DATAMART_INDEX_L"
NOLOGGING,
"DDM_ROOMS_SOLD_DATA"
NOLOGGING
NOCOMPRESS,
PARTITION "PART2" VALUES
"SNAPSHOT_OPPTY_MONTH_HIST"
("SNAPSHOT_YEAR"
) PCTFREE 10 INITRANS 2
PARTITION
10 95
INITRANS
6 MAXTRANS
255255
STORAGE(INITIAL
LESS THAN
(1200) "PART3"
PCTFREE PCTFREE
5 PCTUSED
INITRANS
4 MAXTRANS
MAXTRANS
255 MINEXTENTS
STORAGE(INITIAL
4194304 100000
NEXT 4194304
MINEXTENTS
2 MAXEXTENTS
4194304 NEXT
4259840
1 MAXEXTENTS
PCTINCREASE
0
STORAGE(INITIAL
16777216
FREELISTS
6 FREELIST
GROUPS
1) TABLESPACE
2147483645
PCTINCREASE
0 FREELISTS
1 FREELIST
GROUPS 1 BUFFER_POOL
FREELISTS
10 FREELIST
GROUPS 1 BUFFER_POOL
DEFAULT)
TABLESPACE
"DDM_ROOMS_SOLD_DATA"
NOCOMPRESS,
PARTITION
"PART3"
VALUES
DEFAULT)NOLOGGING
TABLESPACE
"SFA_DATAMART_INDEX"
NOLOGGING
;10 INITRANS 6
"DDM_DATAMART_INDEX_L"
NOLOGGING,
PARTITION
"PART4"
PCTFREE
LESS THAN
(1800)255
PCTFREE
5 PCTUSED 95
INITRANS
MAXTRANSMINEXTENTS
255
MAXTRANS
STORAGE(INITIAL
4194304
NEXT4 4259840
1 MAXEXTENTS
100000 PCTINCREASE
0 FREELISTS
10 FREELIST
GROUPS
1 BUFFER_POOL DEFAULT)
STORAGE(INITIAL
16777216 FREELISTS
6 FREELIST
GROUPS
1) TABLESPACE
TABLESPACE "DDM_DATAMART_INDEX_L"
NOLOGGING,
PARTITION
"DDM_ROOMS_SOLD_DATA"
NOLOGGING NOCOMPRESS,
PARTITION
"PART4" "PART5"
VALUES PCTFREE 10
INITRANS
6 PCTFREE
MAXTRANS5 255
STORAGE(INITIAL
NEXT255
4259840 MINEXTENTS 1
LESS THAN
(2400)
PCTUSED
95 INITRANS 4194304
4 MAXTRANS
CREATE
CLUSTER
"MRDW"."CT_INTRMDRY_CAL"
("ID_YEAR_CAL" NUMBER(4, 0),
MAXEXTENTS 100000 PCTINCREASE 0 FREELISTS 10 FREELIST GROUPS 1 BUFFER_POOL
"ID_MONTH_CAL"
NUMBER(2,
0), "ID_PROPERTY"
NUMBER(5, 0)) SIZE 16384
STORAGE(INITIAL
16777216 FREELISTS
6 FREELIST
GROUPS
1) TABLESPACE
DEFAULT) TABLESPACE
"DDM_DATAMART_INDEX_L"
NOLOGGING,
PARTITION "PART6"
PCTFREE NOLOGGING
10 PCTUSEDNOCOMPRESS,
90 INITRANSPARTITION
3 MAXTRANS
255 STORAGE(INITIAL
"DDM_ROOMS_SOLD_DATA"
"PART5"
VALUES
PCTFREE 10 INITRANS
6 MAXTRANS 255 STORAGE(INITIAL
4194304
NEXT 4259840
83886080 NEXT 41943040 MINEXTENTS 1 MAXEXTENTS 1017 PCTINCREASE 0
MINEXTENTS
1 MAXEXTENTS
100000
0 FREELISTS
LESS THAN
(3000) PCTFREE
5 PCTUSED
95 PCTINCREASE
INITRANS 4 MAXTRANS
255 10 FREELIST GROUPS
FREELISTS 4 FREELIST GROUPS 1 BUFFER_POOL RECYCLE) TABLESPACE
1 BUFFER_POOL
DEFAULT)
TABLESPACE
"DDM_DATAMART_INDEX_L"
NOLOGGING ) ;
STORAGE(INITIAL
16777216
FREELISTS
6 FREELIST
GROUPS 1) TABLESPACE
"TSS_FACT"
;
"DDM_ROOMS_SOLD_DATA" NOLOGGING NOCOMPRESS, PARTITION "PART6" VALUES
LESS THAN (MAXVALUE) PCTFREE 5 PCTUSED 95 INITRANS 4 MAXTRANS 255
STORAGE(INITIAL 16777216 FREELISTS 6 FREELIST GROUPS 1) TABLESPACE
"DDM_ROOMS_SOLD_DATA" NOLOGGING NOCOMPRESS ) ;
Indexes
Bitmap index
Netezza
CREATE TABLE MRDWDDM.RDWF_DDM_ROOMS_SOLD (
ID_PROPERTY numeric(5, 0) NOT NULL ,
ID_DATE_STAY integer NOT NULL ,
CD_ROOM_POOL CHAR(4) NOT NULL ,
CD_RATE_PGM CHAR(4) NOT NULL ,
CD_RATE_TYPE CHAR(1) NOT NULL ,
CD_MARKET_SEGMENT CHAR(2) NOT NULL ,
ID_CONFO_NUM_ORIG integer NOT NULL ,
ID_CONFO_NUM_CUR integer NOT NULL ,
ID_DATE_CREATE integer NOT NULL ,
ID_DATE_ARRIVAL integer NOT NULL ,
ID_DATE_DEPART integer NOT NULL ,
QY_ROOMS integer NOT NULL ,
CU_REV_PROJ_NET_LOCAL numeric(21, 3) NOT NULL ,
CU_REV_PROJ_NET_USD numeric(21, 3) NOT NULL ,
QY_DAYS_STAY_CUR smallint NOT NULL ,
CD_BOOK_SOURCE CHAR(1) NOT NULL)
distribute on random;
Table Clusters
Keine Indices
Kein physikalisches Tuning/Administration
Verteilung der Daten per Zufall oder Spalte
Information Management
Einfach: Beladen der Netezza Appliance
JDBC
ODBC
Data In
SQL
Ab Initio
Business Objects/SAP
Composite Software
Expressor Software
Oracle GoldenGate
Informatica
IBM Information Server
Oracle Data Integrator (exSynopsis)
WisdomForce
OLE-DB
OLE
Daten-Integration*
*Liste nicht vollständig
Information Management
Einfach: Abfragen der Netezza Appliance
*Liste nicht vollständig
JDBC
ODBC
Data Out
SQL
Actuate
Business Objects/SAP
Cognos (IBM)
Information Builders
Kalido
KXEN
MicroStrategy
Oracle BIEE
QlikTech
Quest Software
SAS
SPSS (IBM)
Unica (IBM)
OLE-DB
OLE
Business Intelligence*
Information Management
Klassische (Problem)stellung in DWH-Projekten mit Netezza:
Überwindung von Grenzen – Einfachheit in Betrieb und Nutzung
Identifikation der benötigten Daten / Herkunft dieser
– Entwurf einer ETL-Strategie, Auswahl von Tools und Methoden
• Reicht die Nacht?
Ja: kein Tuning, Nutzung der bekannten ETL-Tools, Verlagerung in die Datenbank
möglich (ELT)
Entwicklung eines fachlichen Modells (Dimensionen, Fakten, Historisierungen etc.)
– Entwurf des DWH und der Datamarts, mit allen Konsequenzen, Größenschätzungen
• Alles Fachlichkeit abbildbar?
Ja: einfach: keine Tablespaces, Indices, MVs etc...
Entwicklung der analytischen Abfragen / Reports
– Entwurf der BI-Strategie, Auswahl von Tools
• Performance der Berichte / Ad-Hoc Abfragen / Management Dashboards?
Ja: kein Tuning, Nutzung der bekannten BI-Tools
Betrieb:
– keine Wartung von Indices usw. / HA eingebaut / Integration in vorh. BR-Lösungen
27
Information Management
Eine echte Appliance ermöglicht
wesentlich einfachere und schnellere
Inbetriebnahme
eHarmony
They shipped us a box, we put it into our data
center and plugged into our network.
Within 24 hours we were up and running.
I'm not exaggerating, it was that easy.
- Joseph Essas, Vice President of Technology, eHarmony
28
Information Management
Klassische Problemstellung in laufenden DWH-Projekten
Laufende Wartung von Performancefeatures: entfällt.
Praxisbeispiel: Neue Query durch Fachabteilung (Tool basierend)
– unmöglich, da bisher nicht genutzte Spalte verwendet wurde, Laufzeit: nach mehreren
Stunden abgebrochen
– Abfrage manuell umgeschrieben: wenige Minuten Laufzeit
– Test mit Netezza (ohne neue Spalte)
• Ohne jegliche Optimierung: Performance * Faktor 30!
• Mit Optimierung (Verteilung): Performance * Faktor 50!
– Neue Spalte fest in Tabelle ergänzt: ab dann zig-Minuten Laufzeit (aber jederzeit durch
Endnutzer nutzbar)
– Test mit Netezza (mit neuer Spalte)
• Ohne jegliche Optimierung: Performance * Faktor 57!
• Mit Optimierung (Verteilung): Performance * Faktor 172!
Echte Weiterentwicklung? Ja, unbedingt!
29
Information Management
Eine echte Appliance:
30
Gemacht nur für einen Zweck: die Analyse
ihrer Daten
Integrierte Datenbank, Server und Speicher
Standard Schnittstellen
Niedrigste TCO für DWH-Systeme
Geschwindigkeit: 10-100x schneller als traditionelle
Systeme
Einfachheit: Minimale Administration und Tuning
Skalierbarkeit: bis zu Petabytes Nutzerdaten
Smart: High-Performance advanced Analytics
Information Management
IBM Netezza Roadshow am
1. Dezember 2011 im KochWerk in
Frankfurt am Main.
www.ibm.com/de/events/netezza
Marc Bastien
[email protected]
+49 (0) 7034 6430122
31