Data Warehouse Performance mit flexibler Quellen

BUSINESS INTELLIGENCE
EINSATZBEREITE LÖSUNG
«stark wachsende Datenvolumen
erfordern innovative Lösungen ...»
Data Warehouse Performance
mit flexibler Quellen Integration
Flexible und schnelle Datenaufbereitung mit
SQL Parallel Boost und ETLight bei comparis.ch
Die Lösung
Der Internet-Vergleichsdienst
comparis.ch hat infolge des zunehmenden Datenvolumens und
den sich rasch ändernden Anforderungen die bestehende Data
Warehouse Umgebung
etappenweise erneuert.
Durch eine konsequente Parallelisierung der einzelnen Datenaufbereitungsschritte, sowie der
einzelnen (datenverändernden)
Teilschritte kann die Dauer der
Data Warehouse Ladezyklen
massiv verkürzt werden.
Über die Lösungskomponenten
SQL Parallel Boost und ETLight
konnten so in kurzer Zeit kosteneffiziente best-practice Lösungen
in Betrieb genommen werden.
Neue Anforderungen können
dank der Definitionslogik von
ETLight rascher und einfacher
umgesetzt werden.
Unsere Leistung
 Implementierung
 Performance Tuning
 Betriebsunterstützung
Eingesetzte Technologie
 SQL Parallel Boost
 ETLight
auf technischer Basis von
Microsoft SQL Server
comparis.ch ist der führende Internet-Vergleichsdienst der Schweiz. Konsumenten können
auf www.comparis.ch einfach und schnell Tarife und Leistungen von Krankenkassen, Versicherungen, Banken, Telecom-Anbietern, Immobilien, Autos und Motorrädern vergleichen.
Das Unternehmen wurde 1996 gegründet und vermittelt jährlich mehrere 100‘000 Kontakte
zwischen verschiedenen Anbietern und Nutzern. Das Unternehmen mit Sitz in Zürich zählt
heute mehr als 80 Angestellte.
Integrierte Daten als zentrale Grundlage für Kundendienstleistungen und Marketing
Durch die verschiedenen Dienstleistungen mit einer wachsenden Zahl unterschiedlicher
Anwendungen und applikationseigenen Datenbanken war es früher sehr aufwendig und
teilweise sogar unmöglich, aus den vorhandenen Daten zeitgerecht die gewünschten
Informationen zu gewinnen. Die Herstellung einer einheitlichen und integrierten Sicht über
die verschiedenen Dienstleistungsbereiche war zuweilen nur zeitlich befristet und mit jeweils
grossem Aufwand möglich.
Mit der Zielsetzung einer vereinfachten, einheitlichen und raschen Auswertbarkeit aller
Dienstleistungsbereiche hat man 2003 den Aufbau einer eigenen Data Warehouse Umgebung initiiert. Damit wurde unter anderem die Grundlage für eine vereinfachte Ermittlung
der bevölkerungsweiten Sparpotentiale, einer konsolidierten Sicht und Analyse des
Nutzungsverhaltens, sowie einer gezielteren Kontaktpflege zu den Kunden geschaffen.
Auf Basis des sogenannten „BI Framework“ (Vorversion von ETL Xpert der Firma ibax AG) hat
man in den kommenden Monaten erfolgreich die Daten aus über 45 unterschiedlichen
Quellsystemen in das Data Warehouse integriert. Über das Data Warehouse werden so den
Endanwendern aktuelle und qualitativ verbesserte Daten in einer konsistenten und einheitlich
strukturierten Form zur Verfügung gestellt. Je nach Anwendungssituation werden die Daten
mit unterschiedlichen Front-End Anwendungen über sogenannte Datenwürfel (Cubes;
Analysis Services), vorgefertigte Abfragestrukturen (Datenbank-Views) oder Datenextrakte
(Datenbank-Tabellen) genutzt.
Vereinfachung der Aufbereitungsprozesse
Kritische Dauer der Aufbereitungszeiten
Infolge des Unternehmenswachstums der comparis.ch und den gleichzeitigen Erweiterungen
in den verschiedenen Quellsystemen hat sich das zu verarbeitende Datenvolumen im Data
Warehouse binnen weniger Jahre nahezu verzehnfacht. Trotz einem starken Ausbau der
Serverkapazitäten (Rechenleistung und Datenspeicher) beanspruchte ein vollständiger
Ladezyklus teilweise über 30 Stunden.
Zur Verkürzung der kritisch langen Ladezeiten bei gleichzeitig besserer Ausnutzung der verfügbaren Server-Ressourcen hat das Data Warehouse Team der comparis.ch im Jahr 2009 die
ibax Lösungskomponente SQL Parallel Boost eingeführt.
WE TRANSFER DATA
TO KNOWLEDGE
Durch die in SQL Parallel Boost
enthaltene Parallelisierungslogik kann
die Datenverarbeitungsleistung von
Microsoft SQL Server um bis zu Faktor
10 (!) gesteigert werden.
Gleichzeitig konnte dadurch der
Speicherplatzbedarf der DatenbankLogfiles reduziert und dieser zu
Gunsten neuer, zusätzlicher Daten
genutzt werden.
Unter der Projektleitung des Head of Data Warehouse der comparis.ch und der technischen
Unterstützung der ibax AG wurde binnen weniger Tage SQL Parallel Boost umfassend in den
bestehenden Ladeprozess integriert. Die Dauer eines vollständigen Ladezyklus konnte so
rasch und effektiv auf wenige Stunden reduziert werden. Die gesamte Datenverarbeitung
kann über integrierte Monitoring- und Analyseberichte überwacht und ausgewertet werden.
»Dank der Einführung von
SQL Parallel Boost konnte die
Dauer der Ladezyklen massiv
verkürzt werden. Durch die bessere
Ausnutzung der bestehenden
Server-Ressourcen konnten wir so
auf einen vorzeitigen Hardwareausbau verzichten.
Die aktuelle Migration auf die
neue Definitions- und Prozesslogik
von ETLight erlaubt uns zudem
neue Anforderungen rascher
umzusetzen.
Trotz stetig zunehmendem
Datenvolumen erlauben uns die
beiden Lösungskomponenten der
ibax AG eine Datenaufbereitung
in angenehmen Rekordzeiten.«
Pascal Ziegler
Head of Data Warehouse
bei comparis.ch
ibax AG
Enterprise Business Intelligence
Talweg 74
CH-8707 Uetikon am See
Tel: +41 44 796 14 15
[email protected]
www.ibax.ch
Vereinfachte und raschere Integration neuer Datenquellen
Die bestehende Data Warehouse Umgebung hat sich während den letzten 9 Jahren als zuverlässige Plattform bewährt. Das „BI Framework“ wurde über die Jahre seit seiner Ersteinführung auf Basis von SQL Server 2000 bereits zweimal erfolgreich, zuerst auf SQL Server
2005 und später auf SQL Server 2008 R2, migriert. Im Jahr 2012 hat man sich entschieden,
das Data Warehouse auf den neusten Stand der technischen Möglichkeiten auszurichten.
Hierbei wollte man das unternehmensinterne Warehouse Modell unter Berücksichtigung der
gemachten Praxiserfahrungen mit folgenden Zielsetzungen auf eine neue Basis stellen.

Verschlankung der Ladeprozess-Funktionalität zu Gunsten einer vereinfachten und
rascheren Integration und Anpassung von Datenquellen, sowie kürzeren Ladezeiten.

Gewährleistung der Möglichkeit die Ladeprozesse um eigene
objektspezifische Verarbeitungsschritte zu erweitern.

Verbesserte Ausschöpfung des
Leistungspotentials der
bestehenden Ressourcen (ServerHardware und DatenbankSoftware).
Nach dem Motto „reduce to the max“ hat sich comparis.ch entschieden, anstelle auf die
umfassende funktionale Folgelösung von ETL Xpert zu migrieren, die Ladeprozesse neu über
die Lösungskomponente ETLight der Firma ibax AG abzubilden.
ETLight unterstützt hierbei ebenso eine performance-optimierte Datenverarbeitung. Dank
integriertem Warteschlangenkonzept können alle Teilschritte nahezu uneingeschränkt
parallel ausgeführt werden. Das schlanke Prozessmodell von ETLight erlaubt zudem über
vordefinierte Schnittstellen beliebige individuelle Code-Erweiterungen in den Ladeprozess
einzubinden. Unverändert bildet dabei SQL Parallel Boost einen integralen Bestandteil der
neu realisierten Prozesslogik.
Die serverseitige Basisinstallation von ETLight und technische Einführung des Data Warehouse Teams wurde mit Unterstützung der Firma ibax AG in weniger als drei Arbeitstage
abgeschlossen. Die darauffolgende Migration der bestehenden Umgebung konnte binnen
weniger Wochen umgesetzt werden. Spezielle Aufbereitungsschritte (Datenbereicherung,
Slowly Changing Dimension Logik, etc.) konnten rasch und unkompliziert über individuelle
Code-Erweiterungen integriert werden.
Seit der Einführung von ETLight können neue Anforderungen in weniger als 30-50% der
ursprünglich benötigten Zeit umgesetzt werden. Die Datenaufbereitungszeiten der
Ladezyklen konnten zudem um weitere 25-30% reduziert werden.
© 2012 ibax AG. ibax und aito sind geschützte Warenzeichen der ibax AG. Alle anderen Produktnamen
sind Warenzeichen der jeweiligen Hersteller. Technische Änderungen und Irrtum vorbehalten.