Case Study "Migration des Data Warehouse auf SQL Server 2014
Werbung
inovex Case Study Hussel GmbH Migration des Hussel-Data-Warehouse auf SQL Server 2014 © inovex GmbH April 2016 inovex Case Study: Hussel-Data-Warehouse Nachdem die Hussel GmbH von der Douglas Holding verkauft worden war, musste das bestehende Data Warehouse aus der mit der Parfümerie gemeinsam genutzten Infrastruktur in ein neues Data Center überführt werden. Gemeinsam mit Microsoft-Gold-Partner inovex GmbH gelang die Analyse der Ist-Situation, die Konzeption der BI-Architektur sowie die Planung und Umsetzung der Migration des Data Warehouse – trotz eines knappen Zeitrahmens von 4 Monaten. Ausgangssituation Als Teil der Douglas Holding basierte Hussels Data Warehouse bislang auf einer zentralen, von der Douglas-Informatik verwalteten IBM DB2-Datenbank. Diese wurde vor allem durch das MicrosoftWarenwirtschaftssystem Dynamics NAV gespeist, dessen Daten wiederum auf einer Microsoft-SQL-Serverdatenbank lagen. Um Daten vom Warenwirtschaftssystem in die zentrale Datenbank zu übertragen, wurden diese zunächst in ein CSV-Format exportiert. Zur Bewirtschaftung des Data Warehouse waren zahlreiche Datenbank- und Unix-Shell-Skripte im Einsatz. Die tägliche Datenversorgung wurde skriptgesteuert über einen UNIXScheduler via cron- und at-Jobs realisiert. Das Reporting erfolgte über eine MicroStrategy-Lösung mit DB2Metadatenbanken. Die eingesetzte Testumgebung beinhaltete ein Data Warehouse und Metadaten für MicroStrategy. Für die Versionskontrolle wurde Subversion und zur Projektverwaltung JIRA genutzt. 2 inovex GmbH · Ludwig-Erhard-Allee 6 · 76131 Karlsruhe · Tel. +49 721 619 021-0 · [email protected] · www.inovex.de inovex Case Study: Hussel-Data-Warehouse Anforderungen: Mehr Performance und ein nahtloser Übergang Die Zielsetzung für die Migration in ein neues Data Center war ambitioniert: Nicht nur sollte die Datenhaltung von einer DB2- auf eine MS-SQLDatenbank umgestellt werden, die sich besser in die bestehende MicrosoftInfrastruktur einfügt, es durfte auch im Berichtswesen keinen Ausfall beim Übergang in das folgende Geschäftsjahr entstehen. Zusätzlich war eine Performance-Steigerung ebenso erwünscht wie ein Betrieb durch Generalisten, um die Personaldecke nicht unnötig mit mehreren Spezialisten zu verdicken: Das ganze System sollte transparent und übersichtlich gestaltet werden. Das neue Hussel-Data-Warehouse Und tatsächlich konnten all diese Anforderungen erfüllt werden. Die Migration des Data Warehouse auf Microsoft SQL Server 2014 EE vereinfacht den Betrieb, da dieser bereits für die Resourcenplanung (ERP) verwendet wird. Die Verwendung des ETL-Tools (Extraction-TransformationLoad) Microsoft SQL Server Integration Services sorgt für strukturierte Abläufe und bringt überdies Funktionalität für Error Handling, Auditing und Logging mit, sodass Ausfallzeiten minimiert werden können. Durch das Auditing-Template der inovex, das ohne große Aufwände an die Hussel Bedarfe angepasst wurden konnte, war eine schnelle Umsetzung dieser Art erst möglich. 3 inovex GmbH · Ludwig-Erhard-Allee 6 · 76131 Karlsruhe · Tel. +49 721 619 021-0 · [email protected] · www.inovex.de inovex Case Study: Hussel-Data-Warehouse Zusätzliche Ausfallsicherheit bietet die integrierte Zeit- und WorkflowSteuerung im SQL-Server-Agent, die im Fehlerfall Alarm schlägt und das schnelle Eingreifen des Betriebspersonal ermöglicht. Die Performance des Systems wird durch mehrere Änderungen deutlich verbessert: Über eine metadatengesteuerte Extraktion und Archivierung der Daten aus NAV können einzelne Tabellen vollautomatisiert bis in den Core Layer des Data Warehouse übertragen werden. Durch einen Eintrag in den Metadaten entfallen viele manuelle Schritte und dank eines Delta Loads eignet sich das Verfahren auch für große Datenmengen. Die Extraktion und Archivierung der Daten direkt aus Tabellen ist ein deutlicher Zeitgewinn auch für zukünftige Projekte, da der Lade-Mechanismus auch für andere Quellsysteme verwendet werden kann. Gleichzeitig entfällt die Konvertierung der Daten aus dem CSV-Format sowie die Verwaltung der CSV-Dateien auf File Shares, was den Prozess nicht nur beschleunigt, sondern diese Fehlerquelle komplett ausschließt. Dank der metadatengesteuerten Extraktion und Archivierung ist die Anbindung zusätzlicher NAV-Tabellen inzwischen mit einem Aufwand im kleinen einstelligen Stundenbereich möglich. Für die Befüllung der Stern-Schemata stehen im neuen Hussel-DataWarehouse Templates zur Verfügung, die den Prozess vereinheitlichen und jeweils Zusatzfunktionalitäten wie das Auditing beinhalten. Weiterhin erlaubt die im SQL-Server integrierte In-Memory-Technologie ClusteredColumnstore Index stark beschleunigte Auswertungen. Um die reibungslose Verarbeitung der Daten zu gewährleisten und Performance-Einbußen zu vermeiden, werden nun auch die Metadatenbanken für ETL und Reporting in SQL-Server-Datenbanken gespeichert. Da somit alle relevanten Datenbanken auf dem Microsoft SQL Server basieren, konnte außerdem ein umfassendes, konsistentes Backupund Betriebskonzept für das Hussel-Data-Warehouse etabliert werden. Auch die Entwicklung profitiert von der nunmehr homogenen MicrosoftUmgebung. So kommen die in Visual Studio integrierten SQL Server Data Tools für die Datenbankobjekte und ETL-Prozesse zum Einsatz. Deren visuelle Oberfläche erhöht die Entwicklungsgeschwindigkeit und hilft dank automatisierbaren Deployments zwischen den Entwicklungs-, Test- und Produktivumgebungen dabei, manuelle Fehler zu reduzieren. Außerdem ermöglicht das Verwalten der Artefakte in Visual Studio das Benutzen einer Versionskontrolle, die das Arbeiten im Team und strukturierte Releases erst möglich macht. 4 inovex GmbH · Ludwig-Erhard-Allee 6 · 76131 Karlsruhe · Tel. +49 721 619 021-0 · [email protected] · www.inovex.de inovex Case Study: Hussel-Data-Warehouse Fazit „Der Umzug in das neue, von Douglas losgelöste, Rechenzentrum verlief reibungslos. Ein heterogenes Team aus Hussel-Mitarbeitern, der Unterstützung von Douglas Informatik & Service und inovex-BI-Spezialisten setzte die neue Infrastruktur innerhalb des vorgegebenen Zeitrahmens und unter Berücksichtigung des geplanten Budgets fehlerfrei um. So konnten die Monats- und Jahresendauswertungen wie gefordert schon auf dem neuen System durchgeführt werden.“ Andreas Smieja, Projektleiter Hussel Verwendete Technologien • • • • • • • • Microsoft SQL Server 2014 Enterprise Edition SQL Server Integration Services Microsoft Dynamic NAV Visual Studio 2013/SQL Server Data Tools Git Management Studio gitlab MicroStrategy Reporting 5 inovex GmbH · Ludwig-Erhard-Allee 6 · 76131 Karlsruhe · Tel. +49 721 619 021-0 · [email protected] · www.inovex.de Über inovex inovex ist ein IT-Projekthaus mit dem Schwerpunkt „Digitale Transformation“. Über 200 Berater und IT-Ingenieure unterstützen Unternehmen bei der Digitalisierung ihres Kerngeschäfts und bei der Realisierung von neuen Wertschöpfungsmodellen. Zum Portfolio von inovex gehören Digital Consulting, Web und Mobile Development, Business Intelligence, Big Data und Search, Data Center Automation und Cloud-Infrastrukturen sowie Trainings und Coachings. inovex ist in Karlsruhe, Pforzheim, München, Köln und Hamburg ansässig und bundesweit in Projekte involviert. Nehmen Sie Kontakt auf › Haben Sie Fragen rund um das Thema Business Inteligence? › Suchen Sie einen Partner, der Sie bei der Implementierung Ihrer Analytics-Infrastruktur unterstützt? › Möchten Sie mehr über inovex und unser Portfolio für die digitale Transformation erfahren? Ihr Ansprechpartner Stefan Kirner Head of BI Solutions 0173 31 81 012 [email protected] www.inovex.de
