Big Data bei ProSiebenSat.1 Digital

Schwerpunkt
Big Data bei ProSiebenSat.1 Digital
„Big Data“ ist in aller Munde – ein typisches Hype-Thema, könnte man meinen. Doch hinter
dem Hype verbirgt sich ein enormes technologisches Potenzial, das innovative Unternehmen
bereits in großen Projekten zum Einsatz bringen. Das IT-Projekthaus inovex hat die ProSiebenSat.1 Digital GmbH dabei unterstützt, auf der Basis der Open-Source-Software Apache
Hadoop eine komplexe Big-Data-Lösung für die Analyse des gesamten Web Traffic zu erstellen, der in der Unternehmensgruppe entsteht.
Die ProSiebenSat.1 Group im Kurzprofil
Die ProSiebenSat.1 Group zählt heute mit 28
TV-Sendern und einer Reichweite von über 62
Millionen TV-Haushalten zu den führenden
Medienkonzernen Europas. Das Kerngeschäft
der Gruppe ist das Fernsehen, von den bekannten TV-Sendermarken wie SAT.1, ProSieben,
kabel eins und sixx über die ProSiebenSat.1
Networld bis hin zur Online-Videothek maxdome, digitalen Pay-TV-Angeboten und mobilen Services. Die ProSiebenSat.1 Digital GmbH
produziert als digitale Entertainment-Tochter
alle interaktiven Plattformen wie Online, HbbTV, Teletext oder Mobile.
Skalierende Datenvolumina + heterogene Datenquellen = Big Data
Die ProSiebenSat.1 Digital GmbH benötigt
für die Messung, Steuerung und Optimierung
ihrer zahlreichen Online-Plattformen detaillierte Datenanalysen des Web Traffic.
Primär sind dabei nicht-transaktionale
Online-Plattformen relevant, aber es sollen
auch Transaktionsdaten der Video-Plattform
MyVideo und von maxdome.de eingebunden
werden. Während der IT-technischen Konzeption einer geeigneten Analyse-Plattform (Data
Warehouse) stößt man sehr schnell auf zwei
typische Big-Data-Problemstellungen: ein sehr
stark skalierendes Datenvolumen und eine
Vielzahl von heterogenen Datenquellen.
Das absolute Datenvolumen im Jahr 2012
liegt bei etwa 10 Terrabyte, eine heute auch mit
klassischen Data-Warehouse-Technologien beherrschbare Größe. Das erwartete Datenwachstum von jährlich 300 % führt jedoch bereits bis
2015 zu einer Datenmenge im Petabyte-Bereich
– „Big Data“ also. In das Data Warehouse sollen
Kennzahlen von vielen verschiedenen Diensten
einfließen und miteinander in Beziehung gesetzt werden. Die Quellsysteme teilen sich dabei
auf fünf Bereiche auf:
16
1.
Online-Trafficdaten
aus
verschiedenen
Messsystemen
Google Analytics
WebTrekk
Unique User Tracker
Social Networks, z. B. Facebook Insights
2. VermarktungsdatenausderOnline-Werbung
von verschiedenen Adservern:
AdServer (DoubleClick for Publishers)
AdSense
OpenX
Salesforce (ProDia)
3. Markt- und Konkurrenzdaten
IVW
AGOF
4. Transaktionsbezogene Daten
User Service
MyVideo-Registrierungen
Social Networks, z. B. Facebook Insights
Maxdome
5. Weitere, interne Daten zur Geschäfts­
steuerung
Controlling: Budget- und Forecast-Daten
TV-Schaltpläne für Eigenwerbung
TV-Reichweiten (Sender und Formate)
Kampagnen-Daten (Online-Marketing, Werbemittelvermarktung)
Beschreibende Daten zu Videos und anderem
Content
Hybride Big-Data-Plattform auf
Open-Source-Basis
Das vorgeschlagene Data Warehouse setzt
sich als hybride, Open-Source-basierte Lösung aus einer relationalen Datenbank mit
PostgreSQL sowie einem vorgelagerten
Storage-and-Compute-Cluster auf Basis von
Apache Hadoop zusammen (s. Schaubild
rechts).
Das Apache-Hadoop-Cluster übernimmt
die Speicherung aller historischen Daten in
feinster Granularität und stellt den Integrations-Layer bereit. Hadoop ist dafür konzipiert
worden, große Datenmengen kostengünstig zu
speichern und zu verarbeiten. Als horizontal
skalierbares System ermöglicht Hadoop, dem
heutigen Datenspeicherbedarf entsprechend
mit einem kleinen Cluster aus sechs Knoten zu
starten. Das prognostizierte Anwachsen der Datenmenge kann zukünftig einfach durch Hinzunahme neuer Knoten aufgefangen werden.
Durch die redundante Speicherung aller Daten
im Cluster und die Konzeption des HadoopFrameworks ist außerdem die Ausfallsicherheit des Clusters bereits per se gegeben. Um
die Installation und Konfiguration des Clusters
zu vereinfachen, wird die CDH4-Distribution
von Cloudera eingesetzt, in der alle benötigten
Software-Komponenten aus dem Hadoop-Ecosystem optimal aufeinander abgestimmt sind.
Die Software wird mithilfe spezialisierter RexModule (inovex-Toolsuite für Deployment- und
Configuration-Management, www.rexify.org)
voll automatisiert im Cluster verteilt, installiert
und konfiguriert.
Datenintegration und
-aufbereitung
Die Vielzahl an unterschiedlichen Datenquellen erfordert verschiedene Herangehensweisen an deren Erschließung für das DataWarehouse-System: In den Fällen, in denen
eine tagesaktuelle Verfügbarkeit der Daten
ausreichend ist, werden diese als Dateien über
einen Austausch per Secure FTP zur Verfügung
gestellt. Videodaten, die mit geringerer Verzögerung ausgewertet werden müssen, werden
dagegen über einen verteilten, ausfallsicheren
Datentransportdienst (Apache Flume) eingesammelt. Daten aus sozialen Netzwerken wie
Twitter und Facebook werden über deren serviceorientierte Schnittstellen abgefragt.
Technik in Bayern 06/2013
schwerpunkt
INFO
INFO
TIPP
Die Bewirtschaftung eines solchen Systems
geschieht durch sogenannte ETL-Prozesse (Extract, Transfer, Load). Hadoop unterstützt dabei
hochgradig parallele und damit sehr schnelle
Verarbeitungsprozesse nach dem Map-ReduceVerfahren. Zur Erstellung dieser Programme ist
je nach Anwendungsfall eine der folgenden
Alternativen gewählt worden:
Pentaho Data Integration: bietet eine grafische Oberfläche, mit der BI-Anwender einfache Map-Reduce-Jobs erstellen können.
Pig Latin: ist eine Skriptsprache, die für Datenbankentwickler leicht zu erlernen ist und
im Hintergrund Map-Reduce-Jobs generiert.
Java: manuelle Entwicklung der Mapper- und
Reducer-Klassen in Java für besonders komplexe Transformationen oder wenn höchste
Performance erforderlich ist.
Datenanalyse
Im Data Warehouse erfolgen die dimensionale Modellierung und die Implementierung eines
Reporting- und Analyse-Layers. Damit steht
dem Anwender ein geeignetes Daten­modell und
eine vertraute Abfragesprache (SQL) zur Verfügung, um sowohl Standardberichte als auch
Technik in Bayern 06/2013
Ad-hoc-Auswertungen schnell und qualitätsgesichert bereitstellen zu können. Außerdem
können so praktisch alle BI-Frontend-Tools per
ODBC auf das DWH zugreifen. Aber auch auf
die Rohdaten im Hadoop-Cluster kann für Adhoc-Analysen per SQL bzw. ODBC zugegriffen
werden: Ein Hive-Server stellt diesen Zugriff zur
Verfügung. Hive wandelt die deskriptiven SQLAnfragen in Map-Reduce-Jobs um, die dann auf
dem Cluster abgearbeitet werden.
Zusammenfassung
inovex hat für die ProSiebenSat.1 Digital
GmbH zur Analyse des gesamten Web Traffic
eine hybride Big-Data-Lösung aus einer relationalen Datenbank und einem Apache Hadoop
Cluster entwickelt. Die SQL-Datenbank stellt
ein vertrautes Interface bereit und erreicht Antwortzeiten im Sekundenbereich, Hadoop deckt
die Big-Data-Anforderungen auch langfristig
souverän ab. Zusätzlich zu den Log-Daten werden Daten aus dem Bereich Social-Media (Facebook, Twitter, Google Analytics) mit integriert.
Jörg Ruckelshauß
inovex GmbH, Münster
informationen
Key Facts
Big-Data-System mit Apache Hadoop
5 Hadoop-relevante Datenquellen
> 10.000.000 Datensätze mit 250 GB
Volumen pro Tag
Technologien
Apache Hadoop, PIG, Hive, Flume, Java,
PostgreSQL, Pentaho Data Integration
INFO
INFO
TIPP
über inovex
inovex ist ein inhabergeführtes IT-Projekthaus.
Mehr als 120 IT-Ingenieure unterstützen seit
1999 die IT-Abteilungen in großen Unternehmen und in Internet-Companies bei der
Bewältigung der wichtigsten Aufgaben, die
sich derzeit im Internet-Umfeld stellen: Web
und Mobile Engineering, Business Intelligence
(BI) und Big Data, Cloud-Infrastrukturen und
Data Center Management. Die BI-Kompetenz
von inovex deckt sowohl die klassischen BIThemen ab (Data Warehouse, ETL, Reporting,
Dashboards) als auch die neuen Trends im BIUmfeld: Big Data, Enterprise Search und Social
Analytics. inovex deckt die gesamte Big-DataPalette ab: Aufbau der Infrastruktur, Big Data
Engineering, Einführung von Map-Reduce und
die Unterstützung angrenzender Technologien (Flume, HBase, Pig, Hive). www.inovex.de
17