EINFÜHRUNGS- VORTRAG „BIG DATA“

EINFÜHRUNGSVORTRAG
„BIG DATA“
„Datenanalyse als
neuer Produktionsfaktor
Produktionsfaktor“
20. Mai 2014
Gigantische Datenmengen x10
die Menge der digitalen Informationen verzehnfacht sich alle
5 Jahre
90%
der weltweit verfügbaren Daten
sind in den vergangenen 2 Jahren
entstanden
30 Milliarden
Einträge auf Facebook
jeden Monat
Um Erfolg im Markt zu haben ist es essentiell, nicht nur detaillierte Einblicke in die zukünftige Entwicklung
zu haben, sondern auch die Fähigkeit zu erarbeiten sich schnell einer bestimmten Entwicklung des Marktes
anpassen zu können
können.
Agenda
1
Nutzen und Bedeutung von Big Data
2
Einsatzmöglichkeiten von Big Data
3
Implementierung und Architektur
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
3
Agenda
1
Nutzen und Bedeutung von Big Data
2
Einsatzmöglichkeiten von Big Data
3
Implementierung und Architektur
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
4
Nutzen und Bedeutung von Big Data
Definition und Strukturierung des Big Data Begriffes
Für den Begriff Big Data findet sich in der Literatur und Presse keine einheitliche Definition.
Grundsätzlich lässt sich der Begriff aber wie folgt strukturieren:
Definition von “Big Data”
durch Unternehmen
Zi l t
Zielsetzungen
• Gewinnung und
Nutzung entscheidungsrelevanter Erkenntnisse
• Prozessoptimierung in
Echtzeit
Größere Bandbreiten an
I f
Informationen
ti
18%
Neue Arten von Daten
und Analysen
16%
15%
Echtzeitinformationen
Art der
Informationen
• qualitativ vielfältig
• unterschiedlich
strukturiert
• Integration aus
verschiedenen Quellen
Moderne Medienarten
13%
Zustrom von Daten aus
neuen Technologien
13%
Das neueste Modewort
Dynamik und
Umfang
• schneller Wandel der
Daten
• bisher unbekannter und
stetig wachsender
D t
Datenumfang
f
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
10%
Große Datenmengen
Daten aus sozialen
Medien
8%
7%
0% 5% 10% 15% 20%
Quelle: IBM/Oxford University (Mitte 2012)
n = 1.144 IT- und Business Experten
weltweite Befragung
5
Nutzen und Bedeutung von Big Data
Unser Verständnis von Big Data auf einen Blick
Big Data umfasst die
Bereitstellung von
K
Konzepten,
t
M
Methoden,
th d
Tools, Technologien
und IT-Architekturen,
um das exponentiell
wachsende
h
d Angebot
A
b t
an vielfältigen
Informationen für
schnelle und fundierte
Entscheidungen
aufzubereiten.
Big Data bezeichnet die Hochgeschwindigkeits-Analyse großer Datenmengen aus
vielfältigen Quellen mit dem Ziel,
Ziel wirtschaftlichen Nutzen zu erzeugen
erzeugen.
Charakteristika von Big Data:
Volume
– Datenvolumen verdoppelt
pp sich ca. alle 2 Jahre
Variety
– Vielfältige Datenquellen und -formate (Soziale Netzwerke, GPS-Signale, Youtube-Videos, )
Velocity
– Die Geschwindigkeit der Datenauswertung („Echtzeit“) ist ein bedeutender Faktor
KPMG betrachtet dabei zusätzlich die folgenden Charakteristika:
Veracity
– Adäquate Governance- und Kontrollmechanismen ermöglichen es, sogar aus einer
Kombination aus strukturierten und verunreinigten Daten gute Einblicke zu gewinnen
Value
– Datenverfügbarkeit
Datenverfügbarkeit, Operative Prozessverbesserungen
Prozessverbesserungen, Entscheidungsunterstützung
Entscheidungsunterstützung, InnoInno
vationen & Produktentwicklung, Marketing & Sales, Monetarisierung der Daten- und -analyse
• Verbessertes Verständnis durch die
Verarbeitung großer Datenmengen
Big Clarity
Big Flexibility
Big Efficiency
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Big
Impact
• Flexible und schnelle Anpassung der
Datenanalyse
• Zeitnahe Bereitstellung von entschei
entscheidungsrelevanten Informationen
6
Nutzen und Bedeutung von Big Data
Kriterien zur Begriffscharakterisierung – „Das V5-Konzept“
Volume
•
Entstehung immer größerer Datenmengen
•
in oft unbekanntem Ausmaß für die
betreffenden Unternehmen
•
Variety
(strukturiert semi
(strukturiert,
semi-strukturiert
strukturiert, unstrukturiert)
•
Informationsquellen werden vielfältiger
•
neben dem klassischen Reporting werden
Datenströme zunehmend in Geschäfts-
Velocity
Veracity
Value
Komplexität zahlreicher Datentypen steigt
prozesse integriert (Echtzeitauswertungen)
•
Self-Service Business Intelligence
•
Zuverlässigkeit von Informationen
(naturgemäße Unvorhersagbarkeit)
•
Prozessverbesserungen
•
Entscheidungsunterstützung
•
Monetarisierung
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
7
Nutzen und Bedeutung von Big Data
IT-Trends und deren Zusammenwirken mit Big Data
Cloud Computing und SaaS
Zunehmende Entwicklung dezentraler
Informationsbereitstellungskonzepte
Mobile Informationstechnologien
Entstehung stark wachsender
Datenmengen und Location Based
Services
Sensoren und M2M
Vernetzung
g von Produktionsgütern,
g
Maschinen und anderen Geräten
Big
Bi
Data
Neue Herausforderungen aber
auch Möglichkeiten für den
Umgang mit den Folgen dieser
IT-Trends
IT
Trends
Social Web
Erzeugung und Distribution von Content durch
die Nutzer von Social Media Anwendungen
Verfügbare Daten und die geeignete Technik,
diese auszuwerten,
auszuwerten sind
notwendige Voraussetzungen.
Aber wie kann die Nutzung dieser
I f
Informationen
ti
ffür U
Unternehmen
t
h
aussehen?
h ?
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
8
Nutzen und Bedeutung von Big Data
Mithilfe der klassischen Datenanalyse konnten bisher nur strukturgleiche
und komplett strukturierte Daten verarbeitet werden
Big Data ermöglicht die integrative Analyse sowohl strukturierter, semistrukturierter als
auch unstrukturierter Daten.
Big Data
Datenwelt
Strukturiert
Semistrukturiert
Unstrukturiert
(Länge und Format definiert)
(Länge und Format teils definiert)
(Länge und Format undefiniert)
Maschinell generiert
Sensordaten (RFID,
medizinische Geräte, GPSDaten)
Web-Log-Daten (Aktivitäten
auf Servern und
Netzwerken)
Point-of-Sale-Daten
(Kundendaten am POS)
Finanzdaten (Aktienkurse)
vom Menschen generiert
Inputdaten (Dateneingabe
auf Computern)
Clickstream-Daten
(Websitelinks)
Spieldaten (Aufzeichnung
des Verhaltens bei OnlineSpielen etc.)
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Maschinell generiert
vom Menschen generiert
Satellitenbilder
(Satellitenüberwachung,
Wetterdaten)
Interne Textdaten
(Umfrageergebnisse, EMails)
Wissenschaftliche Daten
(Seismische u. athmosphärische Daten)
Social-Media-Daten
(Facebook, Youtube)
Fotos und Videos (Verkehr)
Mobildaten ((Standortinformationen, Messages)
Radar- und Sonardaten
(Ozeanographischseismische Profile)
Websiteinhalte
(verschiedene Inhalte auf
Websites)
9
Nutzen und Bedeutung von Big Data
Durch neue Methoden der Datenspeicherung und -verarbeitung können
Marktteilnehmer Wert aus vielfältigen Daten generieren
Es reicht nicht aus, relevante Daten zu identifizieren und zugänglich zu machen.
Entscheidend für den Erfolg ist die Kompetenz, diese Daten zu nutzen.
„Unternehmen, die die Bedeutung von Big Data und Business Analytics erkennen, weisen
eine doppelt so hohe Wahrscheinlichkeit auf zu den Top Performern in ihrer Industrie zu
zählen als andere Unternehmen.“ (MIT Sloan Management Review)
Big Data Value
Distribution &
Logistik
Produktion
Echtzeit-Korrektur
von Routen auf
Basis aktueller
Verkehrsdaten
Echtzeit-Analyse
von
Optimierung von
Lieferketten
Wartungskosten↓
Auswertung der
Machine-toMachineKommunikation
(M2M)
Personalkosten↓
Maschinendaten
Fehlerkosten↓
Bestandsdaten
Lagerkosten↓
Fehlmengenkosten↓
Forschung &
Entwicklung /
Innovation
Finanz- & RisikoControlling
Marketing & Sales
Besseres
Verständnis der
Kundenbedürfnisse
Neue Faktoren für
die Bewertung des
Kreditrisikos
Verkürzung der
Time to Market
Time-to-Market
Prognosen/
Simulationen/
Szenarien in
Echtzeit
Flexible
Personalisierung
des Angebots
(Customization)
Ständig aktuelle
V l
Values-at-Risk
t Ri k
Reduktion der
Streuverluste/
Marketingkosten
Echtzeit-Analyse
wissenschaftlicher
Experimente
(z B für neue
(z.B.
Medikamente)
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Betrugserkennung
Detailliertere
Marktsegmentierung
(Mikrosegmente)
Monetarisierung
von Daten und
deren -analyse
Verkauf
generierter Daten
(z.B. Kunden-,
Verkaufs-,
Produktionsdaten)
an externe Nutzer
Angebot von Big
Data-Analysetools
und -methoden
10
Nutzen und Bedeutung von Big Data
Evolution von einfacher Datenanalyse hin zu Big Data (technisch)
Nachverfolgung
Integration & Nu
utzen
Visualisierung
Benachrichtigung
Manuell
Reifegrad
■ Zeitversetzte
Z it
t t Analysen
A l
zur
nachträglichen Betrachtung
■ Manuelle Aufbereitung und
Interpretation der Analysen
■ Geringe Datengranularität
und
d Qualität
Q lität
■ Manuelle Verarbeitung
externer Informationen
■ Ausweitung
A
it
der
d
Datenerhebung
■ Vorhersagen basierend auf
Datenauswertungen
■ Nutzung von Data
W h
Warehouse/Mart
/M t
■ Systeme zur Unterstützung
von Entscheidungen
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
■ K
Kontinuierliche
ti i li h und
d iterative
it ti
Verarbeitung von Daten
■ Neue Erkenntnisse im
Hinblick auf Business
Performance
A
d
von
■ Anwendung
statistischen Methoden
■ Vollständig automatisierte
Verarbeitung
■ Data Mining
■ Strukturgleiche Daten
notwendig
■ Daten als Produktionsfaktor
■ Analyse großer Datenvolumina
möglich
■ Verarbeitung strukturierter und
unstrukturierter Daten
■ Strukturunterschiede akzeptabel
■ Erkennen von komplexen
Zusammenhängen und Mustern
■ Datenauswertung in Echtzeit
■ Analyse von „externen
„externen“ Daten
11
Nutzen und Bedeutung von Big Data
Evolution von einfacher Datenanalyse hin zu Big Data (fachlich)
Nachverfolgung
Nu
utzen
Visualisierung
Benachrichtigung
Manuell
Komplexität
■ Standard
St d d Reporting
R
ti
■ Ad hoc Reporting
■ KPI Monitoring
■ Verstehen
V t h von
Businessfaktoren
■ Visualisieren von
Transaktionen
■ Anomalien erkennen
■ Visualisieren von
Beziehungen
Kontinuierliche
ti i li h und
d iterative
it ti
■ K
Verarbeitung von Daten
■ Neue Erkenntnisse im
Hinblick auf Business
Performance
■ Anwendung
A
d
von
statistischen Methoden
■ Vollständig automatisierte
Verarbeitung
■ Data Mining
■ Strukturgleiche Daten
notwendig
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
■ Daten als Produktionsfaktor
■ Analyse großer Datenvolumina
möglich
■ Verarbeitung strukturierter und
unstrukturierter Daten
■ Strukturunterschiede akzeptabel
■ Erkennen von komplexen
Zusammenhängen und Mustern
■ Datenauswertung in Echtzeit
■ Analyse von „externen
„externen“ Daten
12
Nutzen und Bedeutung von Big Data
Big Data – Der Markt in Zahlen
Kennzahlen belegen ein rasantes Wachstum des Big Data Marktes. Daraus ergeben sich
sowohl für bestehende als auch für neue Unternehmen große Chancen, aber auch
H
Herausforderungen.
f d
Ein starkes Wachstum im
globalen Big Data Markt
Ø36%
jährlich
15 7 Mrd.
15,7
Mrd € in 2016
Ein neues Geschäftsmodell
270 Mio.
Mi €
globaler Umsatz durch „reine“
Big Data Companies
Optimistische Erwartungen
43%
der Unternehmen
erwarten einen
ROI > 25%
Ein wachsendes Angebot
80
weltweit nennenswerte
Unternehmen bieten bereits
Big Data Lösungen an
Vorreiter
E-BusinessUnternehmen
sind prädestiniert für Big Data
Anwendungen
Neue Anbieter mit Big DataLösungen
Parstream, Exasol,
Empolis & Mellmo
gesellen sich zu
Microsoft, SAP & Co.
Kompatibilität
wachsenden Marktanteile
Schnittstellen
Die Umsatzanteile von
Europa (27% )
ermöglichen den graduellen
Übergang von konventionellen
Systemen und neuen
und den USA (42%) im globalen
Technologien zu Big Data
Big Data-Markt gleichen
Lösungen
sich an*
an
Quelle: BITKOM , Experton Group 2012
*Größere anfängliche Bedenken hinsichtlich des Datenschutzes und der Datensicherheit (vor allem in
Deutschland)) haben den USA g
gegenüber
g
Europa
p einen Vorsprung
p g in der Entwicklung
g verschafft. Es wird
erwartet, dass sich diese Marktanteile durch die Anpassung der europäischen Richtlinien auf einander
zubewegen.
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
13
Agenda
1
Nutzen und Bedeutung von Big Data
2
Einsatzmöglichkeiten von Big Data
3
Implementierung und Architektur
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
14
Einsatzmöglichkeiten von Big Data
Big Data ermöglicht Performanceverbesserungen und das Aufdecken neuer
Potentiale auf allen Stufen der Wertschöpfungskette
2
Infrastructure
Präventivanalyse zur
Verhinderung des
A f ll wichtiger
Ausfalls
i hti
Unternehmensysteme
Inbound Logistics
Nutzung von RealtimePOS-Daten zur
Identifizierung von Outof-Stock-Situationen
und Benachrichtigung
der Lieferanten
6
4
Procurement
Kombinierte
Auswertung von
O li
Onlinerabattangeboten
b tt
b t
und eigenen Lagerbeständen
6
Operations
Verhinderung
machineller
Produktionsausfälle
durch RealtimeAuswertung der
Maschinendaten
7
7
8
9
Service
S
In
nbound
Lo
ogistics
4
Ma
arketing
& Sales
3
Ou
utbound
Lo
ogistics
2
5
Tech. Development
Verbesserte
Informationsverarb it
beitung
und
d –analyse
l
sowie Erweiterung des
Unternehmens-Knowhow
Infrastructure
Human Resource Management
Technology Development
Procurement
1
5
3
HR Management
Schnelle und bedarfsgerechte Reaktion auf
saisonale
i
l S
Schwanh
kungen, kurzfristige
Änderungen etc. durch
Big Data-Analysen
Operations
1
Outbound Logistics
Predictive Analytics zur
zielgenauen Prognose
von Absatzmengen –
Vermeidung des
Aufbaus von unnötigen
Lagerbeständen
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
8
Marketing & Sales
Zielgenaue Kundenansprache durch
Auswertung von Social
Media-Profilen und
sonstigen Kundendaten
9
Service
Auswertung von
Kundenfeedback aus
externen Kanälen zur
Verbesserung der
Serviceaktivitäten
15
Einsatzmöglichkeiten von Big Data
Nutzung von Informationen – Was bedeutet Big Data für Unternehmen?
Wo kommen Big Data Analysen heute schon zum Einsatz? – einige Beispiele
Daten
Anwendungen
Nutzung
Fraport AG
Auswertung von Sensor-Daten zur Vorhersage der Fluggast-Ströme
Fluggast-Ströme, um so Warteschlangen an den
Abfertigungspunkten weitestgehend zu vermeiden
Sears Corp. (US-amerikanischer Handelskonzern)
Kombination von Daten über Kunden, Produkte und Werbung zur Entwicklung kundenindividueller Werbung
((heute auch von vielen anderen Handelsunternehmen, wie Amazon, genutzt)
g
)
VISA Inc.
Kann über Kreditkartentransaktionen vorhersagen, welches Ehepaar sich in absehbarer Zeit scheiden lässt,
woraus auf die Kreditwürdigkeit geschlossen werden kann
Weitere Beispiele für
Einsatzszenarien
Branche
Einsatzmöglichkeiten
Energiewirtschaft
Steuerung des Energieverbrauches
(über Speicherung und Auswertung von Messwerten)
Finanzwirtschaft
Zahlungsstromanalysen zur Betrugserkennung
Handel
Click-Stream-Analysen im Online Handel
(Echtzeit-)Kundenanalysen / Kaufverhaltensanalysen
Telekommunikation
Location-Tracking Händler können diese Daten in Echtzeit
verwenden, um Verbraucher, die in der Nähe von Shops sind,
über Angebote zu informieren
S i l Web
Social
W b
IIndividualisierte
di id li i t Werbung
W b
Echtzeitanalysen des Nutzerverhaltens
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
16
Einsatzmöglichkeiten von Big Data
Big Data Aktivitäten von Unternehmen weltweit und in Deutschland
Was sagen empirische Studien über den Planungsstand von
Unternehmen zum Thema Big Data?
Anteil an Unternehmen mit Big
g Data Initiativen in 2012
Big Data Aktivitäten - internationaler Querschnitt
Noch keinerlei Big DataAktivitäten gestartet
Big Data Aktivitäten
geplant
34%
Deutschland
Pilotprojekte begonnen
und erste Big Data
Lösungen implementiert
66%
28%
48%
53%
Total
24%
0%
10%
20%
30%
47%
40%
50%
mit Big Data Initiative 2012
Quelle: IBM/Oxford University (Mitte 2012) / n = 1061 / weltweite Studie
60%
70%
80%
90%
100%
ohne Big Data Initiative 2012
Quelle: TATA Consultancy Services / n = 1.217 / weltweite Studie
Big Data Aktivitäten in deutschen Unternehmen
Heute noch kein
Thema, auch nicht
in Planung
25%
Heute noch kein
Thema, aber
geplant
24%
Bereits
implementiert
8%
Mit der Thematik
beschäftigt, aber
noch nicht
umgesetzt
43%
%
Key Findings zum Planungsstand
alle Studien bestätigen, dass sich der Großteil der
U t
Unternehmen
h
mitit der
d Thematik
Th
tik befasst
b f
t
Jedoch nur wenige Unternehmen konnten ihre Big Data
Projekte bereits umsetzen
fast 50% der deutschen Unternehmen befassten sich 2012
noch nicht mit Big Data, nur wenige haben Projekte bereits
umgesetzt
Quelle: Experton Group(Mrz./Apr. 2012) / n = 63 / deutschlandweite Studie
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
17
Einsatzmöglichkeiten von Big Data
Welche Ziele verfolgen Unternehmen mit der Auswertung der Big Data?
In welchen Bereichen fokussierten Unternehmen
branchenübergreifend ihre Big Data Investitionen in 2012
Distribution/Logistik
7%
HR
5%
Die wichtigsten Zielsetzungen von Big Data Projekten für Unternehmen
Mitarbeiterzusammenarbeit
4%
Andere
7%
Neues Geschäftsmodell
14%
Vertrieb
15%
Finance/Accounting
8%
kundennaher Einsatz
43%
Herstellung/Produkti
on
8%
Marketing
15%
Risiko-/Finanzmanagement
15%
Kundenorientierte
Ergebnisse
49%
Kundenservice
13%
IT
11%
Betriebliche Optimierung
18%
Produktentwicklung
11%
Quelle: TATA Consultancy Services / n = 1.217 / weltweite Studie
Quelle: IBM/Oxford University (Mitte 2012) / n = 1067 / weltweite Studie
Key Findings zum Einsatzgebiet und den Zielen
Insgesamt stehen vor allem vertriebsnahe Beweggründe im
Z
Zusammenhang
h
mitit Big
Bi D
Data
t P
Projekten
j kt iim V
Vordergrund
d
d
Auch die deutschlandweite Studie der EXPERTON Group sowie
eine Studie des Fraunhofer Institutes führen zu einem ähnlichen
Resümee
Viel Potential wird zudem im Logistik-Bereich gesehen
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
18
Agenda
1
Nutzen und Bedeutung von Big Data
2
Einsatzmöglichkeiten von Big Data
3
Implementierung und Architektur
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
19
Implementierung und Architektur
Anforderungen an Technologien zur Nutzung der Big Data
Big
Data
Welche Folgen haben diese
Dimensionen von Big Data
für die IT?
Daten
Anwendungen
Nutzung
Folgen für Software-Lösungen
Insbesondere im Software-Bereich vollziehen sich
signifikante Veränderungen, um den
Anforderungen an die Big Data gerecht zu werden
Es ergeben sich deutliche Veränderungen für
Datenbank-Technologien und Schwerpunkte
bestehender Datenbanken verändern sich
Folgen für Hardware-Lösungen
Ausbau der Bandbreiten zur Datenübermittlung
Speichermöglichkeiten der wachsenden Daten
Bereiche, in denen mit den größten Wirkungen auf die IT-Infrastruktur gerechnet wird
Sonstige
33%
0%
67%
Kapazität Bandbreite
64%
26%
10%
Netzwerk-Infrastruktur
(Switching, Router, Loadbalancing)
64%
26%
10%
Storage / Datenbanken
76%
Server / CPU-Last
23%
64%
Analyse- & Reportingsysteme
30%
55%
0%
10%
20%
30%
1%
6%
32%
40%
hohe Zustimmung
50%
60%
mittlere Zustimmung
70%
13%
80%
90%
100%
niedrige Zustimmung
Quelle: Experton Group(Mrz./Apr. 2012) / n = 85 / deutschlandweite Studie
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
20
Implementierung und Architektur
Analytische versus Big Data Systeme und die Auswirkungen auf den
Analyseprozess
Vergleich der Schwerpunkte
Analytische
Systeme (DW / BI)
Prozess der Big Data Analyse
(explorative Analyse)
Big Data
Systeme
Zentrale Datenhaltung,
alle
ll D
Daten
t müssen
ü
exakt
kt
zueinander passen
Daten existieren an mehreren
St ll
Stellen,
U
Ungenauigkeiten
i k it
sind akzeptabel
Qualitativ hochwertige
Daten
Einfachheit der Nutzung
Strukturierte, bereinigte
und aggregierte Daten
Verarbeitung der Rohdaten
mit vielen unterschiedlichen
Formaten
Wiederkehrende Berichte
Interaktion in Echtzeit
Periodische Erstellung
Optimiert für Flexibilität
Zentralistische
Organisation
Heterogene, dezentrale
Organisation
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Business und IT
identifizieren Datenquellen
IT stellt Plattform zur
Verfügung
Business bewertet Daten
(Basis für kreatives
Erkunden der Daten)
Ergebnisse werden mit
klassischen Quellen
zusammengeführt
21
Implementierung und Architektur
Überwindung der Herausforderungen bei der operativen Umsetzung der Big
Data-Lösung
Stufe
Datenaufzeichnung / sammlung
Umsetzung
Herausforderungen
Identifikation relevanter Datenquellen
Definition geeigneter Filter
„Filterung“
Filt
“d
der nützlichen
üt li h D
Daten
t
Definition
D fi iti d
der „richtigen“
i hti
“M
Metadaten
t d t
Generierung von Metadaten zur Beschreibung
und Aufzeichnung der Daten
Datenbanksysteme, die den Ursprung der
Daten nachvollziehen (Provenance)
Datenextraktion aus Originalquelle
g
q
Extraktion / Bereinigung
Überführung in analysefähige Formate
Schwierigkeiten bei der Überführung der
Formate (applikationsabhängig)
Bereinigung der Daten zur Validierung
(Fehlermodelle)
Fehlermodelle und Datenbereinigungsmethoden existieren oft noch nicht
Integration / Bereinigung
Datenintegration zur Ermöglichung
automatisierter Computeranalyse
Datenbankdesign und -struktur
Datenabfrage und Data Mining
Analyse / Modellierung
Interpretation
Heterogenität der Daten
Frühe Entwicklungsstufe der Big Data
Integration
Vor- und Nachteile einzelner Designs
Interaktive Datenanalyse / Realtimeabfrage
Heterogenität, Dynamik, Interaktion und
geringe Vertrauenswürdigkeit von Big Data
Verbindung von Datenbanken und AnalyticsSoftware
Koordination zwischen Datenbanken und
Analytics-Software
Applikationen, welche Nachvollziehbarkeit der
Analyseergebnisse und ihrer Annahmen
(Provenance) gewährleisten
In bestimmten Fällen geringe Vertrauenswürdigkeit und Fehleranfälligkeit von Big
Data
Visualisierung der Ergebnisse
Komplexität erschwert die Visualisierung
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
22
Implementierung und Architektur
Auswirkungen auf die IT-Architektur der transaktionalen und analytischen
Systeme
Durch die veränderten Schwerpunkte, die sich durch Big Data Systeme ergeben, entstehen
auch veränderte technische Anforderungen. Folgende Techniken spielen besonders
wichtige Rollen.
In-Memory
A li ti
Application
Verteilung von Daten auf Knoten
(Skalierbarkeit durch Parallelisierung
der Auswertung)
Verarbeitung mit „Map-Reduce““ Technik
(Datenanalyse, die Informationen
strukturiert, shuffelt und anschließend
reduziert))
Ablage von Daten im Arbeitsspeicher
Ermöglicht deutlich schnellere
Datenbank-Abfragen
Vor allem für analytische Anwendungen
geeignet
i
t
Steht für „Not only SQL“
Datenbanken die einen nicht
Datenbanken,
nichtrelationalen Ansatz verfolgen
Verzicht auf starre Schemata, Daten
werden ohne feste Struktur gespeichert
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Die bestehende ITInfrastruktur vieler
Unternehmen erlaubt einen
graduellen Übergang auf
Big Data Lösungen bzw.
bzw die
Integration mit Big Data
Konzepten
23
Implementierung und Architektur
Maßgeschneiderte Big Data-Architektur für Ihren Anwendungsfall
Um das große Datenvolumen schnell verarbeiten zu können, ist der Aufbau einer maßgeschneiderten Big Data-Architektur notwendig.
Reports
Dashboards
BI Suite
Alerts
Cockpits
p
Modelle
Reporting & Visualisierung
Analyse
Analytics (Traditionell & Advanced)
Analytische Data Warehouses & Data Marts
SQL
In Memory DB
ODS
Stream Engine
„KI“
KI“ IIndizes
di
DW
Beliebige
Analytics
-Tools
Informationsbeschaffung
Datenbanken & Tools
Operative Datenbanken
Beliebige
Reporting
-Tools
Tools
Daten
Verfeinerung
(Hadoop)
Transformation
Laden
SQL, No SQL
New SQL, Files
Automa
atisierte Ab
blaufsteuerrung
Visualisierung
Big Data Applikationen
Sicherheitsinfrastruktur
Physische Infrastruktur
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
24
Implementierung und Architektur
Technologien & Informationsaustausch
Big Data – Technologien (Auswahl)
Regelmäßiger
Informationsaustausch
Verteilung von Daten auf Knoten
(Skalierbarkeit durch Parallelisieren der
Auswertung)
Verarbeitung mit „Map-Reduce“ Technik
(Datenanalyse, die Informationen
strukturiert, verteilt und anschließend
reduziert)
In-Memory
Application
Ablage von Daten im Arbeitsspeicher
Ermöglicht deutlich schnellere
Datenbank-Abfragen
Vor allem für analytische Anwendungen
geeignet
Steht
St
ht für
fü „Not
N t only
l SQL“
Datenbanken, die einen nicht-relationalen
Ansatz verfolgen
Verzicht auf starre Schemata, Daten
gespeichert
p
werden ohne feste Struktur g
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
HANA
25
Implementierung und Architektur
Funktionsweise von Hadoop
Zweii grundlege
ende
technische Prinz
zipien
Der Einsatz hat Folgen für:
Volume
Variety
Velocity
• Cluster-Datei-System verteilt die
Daten auf verschiedene Systeme in
HDFS*
einem Rechnerverbund
Map
Reduce
• Ablage der Daten in zerlegter Form (die Größe der
Datenblöcke ist vom System definiert)
• Replikation der Blöcke beugt Datenverlust bei
Knotenausfall vor („Sicherheits-Blöcke“)
• Datenverarbeitung im Ablageort
durch die Aufteilung der Datenverarbeitung in kleine Portionen und
ihre parallele Abwicklung
Systemvoraussetzungen für den Hadoop-Einsatz
Grundsätzlich mit Hilfe von Standardrechnern durchführbar
Dateisystem muss auf Fehlertoleranz ausgelegt sein, da in einem solchen Rechnerverbund von Hardwareausfällen
auszugehen ist (funktioniert mit beschriebener Replikation der Blöcke)
Java Developer Kit ab V 1.6
Linux als Betriebssystem wird empfohlen
*HDFS = Hadoop Distributed File System
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
26
Implementierung und Architektur
Funktionsweise von in Memory-Datenbanken
In-Memory
Der Einsatz hat Folgen für:
Velocity
Application
Warum ist das Speichern
p
von Informationen im Arbeitsspeicher
für Big Data Analysen so interessant?
Wenn Daten im Arbeitsspeicher und nicht auf anderen Speichermedien abgelegt werden, wird
die Geschwindigkeit erhöht, mit der Datenbanken auf diese Daten zugreifen können.
Daten können schnell ausgewertet und damit
beispielsweise sogar in Echtzeit in Prozesse
eingebunden werden!
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
27
Implementierung und Architektur
Funktionsweise von NoSQL
Der Einsatz hat Folgen für:
Variety
y
Was macht den Einsatz einer Datenbanksprache,
die nicht nur relationale Datenstrukturen verarbeiten können,
notwendig?
Unstrukturierte Datenmengen können nicht
mit Datenbanken ausgewertet werden, die
auf Relationen und Tabellen aufbauen.
W ist
Was
i t der
d U
Unterschied
t
hi d von NoSQL
N SQL zu herkömmlichen
h kö
li h SQL
SQL-Datenbankstrukturen?
D t b k t kt
?
NoSQL benutzt eine festen Tabellenschemata als Datenspeicher
SQL kann schlecht mit häufig ändernden Datenstrukturen umgehen, die aber zunehmend wichtiger werden
NoSQL hat nur geringe Sicherheit bezüglich der Datenkonsistenz, deren Problematik sich jedoch aufgrund der häufig
extrem hohen Datenmenge relativiert
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
28
Implementierung und Architektur
Big Data Security – Exemplarische Risiken entlang der Prozesskette
Risiken für die Datensicherheit und den Datenschutz existieren entlang der gesamten
Prozesskette von der Erfassung bis zur Bereitstellung der Berichte. Die Sicherheitsanforder ngen steigen mit Z
anforderungen
Zunahme
nahme der Datenmenge
Datenmenge, der Daten
Datenvielfalt
ielfalt und
nd der
Geschwindigkeit der Verarbeitung.
Exemplarische
Darstellung
g
Risiken:
• Verlust der Vertraulichkeit im
Datentransfer
• Nicht-autorisierte Änderung von Daten
im Transfer
Risiken:
• Netzwerk
N t
k nicht
i ht verfügbar
fü b
• Fehler während der Übertragung
Erfassung / Extraktion
SAP
!
NonSAP
Berichtswesen
Analyse
!
Analytics
!
!
!
Quellsysteme
Risiken:
• Datensynchronisation nicht möglich, da
Quellsysteme nicht verfügbar
• Nichteinhaltung von Gesetzen bei der
Erfassung
g und Speicherung
p
g von Daten
• Unsichere Rechtslage bei der
Verarbeitung (z.B. bzgl. Datenschutz)
Risiken:
• Nicht-authorisierte Änderungen
von Daten
• Gefahr von Datenschutzverstössen
durch Anreicherung von Daten
• Mangelnde Zugriffskontrolle auf
Daten
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Risiken:
• Mangelnder Zugriffsschutz
• (Nachträgliche) Manipulation der
Berichte?
29
Implementierung und Architektur
Big Data Security – Risikobewertung
Erfassung / Extraktion
SAP
1
3
4
NonNon
SAP
Berichtswesen
Analyse
1
2
1
A l ti
Analytics
1
3
2
3
4
Quellsysteme
Exemplarisch
Top Risiken (Auszug)
2
IT Risiko Matrix (exemplarisch)
Sehr
Hoch
Gefährdung der Aussagequalität der Berichte aufgrund
von nicht autorisierten Änderungen der Daten oder dem
Verlust der Verfügbarkeit einzelner Komponenten
Verlust der Vertraulichkeit /Integrität während der
Datenübertragung durch unzureichende
Sicherheitsmaßnahmen (Keine digitalen Signaturen,
keine Verschlüsselung)
g)
3
Verlust der Zugriffskontrolle von Daten durch
unzureichende Berechtigungskonzepte
4
Nichteinhaltung von Gesetzen und
Unternehmensrichtlinien
5
Unsichere Rechtslage z.B. hinsichtlich des
Datenschutzes kann zu unbewussten rechtlichen
Verstößen führen
Wahrsche
einlichkeit
1
1
2
3
Mittel
4
5
Sehr
Gering
Sehr
niedrig
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
4
Mittel
Kritisch
Schadenshöhe
30
Ansprechpartner
Michael Brenner
Moritz Schneider
Senior Manager
Consulting
Manager
Consulting
Alfredstraße 277
D 45133 Essen
[email protected]
Tel.
+49 (201) 455-8569
Mobil +49 (174) 3277231
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Tersteegenstraße 19-31
D40474 Düsseldorf
[email protected]
Tel.
+49 (211) 475-8679
Mobil +49 (174) 3904722
31
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a
subsidiary of KPMG Europe LLP and a member firm of the
KPMG network of independent member firms affiliated with
KPMG International Cooperative ("KPMG International"), a
Swiss entity. All rights reserved.
Der Name KPMG, das Logo und „cutting through
complexity“ sind eingetragene Markenzeichen von KPMG
International Cooperative („KPMG
( KPMG International
International“)).