Industrie 4.0

Werbung
Alexander Körner ([email protected]), IBM Deutschland GmbH, Juli 2014
Intelligente Sensordaten- und JSON-Verarbeitung
von IBM als Basis für „Industrie 4.0“
Optimale Performance - Geringe Kosten
Information Management
© 2013 IBM Corporation
Information Management
Industrie 4.0/IoT: Sensor- und JSON-Daten sind überall
Internet der Dinge und der Dienste („Internet of Things“)
– Basis für das Zukunftsprojekt „Industrie 4.0“
– Integration unterschiedlicher „intelligenter“ Objekte
durch Vernetzung
• Smart Grids
• Smart Mobility
• Smart Logistics
• Smart Buildings
• Smart Factory
– Aber auch der Industrie 4.0 „Dunstkreis“ Smart Consumer Lösungen und Verwaltung 4.0
– JSON ist die Lingua Franca des IoT und für Industrie 4.0
Beispiel: Smart Mobility / Connected Cars
–
–
–
–
Kontinuierliche Übermittlung von Positionsdaten
Überwachung von sicherheitsrelevanten Fahrzeugdaten
Auswertung von Umweltparametern
On-Board Datenerfassung und Auswertung
Beispiel: Smart Buildings
–
–
–
–
Intelligente Stromverbraucher (z.B. Beleuchtung)
Wetterabhängige Steuerung des Gebäudes
Optimerte Überwachung von Zuständen
In-House Sensordaten-Gateways/-Konzentratoren
Beispiel: Smart Agriculture
– Automatische, positionsgesteuerte Bearbeitung von Feldern
– Optimierte Düngung auf Grund von Sensordaten
der Erdbeschaffenheit
– Erfassung aus Auswertung weiterer Sensordaten für eine
optimale Ausbringung von Saatgut und Durchführung der Ernte
2
© 2013 IBM Corporation
Information Management
Smart Mobility/Smart Buildings: Intelligente Brückenüberwachung
Reaktion der Brücke
auf Überbelastung:
Überwachung der Belastung einer Brücke
Aktive Last
Vertikale
Versteifung
Vertikale
Versteifung
Stress
Abfrage anhand
eines Beispiels
Suche in den
historischen Daten:
A
0
B
50 0
1000
Winding
Dataset
( The angular speed of reel 2
150 0
2000
)
C
2500
Wenn K eine bestimmte Anzahl
überschreitet, müssen
vorsorgliche Wartungsarbeiten
ausgeführt werden
Häufigkeit des Auftretens K
3
Reduktion der
Wartungskosten
und Vermeidung
von Unfällen
© 2013 IBM Corporation
Information Management
Precision Farming, ein weiteres Beispiel für Industrie 4.0
Management
Logistik
Management
Verkauf
Kommunikationsstandard
isobus
Quelle Amazone_Gruppe
4
© 2013 IBM Corporation
Information Management
Viele Sensoren
Riesige Datenmengen!
•
Die Systemlasten werden sich dramatisch verändern
•
Beispiel: Intelligente Verbrauchszähler (Smart Meter)
•
•
•
•
Aktuell: 1-2 Ablesungen pro Jahr (vielleicht auch schon monatlich)
Sehr bald: 96 Ablesungen pro Tag (alle 15 Minuten)
In Smart Grid Anwendungen bis zu 50 Sensorwerte pro Sekunde (50 Hz)!
Regulatorische Vorgaben erfordern zusätzlich eine Online Verfügbarkeit der Daten
über 3 Jahre plus 7 Jahre Archivierung….
350.4 Mrd
Transaktionen
pro Jahr
Beispiel
mit 10 Mio.
Sensoren
Daten für einen Energieversorger
in Kalifornien
3.65 Mrd
120 Mio
Monatliche
Ablesungen
Tägliche
Ablesungen
15-minütige
Ablesungen
© 2013 IBM Corporation
Information Management
Klassisch (relationale) Sensordatenverwaltung
phase1
phase2
...
temp
1
2010-06-01 00:00
1.3
0
15.6
1
2010-06-01 00:30
1.6
0
15.6
1
2010-06-01 01:00
1.4
0
15.5
1
2010-06-01 01:30
1.4
0
15.4
1
2010-06-01 02:00
1.4
0
15.5
2
2010-06-01 00:00
0.4
0
12.3
2
2010-06-01 00:30
0.3
0
12.3
2
2010-06-01 01:00
0.2
0
12.2
2
2010-06-01 01:30
0.5
0
12.3
3
2010-06-01 00:00
0.0
3.5
13.6
3
2010-06-01 00:03
0.0
4.3
12.2
...
Wachstum
Meter_ID TimeStamp
...
6
•
Jeder Datensatz hat nur die Werte für einen Sensor = Milliarden von Datensätzen
•
Zusätzliche Indizes sind für performante Zugriffe notwendig = Zusätzlicher Platzbedarf
•
Meter IDs und Zeitstempel müssen in jedem Datensatz gespeichert werden
© 2013 IBM Corporation
Information Management
IBM Informix Sensordatenverarbeitung
Meter_ID
Origin
00:00
00:30
01:00
01:30
...
1
2010-06-01
(1.3,0...15.6) (1.6,0...15.5) (1.4,0...15.5) (1.4,0...15.4)
2
2010-06-01
(0.4,0...12.3) (0.3,0...12.3) (0.2,0...12.2) (0.5,0...12.3)
3
2010-06-01
(0,3.5... 13.6) (0,4.3... 12.2)
Wachstum
•
•
•
•
Nur ein Datensatz pro Sensor (z.B. Smart Meter)
Keine unnötige Datenredundanz
Optimale Anordnung der Daten auf dem Plattenspeicher
Unterstützung für hochfrequente Daten (z.B. 50 Hz Auslesefrequenz)
•
Dadurch…
…spürbar reduzierter Platzbedarf (ca.60%) ☺
…deutlich gesteigerte Performance ☺
…schnellere Datenzugriffe ☺
© 2013 IBM Corporation
Information Management
IBM Informix für Sensordaten (= Zeitreihendaten)
Performance und Skalierbarkeit
– Extrem schnelle Datenzugriffe
• Optimale Datenspeicherung für Sensordaten (= Zeitreihendaten, “Time Series“)
– Unterstützt Zeitreihendaten-Operationen, die man nur sehr schwer oder überhaupt nicht
mit Standard SQL Anfragen formulieren kann
– High Performance Time Series Loader: ca. 60000 Zeitreihenwerte/Sek. pro CPU-Core
– Kunden und Business Partner haben bereits erfolgreich Tests für mehrere Millionen
Sensoren (z.B. Smart Meter) durchgeführt!
Deutlich veringerter Platzbedarf
– Einsparungen von über 60% gegenüber einem klassischen, relationalen Ansatz sind
realistisch
Durch offene Schnittstellen sehr leicht durch den Anwender bzw. Entwickler
erweiterbar
– Die Erweiterungen laufen im Datenbankkern und erlauben dadurch eine optimale
Performance
Optional erweiterbar mit innovativer In-Memory-/ Columnar-Technologie für
komplexe Datenbankabfragen: Informix Warehouse Accelerator (IWA)
Optimiert sowohl für Embedded Devices, als auch für In-House- und CloudAnwendungen
8
– Informix ist die IBM Zeitreihendatenbank in IBMs Bluemix und Informix ist IBM Softlayer
zertifiziert
© 2013 IBM Corporation
Information Management
Sensordaten Benchmark: Landis + Gyr Smart Meter Datenmanagement
Simulation von 30 Millionen intelligenten Zählern (Sensoren)
Metrik
Andere DB
Informix
11 Std
5 Std 50 Min
62
32 (22 genutzt)
Datenbankgröße (pro Monat)
15TB
5TB
Anzahl der Prozesse
3000
90
Tägliche Verarbeitungszeit
Maximale Anzahl von CPU Cores
9
© 2013 IBM Corporation
Information Management
Kunden und Partner setzen auf IBM Informix für Sensordaten!
E.ON Metering GmbH
– 100% Tocher der E.ON Deutschland
– Neues System zur optimalen Verwaltung von Smart Meter Daten
– Ablösung einer anderen Datenbank durch Informix beim Smart
Meter Head-End System
Stadtwerke Bochum
– Ablösung einer anderen Datenbank durch Informix beim Smart
Meter Head-End System
ITF-EDV Fröschl
– Zusätzliche Unterstützung von Informix als Datenbank für
ihre Smart Meter Headend Lösung (ZFA)
Landis & Gyr
– 100% Tochter von Toshiba
– Zusätzliche Unterstützung von Informix als Datenbank für ihre
Smart Meter Head Lösung
– Aktueller interner Bechmark: 50% schneller als eine andere DB,
1/3 des Plattenplatz, 50% weniger CPU Resourcen! ☺
10
© 2013 IBM Corporation
Information Management
Kunden und Partner setzen auf IBM Informix für Sensordaten!
AMTSybex
– MDM Lösungsanbieter aus Irland
– Erfolgreicher 100 Millionen Smart Meter Benchmark auf
Informix!
– Seit kurzem mit einem Vertriebsbüro in Deutschland
(Dortmund) vertreten
Pilot: Überwachung von Anlagen in einem Ölfeld
– Überwachung von Ölbohrungen in Realzeit
– Abschätzung von möglichen Equipment Ausfällen und
dessen vorsorgliche Wartung
– Große Öl-Firma in China
Pilot: Verkehrsmanagement
– Integrierte Verkehrsüberwachung und -steuerung
– Verkehrsmustererkennung
für Vorhersagen
– Kombination von Sensordaten mit Geodaten
11
© 2013 IBM Corporation
Information Management
IBM Informix für Sensordaten: Optimierte Betriebskosten
Alle bisherigen Sensordaten-Benchmarks zeigen dass Informix im Vergleich zum
Mitbewerb deutlich weniger Resourcen benötigt
– Weniger CPUs / Cores (je nach Art der Anwendung bis zu 50% weniger) bei gleicher
oder besserer Leistung!
– Weniger Plattenplatz (bis zu 50 – 60% weniger!)
Weniger Resourcen
niedrigere Betriebskosten
– Niedrigere HW Kosten
– Günstigere Datenbank Lizenzmodelle
Informix gilt als besonders wartungswarm
geringere Administrationskosten
Informix unterstützt Lizenzmodelle in allen gängigen virtualisierten Umgebungen
(„Subcapacity Lizenzierung“)
– Z.B. VMWare, LPARs etc.
– Sie zahlen nur für die Leistung die Sie benötigen
Besonders interessant für Softwarelösungsanbieter sind die ASL/OEM Lizenzmodelle
– Flexible Lizenzmodelle realisierbar (z.B. ein Smart Meter basiertes Preismodell)
12
© 2013 IBM Corporation
Information Management
Die Bedeutung von JSON für Industrie 4.0 / Internet of Things
JavaScript ist die Lingua Franca des Internets (Web-/MobileAnwendungsentwicklung)
JSON = JavaScript Object Notation
JavaScript
Beschreibung von Datenstrukturen in
Kompaktes, einfach zu lesendes und zu verabeitendes Datenformat in Textform
– JSON Datenstrukturen sind selbstbeschreibend
– Key-Value Pairs
JSON löst immer mehr XML als Datenaustauschformat ab
– JSON hat weniger Overhead als XML (geringerer Speicherplatz, weniger CPU
Resourcen bei der Verarbeitung etc.)
– Weniger Resourcenverbrauch
Ideal für den Austausch zwischen embedded Devices /
mobilen Endgeräten und zentralen Systemen (z.B. Cloud)
– JSON Parser sind für alle gängigen Entwicklungssprachen verfügbar
JSON
13
Lingua Franca des Internet of Things und eine Basis für Industrie 4.0
© 2013 IBM Corporation
Information Management
Informix und JSON für Industrie 4.0 / IoT Anwendungen
Informix unterstützt ab Version 12.10 die Speicherung und Verarbeitung von JSON (und
BSON) Dokumenten in der Datenbank
Informix ist MongoDB kompatibel
– Das MongoDB Wire-Protokoll wird unterstützt
– MongoDB Anwendungen können ohne große Änderungen auf Informix portiert werden
Hybrider Ansatz
Integration von relationalen Daten und JSON Daten in einer Datenbank
– Einfache Kombination von relationalen Daten und JSON Dokumenten
• Relationale Daten können als JSON Dokumente dargestellt werden
• JSON Dokumente können via SQL ver-/bearbeitet werden
• Relationale Daten und JSON Dokumente können via JOIN Operation verknüpft werden
Unterstützung von Zeitreihendaten (Sensordaten) und JSON
– Erzeugen von JSON Dokumenten basierend auf Sensordaten
– Speicherung und Verarbeitung (z.B. Aggregation) von JSON formatierten Sensordaten in Informix
Zeitreihendatentypen
Informix unterstützt das GeoJSON Format für die Verarbeitung von Geodaten
Seit der Informix Version 12.10.xC4 wird ein REST API für den Zugriff auf JSON- und
relationale Daten unterstützt
– Zugriff über MongoDB Syntax oder SQL Passthrough
– Einfacher Zugriff auf relationale und JSON Daten z.B. aus Webanwendungen heraus
14
© 2013 IBM Corporation
Information Management
Informix / Beckhoff Automation Integration
Live Demo
http://5.153.45.66/demo/beckhoff_demo.html
15
© 2013 IBM Corporation
Information Management
Informix / Beckhoff Automation Live Demo: Architektur
Informix 12.10.FC4
DB: beckhoff (UTF8)
TS Tabelle: beckhoff_vt
REST Port
8080
N
O
S
J
ST
E
R
16
Q
(S
SQLI Port
21843
IN
SE
RT
L)
JavaScript Visualisierung
IBM Softlayer Cloud
IN
TO
be
ck
ho
ff
_v
t.
..
Automation SPS
mit 4 Sensoren
und Informix Schnittstelle
© 2013 IBM Corporation
Information Management
Ein aktuelles IBM Redbook zum Thema Informix TimeSeries
Einführung in die Informix
Zeitreihentechnologie
Datenmodellierung für Zeitreihendaten
Informix TimeSeries Datenobjekte
Umsetzung in der Praxis
TimeSeries Datenbankabfragen
Die Informix TimeSeries SQL
Funktionen und eigene Erweiterungen
Speicherung und Verwaltung von
Informix Zeitreihendaten
Anwendungsbeispiele
Verfügbar seit September 2012
Kostenloser Download:
http://www.redbooks.ibm.com/abstracts/sg24
8021.html?Open
17
© 2013 IBM Corporation
Information Management
18
© 2013 IBM Corporation
Herunterladen