Alexander Körner ([email protected]), IBM Deutschland GmbH, Juli 2014 Intelligente Sensordaten- und JSON-Verarbeitung von IBM als Basis für „Industrie 4.0“ Optimale Performance - Geringe Kosten Information Management © 2013 IBM Corporation Information Management Industrie 4.0/IoT: Sensor- und JSON-Daten sind überall Internet der Dinge und der Dienste („Internet of Things“) – Basis für das Zukunftsprojekt „Industrie 4.0“ – Integration unterschiedlicher „intelligenter“ Objekte durch Vernetzung • Smart Grids • Smart Mobility • Smart Logistics • Smart Buildings • Smart Factory – Aber auch der Industrie 4.0 „Dunstkreis“ Smart Consumer Lösungen und Verwaltung 4.0 – JSON ist die Lingua Franca des IoT und für Industrie 4.0 Beispiel: Smart Mobility / Connected Cars – – – – Kontinuierliche Übermittlung von Positionsdaten Überwachung von sicherheitsrelevanten Fahrzeugdaten Auswertung von Umweltparametern On-Board Datenerfassung und Auswertung Beispiel: Smart Buildings – – – – Intelligente Stromverbraucher (z.B. Beleuchtung) Wetterabhängige Steuerung des Gebäudes Optimerte Überwachung von Zuständen In-House Sensordaten-Gateways/-Konzentratoren Beispiel: Smart Agriculture – Automatische, positionsgesteuerte Bearbeitung von Feldern – Optimierte Düngung auf Grund von Sensordaten der Erdbeschaffenheit – Erfassung aus Auswertung weiterer Sensordaten für eine optimale Ausbringung von Saatgut und Durchführung der Ernte 2 © 2013 IBM Corporation Information Management Smart Mobility/Smart Buildings: Intelligente Brückenüberwachung Reaktion der Brücke auf Überbelastung: Überwachung der Belastung einer Brücke Aktive Last Vertikale Versteifung Vertikale Versteifung Stress Abfrage anhand eines Beispiels Suche in den historischen Daten: A 0 B 50 0 1000 Winding Dataset ( The angular speed of reel 2 150 0 2000 ) C 2500 Wenn K eine bestimmte Anzahl überschreitet, müssen vorsorgliche Wartungsarbeiten ausgeführt werden Häufigkeit des Auftretens K 3 Reduktion der Wartungskosten und Vermeidung von Unfällen © 2013 IBM Corporation Information Management Precision Farming, ein weiteres Beispiel für Industrie 4.0 Management Logistik Management Verkauf Kommunikationsstandard isobus Quelle Amazone_Gruppe 4 © 2013 IBM Corporation Information Management Viele Sensoren Riesige Datenmengen! • Die Systemlasten werden sich dramatisch verändern • Beispiel: Intelligente Verbrauchszähler (Smart Meter) • • • • Aktuell: 1-2 Ablesungen pro Jahr (vielleicht auch schon monatlich) Sehr bald: 96 Ablesungen pro Tag (alle 15 Minuten) In Smart Grid Anwendungen bis zu 50 Sensorwerte pro Sekunde (50 Hz)! Regulatorische Vorgaben erfordern zusätzlich eine Online Verfügbarkeit der Daten über 3 Jahre plus 7 Jahre Archivierung…. 350.4 Mrd Transaktionen pro Jahr Beispiel mit 10 Mio. Sensoren Daten für einen Energieversorger in Kalifornien 3.65 Mrd 120 Mio Monatliche Ablesungen Tägliche Ablesungen 15-minütige Ablesungen © 2013 IBM Corporation Information Management Klassisch (relationale) Sensordatenverwaltung phase1 phase2 ... temp 1 2010-06-01 00:00 1.3 0 15.6 1 2010-06-01 00:30 1.6 0 15.6 1 2010-06-01 01:00 1.4 0 15.5 1 2010-06-01 01:30 1.4 0 15.4 1 2010-06-01 02:00 1.4 0 15.5 2 2010-06-01 00:00 0.4 0 12.3 2 2010-06-01 00:30 0.3 0 12.3 2 2010-06-01 01:00 0.2 0 12.2 2 2010-06-01 01:30 0.5 0 12.3 3 2010-06-01 00:00 0.0 3.5 13.6 3 2010-06-01 00:03 0.0 4.3 12.2 ... Wachstum Meter_ID TimeStamp ... 6 • Jeder Datensatz hat nur die Werte für einen Sensor = Milliarden von Datensätzen • Zusätzliche Indizes sind für performante Zugriffe notwendig = Zusätzlicher Platzbedarf • Meter IDs und Zeitstempel müssen in jedem Datensatz gespeichert werden © 2013 IBM Corporation Information Management IBM Informix Sensordatenverarbeitung Meter_ID Origin 00:00 00:30 01:00 01:30 ... 1 2010-06-01 (1.3,0...15.6) (1.6,0...15.5) (1.4,0...15.5) (1.4,0...15.4) 2 2010-06-01 (0.4,0...12.3) (0.3,0...12.3) (0.2,0...12.2) (0.5,0...12.3) 3 2010-06-01 (0,3.5... 13.6) (0,4.3... 12.2) Wachstum • • • • Nur ein Datensatz pro Sensor (z.B. Smart Meter) Keine unnötige Datenredundanz Optimale Anordnung der Daten auf dem Plattenspeicher Unterstützung für hochfrequente Daten (z.B. 50 Hz Auslesefrequenz) • Dadurch… …spürbar reduzierter Platzbedarf (ca.60%) ☺ …deutlich gesteigerte Performance ☺ …schnellere Datenzugriffe ☺ © 2013 IBM Corporation Information Management IBM Informix für Sensordaten (= Zeitreihendaten) Performance und Skalierbarkeit – Extrem schnelle Datenzugriffe • Optimale Datenspeicherung für Sensordaten (= Zeitreihendaten, “Time Series“) – Unterstützt Zeitreihendaten-Operationen, die man nur sehr schwer oder überhaupt nicht mit Standard SQL Anfragen formulieren kann – High Performance Time Series Loader: ca. 60000 Zeitreihenwerte/Sek. pro CPU-Core – Kunden und Business Partner haben bereits erfolgreich Tests für mehrere Millionen Sensoren (z.B. Smart Meter) durchgeführt! Deutlich veringerter Platzbedarf – Einsparungen von über 60% gegenüber einem klassischen, relationalen Ansatz sind realistisch Durch offene Schnittstellen sehr leicht durch den Anwender bzw. Entwickler erweiterbar – Die Erweiterungen laufen im Datenbankkern und erlauben dadurch eine optimale Performance Optional erweiterbar mit innovativer In-Memory-/ Columnar-Technologie für komplexe Datenbankabfragen: Informix Warehouse Accelerator (IWA) Optimiert sowohl für Embedded Devices, als auch für In-House- und CloudAnwendungen 8 – Informix ist die IBM Zeitreihendatenbank in IBMs Bluemix und Informix ist IBM Softlayer zertifiziert © 2013 IBM Corporation Information Management Sensordaten Benchmark: Landis + Gyr Smart Meter Datenmanagement Simulation von 30 Millionen intelligenten Zählern (Sensoren) Metrik Andere DB Informix 11 Std 5 Std 50 Min 62 32 (22 genutzt) Datenbankgröße (pro Monat) 15TB 5TB Anzahl der Prozesse 3000 90 Tägliche Verarbeitungszeit Maximale Anzahl von CPU Cores 9 © 2013 IBM Corporation Information Management Kunden und Partner setzen auf IBM Informix für Sensordaten! E.ON Metering GmbH – 100% Tocher der E.ON Deutschland – Neues System zur optimalen Verwaltung von Smart Meter Daten – Ablösung einer anderen Datenbank durch Informix beim Smart Meter Head-End System Stadtwerke Bochum – Ablösung einer anderen Datenbank durch Informix beim Smart Meter Head-End System ITF-EDV Fröschl – Zusätzliche Unterstützung von Informix als Datenbank für ihre Smart Meter Headend Lösung (ZFA) Landis & Gyr – 100% Tochter von Toshiba – Zusätzliche Unterstützung von Informix als Datenbank für ihre Smart Meter Head Lösung – Aktueller interner Bechmark: 50% schneller als eine andere DB, 1/3 des Plattenplatz, 50% weniger CPU Resourcen! ☺ 10 © 2013 IBM Corporation Information Management Kunden und Partner setzen auf IBM Informix für Sensordaten! AMTSybex – MDM Lösungsanbieter aus Irland – Erfolgreicher 100 Millionen Smart Meter Benchmark auf Informix! – Seit kurzem mit einem Vertriebsbüro in Deutschland (Dortmund) vertreten Pilot: Überwachung von Anlagen in einem Ölfeld – Überwachung von Ölbohrungen in Realzeit – Abschätzung von möglichen Equipment Ausfällen und dessen vorsorgliche Wartung – Große Öl-Firma in China Pilot: Verkehrsmanagement – Integrierte Verkehrsüberwachung und -steuerung – Verkehrsmustererkennung für Vorhersagen – Kombination von Sensordaten mit Geodaten 11 © 2013 IBM Corporation Information Management IBM Informix für Sensordaten: Optimierte Betriebskosten Alle bisherigen Sensordaten-Benchmarks zeigen dass Informix im Vergleich zum Mitbewerb deutlich weniger Resourcen benötigt – Weniger CPUs / Cores (je nach Art der Anwendung bis zu 50% weniger) bei gleicher oder besserer Leistung! – Weniger Plattenplatz (bis zu 50 – 60% weniger!) Weniger Resourcen niedrigere Betriebskosten – Niedrigere HW Kosten – Günstigere Datenbank Lizenzmodelle Informix gilt als besonders wartungswarm geringere Administrationskosten Informix unterstützt Lizenzmodelle in allen gängigen virtualisierten Umgebungen („Subcapacity Lizenzierung“) – Z.B. VMWare, LPARs etc. – Sie zahlen nur für die Leistung die Sie benötigen Besonders interessant für Softwarelösungsanbieter sind die ASL/OEM Lizenzmodelle – Flexible Lizenzmodelle realisierbar (z.B. ein Smart Meter basiertes Preismodell) 12 © 2013 IBM Corporation Information Management Die Bedeutung von JSON für Industrie 4.0 / Internet of Things JavaScript ist die Lingua Franca des Internets (Web-/MobileAnwendungsentwicklung) JSON = JavaScript Object Notation JavaScript Beschreibung von Datenstrukturen in Kompaktes, einfach zu lesendes und zu verabeitendes Datenformat in Textform – JSON Datenstrukturen sind selbstbeschreibend – Key-Value Pairs JSON löst immer mehr XML als Datenaustauschformat ab – JSON hat weniger Overhead als XML (geringerer Speicherplatz, weniger CPU Resourcen bei der Verarbeitung etc.) – Weniger Resourcenverbrauch Ideal für den Austausch zwischen embedded Devices / mobilen Endgeräten und zentralen Systemen (z.B. Cloud) – JSON Parser sind für alle gängigen Entwicklungssprachen verfügbar JSON 13 Lingua Franca des Internet of Things und eine Basis für Industrie 4.0 © 2013 IBM Corporation Information Management Informix und JSON für Industrie 4.0 / IoT Anwendungen Informix unterstützt ab Version 12.10 die Speicherung und Verarbeitung von JSON (und BSON) Dokumenten in der Datenbank Informix ist MongoDB kompatibel – Das MongoDB Wire-Protokoll wird unterstützt – MongoDB Anwendungen können ohne große Änderungen auf Informix portiert werden Hybrider Ansatz Integration von relationalen Daten und JSON Daten in einer Datenbank – Einfache Kombination von relationalen Daten und JSON Dokumenten • Relationale Daten können als JSON Dokumente dargestellt werden • JSON Dokumente können via SQL ver-/bearbeitet werden • Relationale Daten und JSON Dokumente können via JOIN Operation verknüpft werden Unterstützung von Zeitreihendaten (Sensordaten) und JSON – Erzeugen von JSON Dokumenten basierend auf Sensordaten – Speicherung und Verarbeitung (z.B. Aggregation) von JSON formatierten Sensordaten in Informix Zeitreihendatentypen Informix unterstützt das GeoJSON Format für die Verarbeitung von Geodaten Seit der Informix Version 12.10.xC4 wird ein REST API für den Zugriff auf JSON- und relationale Daten unterstützt – Zugriff über MongoDB Syntax oder SQL Passthrough – Einfacher Zugriff auf relationale und JSON Daten z.B. aus Webanwendungen heraus 14 © 2013 IBM Corporation Information Management Informix / Beckhoff Automation Integration Live Demo http://5.153.45.66/demo/beckhoff_demo.html 15 © 2013 IBM Corporation Information Management Informix / Beckhoff Automation Live Demo: Architektur Informix 12.10.FC4 DB: beckhoff (UTF8) TS Tabelle: beckhoff_vt REST Port 8080 N O S J ST E R 16 Q (S SQLI Port 21843 IN SE RT L) JavaScript Visualisierung IBM Softlayer Cloud IN TO be ck ho ff _v t. .. Automation SPS mit 4 Sensoren und Informix Schnittstelle © 2013 IBM Corporation Information Management Ein aktuelles IBM Redbook zum Thema Informix TimeSeries Einführung in die Informix Zeitreihentechnologie Datenmodellierung für Zeitreihendaten Informix TimeSeries Datenobjekte Umsetzung in der Praxis TimeSeries Datenbankabfragen Die Informix TimeSeries SQL Funktionen und eigene Erweiterungen Speicherung und Verwaltung von Informix Zeitreihendaten Anwendungsbeispiele Verfügbar seit September 2012 Kostenloser Download: http://www.redbooks.ibm.com/abstracts/sg24 8021.html?Open 17 © 2013 IBM Corporation Information Management 18 © 2013 IBM Corporation