Intelligente Sensordaten- und JSON-Verarbeitung von IBM als Basis
Werbung
Alexander Körner ([email protected]), IBM Deutschland GmbH, Juni 2014 Intelligente Sensordaten- und JSON-Verarbeitung von IBM als Basis für „Industrie 4.0“ Optimale Performance - Geringe Kosten Information Management © 2013 IBM Corporation Information Management Wir stehen am Beginn der 4. Industriellen Revolution • Leitindustrien: Chemie, Elektrotechnik, Maschinenbau • Leitland: Deutschland • Elektrizität im großen Maßstab technischer & wirtschaftlicher Fortschritt – Generator/Elektromotor, Glühlampe – Telefon (ab ca. 1880) • Leitindustrie: Textilindustrie • Leitland: England • Mechanisierung von Handarbeit 4. Industrielle Revolution • Arbeitsteilige Massenproduktion – erste industrielle Spinnmaschine – Dampfmaschine nach Wattschem Prinzip – vollmechanisierter Webstuhl – erste Dampflokomotive – Transportbänder in den Schlachthöfen von Cincinnati – Deutschland: Fließband bei „Kaffee Hag“ noch vor Henry Ford – 1913 Ford-Werke • mechanische Energieerzeugung und Energieumwandlung vor allem durch die Dampfmaschine 3. Industrielle Revolution Erfindung des Mikrochips – PC, Industrieroboter – GPS, Mobiltelefon, Internet flexiblen Automatisierung – Speicherprogrammierbare Steuerung (SPS) 2. Industrielle Revolution hoher Stand der Arbeitsteilung Strukturwandel zugunsten des Dienstleistungssektors Internationalisierung der wirtschaftlichen Beziehungen 1. Industrielle Revolution 18. Jhd 2 weltweite Kommunikations-Netze 19. Jhd 20. Jhd heute © 2013 IBM Corporation Information Management Aspekte von Industrie 4.0: Cyber-Physische Produktionssysteme (CPPS) Internet of Things Digital Environment / Smart Spaces (Smarter City) Verschmelzung von realer und virtueller Welt „System of Systems“ mit wechselnden Systemgrenzen und Kooperationen – Nutzung weltweit verfügbarer Daten und Dienste Kontext-adaptive und (teil-)autonom handelnde Systeme – Mittels Sensoren und Daten erfassen und mit Aktuatoren auf physische Vorgänge einwirken – Weltweit kooperierende, adaptive, evolutionäre, selbstorganisierende Produktionseinheiten Cyber-Physical Systems (Smart Factory, Smart Grid, ...) Networked Embedded Systems (z.B. Fahrdynamikregelung) Embedded Systems (z.B. Airbag) Darstellung basierend auf Grafik von Deutsche Forschungszentrum für Künstliche Intelligenz Digital vernetzt – Weg von Spezialbussen hin zu Standards wie Ethernet und WLAN mit TCP/IP, Bluetooth, NFC Multimodale Mensch-Maschine-Schnittstellen Selbstkonfiguration, Selbstdiagnose und Selbstoptimierung der Maschinen und Systeme Quelle: Deutsche Forschungszentrum für Künstliche Intelligenz 3 © 2013 IBM Corporation Information Management Neue Möglichkeiten durch Industrie 4.0 Neue Geschäftsmodelle und -chancen – App Store für die Smart Factory – „Internet of Services“: Diensteanbieter, Broker, … – Individualisierung von Produkten – Neue Erkenntnisse aus der anfallenden Datenflut gewinnen, neue Zielgruppen und Märkte erschließen, neue Produkte und Services – Mit Mehrwerten Geld verdienen: besserer Service, lückenlose Rückverfolgbarkeit von Produkten Mensch wieder im Mittelpunkt – Kooperation von Robotern und Menschen Quelle: Deutsche Forschungszentrum für Künstliche Intelligenz – Kontextsensitive, mobile, personalisierte Unterstützung: bei Fehlerbehebung, Einarbeitung, seltene Aufgaben, ... – Standortbezogene Dienste: Unterstützung bei Wartung, Konfiguration, ... – Multimodale Mensch-Maschine-Interaktion Effizienzsteigerung beim Material-, Ressourcen- und Energieeinsatz – durch Firmen- / Branchenübergreifende Zusammenarbeit (z.B. CleanTec NRW) 4 © 2013 IBM Corporation Information Management Industrie 4.0 – warum gerade jetzt? Performance jetzt verfügbar – Hohe Rechenleistung der Produktionseinheiten – Große Bandbreite für umfangreiche Kommunikation der Systeme – Mobile High Speed Internet (LTE, 50-100MBit/s mit Datenflatrate) Big Data, Stream Processing & Cloud Computing – kontinuierliche und extrem schnelle Analyse großer Volumen von rasch durchfließenden Daten – Zeitnahe Analyse großer Datawarehouses, In-MemoryDatenbanken – Günstiger, bedarfsorientierter Zugriff auf Rechenleistung / Speicher / Anwendungen Service Oriented Architecture (SOA) & Event Driven Architecture (EDA) – In der IT quasi Standard für neue Projekte und IT-Modernisierung Ablösung von PCs und Notebooks durch Tablets / Smartphones – Einsatz von Bluetooth, NFC – Nutzung von QR-Codes, RFID – Intuitive Userinterfaces, Augmented Reality – Überall Online, auch in der Fertigung 5 © 2013 IBM Corporation Information Management Entwicklung von Industrie 4.0 (Überblick) 2011 Start Industrie 4.0 als ein Zukunftsprojekt der Hightech-Strategie der Bundesregierung 2012 Vorläufige Umsetzungsempfehlung Industrie 4.0 erarbeitet • Autoren aus Industrie, Verbänden und Forschung unter Leitung von acatech – Studie Industrie 4.0 findet beachtliche Resonanz in der Öffentlichkeit 2013 Status Umsetzungsempfehlung Industrie 4.0 veröffentlicht – Plattform Industrie 4.0 beauftragt mit der Umsetzung (BITKOM, VDMA, ZVEI) – – – – Plattform Industrie 4.0 als Koordinator aller Beteiligten etabliert Mehrere Arbeitsgruppen unter BITKOM und Plattform Industrie 4.0 etabliert • Integrations-Referenz-Architektur, Forschung, Strategie und Ziele, Sicherheit, • Erste Arbeits-Ergebnisse liegen zur HMIt 2014 vor Hohe Akzeptanz in Öffentlichkeit, Politik, Forschung, Arbeitnehmer, Unternehmen Vergleichbare Initiativen in USA , China und Korea A.Merkel zur Eröffnung HMI :Deutschland muss sich sputen ---------------------------------------------------------------------------------------------------------------------------------------Ausblick Analoge Entwicklung wie Internet erwartet – Nach Standardisierung Kooperationsplattform Innovationen auf dieser Grundlage – Industrie 4.0 kommt vermutlich schneller als gedacht Zusätzliche Informationen : http://www.plattform-i40.de/ 6 www.bitkom www.hightech-strategie.de © 2013 IBM Corporation Information Management Herausforderungen und Chancen von Industrie 4.0 für Unternehmen – Losgröße 1: Unbekannte Konsumenten werden direkt interagierende Kunden • Kundenwünsche sind besser bekannt und können präziser erfüllt werden • Chance für ergänzende, neue Angebote und bessere Kundenbindung Design Design Produktion Produktion Kommunikation Handel Konsumenten 7 Kunde © 2013 IBM Corporation Information Management Herausforderungen und Chancen Veränderung der Wertschöpfungsketten durch 3 D-Druck vor Ort Technische Möglichkeit, Ersatzteile vor Ort kurzfristig zu drucken. (ca. ab 2020) – Nutzen : Schnellere Verfügbarkeit, Kosteneinsparungen Logistik und Lagerung, Kundenzufriedenheit Design Produktion Führt zu neuen Wertschöpfungsketten A) Digitale Übertragung an lokales Industrie 4.0 3 D-Druck Center Kommunikation B) Lokales Digitalisieren und Drucken ohne Logistik und Hersteller-Einbeziehung C) 3 D-Druck als eigenes Geschäftsmodell D) Andere Kombinationen 3 D Druck vor Ort Kunde 8 © 2013 IBM Corporation Information Management C2C : Industrie 4.0 . Wertschöpfungskette ums Auto. C2C Einführung ab 2015. Teststrecke Amsterdam-Wien AuCar to Car Communication Cloud Maps, Trafik_News, + 25 connected CPU s Onboard Integrator : OEM Quelle Autosar 9 + Autopilot = CPS Integrator OEM CPS=Cyber-Physical_System + Value Chain Roadside Services - peer to peer communication - No-integrator Navi + Road-side services Industrie 4.0 © 2013 IBM Corporation Information Management Precission Farming, ein Beispiel für Industrie 4.0 Management Logistik Management Verkauf Kommunikationsstandard isobus Quelle Amazone_Gruppe 10 © 2013 IBM Corporation Information Management Industrie 4.0/IoT: Sensor- und JSON-Daten sind überall Internet der Dinge und der Dienste („Internet of Things“) – Basis für das Zukunftsprojekt „Industrie 4.0“ – Integration unterschiedlicher „intelligenter“ Objekte durch Vernetzung • Smart Grids • Smart Mobility • Smart Logistics • Smart Buildings • Smart Factory – Aber auch der Industrie 4.0 „Dunstkreis“ Smart Consumer Lösungen und Verwaltung 4.0 – JSON ist die Lingua Franca des IoT und für Industrie 4.0 Beispiel: Smart Mobility / Connected Cars – – – – Kontinuierliche Übermittlung von Positionsdaten Überwachung von sicherheitsrelevanten Fahrzeugdaten Auswertung von Umweltparametern On-Board Datenerfassung und Auswertung Beispiel: Smart Buildings – – – – Intelligente Stromverbraucher (z.B. Beleuchtung) Wetterabhängige Steuerung des Gebäudes Optimerte Überwachung von Zuständen In-House Sensordaten-Gateways/-Konzentratoren Beispiel: Smart Logistics – Automatische, RFID basierte Sendungsverfolgung und –planung – Routenoptimierung (mit Bezug zu Smart Mobility) 11 © 2013 IBM Corporation Information Management Smart Mobility/Smart Buildings: Intelligente Brückenüberwachung Reaktion der Brücke auf Überbelastung: Überwachung der Belastung einer Brücke Aktive Last Vertikale Versteifung Vertikale Versteifung Stress Abfrage anhand eines Beispiels Suche in den historischen Daten: A 0 B 50 0 1000 Winding Dataset ( The angular speed of reel 2 150 0 2000 ) C 2500 Wenn K eine bestimmte Anzahl überschreitet, müssen vorsorgliche Wartungsarbeiten ausgeführt werden Häufigkeit des Auftretens K 12 Reduktion der Wartungskosten und Vermeidung von Unfällen © 2013 IBM Corporation Information Management Viele Sensoren Riesige Datenmengen! • Die Systemlasten werden sich dramatisch verändern • Beispiel: Intelligente Verbrauchszähler (Smart Meter) • • • • Aktuell: 1-2 Ablesungen pro Jahr (vielleicht auch schon monatlich) Sehr bald: 96 Ablesungen pro Tag (alle 15 Minuten) In Smart Grid Anwendungen bis zu 50 Sensorwerte pro Sekunde (50 Hz)! Regulatorische Vorgaben erfordern zusätzlich eine Online Verfügbarkeit der Daten über 3 Jahre plus 7 Jahre Archivierung…. 350.4 Mrd Transaktionen pro Jahr Beispiel mit 10 Mio. Sensoren 13 Daten für einen Energieversorger in Kalifornien 3.65 Mrd 120 Mio Monatliche Ablesungen Tägliche Ablesungen 15-minütige Ablesungen © 2013 IBM Corporation Information Management Klassisch (relationale) Sensordatenverwaltung phase1 phase2 ... temp 1 2010-06-01 00:00 1.3 0 15.6 1 2010-06-01 00:30 1.6 0 15.6 1 2010-06-01 01:00 1.4 0 15.5 1 2010-06-01 01:30 1.4 0 15.4 1 2010-06-01 02:00 1.4 0 15.5 2 2010-06-01 00:00 0.4 0 12.3 2 2010-06-01 00:30 0.3 0 12.3 2 2010-06-01 01:00 0.2 0 12.2 2 2010-06-01 01:30 0.5 0 12.3 3 2010-06-01 00:00 0.0 3.5 13.6 3 2010-06-01 00:03 0.0 4.3 12.2 ... Wachstum Meter_ID TimeStamp ... 14 • Jeder Datensatz hat nur die Werte für einen Sensor = Milliarden von Datensätzen • Zusätzliche Indizes sind für performante Zugriffe notwendig = Zusätzlicher Platzbedarf • Meter IDs und Zeitstempel müssen in jedem Datensatz gespeichert werden © 2013 IBM Corporation Information Management Leicht optimierte, relationale Speicherung von Sensordaten TimeStamp Value_01 Value_02 1 2013-03-06 00:00 1.5 2 2013-03-06 00:00 3 … Value_95 Value_96 1.7 2.3 2.5 0.3 0.4 0.7 0.9 2013-03-06 00:00 2.8 3.1 3.6 3.9 4 2013-03-06 00:00 1.1 1.3 1.8 2.0 1 2013-03-07 00:00 2.6 2.7 3.1 3.4 2 2013-03-07 00:00 1.0 1.2 1.3 1.6 3 2013-03-07 00:00 4.1 4.2 4.7 4.9 4 2013-03-07 00:00 2.2 2.5 2.6 3.0 … … … … … … … Wachstum Meter_ID • Jeder Datensatz enthält die Werte für einen Sensor pro Tag (z.B. 96 Werte bei 15 min Intervallen) • Schnelleres Laden der Daten als bei einem rein relationalen Ansatz ☺ • Sehr unflexibel bei einer Änderung der Messintervalle • Operationen auf den Daten erfordern aufwendige Logik in der Anwendung • Bei einer Speicherung der Daten in BLOBs aufwendige Änderungslogik notwendig! • Zusätzliche Indizes sind für performante Zugriffe notwendig = Zusätzlicher Platzbedarf • Meter IDs und Tages-Zeitstempel müssen in jedem Datensatz gespeichert werden 15 © 2013 IBM Corporation Information Management IBM Informix Sensordatenverarbeitung Meter_ID Origin 00:00 1 2010-06-01 (1.3,0...15.6) (1.6,0...15.5) (1.4,0...15.5) (1.4,0...15.4) 2 2010-06-01 (0.4,0...12.3) (0.3,0...12.3) (0.2,0...12.2) (0.5,0...12.3) 3 2010-06-01 (0,3.5... 13.6) (0,4.3... 12.2) 16 00:30 01:00 01:30 ... Wachstum • • • • Nur ein Datensatz pro Sensor (z.B. Smart Meter) Keine unnötige Datenredundanz Optimale Anordnung der Daten auf dem Plattenspeicher Unterstützung für hochfrequente Daten (z.B. 50 Hz Auslesefrequenz) • Dadurch… …spürbar reduzierter Platzbedarf (ca.60%) ☺ …deutlich gesteigerte Performance ☺ …schnellere Datenzugriffe ☺ © 2013 IBM Corporation Information Management IBM Informix für Sensordaten (= Zeitreihendaten) Performance und Skalierbarkeit – Extrem schnelle Datenzugriffe • Optimale Datenspeicherung für Sensordaten (= Zeitreihendaten, “Time Series“) – Unterstützt Zeitreihendaten-Operationen, die man nur sehr schwer oder überhaupt nicht mit Standard SQL Anfragen formulieren kann – High Performance Time Series Loader: ca. 60000 Zeitreihenwerte/Sek. pro CPU-Core – Kunden und Business Partner haben bereits erfolgreich Tests für mehrere Millionen Sensoren (z.B. Smart Meter) durchgeführt! Deutlich veringerter Platzbedarf – Einsparungen von über 60% gegenüber einem klassischen, relationalen Ansatz sind realistisch Durch offene Schnittstellen sehr leicht durch den Anwender bzw. Entwickler erweiterbar – Die Erweiterungen laufen im Datenbankkern und erlauben dadurch eine optimale Performance Optional erweiterbar mit innovativer In-Memory-/ Columnar-Technologie für komplexe Datenbankabfragen: Informix Warehouse Accelerator (IWA) Konzeptionell sehr nahe an der Vorstellung des Anwenders/Entwicklers wie man mit Zeitreihendaten umgeht 17 © 2013 IBM Corporation Information Management Kunden und Partner setzen auf IBM Informix für Sensordaten! E.ON Metering GmbH – 100% Tocher der E.ON Deutschland – Neues System zur optimalen Verwaltung von Smart Meter Daten – Ablösung einer anderen Datenbank durch Informix beim Smart Meter Head-End System Stadtwerke Bochum – Ablösung einer anderen Datenbank durch Informix beim Smart Meter Head-End System ITF-EDV Fröschl – Zusätzliche Unterstützung von Informix als Datenbank für ihre Smart Meter Headend Lösung (ZFA) Landis & Gyr – 100% Tochter von Toshiba – Zusätzliche Unterstützung von Informix als Datenbank für ihre Smart Meter Head Lösung – Aktueller interner Bechmark: 50% schneller als eine andere DB, 1/3 des Plattenplatz, 50% weniger CPU Resourcen! ☺ 18 © 2013 IBM Corporation Information Management Kunden und Partner setzen auf IBM Informix für Sensordaten! AMTSybex – MDM Lösungsanbieter aus Irland – Erfolgreicher 100 Millionen Smart Meter Benchmark auf Informix! – Seit kurzem mit einem Vertriebsbüro in Deutschland (Dortmund) vertreten Pilot: Überwachung von Anlagen in einem Ölfeld – Überwachung von Ölbohrungen in Realzeit – Abschätzung von möglichen Equipment Ausfällen und dessen vorsorgliche Wartung – Große Öl-Firma in China Pilot: Verkehrsmanagement – Integrierte Verkehrsüberwachung und -steuerung – Verkehrsmustererkennung für Vorhersagen – Kombination von Sensordaten mit Geodaten 19 © 2013 IBM Corporation Information Management Sensordaten Benchmark: Landis + Gyr Smart Meter Datenmanagement Simulation von 30 Millionen intelligenten Zählern (Sensoren) Metrik Andere DB Informix Tägliche Verarbeitungszeit 11 Std 5 Std 50 Min Maximale Anzahl von CPU Cores 62 192GB 32 (22 genutzt) 192GB Datenbankgröße (pro Monat) 15TB 5TB Anzahl der Prozesse 3000 90 Software Version 11g rel 2 11.70.xc5 Grid Software 11g rel 2 NA Maximale Speichernutzung 20 © 2013 IBM Corporation Information Management IBM Informix für Sensordaten: Optimierte Betriebskosten Alle bisherigen Sensordaten-Benchmarks zeigen dass Informix im Vergleich zum Mitbewerb deutlich weniger Ressourcen benötigt – Weniger CPUs / Cores (je nach Art der Anwendung bis zu 50% weniger) bei gleicher oder besserer Leistung! – Weniger Plattenplatz (bis zu 50 – 60% weniger!) Weniger Ressourcen niedrigere Betriebskosten – Niedrigere HW Kosten – Günstigere Datenbank Lizenzmodelle Informix gilt als besonders wartungswarm geringere Administrationskosten Informix unterstützt Lizenzmodelle in allen gängigen virtualisierten Umgebungen („Subcapacity Lizenzierung“) – Z.B. VMWare, LPARs etc. – Sie zahlen nur für die Leistung die Sie benötigen Besonders interessant für Softwarelösungsanbieter sind die ASL/OEM Lizenzmodelle – Flexible Lizenzmodelle realisierbar (z.B. ein Smart Meter basiertes Preismodell) 21 © 2013 IBM Corporation Information Management Ein neues IBM Redbook zum Thema Informix TimeSeries Einführung in die Informix Zeitreihentechnologie Datenmodellierung für Zeitreihendaten Informix TimeSeries Datenobjekte Umsetzung in der Praxis TimeSeries Datenbankabfragen Die Informix TimeSeries SQL Funktionen und eigene Erweiterungen Speicherung und Verwaltung von Informix Zeitreihendaten Anwendungsbeispiele Verfügbar seit September 2012 Kostenloser Download: http://www.redbooks.ibm.com/abstracts/sg24 8021.html?Open 22 © 2013 IBM Corporation Alle Informix Edition unterstützen Sensor Daten! Information Management Components Developer Innovator-C Express Workgroup Pricing Metric Free Free Processor/CPU VP Limit 1 core Install Memory Limit Install Data Limit AUSI, PVU AUSI, PVU LUVS LU Socket 1 core* 4 cores* 1 GB 2 GB* 8 GB 8 GB* Warehouse Accelerator Memory Limit Advanced Workgroup Enterprise Enterprise Hypervisor Advanced Enterprise PVU AUSI, PVU PVU PVU 16 cores* 16 cores* Unlimited Unlimited Unlimited 8 GB* 16 GB* 16 GB* Unlimited Unlimited Unlimited Unlimited Unlimited Unlimited Unlimited Unlimited Unlimited N/A N/A 48 GB N/A N/A Unlimited Replication Limits Unlimited 2 root nodes* Unlimited Unlimited Unlimited Unlimited Unlimited HDR/SDS/RSS Limits Unlimited 1 secondary* 2 secondary* 2 secondary* Unlimited Unlimited Unlimited Parallel Operations**, Parallel Operations**, Parallel Operations**, Parallel Operations**, Distributed Operations, Distributed Operations, Distributed Operations, Distributed Operations, Private Memory Cache for VP, Private Memory Cache for VP, HPL, Compression, Private Memory Cache for VP, Private Memory Cache for VP, HPL, Compression, HPL, Compression, Partitioning Partitioning Linux *UNIX Other Limits HPL, ER, HA Clusters, Compression, Partitioning, Others*** Platforms Partitioning Linux Linux Linux Linux Linux Linux Linux RHEL *UNIX *UNIX AIX Power *UNIX *UNIX *UNIX *UNIX *Note: Windows Windows Windows Windows UNIX is AIX, HP-UX, Solaris Mac-OS Mac-OS Mac-OS Mac-OS IWA Platform Windows MacOS 64-bit Linux 64-bit Linux * Limits are hard-coded ** Parallel operations include DDL, DML, and backup/restore *** Updatable Secondary, CLR, LBAC, Web Feature, Column Encryption, Direct I/O, PIT Restore, PSM, Multiple Triggers, Last Commit Isolation, Recovery Time Policy, Node Datablade, 23 © 2013 IBM Corporation Information Management 24 © 2013 IBM Corporation
