713 Entwicklung operationeller Dienste zur Nutzung der Sentinel- und weiterer Erdbeobachtungsdaten in einer cloudbasierten Infrastruktur Gernot RÜCKER1, Florian APPEL2, Jurry DE LA MAR3, Heike BACH2, Florian SIEGERT4, Thomas HEEGE5 und Joachim TIEMANN1 1 ZEBRIS GbR, München · [email protected] 2 VISTA GmbH, Weßling 3 EOMAP GmbH & Co KG, Seefeld 4 Remote Sensing Solutions (RSS) GmbH, Baierbrunn 5 T-Systems GmbH, München Zusammenfassung Durch den exponentiellen Zuwachs und die zunehmende offene Verfügbarkeit hochqualitativer Erdbeobachtungsdaten und -produkte verändert sich der Markt für Erdbeobachtung rapide. Zum einen wird die Entwicklung innovativer Dienste mit hoher Aktualität möglich, zum anderen steigen die Anforderungen an die Prozessierung und die technische Infrastruktur; hier geht der Trend zu vollständig automatisierten Verfahren. Idealerweise würden in einer leistungsfähigen Erdbeobachtungsplattform Datenzentrum, Rechenleistung und Werkzeuge in einer Umgebung zusammenwirken. Im Projekt APPS4GMES werden wesentliche Elemente einer solchen Plattform prototypisch entwickelt und durch Pilotdienste genutzt. APPS4GMES steht für Applications for GMES (GMES ist das Erdbeobachtungsprogramm der EU und firmiert seit 2013 unter dem Namen Copernicus). Das Konsortium für APPS4GMES besteht aus vier im Erdbeobachtungsbereich tätigen bayerischen KMUs und einem internationalen Anbieter technischer Infrastruktur. Im Rahmen von APPS4GMES werden operationelle Erdbeobachtungsdienste in verschiedenen Anwendungsbereichen erstellt. Diese sind: Monitoring von Wasserquantität, Qualität von Oberflächengewässern, landwirtschaftliche Dienste, Umweltbeobachtungsdienste (Moore und Grünflächen), Dienste zur Unterstützung von REDD-Projekten (Reducing Emissions from Deforestation and Degradation) und zum Monitoring von Wald- und Vegetationsbränden. Alle Dienste nutzen eine gemeinsame, cloudbasierte Infrastruktur, die später direkten Zugang zu den SentinelDaten haben soll. Die Vorbereitung zur Nutzung der neuen europäischen Erdbeobachtungssatelliten der Sentinel-Serie ist ein wesentliches Ziel des Verbundprojektes. Strobl, J., Blaschke, T., Griesebner, G. & Zagel, B. (Hrsg.) (2014): Angewandte Geoinformatik 2014. © Herbert Wichmann Verlag, VDE VERLAG GMBH, Berlin/Offenbach. ISBN 978-3-87907-543-0. Dieser Beitrag ist ein Open-Access-Beitrag, der unter den Bedingungen und unter den Auflagen der Creative Commons Attribution Lizenz verteilt wird (http://creativecommons.org/licenses/by/3.0/). 714 1 G. Rücker, F. Appel, J. De la Mar et al. Einleitung Durch den exponentiellen Zuwachs und die zunehmende offene Verfügbarkeit hochqualitativer Erdbeobachtungsdaten und -produkte verändert sich der Markt für Erdbeobachtung rapide. Zum einen wird die Entwicklung innovativer Dienste mit hoher Aktualität möglich, zum anderen steigen die Anforderungen an die Prozessierung und die technische Infrastruktur; hier geht der Trend zu vollständig automatisierten Verfahren. Kleinen und mittleren Unternehmen als Anbieter innovativer Erdbeobachtungsdienste eröffnen sich mit den Methoden des Cloud-Computings neue Möglichkeiten zur Nutzung von IT Infrastrukturen und Plattformen. Durch die großen Datenmengen sind allerdings auch bei hohen Bandbreiten, wie sie in Rechenzentren zur Verfügung stehen, der effizienten Prozessierung von Daten Grenzen gesetzt. Idealerweise würden in einer leistungsfähigen Erdbeobachtungsplattform Datenzentrum, Rechenleistung und Werkzeuge in einer Umgebung zusammenwirken. Im Projekt APPS4GMES werden wesentliche Elemente einer solchen Plattform prototypisch entwickelt und durch Pilotdienste genutzt. APPS4GMES steht für Applications for GMES (GMES ist das Erdbeobachtungsprogramm der EU und firmiert seit 2013 unter dem Namen Copernicus). Das Konsortium für APPS4GMES besteht aus vier im Erdbeobachtungsbereich international tätigen bayerischen KMUs und einem internationalen Anbieter technischer Infrastruktur. Die Partner und ihr Kerngeschäft sowie ihre Projektbeiträge sind in Tabelle 1 zusammengefasst. Das Projekt mit einer Laufzeit von 2012 – 2015 wird durch das bayerische Wirtschaftsministerium unterstützt und soll später in eine operationelle Nutzung überführt werden. Im Rahmen von APPS4GMES werden operationelle Erdbeobachtungsdienste in verschiedenen Anwendungsbereichen erstellt. Diese sind: Monitoring von Wasserquantität, Qualität von Oberflächengewässern, landwirtschaftliche Dienste, Umweltbeobachtungsdienste (Moore und Grünflächen), Dienste zur Unterstützung von REDD-Projekten (Reducing Emissions from Deforestation and Degradation) und zum Monitoring von Wald- und Vegetationsbränden. 2 Architektur Alle Dienste nutzen eine gemeinsame, cloudbasierte Infrastruktur, die später direkten Zugang zu den Sentinel-Daten haben soll. Die Vorbereitung zur Nutzung der neuen europäischen Erdbeobachtungssatelliten der Sentinel-Serie, die seit April 2014 kontinuierlich installiert werden, ist ein wesentliches Ziel des Verbundprojektes. Die einzelnen Dienste (oder Apps) bzw. bestimmte Teilprozessoren daraus können zu Serviceketten miteinander verknüpft werden, so kann z. B. ein Prozess einen atmosphärenkorrigierten Datensatz erstellen, der dann von anderen nachfolgenden Diensten genutzt wird. Diese im Rahmen des Projektes prototypisch entwickelten Serviceketten arbeiten mit standardisierten, vorprozessierten Multi-Missions-Eingangsdaten. Die automatisierte Berechnung höherwertiger Produkte wird durch eine skalierbare Cloud-Infrastruktur unterstützt. Die gemeinsame Plattform besteht aus folgenden Hauptkomponenten: Dienste zur Nutzung von Erdbeobachtungsdaten in einer Cloud-Infrastruktur 715 Input Data Portal: Das Eingangsdatenportal dient der Suche und Bereitstellung der Daten an die Dienste. APPS4GMES Data Portal: Dieses Portal stellt die Endprodukte den Anwendern bereit. Service Chain Manager: Dieser Dienst ermöglicht die einfache Verknüpfung der Dienste untereinander. Billing Manager: Dieser Dienst unterstützt die Abrechnung von Leistungen der Dienste untereinander und die Abrechnung gegenüber den Endkunden. Das Input Data Portal besteht aus einem Datenkatalog, einem Metadatenharvester zur Befüllung des Kataloges, einem Bestell- und Downloadmodul sowie einem Konsolidierungsmodul zur Vorprozessierung der Daten. Der Aufbau des Portals folgt den Regeln einer dienstebasierten Architektur und unterstützt folgende Standards des Open Geospatial Consortium (OGC): Metadaten für Erdbeobachtungsprodukte (GASPERI et al. 2012), Katalogdienste mit Erweiterungen für Erdbeobachtungsprodukte (HOUBIE & BIGAGLI 2010), Bestell-Framework für Erdbeobachtunsgprodukte (MARCHIONI & PAPAGALLO 2012). Im Folgenden wird auf die Architektur des Eingangsdatenportals näher eingegangen. Ziel der Entwicklung des Input Data Portals ist zum einen eine automatisierte Bereitstellung der Eingangsdaten für die Dienste – hierfür ist eine Maschine-zu-Maschine-Kommunikation erforderlich, die von den meisten Portalen für Erdbeobachtungsdaten nicht unterstützt wird. Zum anderen soll über das Harvesting von Metadaten mit dem Input Data Portal Katalog ein zentraler Abfragepunkt für die Dienste geschaffen werden. Der Metadatenharvester überführt die oftmals in proprietären Formaten vorliegenden Metadaten in das OGC-konforme und erweiterbare Earth Observation Products-Schema (EOP). Dabei werden Metadaten von verschiedenen Anbietern über die von diesen Anbietern bereitgestellten Schnittstellen abgefragt (derzeit verschiedene Produkte des NASA MODIS Sensors an Bord der Terra und Aqua Satelliten, Der Landsat-Satellitenreihe und der RapidEyeSatelliten). Diese Daten werden z. B. über eine FTP-, http- oder REST-Schnittstelle bereitgestellt und im XML- oder CSV-Format dargeboten. Der Metadatenharvester konvertiert diese Daten über eine Mapping-Tabelle in das EOP 2.0 Schema und sie in den OGCkonformen Katalog. Die Metadatenschemata der Sentinel-Satelliten liegen bereits vor – diese sind EOP 2.0 konform − und werden bei Verfügbarkeit der Satellitendaten ebenfalls in den Katalog geladen. Ein kontinuierliches Metadatenharvesting wird über geplante Aufgaben (scheduled tasks) am Input-Data-Portal konfiguriert. Durch die Standardkonformität ist eine Föderation (Federation) von Katalogen von Erdbeobachtungsdaten über Organisationsgrenzen hinweg bereits vorbereitet. Das Input Data Portal ermöglicht den anfragenden Diensten eine Datenrecherche über eine einheitliche Schnittstelle, ohne die Notwendigkeit, sich bei vielen verschiedenen Katalogen anzumelden und mit unterschiedlichen Tools zu operieren, die meist Nutzerinput über eine Benutzeroberfläche erfordern. Nach der Bestellung der Daten über das Bestellmodul werden die Daten vom Datenprovider heruntergeladen, durch das Konsolidierungsmodul prozessiert und dem bestellenden Dienst bereitgestellt. Auch dieser Prozess ist vollständig automatisiert und kann durch die dienstbasierte Architektur über eine reine Maschine-zu-Maschine-Kommunikation abgewickelt werden. Dies ist derzeit allerdings nur für eine eingeschränkte Anzahl von Erdbeobachtungsprodukten möglich, da die meisten Anbieter keinen automatisierten Download 716 G. Rücker, F. Appel, J. De la Mar et al. ermöglichen, bzw. keine Schnittstelle zur Automatisierung von Bestellprozessen bereitstellen. In ähnlicher Weise werden die weiteren gemeinsam genutzten Module – basierend auf offenen Standards – den Diensten eine leistungsfähige und erweiterbare Infrastruktur bereitstellen. Tabelle 1: Partner und Dienste Partner Tätigkeitsfeld Beitrag zu APPS4GMES VISTA Remote sensing and modelling in agriculture and hydrology Project coordinator Agriculture, Water Quantity EOMAP Coastal and inland waters monitoring Water Quality, water depth RSS Environmental monitoring, agriculture and forestry, cartography, natural hazards and damage analysis Environment and REDD ZEBRIS GIS and Remote Sensing for natural resource management (forestry, water protection, fire management) Fire Emission Monitoring and REDD T-Systems Global ICT and cloud computing services Portals, Mobile, Billing and Cloud Computing Abb. 1: Überblick zum APPS4GMES-Konzept Dienste zur Nutzung von Erdbeobachtungsdaten in einer Cloud-Infrastruktur 3 717 Bereitgestellte Dienste VISTA wird neben Produkten für den Endanwender auch atmosphärenkorrigierte Erdbeobachtungsdaten zur Verwendung in weiteren Serviceketten anbieten. Im Bereich Landwirtschaft wird VISTA Eigenschaften von Feldfrüchten wie Blattoberfläche, Pflanzenwasserzustand, Biomasse und schließlich Ertrag (BACH et al. 2010a, BACH et al. 2012). VISTA außerdem bestehende Dienste im Schneeflächenmonitoring, Wasserbilanzsimulationen, Abfluss- und Wasserkraftmonitoring und − vorhersage in die neue Infrastruktur migrieren (APPEL et al. 2010, BACH et al. 2010b). Beide Dienste nutzen Datenassimilationstechniken, die sowohl sehr viel parallele Rechenzeit als auch große räumlich Abdeckungen und somit hohe Speicherkapazitäten und raschen Datenzugriff benötigen. EOMAP implementiert Wasserqualitätsprozessoren in verschiedenen räumlichen Auflösungen (HEEGE et al. 2010) in der APPS4GMES-infrastruktur und vertreibt die so erstellten Produkte auch über mobile Geräte. Der EOMAP Bathymetrie Prozessor (OHLENDORF et al. 2011) wird derzeit überarbeitet, um die Ableitung der Wassertiefen auf große Gebiete ausdehnen zu können. Die von RSS entwickelten Dienste bieten eine breite Palette an Umweltbeobachtungsanwendungen zur Unterstützung von nationalen und internationalen Naturschutzabkommen wie NATURA 2000 (FRANKE et al. 2012a). Darüber hinaus entwickelt RSS Erdbobachtungsdienste für Monitoring, Berichterstattung und Verifizierung (Monitoring, Reporting and Verification, MRV) zur Unterstützung von Klimaschutzprojekten im Rahmen von REDD (Reducing Emissions from Deforestation and Degradation) (FRANKE et al. 2012b). RSS wird zudem in Zusammenarbeit mit ZEBRIS an dem Dienst zum Feuermonitoring mitarbeiten. ZEBRIS entwickelt einen Dienst zum Monitoring von Treibhausgasemissionen durch Wald- und Vegetationsbrände (RUECKER et al. 2013). Dieser Dienst basiert auf mehrmals täglichen Beobachtungen von Feuern durch verschiedene Erdbeobachtungssatelliten sowie einem statistischen Modell unter Einbeziehung von Wetterdaten und Landnutzungsinformation. Die großen anfallenden Datenmengen und der hohe Rechenaufwand könnten durch eine skalierbare, cloudbasierte Lösung hervorragend unterstützt werden. Danksagung Das Projekt wird durch das Raumfahrtprogramm des Bayerischen Staatsministeriums für Bayerische Ministerium für Wirtschaft und Medien, Energie und Technologie unterstützt. Literatur APPEL, F., BACH, H., HEEGE, T., DE LA MAR, J., SIEGERT , F. & RÜCKER, G. (2013), APPS4GMES – Development of operational products and services for GMES a bavarian initiative. Proc. of the ESA Living Planet Symposium, Edinburgh, 09.-13. September 2013. 718 G. Rücker, F. Appel, J. De la Mar et al. APPEL, F., BACH, H., HALL, R. & METSAMAKI, S. (2010), Snow Services from GSE Polar View – Five Winters of Operational Service and the Extension Towards a Pan-European Service, Proceedings of the ESA Living Planet Symposium. ESA Special Publication SP-686, CD-Rom. BACH, H., MIGDALL, S., MAUSER, W., ANGERMAIR, W. & SEPHTON, A. J., MARTIN-DEMERCADO, G. (2010a), An integrative approach of using satellite-based information for Precision farming: TalkingFields. Proceedings 61st International Astronautical Congress, Prague, CZ. BACH, H., APPEL, F., RUST, F. & MAUSER, W. (2010b), Polar View Snow Service – Operational Snow Cover Mapping for Downstream Runoff Modeling and Hydropower Predictions, Proceedings of the ESA Living Planet Symposium. ESA Special Publication SP-686, CD-Rom. BACH, H., MIGDALL, S., SPANNRAFT, K., HANK, T. & MAUSER, W. (2012), Potential and challenges of using Sentinel-2 for Smart Farming; Sentinel-2 Preparatory Symposium, ESA-ESRIN, Frascati, Italy, 23 to 27 April 2012. FRANKE, J., KEUCK, V. & SIEGERT, F. (2012a), Assessment of grassland use intensity by remote sensing to support conservation schemes. Journal for Nature Conservation, 20 (3), 125-134. FRANKE, J., NAVRATIL, P., KEUCK, V., PETERSON, K. & SIEGERT, F. (2012b), Monitoring fire and selective logging activities in tropical peat swamp forests. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 5 (6), 1811-1820. GASPERI, J., HOUBIE, F., WOOLF, A. & SMOLDERS, S. (Hrsg.) (2012), Earth Observation Metadata profile of Observations & Measurements, Open Geospatial Consortium Implementation Standard, Open Geospatial Consortium, Washington. HEEGE, T., KISELEV, V., GEBHARD, S., HUTH, J., TRINH THI LONG & VO KHAC TRI (2009), Processing of Multiple Sensor Images of Aquatic Systems. Proc. of 33rd International Symposium on Remote Sensing of Environment (ISRSE), May 4-8, 2009, Stresa, CDROM publication. HOUBIE, F. & BIGAGLI, L. (Hrsg.) (2010), OGC® Catalogue Services Standard 2.0 Extension Package for ebRIM Application Profile: Earth Observation Products, Open Geospatial Consortium Implementation Standard, Open Geospatial Consortium, Washington. MARCHIONNI, D. & PAPPAGALLO, S. (Hrsg.) (2012), Ordering Services Framework for Earth Observation Products Interface Standard, Open Geospatial Consortium Implementation Standard, Open Geospatial Consortium, Washington. OHLENDORF, S., MÜLLER, A., HEEGE, T., CERDEIRA-ESTRADA, S. & KOBRYN, H. T. (2011), “Bathymetry mapping and sea floor classification using multispectral satellite data and standardized physics-based data processing”, Proc. SPIE 8175, 817503; doi:10.1117/12.898652. RUECKER, G., HOFFMANN, A. A., LEIMBACH, D., TIEMANN, J. & NG'ATIGWA, C. (2013), Burned Area, Active Fires and Biomass burning – Approaches to account for Emissions from Fires in Tanzania. Poster Presentation, EGU 2013, Vienna 07-12 April 2013.