MIRAKEL Die Klimadatenbank des DWD Johannes Behrendt Deutscher Wetterdienst (DWD) Hamburg, March 26, 2002 DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Übersicht • Eigenschaften der MIRAKEL Datenbank o Nationale Datenbasis o Aspekte des Datenmodells o Anwendungen • Verbesserung des externen Datenbankzugriffs o Interner und externer Datenbankzugriff o Anforderungen an eine verbesserte Webschnittstelle (UNIDART) DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Die MIRAKEL Datenbank Datenbasis •Nationale Klimadaten •Internationale Klimadatenzentren (GPCC, GCC) •Globale SYNOP Daten (seit 2001) Eigenschaften •Direkter Zugriff auf alle Daten in einer relationalen Datenbank (Zeitreihen und synoptische Sortierung) •Eindeutige Identifizierung aller Stationen (global, national einschließlich der Stationsgeschichte) DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Datenmodell für Daten Datenmodell SYNOP Klima Oberfläche Niederschlag Stündl. Werte 10 Minuten-Werte Aerologische Daten Erdbodentemperatur Meta daten Wetterlagenklassifikation Phänologische Daten Tägliche Werte Monatswerte Langj. Mittel DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Geschichte der Klimadaten im DWD Geschichte der Datenbasis seit 1767 seit 1781 seit 1960 seit 1975 1945- 1990 seit 1997 seit 1998 seit 2001 Monatswerte Tageswerte (Hohenpeissenberg) Datenerfassung auf computerlesbarem Medium Quallitätskontrolle mit Computerprogrammen unterschiedliche Datenverarbeitung in DWD und MD Import der Archivdateien nach MIRAKEL Import aktueller deutscher Daten nach MIRAKEL Import globaler SYNOP nach MIRAKEL Status der Migration nach MIRAKEL Vollständige Migration des historischen Archivs außer: •SYNOP-Daten vor 1979 •Aerologische Daten vor 1998 •Phänologische Daten, Strahlungsdaten DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Anzahl der Stationen Globale Verteilung 28 essential SYNOP Stationen (ECOMET) Im DWD verfügbar ca 200 SYNOP Stationen (stündlich) ca 600 Klimastationen (täglich) ca 4000 Niederschlagsstationen (täglich) DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Eigenschaften des Datenmodells für die Daten • Identifikation aller Datensätze durch Stations_id Eindeutige Stationsnummer Mess_datum Datum/Zeit der Beobachtung Struktur_version Beschreibung der Kodierung Qualitäts_niveau Beschreibung der Qualitätskontrollverfahren Messnetz_id Messnetz Datenquelle Luftdruck, Tiefe (teilweise) Druck / Tiefe • Fremdschlüssel zu den Metadaten o Stations_id o Messnetz_id o Mess_datum (für Stationsgeschichte) DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Mengengerüst der MIRAKEL-Datenbank Anzahl der Tabellen Anzahl der Tabellen mit Daten 179 50 Daten 55 Gb Indizes 65 Gb größte Tabelle 10 Gb Anzahl Zeilen in größter Tabelle 102 Mill Zeilen Zeilen pro Minute beim Retrieve 10-30 k Zeilen/Min DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Anwendungen • • • • • Import aktueller und historischer Klimadaten Qualitätssicherung Maskengesteuerter interaktiver Zugriff Internes Retrieval Web Anwendungen DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Anwendungs system GTS WWW old file formats IMPORT OLM FORMS SQL MIRAKEL_RETRIEVE Data Service old file formats DKRZ Workshop, J. Behrendt Reports REPORTS MIRAKEL DATABASE QUERY_BUILDER / MS ACCESS ad- hocqueries Hamburg, Mar 2002 Internetzugang zu Klimadaten im DWD KLIS: Das Klima Informations System http://ww.dwd.de/research/klis Klimadaten online http://www.dwd.de/research/klis/daten/dat.htm DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Klimadaten im Internet daily data (28 stations since 1991) monthly data (40 stations since 1981) mean, min, max temperature TM, TX, TN sum precipitation RS sum, max RS sum sunshine duration SD sum SD mean cloud cover N mean N mean, max wind speed FM, FX Selected maps DKRZ DKRZWorkshop, Workshop,J. J.Behrendt Behrendt mean, min, max mean, max TM, TX, TN FM, FX 30 year means monthly mean TM, N monthly sum RS, SD Hamburg, Hamburg, Mar Mar 2002 2002 Metadaten im Internet • Beschreibung der Datenkollektive • Beschreibung der Datenpolitik • Aktuelle Stationsinformationen - Stationsnummern - Stationsname - Koordinaten - Stationshöhe • Verfügbarkeit der Zeitreihen - Zeitraum (für ein Datenkollektiv an einer Station) DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Geplante Weiterentwicklung •Vergrößerung der MIRAKEL- Datenbasis •Zusätzliche Metadaten •Verfügbarkeit von Zeitreihen, detailliertere historische Informationen •Zusätzliche Klimadaten •zusätzliche SYNOP und aerologische Daten •Phänologische Daten •Strahlungsdaten •Historische globale Daten •Verbesserung der Qualitätssicherung •Verbesserung des Internetzugangs (UNIDART) DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 National Climate Data Warehouses GTS DKRZ Workshop, J. Behrendt NMS NMS NMS internet application internet application internet application Hamburg, Mar 2002 International Climate Data Centres DKRZ Workshop, J. Behrendt NMS NMS NMS Data Centre Data Centre Data Centre internet application internet application internet application Hamburg, Mar 2002 Data Exchange Platform NMS NMS NMS Integration Software UNIDART Virtual Climate Database Internet applications DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Definition von Anforderungen an UNIDART • ECSN Workshop in Langen (Nov 12-13, 2001) http://www.dwd.de:8080/research/klis/internat/ecsn/ecsn_workshop12112001/index.htm • UNIDART Workshop in Langen (Jan 28-30, 2002) http://www.dwd.de/UNIDART/Workshop/ DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Anforderungsliste für UNIDART Klimadaten Klimadaten von der Oberfläche und aus der freien Atmosphäre Zeitreihen monatliche und tägliche Werte Metadaten Verfügbarkeit Datenproduzent Daten- und Nutzerklassifikation (Zugriffsrechte) Stationsinformationen (auch historisch) Beschreibung der Elemente (einschließlich der Qualität) Nutzung von Metadatenstandards (CBS Empfehlungen) DKRZ Workshop, J. Behrendt Hamburg, Mar 2002 Schlussbemerkung • MIRAKEL ist optimiert für die interne Nutzung im DWD • UNIDART ist vorgesehen für einen besseren Webzugang DKRZ Workshop, J. Behrendt Hamburg, Mar 2002