Technische Implementation von CERA

Technische Implementation von
CERA
Hannes Thiemann
Max-Planck-Institut für Meteorologie
Modelle und Daten
hannes.thiemann @ zmaw.de
ULDB Wiesbaden, 28. Mai 2008
Inhalt

Aufgabe und Motivation

Umsetzung Datenbanken

Anbindung an das HSM

Ausblick
Klimasystem
Klimamodell: Grid
Klimamodell: Auflösung
T42 (300 km)
T106 (120 km)
Datenmengen

Horizontalauflösung des Klimamodells



T42: 128 * 64 = 8192 Punkte pro Globalfeld
T106: 160 * 320 = 51200 Punkte pro Globalfeld
Erforderliche Speichereinheiten (GRIB Format)

Horizontalfeld (Zugriffseinheit):
 17.1 kB (T42) /
 100.1 kB (T106)

Unix Filegröße für monatsweise akkumulierte Ergebnisse mit 6
Std. Speicherintervall und 300 2d Variablen (Physikalische
Einheit):
 616 MB (T42) /
 3500 MB (T106)

240 Jahre Modellintegration (Logische Einheit):
 1.7 TB (T42) /
 10 TB (T106)

Umsetzung Datenbanken
The Winter TopTen Program
identifies the world’s largest and
most heavily used databases.
….. Congratulations on achieving Grand Prize award winner status (1)
in Database Size, Other, All and TopTen Winner status Database Size,
Other, Linux;Workload, Other, Linux in Winter Corp.'s 2005 TopTen
Program! .......
(1) Grand prizes are awarded for first place winners in the All
Environments categories only.
WDCC's CERA DB has been identified as
the largest Linux DB.
Wintercorp (2005) - DB Size: Scientific, Archive, and other
Company
Size
(TB)
DBMS
Platform
System
Vendor
Max-Planck
222
Oracle
Federated/SMP
NEC
USGS/EROS
17
Oracle
Centralized/SMP
Sun
USGS/EROS
17
Oracle
Centralized/SMP
Sun
HP
1
NonStop SQL
Centralized/MPP
HP
T-Systems
1
Oracle RAC
Centralized/Cluster
Sun
See: www.wintercorp.com
Wintercorp (2005) - DB Size: Data Warehouse
Company
Size
(TB)
DBMS
Platform
System
Vendor
Yahoo
100
Oracle
Centralized/SMP
Fujitsu
Siemens
AT&T 1)
94
Daytona
Federated/SMP
HP
KT IT-Group
50
DB2
Centralized/Cluster IBM
LGR
25
Oracle
Centralized/SMP
Amazon
25
Oracle RAC
Centralized/Cluster HP
1) 330 GB Norm. Data Volume
HP
See: www.wintercorp.com
CERA: Some Facts








Oracle 9.2 single instance running on TX7
 Enterprise Edition
 Partitioning Option
 Advanced Security
24 Tbyte disk attached to database nodes
Database size ~450 Tbyte
Database nodes connected to HSM system
Data accessible on the internet
800 named users worldwide
Daily access 800 GB/Day (average)
New data 400 GB/Day (average)
Datenbanken: Aufteilung
OID
Daten
Metadaten
Enterprise
User
Security
12 1
31
49 111
1
10 1
Reference
Status
Distribution
Contact
100.000 Tabellen
Entry
800 GB
Data OrgLocal Adm.
Data Access
Coverage
Parameter
Spatial
Reference
Structure of metadata tables
100.000 Tabellen
800 GB
Informationen um

Einfache Anfragen ohne Zugriff
auf Daten selbst zu
beantworten.

Konsistenz zu den Daten
selbst überprüfen zu können.

Qualitätskontrollen
durchzuführen.

Liegen auf Disk
Wichtige Datenbankfeatures



Nologging : Reduktion der Redo-Log Informationen
=> Gegenwärtig ca. 5 GB/day pro Datenbankinstanz
Partitioning
Read Only Tablespaces
=> Verringerung des Backup
Nicht verwendet:
 Komprimierung in der Datenbank
=> Verwendete Datenformate sind bereits
hochkomprimierend
Backup
3 Typen:
 “reguläre” Datenbankdateien mit konventionellem
Datenbankbackup , kein „nologging“.
 Datenbankdateien mit „nologging“ geschrieben.
Backup auf Tape nach „read only“ setzen.
 Datenbankdateien mit nologging geschrieben.
Noch „read write“ und daher keine Sicherung.
Daten müßen nach Korruption neu eingefüllt
werden.
Structure of blob tables
Range Partitioning
BLOB Data
Table
blob_id
blob_data
Table
Partition 1
Datafile
blob_id 1
1.. n
Time
t0 .. tn
Table
Partition 2
Datafile
blob_id
n+1
2 .. m
Time
tn+1 .. tm
…
…
…
…
Table
Partition n
Datafile
blob_id
m+1
n .. k
Time
tm+1 .. tk
Umsetzung: HSM

Anbindung an das HSM
Migin
Migout
dxdb
TBS - RW
TBS - RO
Tbl
Partition 1
All
tablespaces
are moved
“at once” to
dxdb
Tbl
Partition 21
Migout / Migin




Migout takes place after files haven’t been modified for x
minutes
Only one migout process per dxdb-filesystem
Migin takes place immediately after a file is requested.
Only parts accessed are retrieved from the backend
storage.
One migin process per requested file.
Purging
dxdb
HWM
LWM
Criteria for purging




Size of datafiles doesn’t matter
 Except: “small” datafiles can stay on disk
Time not modified (easy for read only tablespaces)
Time not touched
 Oracle has the tendency to touch data files quite
often
 Oracle parameter read_only_open_delayed could
be an option
Prerequisite: 2 copies on tape
Inside the datafile
Header 128k
Table
Lob Index
Primary Key
Blob data
Frontend versus Backend
Filesystem Frontend
HSM Backend
Header 128k
Header 128k
Part 1
= 512 MB
Part 2
= 512 MB
Retrieving data
Header 128k
3
1
2
4
5
Tape Request
Usage: Downloads
Downloads per year
1000000
900000
800000
700000
600000
500000
400000
300000
200000
100000
0
1999
2000
2001
2002
2003
2004
2005
2006
2007
Statistics: Size
Database Size
350
300
TByte
250
200
150
100
50
0
1998
1999
2001
2002
2003
2004
2005
2006
2007
Ausblick: Globalmodell T213 (Atmosphäre)

Horizontalauflösung des Klimamodells



T213: 640 * 320 = 204800 Punkte pro Globalfeld
T106: 160 * 320 = 51200 Punkte pro Globalfeld
Erforderliche Speichereinheiten (GRIB Format)

Horizontalfeld (Zugriffseinheit):



Unix Filegröße für monatsweise akkumulierte Ergebnisse mit 6 Std.
Speicherintervall und 300 2d Variablen (Physikalische Einheit):



400.1 kB (T213) /
100.1 kB (T106)
14000MB (T213) /
3500 MB (T106)
240 Jahre Modellintegration (Logische Einheit):


40 TB (T213) /
10 TB (T106)
Ausblick: Regionalmodell Auflösung und Datenmengen
REMO-UBA-Modellgebiet
•Auslösung:
10x10 km
•Datenmenge:
5 TB / 100 Jahre
(nur Bodenfelder)
Orography
Vielen Dank!