Lindau_Dipdoc_201007

Kriging & al.
Ralf Lindau
Seminar – 5. Juli 2010
Projekte
OMDI 1 : Optimal merging of water vapour retrievals from different instruments
NNW-Kriging von AMSU (NOAA-15 -16)und SSM/I (F13,14,15)
OMDI 2 : Modification and implementation of the Kriging software at DWD computers
GRAS :
Climate Monitoring using GRAS-SAF data within CM-SAF
GNSS (GlobNavSatSys) Receiver for Atmosphereic Sounding.
Champ limp sounding
Geringe Beobachtungsdichte weil jeweils zwei Satelliten notwendig sind
Tägliches Kriging schwierig, Match-up Differenzen
Umrechnung von zeitlichen und räumlichen Differenzen
OMDI 3 : Optimierte Bestimmung von korrelierten Fehlern in
Wasserdampfschätzungen aus Satellitendaten
Berücksichtigung horizontaler Fehlerkovarianzen in der Kovarianzmatrix beim Kriging
OMDI 4 : Kriging of Layered Precipitable Water with known input errors
Bisher: Inputfehler statistisch abgeleitet.
Jetzt: Gegebene Satellitenfehler nutzen.
Bisher: Erst LPW integrieren, dann TPW kriggen
Jetzt: Erst LPW kriggen, dann integrieren
Seminar – 5. Juli 2010
Kriging-Ansatz
2


 x 0   li x i  Dx i   min

t 1 
i 1

m
•
•
•
•
•
n
Es gibt n Beobachtungen xi an den Orten Pi.
Mache eine Vorhersage x0 für den Ort P0 .
Konstruiere die Vorhersage aus einem gewichteten Mittel der
Beobachtungen xi.
Berücksichtige dabei die Fehler Dxi.
Bestimme die Gewichte li.
Seminar – 5. Juli 2010
Matrix und Input
Seminar – 5. Juli 2010
Varianzzerlegung
Seminar – 5. Juli 2010
Datenunabhängigkeit
•
Wenn Daten unabhängig sind, gibt Varianz / n den
Fehler des Mittelwertes.
•
Alternativ: Bilde nu Unterkollektive und betrachte die
Varianz der Mittelwerte dieser Unterkollektive Varu.
•
Falls die ursprünglichen n Werte wirklich
unabhängig waren, bleibt Varianz / n erhalten.
Var / n = Varu / nu
Seminar – 5. Juli 2010
Erhaltung von Var/n
Fasse jeweils zwei Beobachtungen zu einem Mittelwert zusammen.
Wieviel Varianz wird dadurch zerstört?
x  x  
2
i
k

xi  x j
  xi 
2




2

 x x j  2 
   i    

 2 2  
xi xi   xi x j   x j x j 
4
2
4

2
2
Wenn die Unterkollektivmitglieder unabhängig sind, wird die Hälfte der
Varianz herausgemittelt, die andere Hälfte bleibt also erhalten.
Und die Beobachtungsanzahl hat sich auch halbiert.
Sind die Beobachtung dagegen abhängig, wird weniger Varianz als die
Hälfte zerstört und mehr als die Hälfte erhalten. Var / n wächst.
Die Daten sind also fehlerhafter als es zunächst schien.
Seminar – 5. Juli 2010
Varianz mm2
0.00 + 6.77
4.39 + 2.38
6.12 + 0.65
81
5
2
0.09
0.60
0.65
weggemittelt + innere
„Unabhängige“
Fehler
Die fünf Satelliten (2 AMSU, 3 SSM/I) sind unabhängig.
Die einzelnen Pixel nicht.
Seminar – 5. Juli 2010
OMDI 3
Fehlerkovarianzen z.B. [Dx1 Dx2]
verschwinden bei unabhängigen Daten.
Satellitendaten sind nicht unabhängig, denn
sie beruhen auf einem einzigen Retrieval.
Überschätzt das Retrieval an einem Ort, so
neigt es auch in der Nachbarschaft zur
Überschätzung, weil die physikalischen
Bedingungen ähnlich (schwierig) sind.
Zur Bestimmung der Fehlerkovarianzen benötigt man zwei unabhängige Satelliten. 
Seminar – 5. Juli 2010
Fehlerkovarianz
D = ((x1 + Dx1) – (x2 + Dx2))2
D = 2 Var – 2 Cov + Err1 + Err2 - 2 ErrCov
Seminar – 5. Juli 2010
Fehlerkovarianz
D = ((x1 + Dx1) – (x2 + Dx2))2
D = 2 Var – 2 Cov + Err1 + Err2 - 2 ErrCov
S = (x1 + Dx1)2 + (x2 + Dx2)2
S = 2 Var + Err1 + Err2
Seminar – 5. Juli 2010
Fehlerkovarianz
D = ((x1 + Dx1) – (x2 + Dx2))2
D = 2 Var – 2 Cov + Err1 + Err2 - 2 ErrCov
S = (x1 + Dx1)2 + (x2 + Dx2)2
S = 2 Var + Err1 + Err2
S – D = 2 Cov + 2 ErrCov
Seminar – 5. Juli 2010
OMDI 4
Erst jede Schicht kriggen, dann integrieren.
Wie lautet dann der Fehler des TPW?
Input
Zunächst: Einzelne Schichten kriggen.
Z.B. Schicht 39 (940 hPa, 1. Januar 2008)
Programm läuft (inklusive kleiner DWD
Zusatzaufgaben: Datumsgrenzproblem)
„In“ Gebirgen ist richtigerweise LPW = 0
Output
Man kann also ohne Probleme über alle
Schichten (bis nominell 1050 hPa)
integrieren, ohne Fehler zu machen:
w
qi dpi
g
Seminar – 5. Juli 2010
Vergleich sum(lpw) mit tpw
Oben: Originaldaten
Vergleich Integral(LPW) mit TPW des Satelliten
Test, ob unsere Integrationsmethode, der des
Satellitenalgorithmus entspricht.
Widerspricht DWD Angaben, dass man nur bis
zum Bodendruck integrieren darf.
Unten: Gekriggte Daten
42 Schichten kriggen, dann integrieren.
Vergleich Sum(Krig(LPW)) mit Krig(TPW)
Seminar – 5. Juli 2010
Fehlerfortpflanzung
Definition Gesamtwasserdampfgehalt
w
Fehlerfortpflanzung:
Dw
qi dpi
g
w dp i

q i
g
2
2
 w 
 Dq i 2
  
 q i 
Die partiellen Ableitungen von w eingesetzt:
FFF;-)
Dw
2
Dw2 
Wenn alle Schichten gleiche Massen (dp) umfassten, gälte:
2
 dp
   i
 g
p0
2
g 2n2

 Dq i 2

 Dq 
dpi 
2
i
p0
n
Wenn alle Fehler gleich wären, gälte:
Var/n:
Dw
2

p0
2
g2
Dq 2
n
Seminar – 5. Juli 2010
Fehler für abhängige Schichten
nu
Jeweils zwei Schichten sind abhängig.
Diese zwei Schichten sind gleich mächtig:
w
i 1
qi dpi nu f i qi dpi

g
g
i 1
nu
1  f i qi dpi
i 1
g
w
Dw
w nu 1  f i dpi

qi i 1
g
2
2
 w 
 Dq i 2
  
 q i 
2
2
n
Dw2   1  f i 2 dpi Dqi 2
u
g
i 1
2
Alle Schichten gleich mächtig:
Dw
Alle fi=1
Dw
2
Alle qi gleich:
2
p
 20 2
n g
2
4p
 2 02
n g
nu
 1  f  Dq 
2
2
i
i 1
nu
i
 Dq 
2
i
i 1
2
Dw2  4n2u p20 Dq 2
n g
n=2nu
Dw
2
2
p
 02
g
Dq 2
nu
Seminar – 5. Juli 2010
sum(lpw)
Err(sum(krig(lpw)))
Quotient
tpw
1.4 mm
2.8 mm
Seminar – 5. Juli 2010
Fazit
Diagnose: Der Fehler von sum(lpw) wird um den Faktor 2 bis 3
unterschätzt.
Grund: die 42 Schichten sind eben nicht unabhängig.
Interpretation des Faktors: Die wahre vertikale Auflösung ist um den
Faktor 4 bis 9 kleiner als die nominelle (42 Schichten)
Seminar – 5. Juli 2010