Statistik und Datenanalyse

Emmerich Kneringer
Anwendung von 'χ2/DoF ~ 1'
SS 2004 - 704031
home page:
physik.uibk.ac.at/statistik
g
n
u
s
as ler'
p
n
na
eh
e
F
v
r
e
u
K
hn
o
r
le
h
e
'F
7. Vorlesung
3. Mai 2004
Nachtrag zur
letzten Vorlesung
!
interaktiv am Beginn: Mathematica aufrufen
"
Mittelwert und Varianz der χ2-Verteilung berechnen
<<Statistics`ContinuousDistributions`
Integrate[PDF[ChiSquareDistribution[N],x],{x,a,∞}]
Mean[ChiSquareDistribution[N]]
Variance[ChiSquareDistribution[N]]
!
Fehler bei Mittelwertbildung (Fit einer Konstanten)
"
wie Parallelschaltung von Widerständen
1
2
σ Fit
2
=
1
σ 12
+
1
σ 22
+K+
1
σ N2
Gesamtfehler
Gesamtfehlerist
istnur
nureine
eine
Funktion
Funktionder
derEinzelfehler!
Einzelfehler!
heute:
Wie
Wiesoll
sollman
manalso
alsoeinen
einenFehler
Fehlerder
der
Fitparameter
Fitparameterangeben
angebenkönnen,
können,wenn
wenn
keine
keineEinzelfehler
Einzelfehlergegeben
gegebensind?
sind?
N
χ ( pk ) = ∑
2
i =1
( yi − f ( xi , pk ) )
2
σ i2
Definition des Fehlers 'ohne Fehler'?
!
Datenpunkte ohne Fehler
"
"
Gleiches Gewicht gi = g für alle N Datenpunkte
χ2 best-fit Parameter sind unabhängig von g
#
#
#
Origin macht den fit für g = 1
dies ergibt einen Wert für das reduzierte Chi-quadrat: χ2/DoF
und eine Kovarianzmatrix covij
nun kann man sich nachträglich die χ2-Funktion mit diesem
Faktor normiert denken
beste Schätzung für den Datenfehler σi = √(χ2/DoF)
→ Fehler aus der Kovarianzmatrix muss ebenfalls mit diesem
Faktor skaliert werden – was in Origin automatisch geschieht!
→
3
bezieht sich auf Origin
Fit mit Datenfehler u. 'reduziertes χ2'
4
"
Wenn der Verdacht besteht, dass die Datenfehler unteroder überschätzt wurden, dann kann man beim Fit mit
Datenfehler das Kästchen
'Sqrt(reduziertes chi^2)
Formel für Fehler' auswählen
(ist per default nicht aktviert).
"
Ist äquivalent mit einer Umskalierung
der Datenfehler derart,
dass man χ2/DoF = 1 erhalten würde.
Beispiel mit
überschätztem Datenfehler
"
5
Umskalierung der Datenfehler
kann man sich sparen, mit
"
6
Auch bei den normalen Hilfsmitteln 'Fit Linear', 'Fit Sigmoide'
steht diese Auswahlkästchen zur Verfügung.
Aus einem Lehrbuch
7
http://physik.uibk.ac.at/statistik/origin/chi2_fit_m_3Gausszahlen.OPJ
χ2 -Verteilung und Freiheitsgrade
"
gegeben N Datenpunkte (mit Fehler):
dann ist das minimale χ2 eines Fits einer Funktion
mit k Parametern χ2 -verteilt mit N-k Freiheitsgraden!
#
#
"
beachte: die einzelnen (der N) Summanden von χ2 sind
in diesem Fall nicht mehr unabhängig!
χ2 pro Freiheitsgrad hat den Erwartungswert 1
zur Illustration
#
explizite Rechnung für das einfachste Beispiel …nächste Folie
–
(siehe link oben)
8
probiere numerische Simulation mit Origin (z.B. für N=3)
beachte: χ2Fit < χ2
χ2 = G12 + G22 +G32
einfachstes
einfachstesBeispiel
Beispiel
Erwartungswert der χ2 -Verteilung
bei einer Nebenbedingung: N–1
!
Gegeben: Gauss'sche Normalverteilung
und Stichprobe xi vom Umfang N
"
Verteilung von χ2min des Fits einer konstanten Funktion
#
χ2min = Σ(xi–m)2
mit m = Σxi/N
"
berechne den Erwartungswert von χ2min
2
N 
N

1
E[ χ ] = E ∑ ( xi − x )  = E ∑  xi −
N
 i =1 
 i =1

2
N
  N − 1 2
1
2
= ∑ 
 E xi + 2

N

i =1   N
N
9
[ ]

x j 
∑
j =1

N
2
 N  N −1

1
 = E ∑ 
xi −

N
 i =1  N

 N   N − 1 2 1
E x  = ∑
+
∑
 i =1   N  N 2
j ≠i


N
[ ]
2
j

x j 
∑
j ≠i

N
2

 N   N −1 2 2 1
 = E ∑  
 xi + 2

N

 i =1   N 

2

(
)
−
x
Mischterme
x
,
x
∑
j
i
j

j ≠i

N
 N  ( N − 1) 2 N − 1  N
N −1
2
 = ∑
1
∑
 N 2 + N 2  = N 2 ( N − 1) + N − 1 = N ( N − 1 + 1) = N − 1

j ≠i 
i =1 

N
(
)
Elegant, aber undurchsichtig?
!
Bester Schätzer (estimator) der Varianz
2
1 N
2
S =
∑ (xi − x )
N − 1 i =1
!
χ2 -Verteilung für den Fit einer Konstanten
#
"
berechne den Erwartungswert von χ2min:
#
10
χ2min = Σ(xi–m)2 = (N–1)S2
E[χ2min,Fit] = E[(N–1)S2] = (N–1)·E[S2] = (N–1) = DoF
Vorlesung Math. Meth. 1 – G. Grübl:
Erwartungswert und Varianz
2
11
1 n
2
(
S =
fi − f )
∑
n − 1 i =1
Praxis
!
zur Auflockerung und zum Abschluss:
Beispiele aus der Praxis
"
N Datenpunkte, DoF = ? für
#
#
#
linearen Fit
Gauss-Verteilung
Polynom k-ter Ordnung
k = N–1 ?
→ χ2/DoF = 0/0
12
Welches
WelchesModell
Modell
scheint
für
scheint fürdiese
diese
Daten
geeignet?
Daten geeignet?
Polynomfit
13
Polynomfit
y
χ2/DoF=?
Prob=?
11.4
1.33
n.def
3·10–9
26%
—
Was,
Was,wenn
wennProb
Prob==99%?
99%?
Modell
Modellfalsch
falschoder
oder
Fehler
überschätzt!
Fehler überschätzt!
14
x