Konfidenzintervalle

Datenanalyse
(PHY231)
Herbstsemester 2015
Olaf Steinkamp
36-J-22
[email protected]
044 63 55763
Vorlesungsprogramm
●
●
●
●
●
●
●
Einführung, Messunsicherheiten, Darstellung von Messdaten
Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik
- Mittelwert, Standardabweichung, Kovarianz und Korrelation
Fehlerfortpflanzungsgesetz
Wahrscheinlichkeitsverteilungen
- diskrete Verteilungen, kontinuierliche Verteilungen
- zentraler Grenzwertsatz
Monte-Carlo Methode
Wahrscheinlichkeitsverteilungen II
- Faltung zweier Verteilungen
- zwei-dimensionale Gaußverteilung
Stichproben und Schätzfunktionen
- Maximum-Likelihood Methode
- Methode der kleinsten Quadrate
●
Konfidenzniveaus und Konfidenzintervalle
●
Testen von Hypothesen
Datenanalyse HS15
Konfidenzintervalle (2)
Beispielprogramme im
Verzeichnis
/disk/puma/da/vorl/cl
O. Steinkamp
Konfidenzintervalle für Verteilungen
Betrachte Verteilung einer Zufallsvariable xi (i = 1,…,N)
●
Konfidenzintervall [x–,x+] zum Konfidenzniveau CL:
●
●
Bruchteil CL aller xi liegt innerhalb des Intervalls [x–,x+]
CL:
“confidence
level”
ein zufällig gewähltes xi liegt dann mit Wahrscheinlichkeit CL in [x–,x+]
Gaußverteilung: Zusammenhang zwischen CL und Standardabweichung
●
häufig benutzte Konfidenzniveaus / Konfidenzintervalle:
CL
x±
90%
μ ± 1.645·σ
95%
μ ± 1.960·σ
99%
μ ± 2.576·σ
68.13%
μ ± 1·σ
95.45%
μ ± 2·σ
99.73%
μ ± 3·σ
Datenanalyse HS15
±
Konfidenzintervalle (3)
±
±
O. Steinkamp
Konfidenzintervalle für Verteilungen
Zweiseitige Konfidenzintervalle für allgemeine Verteilungen
●
symmetrisches Konfidenzintervall
x+ − μ = μ − x−
●
kürzestes Konfidenzintervall
x + − x − so klein wie moglich
●
zentrales Konfidenzintervall
∫x−∞
−
●
p ( x ) dx =
∫+x∞
p ( x ) dx = (1−CL) / 2
+
alle identisch bei symmetrischen Verteilungen
Einseitige Konfidenzintervalle
●
unteres Konfidenzlimit:
P ( x > x −) =
●
∫+∞
x
p ( x ) dx = CL
−
oberes Konfidenzlimit:
P ( x < x +) =
Datenanalyse HS15
x+
∫−∞
p ( x ) dx = CL
Konfidenzintervalle (4)
O. Steinkamp
Konfidenzintervalle für Schätzwerte
Maximum-likelihood Methode
●
bei großem Stichprobenumfang: gaußförmige
Wahrscheinlichkeitsverteilung für Schätzwert
ln L(a) – ln L(â)
Konfidenzintervall
-0.5
± 1 σ  68.1 %
-2.0
± 2 σ  95.5 %
-4.5
± 3 σ  99.7 %
Methode kleinster Quadrate
●
●
implizite Annahme gaußverteilter Unsicherheit
²(a) – ²(â)
Konfidenzintervall
+1.0
± 1 σ  68.1 %
+4.0
± 2 σ  95.5 %
+9.0
± 3 σ  99.7 %
für n Parameter: Konfidenzregionen in n-dimensionalen Parameterraum
Datenanalyse HS15
Konfidenzintervalle (5)
O. Steinkamp
Konfidenzintervalle für Schätzwerte
Allgemeiner Fall: Messung einer Größe hat das Resultat x ergeben
●
Ziel: gebe ein Konfidenzintervall [X–,X+] für den
x–(X)
wahren Wert X der Größe an, sodass X mit
Wahrscheinlichkeit CL im Intervall [X–,X+] liegt
●
wähle X– so, dass für X = X– die Wahrscheinlichkeit
x+(X)
X
(1-CL)/2 besteht, ein Messergebnis ≥ x zu erhalten
●
wähle X+ so, dass für X = X+ die Wahrscheinlichkeit
(1-CL)/2 besteht, ein Messergebnis ≤ x zu erhalten
●
x+
vor der Messung: bestimme Konfidenzintervall
[x–,x+] für x als Funktion des wahren Werts X
●
x–
●
benutze zum Beispiel Monte-Carlo Simulation
●
ergibt ein Konfidenzband in der (x,X)-Ebene
nach der Messung: lese X– und X+ beim
gemessenen x aus dem Konfidenzband ab
Datenanalyse HS15
Konfidenzintervalle (6)
X+(x)
X–(x)
x
O. Steinkamp
Konfidenzintervalle für Schätzwerte
Spezialfall gaußverteilter Messunsicherheit auf dem Schätzwert
●
●
Symmetrie der Gaußverteilung unter Vertauschung von x und X
→ Konfidenzintervall für X = Konfidenzintervall für x
Untergrenze X– des Konfidenzintervalls
1−
●
1
√ 2 π⋅σ 2
∫e
−
(x ' −X −) 2
2 σ2
dx ' =
x
1
√ 2 π⋅σ 2
X−
∫e
−
(x ' −x )2
2σ2
dx '
X
−∞
Obergrenze X+ des Konfidenzintervalls
1−
●
CL
=
2
+∞
CL
1
=
2
√ 2 π⋅σ 2
x
∫e
−∞
( x ' − X +)2
−
2 σ2
dx ' =
1
√ 2 π⋅σ 2
x–
+∞
∫e
−
(x ' − x )2
2 σ2
x+
dx '
X+
Konfidenzband: zwei Geraden mit Steigung eins
●
Schätzwert im Mittel gleich dem wahren Wert
●
Breite des Konfidenzintervalls für X unabhängig von X
X+
X–
x
Datenanalyse HS15
Konfidenzintervalle (7)
O. Steinkamp
Konfidenzintervalle an Grenzen
des physikalisch erlaubten Bereichs
Beispiel: Experiment zur Messung der Neutrinomasse m
●
messe die Energie E und den Impuls p des Neutrinos, berechne m2 = E2 – p2
●
Annahme: Messunsicherheit auf m² sei gaußverteilt mit σm² = 2 eV2
●
will 3σ (99.73 %) Konfidenzintervall für den wahren Wert m2 angeben
●
Standardrezept für gaußverteilte Fehler: [ m–2 ; m+2] = [m2 – 3 σm² ; m2 + 3 σm²]
a) messe m² = E² – p² = 7 eV²
→ Standardrezept ergibt Konfidenzintervall [1 eV², 13 eV²] ⇒ alles bestens
b) messe m² = E² – p² = 4 eV²
→ Standardrezept ergibt [-2 eV², 10 eV²] ⇒ negative Massenquadrate ???
c) messe m² = E² – p² = -10 eV²
→ Standardrezept ergibt [-16 eV², -4 eV²] ⇒ macht ganz sicher keinen Sinn
●
divergierende Meinungen darüber, was in Fällen wie b) oder c) zu tun ist
●
ein möglicher Ansatz: benutze “Bayessche Statistik”
Datenanalyse HS15
Konfidenzintervalle (8)
O. Steinkamp
Bayessches Theorem
Aussage über bedingte Wahrscheinlichkeiten (Thomas Bayes, 1763):
p ( A und B ) = p ( A)⋅ p (B ∣ A) = p (B )⋅ p ( A ∣ B)
⇒
p(A∣B) =
P (B ∣ A)⋅ p ( A)
p (B)
Beispiel: Test für eine seltene Krankheit
●
im Mittel leiden 7 von 1.000.000 Menschen an der Krankheit:
p(T) = 7x10-6
●
der Test sei zu 99 % effizient:
p(+|T)= 0.99
●
er habe zufällige Ansprechwahrscheinlichkeit von 0.1%:
p(+)
●
= 0.001
Wahrscheinlichkeit, dass ein(e) zufällig ausgewählte(r) Proband(in)
tatsächlich an der Krankheit leidet, wenn der Test positiv angesprochen hat:
p ( + ∣ T ) ⋅ p (T )
0.99 ⋅ 7×10−6
p (T ∣ +) =
=
= 6.9×10−3 = 0.69 %
p ( +)
0.001
Datenanalyse HS15
Konfidenzintervalle (9)
O. Steinkamp
Bayessches Theorem
Angewendet auf die Interpretation von Messergebnissen:
“a-posteriori” Vertrauen in die
Theorie (nach der Messung)
Wahrscheinlichkeit, das Ergebnis
zu erhalten, wenn die Theorie gilt
p (Theorie ∣ Ergebnis) =
“a-priori” Vertrauen in die
Theorie (vor der Messung)
p (Ergebnis ∣ Theorie)
⋅ p (Theorie)
p (Ergebnis)
Wahrscheinlichkeit, das Ergebnis zu erhalten,
egal ob die Theorie gilt oder nicht
●
ein einziges mit der Theorie inkompatibles Messergebnis widerlegt die Theorie
p (Ergebnis|Theorie) = 0 ⇒ p (Theorie|Ergebnis) = 0
●
ein Messergebnis verstärkt das Vertrauen in die Theorie, wenn es von der
Theorie vorhergesagt wurde, ansonsten eher unerwartet wäre
p (Theorie|Ergebnis) ∝ p (Ergebnis|Theorie) / p (Ergebnis)
●
Problem mit diesem Ansatz: p (Theorie) kann nicht objektiv definiert werden
Datenanalyse HS15
Konfidenzintervalle (10)
O. Steinkamp
Bayessches Theorem
Für Messung eines Parameters
●
“Theorie”: wahrer Wert X des Parameters
“Ergebnis”: gemessener Wert x
●
●
p(X ∣ x ) =
p(x ∣ X )
⋅ p( X )
p(x )
häufiger Ansatz für die a-priori Wahrscheinlichkeit p(X): “vorurteilsfrei”
●
nehme jeden erlaubten Wert von X als gleich wahrscheinlich an
●
an den Grenzen des physikalisch erlaubten Bereichs heisst dies
p(X ) ≡
●
}
⇒
{
konstant für X innerhalb des erlaubten Bereichs
0
für X ausserhalb des erlaubten Bereichs
aufgepasst: diese Wahl von p(X) ist willkürlich, beeinflusst aber p(X | x) und
damit das Konfidenzintervall für X
Beispiel Messung der Neutrinomasse
●
2
2
wähle p (m ν ) = konst für m ν > 0 ?
●
wähle p (m ν ) = konst für m ν > 0 ?
Datenanalyse HS15
beide Ansätze sind gleich “richtig”,
resultieren aber in unterschiedlichen
Konfidenzintervalle (11)
Konfidenzintervallen für mν
O. Steinkamp
Konfidenzintervalle an Grenzen
des physikalisch erlaubten Bereichs
Bayessches Konfidenzintervall für Neutrinomasse m
●
p(X): wähle
p (m ν ) =
●
p(x | X): gaußverteilte Messfehler
●
{
1
für m ν ≥ 0
0
für m ν < 0
1
−(m −m
p (m ∣ m ν ) =
⋅e
√ 2 π⋅σ 2
)2 /(2 σ 2 )
p(x): integriere p(m | m) über alle möglichen Werte von m
∞
1
−(m −m
p (m) =
⋅
e
√ 2 π⋅σ 2 0
∫
●
ν
ν
)2 /(2 σ 2 )
dm ν
p(X | x): aus Bayes Theorem
2
2
e−(m−m ) /(2 σ )
p (m ν ∣ m) = ∞ −(m−m ) /(2 σ )
dm ν
∫0 e
ν
2
2
ν
●
Zahlenbeispiel: 90% oberes Konfidenzlimit für m = −0.5 eV ; σ m = 0.2 eV
(m ν )+
(m ν )+
0.9 =
∫
p(m ν ∣ m) dm ν =
0
Datenanalyse HS15
2
2
dm ν
∫0 e
∞ −(m− m ) /(2 σ )
dm ν
∫0 e
−(m−m ν ) /(2σ )
2
2
ν
Konfidenzintervalle (12)
⇒
(m ν ) + = 0.146 eV
O. Steinkamp
Konfidenzintervalle an Grenzen
des physikalisch erlaubten Bereichs
Bayessches Konfidenzintervall für Quadrat der Neutrinomasse, m2
●
p(X): wähle
●
2
ν
p (m ) =
●
{
1
für m2ν ≥ 0
0
für m ν < 0
p(x | X): gaußverteilte Messfehler
1
−( m −m
p (m ∣ m ) =
⋅e
√ 2 π⋅σ 2
2
2
2 2
ν
) /(2 σ 2 )
p(x): integriere p(m2 | m2) über alle möglichen Werte von m2
∞
1
−(m −m
p (m ) =
⋅
e
√ 2 π⋅σ 2 0
2
●
2
2
ν
∫
2
2 2
ν
) /(2 σ 2)
2
2 2
ν
dm 2ν
p(X | x): aus Bayes Theorem
2
e−(m −m ) /(2 σ )
p (m ∣ m ) = ∞ −(m −m ) /(2 σ )
dm 2ν
∫0 e
2
ν
●
2
2
2 2
ν
2
Zahlenbeispiel: 90% oberes Konfidenzlimit für m 2 = −0.25 eV 2 ; σ m = 0.2 eV 2
2
(m 2ν )+
(m 2ν )+
0.9 =
∫
p(m 2ν ∣ m 2 ) dm 2ν =
0
Datenanalyse HS15
−(m 2−m 2ν )2 /(2 σ 2)
2
dm ν
∫0
∞ −(m −m ) /(2 σ )
dm 2ν
∫0 e
e
2
2 2
ν
2
Konfidenzintervalle (13)
⇒
(m2ν ) + = 0.211 eV 2
O. Steinkamp
Konfidenzintervalle an Grenzen
des physikalisch erlaubten Bereichs
Bayessches Konfidenzintervall für Quadrat der Neutrinomasse, m2
●
p(X): wähle
●
2
ν
p (m ) =
●
{
1
für m2ν ≥ 0
0
für m ν < 0
p(x | X): gaußverteilte Messfehler
1
−( m −m
p (m ∣ m ) =
⋅e
√ 2 π⋅σ 2
2
2
2 2
ν
) /(2 σ 2 )
p(x): integriere p(m2 | m2) über alle möglichen Werte von m2
∞
1
−(m −m
p (m ) =
⋅
e
√ 2 π⋅σ 2 0
2
●
2
2
ν
∫
2
2 2
ν
) /(2 σ 2)
2
2 2
ν
dm 2ν
p(X | x): aus Bayes Theorem
2
e−(m −m ) /(2 σ )
p (m ∣ m ) = ∞ −(m −m ) /(2 σ )
dm 2ν
∫0 e
2
ν
●
2
2
2 2
ν
2
Zahlenbeispiel: 90% oberes Konfidenzlimit für m 2 = −0.25 eV 2 ; σ m = 0.2 eV 2
≠ (0.146 eV)2
2
(m 2ν )+
(m 2ν )+
0.9 =
∫
p(m 2ν ∣ m 2 ) dm 2ν =
0
Datenanalyse HS15
−(m 2−m 2ν )2 /(2 σ 2)
2
dm ν
∫0
∞ −(m −m ) /(2 σ )
dm 2ν
∫0 e
e
2
2 2
ν
2
Konfidenzintervalle (14)
⇒
(m2ν ) + = 0.211 eV 2
O. Steinkamp