Document

521.202 / SES.125
Parameterschätzung
Hypothesentests
Torsten Mayer-Gürr
Torsten Mayer-Gürr
Verteilungen
Torsten Mayer-Gürr
Normalverteilung
Definition: Die Zufallsvariable X bezeichnet man als normalverteilt mit den
Parametern 𝜇 und 𝜎 2 , abgekürzt geschrieben 𝑋~𝑁(𝜇, 𝜎 2 ), wenn ihre Dichte 𝑓(𝑥)
gegeben ist durch
2
2
1
f ( x,  ,  ) 
e ( x ) / 2 für    x  
 2
Verteilungsfunktion:
1
F ( x) 
 2
x
( t   )
e

2
/ 2 2
dt

Erwartungswert:

E{ X }   x f ( x) dx  

Varianz:

E{( X   ) }   ( x   ) 2 f ( x) dx   2
2

Torsten Mayer-Gürr
13.01.2016
3
Normalverteilung
Eine Zufallsvariable X sei normalverteilt mit den Parametern 𝜇 und 𝜎 2 :
X ~ N (  , )
(Wahrscheinlichkeits-) Dichte, probability density function (pdf)
f N ( x,  ,  )
Torsten Mayer-Gürr
13.01.2016
in MATLAB:
normpdf(x, mu, sigma)
4
Normalverteilung
Eine Zufallsvariable X sei normalverteilt mit den Parametern 𝜇 und 𝜎 2 :
X ~ N (  , )
(Wahrscheinlichkeits-) Dichte, probability density function (pdf)
f N ( x,  ,  )
Verteilungsfunktion, cummulative density function (cdf)
FN ( x,  , ) 
x
f
N
in MATLAB:
normpdf(x, mu, sigma)
in MATLAB:
normcdf(x, mu, sigma)
(t ,  , ) dt

Wahrscheinlichkeit
x
P( X  x)  F ( x) 
 f (t ) dt

b
P(a  X  b)  F (b)  F (a )   f (t ) dt
a
Torsten Mayer-Gürr
13.01.2016
5
Normalverteilung
Eine Zufallsvariable X sei normalverteilt mit den Parametern 𝜇 und 𝜎 2 :
X ~ N (  , )
(Wahrscheinlichkeits-) Dichte, probability density function (pdf)
f N ( x,  ,  )
Verteilungsfunktion, cummulative density function (cdf)
FN ( x,  , ) 
x
f
N
(t ,  , ) dt
in MATLAB:
normpdf(x, mu, sigma)
in MATLAB:
normcdf(x, mu, sigma)

Inverse Verteilungsfunktion
Gegeben Wahrscheinlichkeit P(X < x) = α, gesucht Grenze x
in MATLAB:
norminv(alpha, mu, sigma)
FN1 ( ,  , )  x
Torsten Mayer-Gürr
13.01.2016
6
Konfindenzintervalle
Torsten Mayer-Gürr
13.01.2016
7
Normalverteilung
Die Größe T ist standardisiert normalverteilt:
TN 
xˆ  x
 xˆ
~ N (0,1)
Konfidenzintervall für die Größe T:
: geschätzter/gemessener Wert
x̂
x  E (xˆ ) : Erwartungswert
: bekannte Standardabw.
 x̂
α=5%
Pklow  TN  kup   1  
klow  FN1 ( 2 ,0,1)
kup  FN1 (1  2 ,0,1)
2,5%
Konfidenzintervall für den Erwartungswert
95%
2,5%
Pklow  x  kup   1  
klow
klow  xˆ   xˆ FN1 ( 2 ,0,1)
TN
kup
kup  xˆ   xˆ FN1 (1  2 ,0,1)
Torsten Mayer-Gürr
13.01.2016
8
Transformation von
Verteilungen
Torsten Mayer-Gürr
Transformation von Verteilungen
Zufallsvariable
x
mit der Dichte
f (x)
Verteilungsfunktion
Substitution
x
P( X  x)  F ( x) 
 f (t ) dt
t  h( y )

h( y )


f (h( y ))

y
P(Y  y )  F ( y ) 


f (h(t ))
dt dh( y )

dy
dy
dh( y )
dy
dy
dh(t )
dt
dt
Zufallsvariable
y
mit der Dichte
Torsten Mayer-Gürr
f ' ( y )  f (h( y ))
dh
dy
mit
13.01.2016
x  h( y )
10
Chi-Quadrat Verteilung
Torsten Mayer-Gürr
13.01.2016
11
Chi-Quadrat Verteilung
Gegeben sind n normalverteilte Zufallsvariablen:
X i ~ N (0,1)
Die Quadratsumme ist Chi-Quadrat verteilt
 n2  X 12  X 22    X n2
Dichte
 x n / 21e  x / 2
2

f (  ) ( x, n)   2 n / 2 (n / 2)

0
x0
x0
Gamma-Funktion

( s )   t s 1e t dt
0
in MATLAB:
chi2pdf(x, n)
chi2cdf(x, n)
chi2inv(alpha, n)
Torsten Mayer-Gürr
Wikipedia
13.01.2016
12
Chi-Quadrat Verteilung
Die Größe T ist Chi-Quadrat verteilt:
Geschätzter Varianzfaktor:
ˆ 2
T 2  (n  m) 2 ~  2 (n  m)

eˆ T P eˆ
ˆ 
nm
2
Erwartungswert:
E (ˆ 2 )   2
Konfidenzintervall für die Größe T:


P klow  T 2  kup  1  
klow  F21 ( 2 , n  m)
kup  F21 (1  2 , n  m)
Konfidenzintervall für den Varianzfaktor
P klow   2  kup   1  
klow
(n  m)ˆ 2
 1
F 2 (1  2 , n  m)
(n  m)ˆ 2
kup  1 
F 2 ( 2 , n  m)
Torsten Mayer-Gürr
13.01.2016
13
Einseitig / Zweiseitig
f (x)
klow
T 2
x
up
95%
2,5%
f (x)
k 2
2,5%
klow
T 2
kup
x
klow
T 2
k2up
x
95%
5%
T 2
Torsten Mayer-Gürr
k
x
13.01.2016
14
Chi-Quadrat Verteilung
Die Größe T ist Chi-Quadrat verteilt:
ˆ 2
T 2  (n  m) 2 ~  2 (n  m)

Konfidenzintervall für die Größe T:
(zweiseitig)

Konfidenzintervall für die Größe T:
(einseitig)


P klow  T 2  kup  1  

P T 2  k  1  
klow  F21 ( 2 , n  m)
k  F21 (1   , n  m)
kup  F21 (1  2 , n  m)
f (x)
klow
T 2
k 2
up
95%
2,5
%
klow
T 2
Torsten Mayer-Gürr
x
f (x)
95%
2,5
%
kup
k2up
T 2
klow
5%
T 2
x
13.01.2016
x
k
x
15
Student- oder t-Verteilung
Torsten Mayer-Gürr
13.01.2016
16
Student- oder t-Verteilung
Gegeben sind die Zufallsvariablen:
X 2 ~  2 ( n)
Y ~ N (0,1) und
Der Quotient ist t-verteilt
Y
Tn 
X 2 /n
Dichte
f ( t ) ( x, n ) 
( )  x 
1  
n
 n ( n2 ) 
n 1
2
2

n 1
2
Gamma-Funktion

( s )   t s 1e t dt
0
in MATLAB:
tpdf(x, n)
tcdf(x, n)
tinv(alpha, n)
Torsten Mayer-Gürr
Pail
13.01.2016
17
Student- oder t-verteilung
Die Größe T ist t verteilt:
Tt 
xˆ  x
~ t ( n  m)
ˆ xˆ
Konfidenzintervall für die Größe T:
Pklow  Tt  kup   1  
klow  Ft 1 ( 2 , n  m)
kup  Ft 1 (1  2 , n  m)
Konfidenzintervall für den Erwartungswert
Pklow  x  kup   1  
klow  xˆ  ˆ xˆ Ft 1 ( 2 , n  m)
kup  xˆ  ˆ xˆ Ft 1 (1  2 , n  m)
Torsten Mayer-Gürr
13.01.2016
18
Fisher- oder F-Verteilung
Torsten Mayer-Gürr
13.01.2016
19
Fisher- oder F-Verteilung
Gegeben sind die Zufallsvariablen:
n
U   X i2 ~  2 (n)
2
n
X 1 ~ N (0,1)
i 1
und
Dichte
 m 2 n 2 ( m2  n2 )
x m 21

m n
mn
f ( F ) ( x, m, n)  
( m2 )( n2 ) (mx  n) 2

0

x0
x0
m
V   Yk2 ~  2 (m)
2
m
k 1
Yi ~ N (0,1)
Der Quotient ist F-verteilt
Fn ,m
Vm2 / m
 2
Un / n
in MATLAB:
fpdf(x, m, n)
fcdf(x, m, n)
finv(alpha, m, n)
Torsten Mayer-Gürr
Wikipedia
13.01.2016
20
Fisher- oder F-Verteilung
Die Größe T ist F verteilt:
Geschätzte Parameter:
1
ˆ 1{xˆ } (xˆ  x) ~ F (mx , n  m)
TF 
(xˆ  x)T Σ
mx
xˆ  AT PA  AT Pl
1
Geschätzte Residuen:
eˆ  l  Axˆ
Konfidenzellipse/Ellipsoid/Hyperellipse für die Größe T:
PTF  k   1  
Geschätzter Varianzfaktor:
eˆ T P eˆ
ˆ 
nm
2
k  FF1 (1   , mx , n  m)
Geschätzte Kovarianzmatrix:
ˆ {xˆ }  ˆ 2 AT PA 1
Σ
Anzahl der verwendeten
Parameter: mx
Torsten Mayer-Gürr
13.01.2016
21
Hypothesentests
Torsten Mayer-Gürr
Änderung des mittleren Meeresspiegels
Torsten Mayer-Gürr
13.01.2016
23
Hypothesentest
Allgemeines Schema:
1.) Aufstellen der Hypothese
a) Hypothese H0: x  x0
gegen H1: x  x0
b) Hypothese H0: x  x0
gegen H1: x  x0
c) Hypothese H0: x  x0
gegen H1: x  x0
(zweiseitig)
(einseitig)
(einseitig)
2.) Festlegung der Irrtumswahrscheinlichkeit:   1%,   5%, oder   10%,
(Wahrscheinlichkeit für einen Fehler 1. Art: H0 ist wahr, wird aber abgelehnt)
3.) Testgröße T berechnen
T
4.) Konfidenzintervall, falls H0 wahr:
1
1
a) PF ( 2 )  T  F (1  2 )   1  
=> Die Hypothese wird abgelehnt,
falls T außerhalb des Intervalls liegt.
b) PT  F (1   )   1  
1
1
c) PF ( )  T   1  
Torsten Mayer-Gürr
13.01.2016
24
Hypothesentest
Allgemeines Schema:
1.) Aufstellen der Hypothese
a) Hypothese H0: x  x0
gegen H1: x  x0
b) Hypothese H0: x  x0
gegen H1: x  x0
c) Hypothese H0: x  x0
gegen H1: x  x0
(zweiseitig)
(einseitig)
(einseitig)
  5%, oder   10%,
2.) Festlegung der Irrtumswahrscheinlichkeit:   1%, α=5%
(Wahrscheinlichkeit für einen Fehler 1. Art: H0 ist wahr, wird aber abgelehnt)
3.) Testgröße T berechnen
T
2,5%
95%
2,5%
4.) Konfidenzintervall, falls H0 wahr:
1
1
a) PF ( 2 )  T  F (1  2 )   1  
=> Die Hypothese wird abgelehnt,
kup liegt.
falls Tklow
außerhalb
T des Intervalls
b) PT  F (1   )   1  
1
c) PF ( )  T   1  
N
1
Torsten Mayer-Gürr
13.01.2016
25
Hypothesentest (Normalverteilung)
Entspricht ein gemessener/geschätzter Wert x̂ einem vorgegebenen Wert x0 ,
bei bekannter Standardabweichung  x̂ ?
1.) Aufstellen der Hypothese
a) Hypothese H0: x  x0
gegen H1: x  x0
b) Hypothese H0: x  x0
gegen H1: x  x0
c) Hypothese H0: x  x0
gegen H1: x  x0
(zweiseitig)
(einseitig)
(einseitig)
2.) Festlegung der Irrtumswahrscheinlichkeit:   1%,   5%, oder   10%,
(Wahrscheinlichkeit für einen Fehler 1. Art: H0 ist wahr, wird aber abgelehnt)
3.) Testgröße T berechnen
xˆ  x0
TN 
~ N (0, 1)
 xˆ
4.) Konfidenzintervall, falls H0 wahr:
a) PFN1 ( 2 , 0, 1)  TN  FN1 (1  2 , 0, 1)   1  
=> Die Hypothese wird abgelehnt,
falls T außerhalb des Intervalls liegt.
b) P TN  F (1   , 0, 1)   1  
1
N
1
c) P FN ( , 0, 1)  TN   1  
Torsten Mayer-Gürr
13.01.2016
26
Hypothesentest (t-Test)
Entspricht ein gemessener/geschätzter Wert x̂ einem vorgegebenen Wert x0 ,
bei geschätzter Standardabweichung ̂ x̂?
1.) Aufstellen der Hypothese
a) Hypothese H0: x  x0
gegen H1: x  x0
b) Hypothese H0: x  x0
gegen H1: x  x0
c) Hypothese H0: x  x0
gegen H1: x  x0
(zweiseitig)
(einseitig)
(einseitig)
2.) Festlegung der Irrtumswahrscheinlichkeit:   1%,   5%, oder   10%,
(Wahrscheinlichkeit für einen Fehler 1. Art: H0 ist wahr, wird aber abgelehnt)
3.) Testgröße T berechnen
xˆ  x
Tt 
~ t ( n  m)
ˆ xˆ
4.) Konfidenzintervall, falls H0 wahr:
a) P Ft 1 ( 2 , n  m)  Tt  Ft 1 (1  2 , n  m)   1  
b) P Tt  Ft (1   , n  m)   1  
1
=> Die Hypothese wird abgelehnt,
falls T außerhalb des Intervalls liegt.
1
c) P Ft ( , n  m)  Tt   1  
Torsten Mayer-Gürr
13.01.2016
27
Hypothesentest (F-Test)
Entspricht ein geschätzter Vektor x̂ der Größe (mx  1) einem vorgegebenen Vektor x 0 ,
ˆ (xˆ ) (aus Gauß-Markoff Modell mit der Redundanz n-m)?
bei geschätzter Kovarianzmatrix Σ
1.) Aufstellen der Hypothese
Hypothese H0: x  x 0  0 gegen H1: x  x 0  0
(einseitig)
2.) Festlegung der Irrtumswahrscheinlichkeit:   1%,   5%, oder   10%,
(Wahrscheinlichkeit für einen Fehler 1. Art: H0 ist wahr, wird aber abgelehnt)
3.) Testgröße T berechnen
1
ˆ 1 (xˆ ) (xˆ  x 0 ) ~ F (mx , n  m)
TF 
(xˆ  x 0 )T Σ
mx
4.) Konfidenzintervall, falls H0 wahr:
PTF  FF1 (1   , mx , n  m)   1  
Torsten Mayer-Gürr
=> Die Hypothese wird abgelehnt,
falls T außerhalb des Intervalls liegt.
13.01.2016
28
Hypothesentest (Chi-Qudrat-Test)
Entspricht eine geschätzte Standardabweichung̂ einer vorgegebenen Standardabweichung 0 ?
1.) Aufstellen der Hypothese
a) Hypothese H0:    0
gegen H1:    0 (zweiseitig)
b) Hypothese H0:    0
gegen H1:    0 (einseitig)
2.) Festlegung der Irrtumswahrscheinlichkeit:   1%,   5%, oder   10%,
(Wahrscheinlichkeit für einen Fehler 1. Art: H0 ist wahr, wird aber abgelehnt)
3.) Testgröße T berechnen
ˆ 2
T 2  (n  m) 2 ~  2 (n  m)
0
4.) Konfidenzintervall, falls H0 wahr:

b) P T

1
1
a) P F 2 ( 2 , n  m)  T 2  F 2 (1  2 , n  m)  1  
2

 F 2 (1   , n  m)  1  
1
Torsten Mayer-Gürr
13.01.2016
=> Die Hypothese wird abgelehnt,
falls T außerhalb des Intervalls liegt.
29
Hypothesentest (F-Test)
Entspricht eine geschätzte Standardabweichung ̂ 1
einer anderen geschätzten Standardabweichung ˆ 2?
1.) Aufstellen der Hypothese
a) Hypothese H0:  1   2
gegen H1:  1   2 (zweiseitig)
b) Hypothese H0:  1   2
gegen H1:  1   2 (einseitig)
c) Hypothese H0:  1   2
gegen H1:  1   2 (einseitig)
2.) Festlegung der Irrtumswahrscheinlichkeit:   1%,   5%, oder   10%,
(Wahrscheinlichkeit für einen Fehler 1. Art: H0 ist wahr, wird aber abgelehnt)
3.) Testgröße T berechnen
ˆ12
TF  2 ~ F (n1  m1 , n2  m2 )
ˆ 2
4.) Konfidenzintervall, falls H0 wahr:
1 
1

a) PFF ( 2 , n1  m1 , n2  m2 )  TF  FF (1  2 , n1  m1 , n2  m2 )   1  
1
b) PTF  FF (1   , n1  m1 , n2  m2 )   1  
=> Die Hypothese wird abgelehnt,
falls T außerhalb des Intervalls liegt.
c) PF ( , n1  m1 , n2  m2 )  TF   1  
1
F
Torsten Mayer-Gürr
13.01.2016
30