PowerPoint-Präsentation

521.202 / SES.125
Parameterschätzung
Verteilungen
Torsten Mayer-Gürr
Torsten Mayer-Gürr
Varianz / Kovarianz
Lineare Transformation
y  Bx  c
nx1
Zufallsvektor
mx1
Zufallsvektor
nx1
konstanter Vektor
n x m konstante Koeffizientenmatrix
Erwartungswert
E{y}  E{Bx  c}  BE{x}  c
Kovarianzmatrix
Σ{y}  Σ{Bx  c}  BΣ{x}BT
Torsten Mayer-Gürr
12.01.2016
2
Normalverteilung
Definition: Die Zufallsvariable X bezeichnet man als normalverteilt mit den
Parametern 𝜇 und 𝜎 2 , abgekürzt geschrieben 𝑋~𝑁(𝜇, 𝜎 2 ), wenn ihre Dichte 𝑓(𝑥)
gegeben ist durch
2
2
1
f ( x,  ,  ) 
e ( x ) / 2 für    x  
 2
Verteilungsfunktion:
1
F ( x) 
 2
x
( t   )
e

2
/ 2 2
dt

Erwartungswert:

E{ X }   x f ( x) dx  

Varianz:

E{( X   ) }   ( x   ) 2 f ( x) dx   2
2

Torsten Mayer-Gürr
12.01.2016
3
Multivariate Normalverteilung
Torsten Mayer-Gürr
Zweidimensionale Zufallsverteilung
Zweidimensionale stetige Zufallsvariable
x y
F ( x, y ) 
  f ( x' , y' ) dx' dy'

Wahrscheinlichkeit (Verteilungsfunktion)
P ( X  x, Y  y )  F ( x, y )
Dichtefunktion
f ( x, y ) 0
Pail
 
  f ( x, y) dy dx  1

Satz: Zwei Zufallsvariablen sind genau dann
voneinander unabhängig, falls gilt
f ( x, y )  f x ( x ) f y ( y )
Torsten Mayer-Gürr
12.01.2016
5
Zweidimensionale Normalverteilung
Definition: Die Zufallsvariable X bezeichnet man als normalverteilt mit den
Parametern 𝜇 und 𝜎 2 , abgekürzt geschrieben 𝑋~𝑁(𝜇, 𝜎 2 ), wenn ihre Dichte 𝑓(𝑥)
1
f ( x,  ,  ) 
e ( x   )
 2
2
/ 2 2
für
  x 
Zweidimensionale Zufallsvariable mit unabhängigen Elementen
 x
x 
 y
 x 
μ   
 y 
  x2 0 

Σ  
2
 0 y 
f ( x, μ , Σ )  f ( x ,  x ,  x )  f ( y ,  y ,  y )
Torsten Mayer-Gürr
12.01.2016
6
Zweidimensionale Normalverteilung
Multivariate Normalverteilung, wenn x und y unabhängig sind:
f ( x, μ , Σ )  f ( x ,  x ,  x )  f ( y ,  y ,  y )
 ( y   y )2 
 ( x   x )2 
1



exp 
exp 
2
2


 x 2
2 x   y 2
2 y 


 ( x   x )2 ( y   y )2 
1


exp 

2
2
2

2 x
2 y 
2  x y

 1  ( x   )2 ( y   y )2  
1
x
 


exp

2
2
2

 2 x

2  x y
y



1
T
2

x



1
/

0  x   x  


1
1
x
x


 


exp  
2 
2



y


y


1 /  y 
2
y  0
y
2  x y


 1

T
1

exp

(
x

μ
)
Σ
(
x

μ
)


2
2


2  x y
1
Torsten Mayer-Gürr
12.01.2016
7
Zweidimensionale Normalverteilung
Multivariate Normalverteilung, wenn x und y unabhängig sind:
f ( x, μ , Σ )  f ( x ,  x ,  x )  f ( y ,  y ,  y )
 1

T
1
exp

(
x

μ
)
Σ
(
x

μ
)


2
2


2  x y
1

 x y   x2 y2
Durch Drehung des Koordinatensystems lässt
sich jede symmetrische Matrix auf
Diagonalgestalt bringen (Eigenwertzerlegung)
Produkt der Eigenwerte
 x2 y2  det Σ
Torsten Mayer-Gürr
12.01.2016
8
Multidimensionale Normalverteilung
Definition: Den n x 1 Zufallsvektor x bezeichnet man als normalverteilt mit den
Parametern 𝝁 und 𝚺, abgekürzt geschrieben 𝒙~𝑁(𝝁, 𝚺), wenn seine Dichte 𝑓 𝒙 gegeben ist
durch
f ( x, μ , Σ ) 
1
2
n
 1

exp  (x  μ)T Σ 1 (x  μ) 
 2

det Σ
Pail
Torsten Mayer-Gürr
10.12.2014
9
Maximum Likelihood Schätzung
(Tafel)
Torsten Mayer-Gürr
Verteilungen
Torsten Mayer-Gürr
Normalverteilung
Definition: Die Zufallsvariable X bezeichnet man als normalverteilt mit den
Parametern 𝜇 und 𝜎 2 , abgekürzt geschrieben 𝑋~𝑁(𝜇, 𝜎 2 ), wenn ihre Dichte 𝑓(𝑥)
gegeben ist durch
2
2
1
f ( x,  ,  ) 
e ( x ) / 2 für    x  
 2
Verteilungsfunktion:
1
F ( x) 
 2
x
( t   )
e

2
/ 2 2
dt

Erwartungswert:

E{ X }   x f ( x) dx  

Varianz:

E{( X   ) }   ( x   ) 2 f ( x) dx   2
2

Torsten Mayer-Gürr
12.01.2016
12
Normalverteilung
Eine Zufallsvariable X sei normalverteilt mit den Parametern 𝜇 und 𝜎 2 :
X ~ N (  , )
(Wahrscheinlichkeits-) Dichte, probability density function (pdf)
f N ( x,  ,  )
Torsten Mayer-Gürr
12.01.2016
in MATLAB:
normpdf(x, mu, sigma)
13
Normalverteilung
Eine Zufallsvariable X sei normalverteilt mit den Parametern 𝜇 und 𝜎 2 :
X ~ N (  , )
(Wahrscheinlichkeits-) Dichte, probability density function (pdf)
f N ( x,  ,  )
Verteilungsfunktion, cummulative density function (cdf)
FN ( x,  , ) 
x
f
N
in MATLAB:
normpdf(x, mu, sigma)
in MATLAB:
normcdf(x, mu, sigma)
(t ,  , ) dt

Wahrscheinlichkeit
x
P( X  x)  F ( x) 
 f (t ) dt

b
P(a  X  b)  F (b)  F (a )   f (t ) dt
a
Torsten Mayer-Gürr
12.01.2016
14
Normalverteilung
Eine Zufallsvariable X sei normalverteilt mit den Parametern 𝜇 und 𝜎 2 :
X ~ N (  , )
(Wahrscheinlichkeits-) Dichte, probability density function (pdf)
f N ( x,  ,  )
Verteilungsfunktion, cummulative density function (cdf)
FN ( x,  , ) 
x
f
N
(t ,  , ) dt
in MATLAB:
normpdf(x, mu, sigma)
in MATLAB:
normcdf(x, mu, sigma)

Inverse Verteilungsfunktion
Gegeben Wahrscheinlichkeit P(X < x) = α, gesucht Grenze x
in MATLAB:
norminv(alpha, mu, sigma)
FN1 ( ,  , )  x
Torsten Mayer-Gürr
12.01.2016
15
Konfindenzintervalle
Torsten Mayer-Gürr
12.01.2016
16
Normalverteilung
Die Größe T ist standardisiert normalverteilt:
TN 
xˆ  x
 xˆ
~ N (0,1)
Konfidenzintervall für die Größe T:
: geschätzter/gemessener Wert
x̂
x  E (xˆ ) : Erwartungswert
: bekannte Standardabw.
 x̂
α=5%
Pklow  TN  kup   1  
klow  FN1 ( 2 ,0,1)
kup  FN1 (1  2 ,0,1)
2,5%
Konfidenzintervall für den Erwartungswert
95%
2,5%
Pklow  x  kup   1  
klow
klow  xˆ   xˆ FN1 ( 2 ,0,1)
TN
kup
kup  xˆ   xˆ FN1 (1  2 ,0,1)
Torsten Mayer-Gürr
12.01.2016
17
Transformation von
Verteilungen
Torsten Mayer-Gürr
Transformation von Verteilungen
Zufallsvariable
x
mit der Dichte
f (x)
Verteilungsfunktion
Substitution
x
P( X  x)  F ( x) 
 f (t ) dt
t  h( y )

h( y )


f (h( y ))

y
P(Y  y )  F ( y ) 


f (h(t ))
dt dh( y )

dy
dy
dh( y )
dy
dy
dh(t )
dt
dt
Zufallsvariable
y
mit der Dichte
Torsten Mayer-Gürr
f ' ( y )  f (h( y ))
dh
dy
mit
12.01.2016
x  h( y )
19
Chi-Quadrat Verteilung
Torsten Mayer-Gürr
12.01.2016
20
Chi-Quadrat Verteilung
Gegeben sind n normalverteilte Zufallsvariablen:
X i ~ N (0,1)
Die Quadratsumme ist Chi-Quadrat verteilt
 n2  X 12  X 22    X n2
Dichte
 x n / 21e  x / 2
2

f (  ) ( x, n)   2 n / 2 (n / 2)

0
x0
x0
Gamma-Funktion

( s )   t s 1e t dt
0
in MATLAB:
chi2pdf(x, n)
chi2cdf(x, n)
chi2inv(alpha, n)
Torsten Mayer-Gürr
Wikipedia
12.01.2016
21
Chi-Quadrat Verteilung
Die Größe T ist Chi-Quadrat verteilt:
Geschätzter Varianzfaktor:
ˆ 2
T 2  (n  m) 2 ~  2 (n  m)

eˆ T P eˆ
ˆ 
nm
2
Erwartungswert:
E (ˆ 2 )   2
Konfidenzintervall für die Größe T:


P klow  T 2  kup  1  
klow  F21 ( 2 , n  m)
kup  F21 (1  2 , n  m)
Konfidenzintervall für den Varianzfaktor
P klow   2  kup   1  
klow
(n  m)ˆ 2
 1
F 2 (1  2 , n  m)
(n  m)ˆ 2
kup  1 
F 2 ( 2 , n  m)
Torsten Mayer-Gürr
12.01.2016
22
Einseitig / Zweiseitig
f (x)
klow
T 2
x
up
95%
2,5%
f (x)
k 2
2,5%
klow
T 2
kup
x
klow
T 2
k2up
x
95%
5%
T 2
Torsten Mayer-Gürr
k
x
12.01.2016
23
Chi-Quadrat Verteilung
Die Größe T ist Chi-Quadrat verteilt:
ˆ 2
T 2  (n  m) 2 ~  2 (n  m)

Konfidenzintervall für die Größe T:
(zweiseitig)

Konfidenzintervall für die Größe T:
(einseitig)


P klow  T 2  kup  1  

P T 2  k  1  
klow  F21 ( 2 , n  m)
k  F21 (1   , n  m)
kup  F21 (1  2 , n  m)
f (x)
klow
T 2
k 2
up
95%
2,5
%
klow
T 2
Torsten Mayer-Gürr
x
f (x)
95%
2,5
%
kup
k2up
T 2
klow
5%
T 2
x
12.01.2016
x
k
x
24
Student- oder t-Verteilung
Torsten Mayer-Gürr
12.01.2016
25
Student- oder t-Verteilung
Gegeben sind die Zufallsvariablen:
X 2 ~  2 ( n)
Y ~ N (0,1) und
Der Quotient ist t-verteilt
Y
Tn 
X 2 /n
Dichte
f (t ) ( x, n) 
( )  x 
1  
n
 n ( n2 ) 
n1
2
2

n1
2
Gamma-Funktion

( s )   t s 1e t dt
0
in MATLAB:
tpdf(x, n)
tcdf(x, n)
tinv(alpha, n)
Torsten Mayer-Gürr
Pail
12.01.2016
26
Student- oder t-verteilung
Die Größe T ist t verteilt:
Tt 
xˆ  x
~ t ( n  m)
ˆ xˆ
Konfidenzintervall für die Größe T:
Pklow  Tt  kup   1  
klow  Ft 1 ( 2 , n  m)
kup  Ft 1 (1  2 , n  m)
Konfidenzintervall für den Erwartungswert
Pklow  x  kup   1  
klow  xˆ  ˆ xˆ Ft 1 ( 2 , n  m)
kup  xˆ  ˆ xˆ Ft 1 (1  2 , n  m)
Torsten Mayer-Gürr
12.01.2016
27
Fisher- oder F-Verteilung
Torsten Mayer-Gürr
12.01.2016
28
Fisher- oder F-Verteilung
Gegeben sind die Zufallsvariablen:
n
U   X i ~  ( n)
2
n
2
2
X 1 ~ N (0,1)
i 1
und
Dichte
 m 2 n 2 ( m2  n2 )
x m 21

m n
mn
f ( F ) ( x, m, n)  
( m2 )( n2 ) (mx  n) 2

0

x0
x0
m
V  Yk2 ~  2 (m)
2
m
k 1
Yi ~ N (0,1)
Der Quotient ist F-verteilt
Fn ,m
Vm2 / m
 2
Un / n
in MATLAB:
fpdf(x, m, n)
fcdf(x, m, n)
finv(alpha, m, n)
Torsten Mayer-Gürr
Wikipedia
12.01.2016
29
Fisher- oder F-Verteilung
Die Größe T ist F verteilt:
Geschätzte Parameter:
1
ˆ 1{xˆ } (xˆ  x) ~ F (mx , n  m)
TF 
(xˆ  x)T Σ
mx
xˆ  A T PA  A T Pl
1
Geschätzte Residuen:
eˆ  l  Axˆ
Konfidenzellipse/Ellipsoid/Hyperellipse für die Größe T:
PTF  k   1  
Geschätzter Varianzfaktor:
eˆ T P eˆ
ˆ 
nm
2
k  FF1 (1   , mx , n  m)
Geschätzte Kovarianzmatrix:
ˆ {xˆ }  ˆ 2 A T PA 1
Σ
Anzahl der verwendeten
Parameter: mx
Torsten Mayer-Gürr
12.01.2016
30