Mehrparametrige Exponentialfamilien

Kapitel 6
Mehrparametrige Exponentialfamilien
Definition 6.1 (k-parametrige Exponentialfamilie)
(
)
( )
Seien M , A , Pϑ ϑ∈Θ , (Θ irgendein Parameterbereich), ein statistisches Modell, k ∈ N und
T = (T1 , . . . , Tk ) : (M, A) −→ (Rk , B k ) sowie b = (b1 , . . . , bk ) : Θ −→ Rk .
( )
Die Verteilungsfamilie Pϑ ϑ∈Θ heißt eine k-parametrige Exponentialfamilie in b und T , wenn gilt:
Es existieren ein sigma-endliches Maß µ auf (M, A) und µ-Dichten fϑ von Pϑ (für alle ϑ ∈ Θ) der
Form
(∑
)
k
fϑ (x) = a(ϑ) h(x) exp
bj (ϑ) Tj (x) , x ∈ M , ϑ ∈ Θ ,
j=1
mit zwei Funktionen h : (M, A) −→ (R, B1 ) , h ≥ 0 ,
und
a : Θ −→ ( 0 , ∞) .
Beispiel:
Normalverteilungsmodell
(
)
( n
)
Statistisches Modell:
Rn , B n , ⊗ N(β, σ 2 ) (β,σ2 )∈R ×(0 , ∞) .
i=1
Die Verteilungsfamilie ist eine 2-parametrige Exponentialfamilie in
b(β, σ 2 ) =
6.1
(∑
)
( β
n
n
∑
1 )
2
,
−
und
T
(x)
=
x
,
x
.
i
i
σ2
2σ 2
i=1
i=1
Suffiziente und vollständige Statistik
Theorem 6.2
Sei ein statistisches Modell
(
)
( )
M, A, Pϑ ϑ∈Θ gegeben, wobei (Pϑ )ϑ∈Θ eine k-parametrige Expo-
nentialfamilie in b = (b1 , . . . , bk ) : Θ −→ Rk und T = (T1 , . . . , Tk ) : (M, A) −→ (Rk , B k ) ist.
Dann gilt:
Die Statistik
T ist suffizient;
die Statistik T ist auch vollständig, wenn das Bild von b,
{
}
k
b(Θ) = b(ϑ) : ϑ ∈ Θ ⊆ R , einen inneren Punkt besitzt.
40
Norbert Gaffke: Vorlesung “Weiterführende Mathematische Statistik”, Sommersemester 2013
Kapitel 6: Mehrparametrige Exponentialfamilien
6.2
41
Natürliche Parametrisierung
(
)
( )
Sei M, A, Pϑ ϑ∈Θ ein statistisches Modell mit einer k-parametrigen Exponentialfamilie (Pϑ )ϑ∈Θ
in b = (b1 , . . . , bk ) : Θ −→ Rk und T = (T1 , . . . , Tk ) : (M, A) −→ (Rk , Bk ) , also:
Pϑ = fϑ · µ ,
fϑ (x) = a(ϑ)h(x) exp
(∑
k
)
bj (ϑ)Tj (x) , (x ∈ M , ϑ ∈ Θ).
j=1
(
)
Die µ-Dichten fϑ und die W-Verteilungen Pϑ hängen von ϑ nur über b(ϑ) = b1 (ϑ), . . . , bk (ϑ) ab;
beachte hierzu insbesondere:
∫
fϑ dµ = 1 ,
[∫
folglich a(ϑ) =
M
h(x) exp
(∑
k
) ]−1
bj (ϑ)Tj (x) dµ
.
j=1
M
Daher können wir umparametrisieren:
b(ϑ) = θ = (θ1 , . . . , θk ) ∈ B := b(Θ) , (θ “der natürliche Parameter”);
(∑
)
k
Pθ = fθ · µ , fθ (x) = a(θ)h(x) exp
θj Tj (x) , (x ∈ M , θ = (θ1 , . . . , θk ) ∈ B ).
j=1
Die Familie (Pθ )θ∈B heißt eine k-parametrige Exponentialfamilie in natürlicher Parametrisierung (in
der Statistik T und mit dem natürlichen Parameterraum B ⊆ Rk ).
In Erweiterung von Lemma 2.15 haben wir:
Lemma 6.3 (Analytische Eigenschaften)
)
(
( )
Sei M, A, Pθ θ∈B ein statistisches Modell mit einer k-parametrigen Exponentialfamilie (Pθ )θ∈B
in natürlicher Parametrisierung mit B ⊆ Rk offen und mit T = (T1 , . . . , Tk ) : (M, A) −→ (Rk , B k ) .
(a) Für jede Funktion ψ : (M, A) −→ (R, B 1 ) , die Pθ -integrierbar ist für alle θ ∈ B , sind die
Funktionen ψ Tj , j = 1, . . . , k , ebenfalls Pθ -integrierbar für alle θ ∈ B .
Insbesondere: Tj , j = 1, . . . , k , sind Pθ -integrierbar für alle θ ∈ B .
(b) Für jede Funktion ψ : (M, A) −→ (R, B1 ) , die Pθ -integrierbar ist für alle θ ∈ B , ist die
Funktion B ∋ θ 7−→ Eθ (ψ) differenzierbar, und
(
(
)
∂
Eθ (ψ) = Eθ ψ Tj ) − Eθ (ψ) Eθ (Tj ) = Covθ ψ, Tj
∂θj
6.3
∀ j = 1, . . . , k , ∀ θ ∈ B .
Testtheorie: Diskrete Exponentialfamilien
Sei M abzählbar, A = P(M ) und (Pθ )θ∈B , wobei B ⊆ Rk offen, eine k-parametrige Exponentialfamilie in natürlicher Parametrisierung; wir haben daher Zähldichten fθ von Pθ (θ ∈ B) der Form
fθ (x) = a(θ) h(x) exp
(∑
k
)
θj Tj (x) ,
(x ∈ M , θ = (θ1 , . . . , θk ) ∈ B).
j=1
Dabei ist T = (T1 , . . . , Tk ) : M −→ Rk . O.b.d.A. sei vorausgesetzt: h(x) > 0 ∀ x ∈ M .
Wir betrachten das folgende Testproblem:
(TP1)
(0)
H0 : θ1 ≤ θ1
gegen
(0)
H1 : θ1 > θ1
,
Norbert Gaffke: Vorlesung “Weiterführende Mathematische Statistik”, Sommersemester 2013
Kapitel 6: Mehrparametrige Exponentialfamilien
42
(0)
mit einem gegebenen θ1 ∈ pr1 (B) .
Bezeichne: T 2 = (T2 , . . . , Tk ) , so dass also T = (T1 , T 2 ) ;
U := T1 (M ) (abzählbare Teilmenge von R), V := T 2 (M ) (abzählbare Teilmenge von Rk−1 ) ;
offensichtlich gilt: T (M ) ⊆ U × V (abzählbare Teilmenge von Rk );
partitioniere θ = (θ1 , θ 2 ) mit θ 2 = (θ2 , . . . , θk ) ; bezeichne mit θ 2 ·v , für v ∈ Rk−1 , das (gewöhnliche)
Skalarprodukt der Vektoren θ 2 und v.
Lemma 6.4 (Die Verteilungen PθT , PθT 2 sowie die bedingten Verteilungen PθT1 |T 2 =v , θ ∈ B, v ∈ V )
Sei θ = (θ1 , θ 2 ) ∈ B gegeben. Dann:
(i) Für alle u ∈ U und v ∈ V gilt
(
)
Pθ (T1 = u , T 2 = v) = a(θ) h̃(u, v) exp θ1 u + θ 2 ·v ,
∑
wobei h̃(u, v) :=
h(x) .
x∈M : T (x)=(u,v)
(ii) Für alle v ∈ V gilt
Pθ (T 2 = v) = a(θ) d(θ1 , v) exp(θ 2 ·v) ,
wobei d(θ1 , v) :=
∑
h̃(u, v) exp(θ1 u) > 0 .
u∈U
(iii) Für alle u ∈ U und v ∈ V gilt
Pθ (T1 = u | T 2 = v) =
1
h̃(u, v) exp(θ1 u) .
d(θ1 , v)
Insbesondere: Diese bedingten Wahrscheinlichkeiten hängen nicht von θ 2 ab;
wir schreiben daher auch: Pθ1 (T1 = u | T 2 = v) .
(iv) Für einen Test φ : M −→ [0 , 1] der Form φ = ψ ◦ T mit einem ψ : U × V −→ [0 , 1] gilt
)
∑(∑
Eθ (φ) =
ψ(u, v) Pθ1 (T1 = u | T 2 = v) Pθ (T 2 = v) .
v∈V
u∈U
Lemma 6.5 (Unverfälschte α-Signifikanztest für (TP1))
Sei α ∈ (0 , 1) . Wenn φ ein unverfälschter α-Signifikanztest für (TP1) ist und φ = ψ ◦ T mit einem
(0)
ψ : U × V −→ [0 , 1] , dann gilt für θ1 = θ1 :
∑
ψ(u, v) Pθ(0) (T1 = u | T 2 = v) = α
∀v∈V .
u∈U
1
Norbert Gaffke: Vorlesung “Weiterführende Mathematische Statistik”, Sommersemester 2013
Kapitel 6: Mehrparametrige Exponentialfamilien
43
Theorem 6.6 (Gleichmäßig optimaler α-Signifikanztest für (TP1))
(
)
Sei α ∈ (0 , 1) . Für jedes v ∈ V bezeichne Qv die W-Verteilung auf U, P(U ) mit der Zähldichte
u 7−→
1
(0)
(0)
d(θ1 , v)
h̃(u, v) exp(θ1 u)
(s. Lemma 6.4 (iii) ),
und sei c(v) ein (1 − α)-Quantil von Qv sowie ρ(v) ∈ [0 , 1] mit
(
)
(
)
Qv (c(v) , ∞) + ρ(v) Qv {c(v)} = α .
Dann ist ein gleichmäßig optimaler unverfälschter α-Signifikanztest für (TP1) gegeben durch:

>

 ( 1 )
(
)
∗
ρ T 2 (x) , falls T1 (x) = c T 2 (x) ,
φ1 (x) :=
(x ∈ M ) .


0
<
Spezialfall 1 : Zwei-Stichproben-Binomialmodell
X1 ∼ Bi(n1 , p1 ) , X2 ∼ Bi(n2 , p2 ) , X1 , X2 stoch. unabhängig; p1 , p2 ∈ (0 , 1) Parameter,
(n1 , n2 ∈ N gegeben). Also:
M = {0, 1, . . . , n1 } ×{0, 1, . . . , n2 } , Pp1 ,p2 = Bi(n1 , p1 ) ⊗ Bi(n2 , p2 ) , (p1 , p2 ) ∈ (0 , 1)2 .
Interessierendes Testproblem:
H0 : p1 ≤ p2 gg. H1 : p1 > p2 .
Zähldichten der Verteilungen Pp1 ,p2 :
( )( )
fp1 ,p2 (x1 , x2 ) = nx11 nx22 px1 1 (1 − p1 )n1 −x1 px2 2 (1 − p2 )n2 −x2
([
)
[
( )( )
p1
p2 ]
p2 ]
−
ln
x
+
ln
(x
+
x
)
.
= nx11 nx22 (1 − p1 )n1 (1 − p2 )n2 exp ln 1−p
1
1
2
1−p
1−p
1
2
{z
}
| {z } |
|
{z
} |{z}
| {z 2} | {z }
h(x)
a(p1 ,p2 )
T1 (x)
b1 (p1 ,p2 )
b2 (p1 ,p2 )
T2 (x)
Mit der natürlichen Parametrisierung
θ = (θ1 , θ2 ) ∈ B = R2 ,
p1
p2
θ1 = ln 1−p
− ln 1−p
,
1
2
p2
θ2 = ln 1−p
,
2
ist das Testproblem ein (TP1) H0 : θ1 ≤ 0 gg. H1 : θ1 > 0 .
Wir haben: T1 (x1 , x2 ) = x1 , U = T1 (M ) = {0, 1, . . . , n1 } ; T2 (x1 , x2 ) = x1 + x2 , V = T2 (M ) =
{0, 1, . . . , n1 + n2 } ;
für die die W-Verteilungen Qv (v ∈ V ) gemäß Theorem 6.6 erhalten wir:
Qv = Hyp(n1 + n2 , n1 , v)
für v ≥ 1 , und
Q 0 = δ0 .
Spezialfall 2 : Zwei-Stichproben-Poisson-Modell
X1 ∼ Poi(λ1 ) , X2 ∼ Poi(λ2 ) , X1 , X2 stoch. unabhängig; λ1 , λ2 ∈ (0 , ∞) Parameter. Also:
M = N20 , Pλ1 ,λ2 = Poi(λ1 ) ⊗ Poi(λ2 ) , (λ1 , λ2 ) ∈ (0 , ∞)2 .
Interessierendes Testproblem: H0 : λ1 ≤ qλ2 gg. H1 : λ1 > qλ2 mit einem gegebenen q ∈ (0 , ∞).
Zähldichten:
x1
x2
−λ1 λ1
−λ2 λ2
fλ1 ,λ2 (x1 , x2 ) = e
e
x1 !
x2 !
([
)
]
λ1
1
1 +λ2 )
exp
ln
+
(
ln
λ
)
(x
+
x
)
.
= e|−(λ{z
x
1
! x2 !
} |x1{z
| {z }2
| 1 {z }2
}
| {zλ2} |{z}
a(λ1 ,λ2 )
h(x)
b1 (λ1 ,λ2 )
T1 (x)
b2 (λ1 ,λ2 )
T2 (x)
Norbert Gaffke: Vorlesung “Weiterführende Mathematische Statistik”, Sommersemester 2013
Kapitel 6: Mehrparametrige Exponentialfamilien
44
Mit der natürlichen Parametrisierung
θ = (θ1 , θ2 ) ∈ B = R2 ,
θ1 = ln λλ12 ,
θ2 = ln λ2 ,
ist das Testproblem ein (TP1) H0 : θ1 ≤ ln q gg. H1 : θ1 > ln q .
Wir haben: T1 (x1 , x2 ) = x1 , U = T1 (M ) = N0 ; T2 (x1 , x2 ) = x1 + x2 , V = T2 (M ) = N0 , und
für die W-Verteilungen Qv (v ∈ N0 ) von Theorem 6.6 erhalten wir:
(
q )
Qv = Bi v , 1+q
für v ≥ 1 , und
Q0 = δ0 .
Spezialfall 3 : 2 × 2 -Kontingenztafel; Testen der Korrelation zweier binärer Merkmale
Modell: X = (Xij )i,j=0,1 ∼ Mu(n; p00 , p01 , p10 , p11 ) , p = (pij )i,j=0,1 der Parameter, (n ∈ N gegeben),
{
}
1
∑
Parameterbereich: Θ = p = (pij )i,j=0,1 ∈ R2×2 : pij > 0 ∀ i, j = 0, 1 ,
pij = 1 . Also:
{
}
1
∑
M = x = (xij )i,j=0,1 ∈ N0 2×2 :
xij = n ,
i,j=0
Pp = Mu(n; p) , p = (pij )i,j=0,1 ∈ Θ .
i,j=0
Die Kovarianz der beiden zu Grunde liegenden binären Variablen ist gleich p00 p11 −p01 p10 . Interessant
ist die Frage, ob eine positive Korrelation besteht, und diese formulieren wir als Testproblem
H0 : p00 p11 − p01 p10 ≤ 0 gegen H1 : p00 p11 − p01 p10 > 0 .
Die Verteilungsfamilie (Pp )p∈Θ ist eine drei-parametrige Exponentialfamilie mit Zähldichten:
n!
px00 px01 px10 px11
x00 ! x01 ! x10 ! x11 ! 00 01 10 11
([
)
[ p01 ]
[ p10 ]
p11 ]
= pn11 x00 ! x01 !n!x10 ! x11 ! exp ln pp00
x
+
ln
(x
+
x
)
+
ln
(x
+
x
)
.
00
00
01
00
10
p
p
01 p10
|{z} |
{z
}
| {z
} |{z}
| {z11} | {z }
| {z11} | {z }
fp (x) =
a(p)
h(x)
b1 (p)
T1 (x)
T2 (x)
b2 (p)
b3 (p)
T3 (x)
Mit der natürlichen Parametrisierung
p11
θ1 = ln pp00
,
01 p10
θ = (θ1 , θ2 , θ3 ) ∈ B = R3 ,
θ2 = ln pp01
,
11
θ3 = ln pp10
,
11
ist das Testproblem ein (TP1) H0 : θ1 ≤ 0 gg. H1 : θ1 > 0 .
)
(
Wir haben: T1 (x) = x00 , U = T1 (M ) = {0, 1, . . . , n} ; T 2 (x) = x00 + x01 , x00 + x10 ,
V = T 2 (M ) = {0, 1, . . . , n}2 ;
für die die W-Verteilungen Qv (v = (v1 , v2 ) ∈ V ) gemäß Theorem 6.6 erhalten wir:
Qv = Hyp(n, v1 , v2 )
6.4
für v2 ≥ 1 , und
Qv = δ0
für v2 = 0 .
Testtheorie: Normalverteilungsmodell
Gegeben sei das Normalverteilungsmodell
X1 , . . . , Xn u.i.v. ∼ N(β, σ 2 ) ,
(β, σ 2 ) ∈ R ×( 0 , ∞) der Parameter.
Wir wollen das Optimalitätsresultat von Theorem 3.4 für den einseitigen t-Test für (TP1) herleiten.
Dabei genügt es, (TP1) mit β0 = 0 zu betrachten, also
(TP1)
H0 : β ≤ 0 gegen
H1 : β > 0 ,
Norbert Gaffke: Vorlesung “Weiterführende Mathematische Statistik”, Sommersemester 2013
Kapitel 6: Mehrparametrige Exponentialfamilien
45
ei := Xi − β0 , i = 1, . . . , n, genügen dann wiederum einem
denn wir können transformieren: X
e σ 2 ) , wobei βe := β − β0 , und das Testproblem
e
e
Normalverteilungsmodell X1 , . . . , Xn u.i..v. ∼ N(β,
wird H0 : βe ≤ 0 gegen H1 : βe > 0 .
Der natürliche Parameter ist
θ = (θ1 , θ2 ) ∈ B = R ×(−∞ , 0 ) ,
θ1 =
β
1
, θ2 = − 2 ,
2
σ
2σ
und die Verteilungsfamilie (Pθ )θ∈B (auf (Rn , B n ) ) in natürlicher Parametrisierung ist gegeben durch
die Lebesgue-Dichten
(
)
fθ (x) = a(θ) exp θ1 T1 (x) + θ2 T2 (x) ,
n
n
( −θ )n/2
( nθ2 )
∑
∑
2
1
T1 (x) =
xi , T2 (x) =
x2i , a(θ) =
exp
.
π
4θ2
i=1
i=1
Das Testproblem schreibt sich in natürlicher Parametriserung als
(TP1)
H0 : θ1 ≤ 0 gegen
H1 : θ1 > 0 ,
Lemma 6.7 (Verteilungen von T , von T2 und bedingte Verteilungen von T1 unter T2 )
Sei θ = (θ1 , θ2 ) ∈ R ×(−∞ , 0 ) gegeben. Dann:
(i) Die Verteilung PθT besitzt die Lebesgue-Dichte
(
)
fT,θ (u, v) = a(θ) e
h(u, v) exp θ1 u + θ2 v , ∀ (u, v) ∈ R2 ,
wobei:
(
)
1
π (n−1)/2
e
e
∀ (u, v) ∈ R2 mit v > u2 /n ,
h(u, v) := 0 sonst.
h(u, v) := √ ( n−1 ) v − u2
n
nΓ 2
(ii) Die Verteilung PθT2 besitzt die Lebesgue-Dichte
fT2 ,θ (v) = a(θ) d1 (θ1 , v) exp(θ2 v) ∀ v ∈ R ,
∫ √nv
e
wobei:
d1 (θ1 , v) :=
h(u, v) du für v > 0 , d1 (θ1 , v) := 0 sonst.
√
− nv
T |T2 =v
(iii) Für jedes v > 0 besitzt Pθ 1
(eine W-Verteilung auf (R, B1 ) ) die Lebesgue-Dichte
fT1 |T2 =v , θ1 (u) =
T |T2 =v
Insbesondere: Pθ 1
1
exp(θ1 u) ∀ u ∈ R .
d1 (θ1 , v)
T |T2 =v
hängt nicht von θ2 ab; wir schreiben daher auch: Pθ11
.
(iv) Für einen Test φ : Rn −→ [ 0 , 1 ] der Form φ = ψ ◦ T mit einem ψ : R2 −→ [ 0 , 1 ] (messbar)
gilt
∫
(∫
)
T |T =v
Eθ (φ) =
ψ(u, v) dPθ11 2 (u) dPθT2 (v) .
( 0 , ∞)
R
Norbert Gaffke: Vorlesung “Weiterführende Mathematische Statistik”, Sommersemester 2013
Kapitel 6: Mehrparametrige Exponentialfamilien
46
Lemma 6.8 (Unverfälschte α-Signifikanztest für (TP1))
Sei α ∈ (0 , 1) . Wenn φ ein unverfälschter α-Signifikanztest für (TP1) ist und φ = ψ ◦ T mit einem
ψ : R2 −→ [0 , 1] (messbar) , dann gilt für θ1 = 0 :
∫
T |T =v
ψ(u, v) dP0 1 2 (u) = α
für λλ1 -fast-alle v ∈ ( 0 , ∞) .
R
Theorem 6.9 (Gleichmäßig optimaler α-Signifikanztest für (TP1))
T |T =v
Für jedes v ∈ ( 0 , ∞) .bezeichne Qv := P0 1 2 (u) und sei c(v) das (1 − α)-Quantil von Qv . Dann
ist ein gleichmäßig optimaler unverfälschter α-Signifikanztest für (TP1) gegeben durch:
{
)
1
> (
∗
φ1 (x) :=
, falls T1 (x)
c T2 (x) ,
(x ∈ Rn ) .
0
≤
Genauere Inspektion der Verteilungen Qv , v ∈ ( 0 , ∞) , ergibt:
√
c(v) = nv wn , 1−α ,
wobei wn , 1−α das (1 − α)-Quantil der W-Verteilung auf (R, B1 ) mit der Lebesgue-Dichte
(
)(n−3)/2
gn (w) := Kn · 1 − w2
für w ∈ ( −1 , 1 ) , und gn (w) := 0 sonst,
(∫ 1 (
)(n−3)/2 )−1
1 − s2
mit Kn :=
ds
.
−1
Damit lautet der Test φ∗1 von Theorem 6.9 :
{
1
>
T1 (x)
∗
φ1 (x) =
, falls √
wn , 1−α ,
0
n T2 (x) ≤
(x ∈ Rn ) ,
und mit der strikt isotonen Transformation
hn : ( −1 , 1 ) −→ R ,
hn (w) =
√
w
n−1√
1 − w2
erhält man:
{
φ∗1 (x)
=
{
=
( T (x) ) >
(
)
1
1
hn wn , 1−α
, falls hn √
0
n T2 (x) ≤
√ x
>
1
n
tn−1 , 1−α .
, falls
s(x)
≤
0