Mathematische Statistik

Mathematische Statistik
Josef G. Steinebach
Köln, SS 2011
I Grundbegriffe der Statistik
1 Statistische Entscheidungsfunktionen
Aufgabe der Wahrscheinlichkeitstheorie (W-Theorie) ist die Modellbeschreibung von
Zufallsexperimenten“ oder die Diskussion bestimmter Größen, die von den zufälli”
”
gen“ Ergebnissen des Experiments abhängen. Die formale Beschreibung erfolgt durch
die Angabe eines W-Raumes (Ω, A, P ) für das Experiment bzw. durch Zufallsvariablen
(ZV.) X : (Ω, A) −→ (X , B) und deren Verteilungen PX .
In der Statistik sind die beschriebenen W-Modelle (Ω, A, P ) bzw. (X , B, PX ) i.A. nicht
vollständig bekannt, d.h., sie enthalten typischerweise unbekannte Parameter ϑ ∈ Θ .
Der Parameterraum Θ kann hierbei sehr allgemein sein (vgl. Beispiel 1.1) . Aufgabe der
Statistik ist es dann etwa, aufgrund von Realisationen x = X(ω) der beobachteten ZV.
X eine Entscheidung“ über den unbekannten Parameter ϑ zu treffen. Diese Entschei”
dung basiert häufig auf einer (so genannten) Stichprobenfunktion (Statistik) , d.h. einer
Abbildung T : (X , B) −→ (T , D) , die i.A. eine Reduktion des Datenmaterials bewirkt.
Beispiel 1.1.
a) Bei n unabhängig durchgeführten Heilbehandlungen werde jeweils Erfolg“ oder
”
Misserfolg“ registriert. Die Erfolgswahrscheinlichkeit p ist i.A. unbekannt.
”
W-Modell :
X = (X1 , X2 , . . . , Xn ) , Xi i.i.d. , PXi = B(1, p) , i = 1, . . . , n ;
X = {0, 1}n , B = P(X ) , PX = B(1, p) ⊗ · · · ⊗ B(1, p) ;
ϑ := p ∈ (0, 1) =: Θ .
1
b) Eine physikalische Messung werde n-mal unabhängig durchgeführt. Die Messergebnisse seien Realisationen einer reellen ZV. mit Verteilungsfunktion (VF.) F .
W-Modell :
X = (X1 , X2 , . . . , Xn ) , Xi i.i.d. , P {Xi ≤ x} = F (x) (x ∈ IR) , i = 1, . . . , n ;
X = Rn , B = B n , FX1 ,...,Xn = F ⊗ · · · ⊗ F ;
ϑ := F ∈ {F : R → [0, 1] | F ist VF. } =: Θ .
Bei einer spezielleren Verteilungsannahme PXi = N (a, σ 2 ) ergibt sich :
n
O
X = Rn , B = B n , P X =
N (a, σ 2 ) ;
i=1
2
ϑ := (a, σ ) ∈ R ×
R∗+
=: Θ .
Ausgangspunkt der statistischen Überlegungen wird im Folgenden immer ein so genanntes
statistisches Modell (X , B, PϑX ) , ϑ ∈ Θ , sein, in dem PϑX als Verteilung einer beobachteten Zufallsvariablen X ( i.A. mehrdimensional ) aufgefasst wird, die von einem
unbekannten Parameter ϑ abhängt. Die Annahme
PϑX ∈ P X := {PϑX : ϑ ∈ Θ}
heißt Verteilungsannahme für das statistische Modell (X , B, PϑX ) , ϑ ∈ Θ .
Beispiel 1.1 (Fortsetzung)
n
N
a) P X = { B(1, p) : p ∈ (0, 1)} ;
i=1
b) P X = {µ ⊗ · · · ⊗ µ : µ W-Maß auf B 1 mit VF. F } ; speziell :
n
N
P X = { N (a, σ 2 ) : (a, σ 2 ) ∈ R × R∗+ } .
i=1
Die folgenden statistischen Entscheidungsfunktionen sind von Bedeutung :
Test : Unter einem Test ϕ zum Niveau α ∈ (0, 1) für die Hypothesen
H : ϑ ∈ Θ0 gegen K : ϑ ∈ Θc0 := Θ \ Θ0 versteht man eine (messbare )
Abbildung
ϕ : (X , B) −→ [0, 1], [0, 1] ∩ B 1
mit
Eϑ ϕ(X) ≤ α
∀ ϑ ∈ Θ0
[Fehler 1. Art ].
2
Interpretation : Bei beobachtetem x gibt ϕ(x) die Wahrscheinlichkeit an, mit der eine
Entscheidung für K“ getroffen wird. Für ϑ ∈ Θ0 – also bei Gültigkeit von H – ist
”
somit Eϑ ϕ(X) die mittlere Wahrscheinlichkeit für eine Fehlentscheidung (Entscheidung
für K statt für H, Fehler 1. Art) . Bei einem Test zum Niveau α ( klein“ , z.B.
”
α = 0.01, 0.05, 0.10 o.ä.) beträgt der Fehler 1. Art“ höchstens α .
”
Darüber hinaus sollte der Fehler 2. Art (Entscheidung für H, obwohl K gilt ) ebenfalls
möglichst klein“ sein, d.h.
”
!
Eϑ [1 − ϕ(X)] = min
∀ ϑ ∈ Θc0
[Fehler 2. Art ]
⇐⇒
!
Eϑ ϕ(X) = max
∀ ϑ ∈ Θc0
[Güte des Tests ].
Punktschätzung : Sei γ(ϑ) ein (so genannter ) abgeleiteter Parameter. Eine
(messbare ) Abbildung d : X −→ γ(Θ) [ mit geeigneten σ-Algebren ] heißt
Punktschätzung . Bei beobachtetem x heißt d(x) Schätzwert (Schätzung , Punktschätzung ) für γ(ϑ) .
Bereichsschätzung : Eine Abbildung C : X −→ P γ(Θ) heißt Bereichsschätzung (Konfidenzschätzung ) für γ(ϑ) zum (Konfidenz-) Niveau 1 − α
(α klein“ ), falls
”
Pϑ C(X) 3 γ(ϑ) ≥ 1 − α ∀ ϑ ∈ Θ .
C(x) heißt Konfidenzbereich für γ(ϑ) zum Niveau 1 − α .
Beispiel 1.1 b) (Fortsetzung) X1 , . . . , Xn i.i.d. , PX1 = N (a, σ 2 ) , (a, σ 2 ) ∈ R × R∗+ .
1) Test zum Niveau α für H : a = a0 , K : a 6= a0 ( a0 bekannt ) :

√ |x̄ − a0 |


n
> tn−1,1− α2 ,
 1 :
s
ϕ(x) = ϕ(x1 , . . . , xn ) =
√ |x̄ − a0 |


 0 :
n
≤ tn−1,1− α2 ,
s
wobei x̄ =
1
n
n
P
i=1
xi , s2 =
1
n−1
n
P
i=1
(xi − x̄)2 und tn−1;1− α2 das (1 − α2 )-Quantil der
tn−1 -Verteilung bezeichnet.
3
2) Punktschätzungen :
d1 (x) = x̄
für
γ1 (ϑ) = a ,
d2 (x) = s2
für
γ2 (ϑ) = σ 2 .
3) Bereichsschätzung zum Niveau 1 − α für a :
n
o
s
α
C(x) = C(x1 , . . . , xn ) =
a ∈ R : |a − x̄| ≤ √ tn−1;1− 2
n
i
h
s
s
= x̄ − √ tn−1;1− α2 , x̄ + √ tn−1;1− α2
n
n
( Konfidenzintervall ! )
Für ein statistisches Entscheidungsproblem lassen sich i.A. immer mehrere sinnvolle“
”
Entscheidungsfunktionen angeben. Aus einer solchen Klasse zulässiger Entscheidungsfunktionen ist dann unter bestimmten Gütekriterien möglichst ein optimales Element
auszuwählen, z.B. bei
Tests :
Für ein vorgegebenes Testproblem
H : ϑ ∈ Θ0 , K : ϑ ∈ Θc0 ,
sei
Φ = Φα := { ϕ : X −→ [0, 1] (messbar ) | Eϑ ϕ(X) ≤ α ∀ ϑ ∈ H } ,
die Klasse aller Tests zum Niveau α . Dann heißt ϕ∗ ∈ Φ gleichmäßig
bester Test zum Niveau α (Uniformly Most Powerful Test, UMP-Test ), falls
Eϑ ϕ∗ (X) ≥ Eϑ ϕ(X)
∀ϑ∈K
∀ ϕ ∈ Φ.
Hier und im Folgenden identifizieren wir H ←→ Θ0 , K ←→ Θc0 .
Häufig findet man optimale Elemente nur in der (eingeschränkten) Klasse
e = Φ
e α = { ϕ ∈ Φα | Eϑ ϕ(X) ≥ α ∀ ϑ ∈ K } ,
Φ
der unverfälschten Tests zum Niveau α für H , K .
4
e heißt gleichmäßig bester unverfälschter Test (UMPU-Test ) zum Niveau α
ϕ
e∗ ∈ Φ
für H gegen K , falls
Eϑ ϕ
e∗ (X) ≥ Eϑ ϕ(X)
∀ϑ∈K
e.
∀ϕ∈Φ
Punktschätzungen : Für ein vorgegebenes Schätzproblem sei
E = { d : X −→ γ(Θ) (messbar ) | Eϑ d(X) = γ(ϑ) ∀ ϑ ∈ Θ } ,
die Klasse der erwartungstreuen (unverzerrten , “ unbiased“ ) Schätzer für γ(ϑ) .
Dann heißt d∗ ∈ E Minimum-Varianz-Schätzer (Uniformly Minimum Variance
Unbiased Estimate , UMVU-Schätzer ) , falls
V arϑ d∗ (X) ≤ V arϑ d(X)
∀ϑ∈Θ
∀ d∈E.
Bereichsschätzungen : Für ein vorgegebenes Schätzproblem sei
C = { C : X −→ P γ(Θ) | Pϑ C(X) 3 γ(ϑ) ≥ 1 − α ∀ ϑ ∈ Θ } ,
die Klasse der Bereichsschätzungen zum Niveau 1 − α , und für ϑ ∈ Θ (fest )
sei Dϑ die Menge der ( bei Vorliegen von ϑ ) falschen“ Parameterwerte z.B.
”
Dϑ = {γ(ϑ0 ) : γ(ϑ0 ) 6= γ(ϑ)} .
Dann heißt C ∗ ∈ C gleichmäßig bester Konfidenzbereich für γ(ϑ) (mit Dϑ als
Menge der falschen Parameterwerte ) , falls ∀ ϑ ∈ Θ gilt :
Pϑ C ∗ (X) 3 γ(ϑ0 ) ≤ Pϑ C(X) 3 γ(ϑ0 ) ∀ γ(ϑ0 ) ∈ Dϑ ∀ C ∈ C .
Ähnlich wie bei Tests erhält man optimale Elemente häufig nur in der Klasse
Ce = { C ∈ C | ∀ ϑ ∈ Θ : Pϑ C(X) 3 γ(ϑ0 ) ≤ 1 − α ∀ γ(ϑ0 ) ∈ Dϑ } ,
der unverfälschten Bereichsschätzungen zum Niveau 1 − α .
Der folgende Satz liefert eine wichtige Dualität zwischen UMP(U)-Tests und gleichmäßig
besten (unverfälschten) Bereichsschätzungen :
5
Satz 1.1. Für jedes ϑ0 ∈ Θ sei A∗ (ϑ0 ) der Annahmebereich eines nicht
randomisierten UMP(U)-Tests ϕ∗ϑ0 für Hϑ0 : γ(ϑ) = γ(ϑ0 ) gegen Kϑ0
zum Niveau α , d.h.
(
1 : x∈
/ A∗ (ϑ0 ) ,
∗
ϕϑ0 (x) =
0 : x ∈ A∗ (ϑ0 ) ,
und
Eϑ ϕ∗ϑ0 (X) = Pϑ X ∈
/ A∗ (ϑ0 ) ≤ α
∀ ϑ ∈ Hϑ0 .
Ferner gelte A∗ (ϑ0 ) = A∗ (ϑ1 ) , falls γ(ϑ0 ) = γ(ϑ1 ) . Dann ist
C ∗ (x) = { γ(ϑ0 ) ∈ γ(Θ) | A∗ (ϑ0 ) 3 x }
ein gleichmäßig bester (unverfälschter) Konfidenzbereich zum Niveau 1 − α bei
e ϑ als Menge der falschen Parameterwerte , wobei
D
e ϑ := { γ(ϑ0 ) : Kϑ0 3 γ(ϑ) }
D
z.B.
e ϑ = { γ(ϑ0 ) : γ(ϑ0 ) 6= γ(ϑ) }
Kϑ0 = { γ(ϑ) : γ(ϑ) 6= γ(ϑ0 ) } =⇒ D
bzw. Kϑ0 = {γ(ϑ) : γ(ϑ) > γ(ϑ0 ) }
e ϑ = { γ(ϑ0 ) : γ(ϑ0 ) < γ(ϑ) } .
=⇒ D
6