Grundlagen Diskrete Verteilungen Stetige Verteilungen Formeln

Grundlagen
σ-Algebren
A ist σ-Algebra, gdw.:
Ω ∈ A, Ac ∈ A, ∪∞
i=1 Ai ∈ A
Mengengrenzwerte
unendlich viele:
∞ [
∞
\
lim sup An =
An
k=1 n=k
alle bis auf endlich viele:
∞ \
∞
[
lim inf An =
An
k=1 n=k
Wahrscheinlichkeitsmaß
0 ≤ P (ω) ≤ 1
P
P (ω) = 1
ω∈Ω
P
P
P ( Ai ) =
P (Ai )
c
P (A ) = 1 − P (A)
A⊂
≤ P (B)
S B ⇒ P (A)P
∞
P( ∞
i=1 Ai ) ≤
i=1 P (Ai )
Siebformel
n
n
[
X
k−1
P(
Ak ) =
(−1)
k=1
k=1
·
X
P (Ai1 ∩ · · · ∩ Aik )
1≤i1 <i2 ···<ik ≤n
Also:
P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
Bedingte Wahrscheinlichkeiten
P (A∩B)
P (A|B) := P (B)
Bi seien P
eine Partition:
n
P (A) =
i=1 P (Bi )P (A|Bi )
Satz v. Bayes:
P (A|Bk )·P (Bk )
P (Bk |A) = P∞ P (A|B
)·P (B )
i
i=1
i
Diskrete Verteilungen
Gleichverteilung
1
(i =
P (X = xi ) = pX (xi ) = n
Pn
1
1, . . . , n) EX = n
i=1 xi
Var(X)
Pn = 2
Pn
2
1
1
i=1 xi − n (
i=1 xi )
n
Binomialverteilung
X ∼ B(n, p)
k
n−k
pX (k) = n
k p(1− p)
X
n k
n−k
FX (x) =
p (1 − p)
k
k≤x
EX = np, Var(X) = np(1 − p)
gX (s) = (1 − p + sp)n
neg. Binomialverteilung
X ∼ N egB(n, p)
k
n−k
pX (k) = n−1
k−1 p (1 − p)
X
n k
n−k
FX (x) =
p (1 − p)
k
k≤x
EX =
n
p,
Var(X) = n
(1−p)
p2
Hypergeometrische Verteilung
W’keit, bei m Versuchen ohne
Zurücklegen von n s/w-Kugeln k
der r weißen zu ziehen.
X ∼ Hypergeom(n, r, m)
r n−r pX (k) =
EX = rm
n
Var(X) =
k
m−k
n
m
rm
n (1
−
n−m
r
n )( n−1 )
Geometrische Verteilung
W’keit beim k-ten Versuch den 1.
Treffer zu bekommen, p
Trefferw’keit. pX (k) = (1 − p)k−1 p
1
EX = p
, Var(X) = 1−p
p2
Poisson-Verteilung
X ∼ Po(λ) Approximation der
Binomialvert. mit λ = np
k
pX (k) = e−λ λk! (k = 0, . . .)
EX = Var(X) = λ
gX (s) = eλ(s−1) X ∼ Po(λ0 ), Y ∼
Po(λ1 ) ⇒ X + Y ∼ Po(λ0 + λ1 )
Stetige Verteilungen
Gleichverteilung
X ∼ U (a,(b)
1
, a<x<b
fX (x) = b−a
0,
sonst
x−a
b−a auf (a, b)
a+b
1
2 , Var(X) = 12 (b
FX (x) =
EX =
Exponentialverteilung
X ∼ Exp(λ),
( λ>0
λe−λx , x ≥ 0
fX (x) =
0,
x<0
− a)2
FX (x) = 1 − e−λx
1
EX = λ
, Var(X) = λ12
Gedächtnislosigkeit: P (X ≥ t|X ≥
s) = P (X ≥ t − s) (0 < s < t)
Normalverteilung
X ∼ N (µ, σ 2 )
!
1
(x − µ)2
fX (x) = √
exp −
2σ 2
2πσ
EX = µ, Var(X) = σ 2
!
Z x
1
y2
Φ(x) =
dy
exp −
√
2
2π
−∞
Φ(x) = 1 − Φ(−x)
Φ−1 (x) = −Φ−1 (1 − x)
EX = µ, Var(X) = σ 2
Sei X ∼ N (µ, σ 2 ).
⇒ Z := X−µ
∼ N (0, 1)
σ
Standardnormalverteilung:
µ = 0, σ 2 = 1
Faltungsstabil:
X1 + X2 ∼ N (µ1 + µ2 , σ12 + σ22 )
X ∼ N (0, 1) :
R∞
x2
cos(tx) √12π e− 2 dx
ϕX (t) = −∞
ϕ0X (t) = −tϕX (t)
Gammaverteilung
X ∼ G(α,(λ)
λα
xα−1 e−λx , x ≥ 0
fX (x) = Γ(α)
,
0,
x<0
R ∞ α−1 −t
e dt
wobei Γ(α) := o t
α
EX = α
λ , Var(X) = λ2
X ∼ G(α, λ1 ), Y ∼ G(α, λ2 ) ⇒
X + Y ∼ G(α, λ1 + λ2 )
für α = 1 erhält man die
Exponentialverteilung.
Formeln
Erwartungswert
(Existenz falls mit | · | noch < ∞)
P∞
diskret: EX
=
k=1 xk PX (k)
P∞
g(xk )PX (k)
Eg(X) =
k=1
R∞
stetig: EX = −∞ xfX (x)dx
R∞
Eg(X) = −∞
g(x)fX (x)dx
E(aX + bY ) = aEX + bEY
Falls
Qn
Q Xi unkorreliert:
E( n
i=1 E(Xi )
i=1 Xi ) =
Erwartungsvektor:
X = (X1 , . . . , Xn ) ZV, EXi2 < ∞ :
EX := (EX1 , . . . , EXn )
Cauchy-Schwarze Ungleichung:
Var(X), Var(Y )ex.
⇒ (EXY )2 ≤ EX 2 EY 2
Varianz
Var(X) := E((X − EX)2 ) =
EX 2 − (EX)2 ≥ 0
Daher auch:
EX 2 = Var(X) + (EX)2
Var(aX + b) = a2 Var(X)
FallsP
Xi nicht unkorreliert:
Pn
Var( n
i=1
i=1 Var(Xi )+
P Xi ) =
2 · 1≤i<j≤n Cov(Xi , Xj )
FallsP
Xi unkorreliert:
Pn
Var( n
i=1 Xi ) =
i=1 Var(Xi )
Standardabweichung:
p
σ(X) := Var(X)
Urnenmodell
Mit Zurückl., mit Reihenflg. (k
unterscheidbare Objekte mit
Mehrfachbel. auf n Fächer): nk
Mit Zurückl., ohne Reihenflg. (nicht
untersch. O., mit Mehrfachbel.) :
n+k−1
gdw. bis auf eine Nullmenge:
Q
fXi (xi )
fX1 ,...,Xn (x1 , . . . , xn ) =
Sätze:
X, Y unabh. ⇒ EXY = EXEY
X1 , . . . , Xn unabh
⇒ Var(X1 + · · · + Xn ) =
P
n
i=1 Var(Xi )
Kovarianz
Cov(X, Y ) = E(X −EX)(Y −EY ) =
EXY − EXEY
Cov(X, X) = Var(X)
Cov(aX + bY, Z)
= a Cov(X, Z) + b Cov(Y, Z)
= Cov(Z, aX + bY )
X, Y unkorreliert: gdw.
Cov(X, Y ) = 0
X, Y unabh. ⇒ X, Y unkorr.
Kovarianzmatrix:
X = (X1 , . . . , Xn ) ⇒ Cov(X) :=
(Cov(Xi , Xj ))i,j=1,...,n
Korrelationskoeffizient: Ist
Var(X)
· Var(Y ) > 0 so gilt:
≤1
ρ(X, Y ) := √ Cov(X,Y )
Var(X) Var(Y ) Erzeugende Fkt (diskret)
gX : [−1, 1] → R
P∞
k
X
gX (s) =
k=0 pX (k)s = Es
g
(k)
(0)
gX (1) = 1, pX (k) = Xk!
0
EX = gX
(1− ), Var(X) =
00
0
0
gX
(1− ) + gX
(1− ) − (gX
(1− ))2
X, Y unabh, diskret
⇒ gX+Y (s) = gX (s)gY (s)
Konvergenzbegriff für ZV
P-fast sicher
fs
Xn → X wenn:
P ({ω ∈ Ω| lim Xn (ω) = X(ω)}) = 1
n→∞
in Wahrs’keit, stochastisch
P
d
Xn → X
ϕXn (t) → ϕ(t)
stetig in 0
∀ t ∈ R und ϕ
Parameterschätzung
Defnitionen
Pn
1
Stichprobenmittel: x̄ = n
i=1 xi
Stichprobenvarianz:
P
n
2
1
S 2 (x) = n−1
i=1 (xi − x̄)
Maximum-Likelihood-Methode
Likelihood-Funktion:
Lx (θ) = fθ (x1 ) · · · · · fθ (xn )bzw.
Lx (θ) = pθ (x1 ) · · · · · pθ (xn )
Maximum-Likelihood-Schätzer
MLS: bei welchen θ ist Lx maximal.
Oft einfacher: ln Lx (θ) maximieren.
Q
P
(ln a · b = ln a + ln b, ln
=
ln)
Momentenmethode
Pro zu schätzenden Parameter ein
empirisches Moment mit dem der
Verteilung gleichsetzen. Also:
Pn
!
k
1
µk (θ) = Eθ X k = xk := n
i=1 xi
Eigenschaften
Erwartungstreu: Eθ T (X) = θ
ET hat i.A. nix mit EX zu tun!
Bias: bT (θ) := Eθ T (X) − θ
Mittlerer Quadratischer Fehler:
MSE(T ) := Eθ (T (x) − θ)2
unbiasd: MSE(T ) = Varθ (T )
Fisher-Info.
∂
I(θ) := Eθ ( ∂θ
log LX (θ))2
Ungleichung von Cramér-Rao
Varθ (T (X)) ≥
(1+ ∂ bT (θ))2
∂θ
I(θ)
Konfidenzintervalle
Gesucht sind ZV L und U mit
L(x) ≤ U (x) und
Pθ (L(x) ≤ θ ≤ U (x)) = 1 − α
Xn → X wenn,
Testtheorie
∀ε > 0
lim P ({ω ∈ Ω|Xn (ω)−X(ω)| ≥ ε}) = 0Überprüfen, ob ein Parameter θ
n→∞
einer Verteilung in Θ0 oder Θ1
in Verteilung
(Θ0 + Θ1 = Θ) ist.
d
Xn → X wenn ∀x mit FX stetig:
Einseitiger Test:
lim FXn (x) = FX (x)
H0 : θ ≤ θ0 vs. H1 : θ > θ0
n→∞
Zweiseitiger Test:
Implikationen
H0 : θ = θ0 vs. H1 : θ 6= θ0
f.s. ⇒ in Wahrs’keit
Test, Fehler und Güte
in Wahrs’keit ⇒ in Verteilung
Sei x ∈ χn eine Stichprobe.
in Verteilung gegen eine Konstante
ϕ : χn → {1, 0} heißt Test:
c ∈ R ⇒ in Wahrs’keit
Mit ϕ(x) = 1 lehnen wir H0 für x ab
Gütefkt: β gibt W’keit an, mit der
Grenzwertsätze
H0 wir ablehnen
Kolmogorov
β(θ) = Pθ (ϕ(x) = 1)
(Starkes Gesetz der großen Zahlen)
F. 1. Art: Test: H1“ aber H0 wahr.
Xi unabh. und identisch vert,
”
Pn
f.s.
F. 2. Art: Test: H0“ aber H1 wahr.
1
E|X1 | < ∞: n
X
→
EX
”
i
1
i=1
Niveau: α=
ˆ W’keit für Fehler 1. Art
Zentraler Grenzwertsatz
≤ α. Also: β(θ) ≤ α
Xi u.i.v., E|X1 | < ∞,
Man legt α fest. Also muss der
0P
< Var(X1 ) < ∞: für n → ∞ gilt:
Fehler 1. Art der schlimmere sein
n
i=1 Xi − n · EX1 d
→ X ∼ N (0, 1) (z.B. unwirksames Medikament als
p
wirksam bedacht oder Ham als
n · Var(X1 )
also P
Spam eingeordnet). Danach erst
!
n
minimiert man den Fehler 2. Art.
i=1 Xi − nEX1
P
≤ x → Φ(x) Eselsbrücke: Hypothese H =
p
0 ˆ Ham.
n · Var(X1 )
Likelihood-Quotienten Test
Zweiseitiger Grenzwertsatz
Likelihood-Quotient:
Gleiche Voraussetzungen wie oben:
! q(x) := supθ∈Θ0 Lx (θ)
Pn
supθ∈Θ Lx (θ)
1
i=1 Xi − n · EX1
P a≤
≤b
p
Test derForm:
n · Var(X1 )

0
q(x)
> c0

→ Φ(b) − Φ(a)
ϕ(x) = γ, q(x) = c0

k
1
q(x) < c0
Ohne Zurückl., mit Reihenflg.
Charkteristische
Funktion
(untersch. O., ohne Mehfachbel.):
Spezialfall:
Neyman-Pearson-T.

n!
∗
X ZV, ϕX : R → C

(n−k)!
1 Lx (θ1 ) > c Lx (θ0 )
itX
ϕX (t) := Ee
= E cos(tX)+iE sin(tX)
∗
∗
Ohne Zurückl., ohne Reihenflg.
ϕ (x) = γ Lx (θ1 ) = c Lx (θ0 )

X diskret ⇒ ϕX (t) = gX (eit )
0 L (θ ) < c∗ L (θ )
(nicht untersch. O.,
ohne
x 1
x 0
X
abs
stetig
Mehrfachbel.): n
R ∞ itx
k
⇒
ϕ
(t)
=
e
f
(x)dx
X
X
−∞
Tschebyscheff Ungleichung
ϕX (0) = 1 |ϕX (t)| ≤ 1 ∀ t ∈ R
P (|X − EX| ≥ ε) ≤ ε12 Var(X)
a, b ∈ R:
Faltungsformel
ϕaX+b (t) = eibt ϕX (at) ϕX (t) ist
(X, Y ) abs stetige ZV, mit gem
glm stetig auf R
Dichte fXY ⇒ Z := X + Y ist abs
X, Y unabh ZV
stetige ZV
mit Dichte:
R∞
⇒ ϕX+Y (t) = ϕX (t)ϕY (t)
fZ (x) = −∞ fX,Y (t, x − t)dt
E|X|n < ∞, n ∈ N ⇒ ϕX n-mal db
X, Y unabh
(n)
R ∞ ⇒ Faltungsformel:
und: ϕX (0) = in EX n
fZ (x) = −∞
fX (t)fY (x − t)dt
X, Y ZV mit gleicher char Fkt, so
Unabhängingkeit von ZV
auch gleiche Verteilung.
Def.:
(Xn ) Folge von ZV mit FXn (x) und
Q
FX1 ,...,Xn (x1 , . . . , xn ) =
FXi (xi ) ϕXn (t) so ist äquivalent:
Hilfreiche Rechenregeln
Diskrete
Pn
n
k n−k
= (a + b)n
k=0 k a b
Integrale
R
R
f · g = [f · G] − f 0 · G
2
R∞
−x
2 dx = 1
√1 e
−∞
2π
(1 − α)-Konfidenzintervalle
Regenwurmaufgabe
Annahme: Länge d. Regenwurm auf
(0, θ) gleichverteilt. Maximallänge
von n Würmern liegt vor. Gebe ein
(1 − α)-KonfInt für d θ an. Lösung:
Pθ (max{X1 , . . . , Xn } ≥ x) =
1 − Pθ (X
n 1 < x) · · · · · Pθ (Xn
√< x) =
1− x
= 1 − α ⇒ x = θ n α.
θ
Somit: max{X1 , . . . , Xn } ≥
√
max{X1 ,...,Xn }
√
θnα⇔θ≤
n
α
Konfidenzintervall:
h
i
max{X1 ,...,Xn }
√
max{X1 , . . . , Xn },
n
α
Scriptbeispiel 15.2
Schätzung der
Erfolgswahrscheinlichkeit,
X ∼ B(m, θ), Θ = [0, 1] Dann gilt:
L(x) = m+(z1 )2 ·
α
2

(z α )2
2
2
r
(z α )2
2
4

√
n c−µ
Es genügt:
σ
βc (µ) = 1 − Φ
H0 : µ = µ0 vs H1 : µ 6= µ0
Der zugehörige
ist:
( √ Test
x−µ 0, n S(x)0 ≤ tn−1 (1 − α
2)
U (x) = m+(z1 )2 ·
ϕ(x)
=
√
√ c − µ0
x−µ α
1, n S(x)0 > tn−1 (1 − α
β
(µ
)
≤
α
⇔
1−Φ
n
≤
α
2
2)
c
0


r
σ0
(z α )2
(z α )2
|
{z
}
x(m−x)
Test
auf
die
Varianz
2
2
x +

=z1−α
− zα
+
2
m
4
2
Pµ,σ2 = N (µ, σ 2 ),
z
σ0
√
+ µ0 =: c∗
⇔ c ≥ 1−α
n
θ = (µ, σ 2 ) ∈ Θ = R × R+ . wie
wobei x Treffer der Stichprobe,
Test auf Mittelw, Var
gehabt.
z α = Φ−1 ( α
).
2
2
unbekannt (sog.t-Test)
2
Einseitiger Test:
Pµ,σ2 = N (µ, σ ),
Hypothesentest
H0 : σ 2 ≤ σ02 vs. H1 : σ 2 > σ02
2
2
θ
=
(µ,
σ
)
∈
Θ
=
R
×
R
.
σ
ist
+
Test auf Mittelw, Var bekannt
Es gilt:
hier nicht bekannt!
X = (X1 , ..., Xn ), Xi ∼ Pµ =
(n − 1)S(X)2
Einseitiges Testproblem:
N (µ, σ02 ), σ0 bekannt, µ ∈ Θ = R.
≤ x) = Fχ2
(x)
Pµ,σ2 (
H
:
µ
≤
µ
vs
H
:
µ
>
µ
für
ein
0
0
1
0
n−1
σ02
Einseitiger Test
festes
µ
∈
R
0
H0 : µ ≤ µ0 vs H1 : µ > µ0
Folgender
X = (X1 , . . . , Xn ) Zufallsstichprobe
 Test tut es: 2
mit µ0 ∈ R geg.
0, (n−1)S(x) ≤ χ2 (1 − α)
zu
P
Sinnvoller Test:
µ,σ 2 . Dann gilt:
n−1
σ0
ϕ(x) =
√ X−µ
0 , x≤c
1, (n−1)S(x)2 > χ2 (1 − α)
n
∼
t
,
wir
mussten
also
n−1
ϕ(x) =
S(X)
n−1
σ
1 , x>c
0
Pn
im Gegensatz zu oben σ durch S(X)
1
X
.
c
∈
R
nun
zu
x= n
Zweiseitiger
Test
i
i=1
ersetzen.
bestimmen, sodass Testnivea α
H0 : σ = σ0 vs. H1 : σ 6= σ0
Folgender Test hält α:
eingehalten.
Hier gewinnt:
√ x−µ

(
√ x−µ
Betrachte n σ
(n−1)S 2 (x)

> χ2n−1 ( α
0

0, n S(x)0 ≤ tn−1 (1 − α)
σ0
2)
0,
!
ϕ(x) =
√ x−µ0
2 (x)
(n−1)S
2
1, n S(x) > tn−1 (1 − α) ϕ(x) = 0,
√ X−µ
<
χ
(1
− α
n−1

σ0
2)

Pµ
≤ x = Φ(x)
n

Zweiseitiger
Test:
σ0
1, sonst
x +
+ zα
2
x(m−x)
m
+
0
βc (µ0 ) ≤ α
Dieses Blatt ist ein http://mitschriebwiki.nomeata.de/-Projekt.
Letze Änderung: 3. Mai 2017 –time–