Definitionen Sätze und Formeln

Definitionen
ρ(X, Y ) = p
C(X, Y )
V (X)V (Y )
empirischer:
rxy :=
P
1
(xj − x)(yj − y)
n
q P
P
1
1
(xj − x)2 · n
(yj − y)2
n
p 7→ inf{x ∈ R : F (x) ≥ p}
heißt Quantil-Funktion von X bzw.
F.
Quartil
Sei F −1 die Quantil-Funktion, dann
heißt F −1 ( 41 ) das untere und
F −1 ( 34 ) das obere Quartil von F
bzw. von X.
empirisch: Das 14 -Quantil heißt
unteres und das 34 -Quantil oberes
Quartil.
Quartilsabstand
Kovarianz
C(X, Y ) = E((X − EX)(Y − EY ))
∀θ ∈ Θ : Eθ (T ) = θ
= E(XY ) − E(X)E(Y )
kritischer Bereich
K ⊆ X mit:
Erwartungswert
(Ex. falls mit
X | · | < ∞)
E(X) :=
X(ω) · P ({ω})
ω∈Ω
x ∈ K =⇒ d1
X
=
empirisches p-Quantil.
Quantil-Funktion
X Zufallsvariable mit
Verteilungsfunktion F .
−1
F
: (0, 1) → R
Korrelationskoeffizient
Dichte
R
f : R → R≥0 mit R f (x) dx = 1
Rb
P ([a, b]) = a f (x) dx
Ereignis
A ⊆ Ω bzw. A ∈ A.
Elementarereignis: {ω}, ω ∈ Ω
Ergebnis
ω∈Ω
Erwartungstreue
x · P (X = x)
x∈R:P (X=x)>0
E(X) := E(X+ ) − E(X− )
Z
=
x · f (x) dx
R
bedingter Erwartungswert:
X
E(X|Y = y) =
xP (X = x|Y = y)
bedingte Erwartung:
k
E(X|Y ) : R → R, y 7→ E(X|Y = y)
iterierter:
E(X) = E(E(X|Y ))
Faltung
X(Ω) + Y (Ω) F. der Verteilungen
X, Y . (P X+Y = P X ∗ P Y )
Fehler 1./2. Art
1. Art: Wahre Hypothese abgelehnt.
2. Art: Falsche Hypothese nicht
verworfen.
Gütefunktion
g : Θ → [0, 1], θ 7→ Pθ (X ∈ K)
gϕ : Θ → [0, 1], θ 7→ Eθ (ϕ)
Häufigkeit
Sei (x1 , . . . , xn ) ∈ {a1 , . . . , as }n
Stichprobe.
absolute:
n
X
hj =
1{xi = aj }
i=1
relative:
hj
n
Kombination
n
Komk (mW ) = {(a1 , . . . , ak ) ∈ M
k
:
k
:
a1 ≤ · · · ≤ ak }
n
Komk (oW ) = {(a1 , . . . , ak ) ∈ M
a1 < · · · < a k }
n
|Komk (mW )| =
n
|Komk (oW )| =
n + k − 1 k
n
k
Konfidenzber./Bereichssch.
(X , (Pθ )θ∈Θ ) stat. Modell.
C : X → P(Θ)
heißt Konfidenzbereich oder
Bereichsschätzer.
Konfidenzniveau: C Konfidenzber.
zum Niveau 1 − α:
Pθ (A(θ)) ≥ 1 − α
Konsistenz
(Tn ) Schätzfolge: ∀ε > 0, ∀θ ∈ Θ :
lim Pθ (|Tn − θ| ≥ ε) = 0
n→∞
ϕn Testfolge: ∀θ ∈ Θ1 :
lim gϕn (θ) = 1
n→∞
Konvergenz nach W-keit
x ∈ X \ K =⇒ d0
x3 − x1
4
4
Lagemaß
n
l : {a1 , . . . , as } → R ist ein
Schätzer
Lagemaß, falls gilt:
(X , (Pθ )θ∈Θ ) stat. Modell.
l(x1 +a, . . . , xn +a) = l(x1 , . . . , xn )+a
T : X → Θ̃
Likelihood-Funktion
heißt Schätzer für θ.
Schätzfolge
Lx : Θ → [0, 1], θ 7→ Pθ (X = x)
Xn ⊆ Rn Stichprobenraum für
Marginalverteilung
X(n) = (X1 , . . . , Xn ) und
P W-Maß auf Ω1 × · · · × Ωn . j-te
Tn : Xn → Θ̃ Schätzer ∀n ∈ N, dann
Marginalverteilung:
heißt (Tn )n∈N Schätzfolge.
0
00
Pj (B) := P (Ω × B × Ω )
Schätzwert
mit
T (x) für x ∈ X .
0
Ω := Ω1 × · · · × Ωj−1
Spannweite
0
Ω := Ωj+1 × · · · × Ωn
(Analog für Zufallsvektoren.)
x(n) − x(1)
Maximum-LikelihoodStandardabweichung
Schätzung
θ̂ : X → Θ ist ML-Schätzwert, falls
q
∀x ∈ X :
σX := V (X)
Lx (θ̂(x)) = sup{Lx (θ) : θ ∈ Θ}
Median
empirische:
√
Sei F −1 die Quantil-Funktion, dann
s := s2
heißt F −1 ( 12 ) der Median von F
Standardisierung
bzw. von X.
X − EX
empirischer: Sei (x(1) , . . . , x(n) )
∗
X := p
geordnete
 Stichprobe.
V (X)
x n+1 , n = 2k + 1
)
(
2
x 1 :=
Statistisches Modell
 1 (x( n ) + x( n +1) ), n = 2k
2
2
(X , (Pθ )θ∈Θ ), wobei X der
2
2
Stichprobenraum einer
Mittel
Zufallvariable X, (Pθ )θ∈Θ Bild
arithmetisches:
n
einer bijektiven Abbildung des
1 X
xj
xn :=
Parameterraum Θ auf eine Klasse
n j=1
von W-Maßen P ist.
Streuungsmaß
getrimmtes/gestutztes:
σ : {a1 , . . . , as }n → R heißt ein
n−k
X
1
Streuungsmaß, falls gilt:
xt,α :=
x(j)
n − 2k j=k+1
σ(x1 +a, . . . , xn +a) = σ(x1 , . . . , xn )
Test
mit 0 < α < 12 und k := bnαc heißt
nichtrandomisiert:
α-getrimmtes Mittel.
ϕ : X → {0, 1}, x 7→ 1K
MQA
randomisiert:
2
ϕ : X → [0, 1]
M QAT (θ) = Eθ ((T − θ) )
X
Testfolge
2
=
(T (x) − θ) · Pθ (X = x)
Xn Stichprobenraum für
x∈X
X(n) = (X1 , . . . , Xn ) und
heißt mittlere quadratische
ϕn : Xn → [0, 1] Test ∀n ∈ N, dann
Abweichung vom T an der Stelle θ.
heißt (ϕn )n∈N Testfolge.
Moment
Übergangswahrscheinlichkeit
k-tes:
Z
k
k
E(X ) =
x · f (x) dx
P12 : Ω1 × P(Ω2 ) → [0, 1]
R
k-tes absolutes: Z
k
k
E(|X| ) =
|x| · f (x) dx
heißt Übergangs-W-keit, falls
∀ω1 ∈ Ω1
R
P12 (ω1 , ·) : P(Ω2 ) → [0, 1]
k-tes zentrales: Z
ein W-Maß ist.
k
k
E((X−EX) ) =
(x−EX) ·f (x) dx Unabhängigkeit
R
Ereignisse: A1 , . . . , An
Permutation
unanbhängig,
\ falls ∀T
Y⊆ 1, . . . , n
P(
Aj ) =
P (Aj )
n
k
P erk (mW ) = M
j∈T
n
P erk (oW ) = {(a1 , . . . , ak ) ∈ M
k
ai 6= aj (i 6= j)}
P
Yn → Y ⇐⇒ ∀ε > 0 :
n→∞
P (|Yn − Y | ≥ ε) → 0
Koppelung
Das zu einem W-Maß P1 und einer
Übergangs-W-keit P12 gehörende
W-Maß
P = P1 ⊗ P12
auf Ω1 × Ω2 heißt Koppelung von
P1 und P12 .
n
|P erk (mW )|
=n
k
n
|P erk (oW )| = n · · · (n − k + 1) = n
Quantil
empirisches:
Ist 0 < p < 1, so heißt
(
x
, np 6∈ N
xp := 1(bnp+1c)
2 (x(np) + x(np+1) ), np ∈ N
j∈T
Zufallsvariablen diskret:
X1 , . . . , Xn unabhängig, falls
∀Aj ⊆ Ωj bzw. ∀xj ∈ Ωj gilt:
P (X1 ∈ A1 , . . . , Xn ∈ An )
:
k
=
n
Y
f (xj )
j=1
Varianz
(Ex. falls E(X 2 ) existiert.)
2
2
2
V (X) = E(X − EX) = E(X ) − (EX)
Z
2
(x − EX) · f (x) dx
=
R
empirische:
2
s :=
n
1 X
2
(xj − xn )
n − 1 j=1
Verteilung
X : Ω → Ω̃ Zufallsvariable.
X
0
−1
0
P : P(Ω̃) → [0, 1], A 7→ P (X (A ))
heißt Verteilung von X.
Verteilungsfunktion
P : B1 → [0, 1] W-Maß.
F : R → [0, 1], x 7→ P ((−∞, x])
heißt Verteilungsfunktion von P .
Verzerrung
Verzerrung eines Schätzers T an der
Stelle θ:
bT (θ) = Eθ (T ) − θ
Wahrscheinlichkeit
bedingte:
P (A ∩ B)
P (A|B) =
P (B)
W-Funktion
(Ω, P ) W-Raum,
p : Ω → R, ω 7→ P ({ω})
ist W-Funktion zum W-Maß P .
W-Maß
P : P(Ω) → [0, 1] heißt W-Maß auf
Ω, falls gilt
1. P (A) ≥ 0
2. P (Ω) = 1
P
P
3. P ( j∈N Aj ) =
j∈N P (Aj )
W-Raum
(Ω, P ) bzw. (Ω, A, P ) mit A
σ-Algebra auf Ω, P W-Maß auf Ω
bzw. A.
|A|
Laplace’scher: falls P (A) := |Ω|
Zufallsvariable
(Ω, P ) bzw. (Ω, A, P ) W-Raum, A0
σ-Algebra auf Ω0 .
0
X :Ω→Ω
heißt Ω0 -wertige Zufallsvariable,
falls X A-A0 -mb.
Zufallsvektor
X heißt Zufallsvektor, falls es eine
Rd -wertige Zufallsvariable ist.
Sätze und Formeln
Bayes-Formel
Sei (An )n∈N eine Zerlegung von Ω.
Dann gilt:
P (Ak ) · P (B|Ak )
P (Ak |B) = P∞
j=1 P (Aj ) · P (B|Aj )
Binomialkoeffizient
n + 1 n n =
+
k
k
k−1
Binomischer Lehrsatz
k
(x + y) =
k X
k
j=0
j
j
·x ·y
k−j
Blockungslemma
Seien A1 , . . . , An unabhängig,
1 ≤ k ≤ n − 1, C ∈ σ(A1 , . . . , Ak ),
D ∈ σ(Ak + 1, . . . , An ). Dann sind
auch C und D unabhängig.
Cauchy-Schwarz
2
C(X, Y ) ≤ V (X) · V (Y )
Erwartungswert
E(aX) = a · EX
j=1
=
f (x) =
j=1
n
Y
P (Xj ∈ Aj )
P (X1 = x1 , . . . , Xn = xn )
n
Y
X1 , . . . , Xn unabhängig, falls gilt:
n
Y
F (x) =
F (xj )
P (Xj = xj )
j=1
Zufallsvariablen indiskret:
E(X + Y ) = EX + EY
|EX| ≤ E|X|
Sind X, Y unkorreliert gilt
außerdem:
E(X · Y ) = EX · EY
Verteilungen
Quantilsfunktion
Faltungsformel
für Dichten: Z
F (x) ≥ p ⇐⇒ x ≥ F
fX (t) · fY (x − t) dt
fX+Y (x) =
F (F
R
Gesetz großer Zahlen
Seien X1 , . . . , Xn unabhängige
Zufallvariablen mit existierender
Varianz.
Dann gilt ∀ε > 0: 

n
1 X
n→∞
P 
Xj − EX1 ≥ ε → 0
n j=1
Gesetz seltener Ereignisse
Ist (pn )n∈N eine Folge in [0, 1] mit
limn→∞ npn = λ für ein
0 < λ < ∞, so gilt:
k
n
n−k n→∞ −λ λ
k
→ e
pn (1 − pn )
k
k!
Kovarianz
−1
−1
(p)
(p)) ≥ p
−1
F (F (p)) = p ⇐⇒ p ∈ F (R)
Außerdem ist F −1 monoton
wachsend und linksseitig stetig.
Siebformel/Poincare-Sylvester
Für 1 ≤ ν ≤X
n sei
Sν :=
P (Ai1 ∩· · ·∩Aiν )
1≤i1 <···<iν ≤n
Steiner-Formel
2
∀a ∈ R : V (X) = E(X−a) −(EX−a)
Stetigkeit
Es gilt:
∞
[
P(
Aj ) = lim P (Aj )
C(X, Y ) = C(Y, X)
C(X, X) = V (X)
C(aX + b, cY + d) = ac · C(X, Y )
j→∞
j=1
ρ(aX + b, cY + d) = sgn(ac) · ρ(X, Y )
für jede aufsteigende Folge
X, Y sind unkorreliert,genau dann
A1 ⊆ A2 ⊆ · · · . Ebenso gilt:
wenn:
∞
\
C(X, Y ) = 0
P(
Aj ) = lim P (Aj )
j→∞
j=1
kleinste Quadrate
∗
∗
2
(a , b ) := arg min E(Y − a − bX)
für jede absteigende Folge
A1 ⊇ A2 ⊇ · · · .
Subadditivität
a,b∈R
ist bestimmt durch
∗
∗
a = EY − b EX
(
0
, V (X)V (Y ) = 0
∗
b = C(X,Y )
, V (X)V (Y ) > 0
V (X)
Methoden zur Dichtebest.
Methode 1:
X reelle Zufallsvariable mit
Verteilungsfunktion F , stückweise
stetiger Dichte f . Weiter sei
T : R → R stetig differenzierbar und
streng monoton wachsend, wobei
T 0 (x) 6= 0. Dann besitzt Y = T (X)
die Verteilungsfunktion:
−1
G(y) = F (T (y))
Z T −1 (y)
=
f (x) dx
−∞
(bzw. 1 − G(y) falls T monoton
fallend), sowie die Dichte:
f (T −1 (y))
g(y) =
|T 0 (T −1 (y))|
Methode 2:
X = (X1 , . . . , Xn ) k-dimensionaler
Zufallsvektor mit positiver Dichte f .
Weiter sei T : Rk → Rk stetig
differenzierbar und injektiv, wobei
T 0 (x) 6= 0. Dann besitzt Y = T (X)
die Dichte:
f (T −1 (y))
g(y) =
| det T 0 (T −1 (y))|
Methode 3:
Ist T : Rk → Rs mit s < k, so lässt
sich T häufig zu einer Abbildung
T 0 : Rk → Rk ergänzen, die die
Voraussetzungen von Methode 2
erfüllt. Die Gewünschte Dichte
ergibt sich dann aus
Marginalverteilungsbildung.
Markow-Ungleichung
Sei ϕ : [0, ∞) → [0, ∞) monoton
wachsend. Dann gilt für jede
Zufallsvariable Y mit Eϕ (|Y |) < ∞
und jedes ε > 0 mit ϕ(ε) > 0:
1
Eϕ (|Y |)
P (|Y | ≥ ε) ≤
ϕ(ε)
P(
∞
[
Aj ) ≤
j=1
∞
X
P (Aj )
fX (x) = λ · e
j=1
Transformationsformel
X
E(g(Z)) =
g(z) · P (Z = z)
z∈Rk
Z
=
g(x) dx
Rk
Tschebyschow-Ungleichung
1
P (|X − EX| ≥ ε) ≤ 2 · V (X)
ε
Varianz
2
V (X) = min E(X − a)
a∈R
1
λ2
geometrische Verteilung
X ∼ G(p) = N b(1, p)
Gibt die Wahrscheinlichkeit an, dass
vor dem ersten Treffer in einem
Bernoullischen Versuchsschema mit
Trefferwahrscheinlichkeit p genau k
Nieten gezogen werden.
k
P (X = k) = p · (1 − p)
X
k
FX (x) =
p · (1 − p)
V (X) =
k≤x
1−p
p
1−p
V (X) =
p2
Ist Y ∼ G(p) und X, Y unabhängig,
so gilt X + Y ∼ N b(2, p).
EX =
Gleichverteilung
X ∼ U (A)
diskrete:
Sei A = {x1 , . . . , xn }.
1
P (X = xj ) =
n
n
1 X
EX =
xj
n j=1


2 
n
n
X
1 X 2

V (X) =
xj − 
xj  
n j=1
j=1
indiskrete:
Sei A ∈ B1 .
2
V (a · X + b) = a · V (X)
V (X) ≥ 0
P (B) =
V (X) = 0 ⇐⇒ ∃a ∈ R : P (X = a) = 1
V (X + Y ) = V (X) + V (Y ) + 2C(X, Y )
V (X1 + · · · + Xn )
=
n
X
X
V (Xj ) + 2
j=1
C(Xi , Xj )
1≤i<j≤n
(siehe auch Steiner-Formel)
ZGWS
Sei Xn ∼ Bin(n, pn ) mit
limn→∞ npn (1 − pn ) = ∞. Dann
gilt:
!
Xn − npn
lim P a ≤ p
≤b
n→∞
npn (1 − pn )
=Φ(b) − Φ(a)
!
lim P
n→∞
Xn − npn
≤b
p
npn (1 − pn )
=Φ(b)
· 1[0,∞) (x)
1
EX =
λ
j=1
totale W-keit
Sei (An )n∈N eine Zerlegung von Ω.
Dann gilt:
∞
X
P (B) =
P (Aj ) · P (B|Aj )
−λx
Multinomialverteilung
X = (X1 , . . . , Xs ) ∼
M ult(n, p1 , . . . , ps )
s
Y
k
x
·
pj j
P (X = x) =
x1 , . . . , x s
j=1
Xk ∼ Bin(n, pk )
k
X
Xij ∼ Bin(n,
j=1
V (X) = np(1 − p)
Exponentialverteilung
X ∼ Exp(λ)
−λx
FX (x) = (1 − e
) · 1[0,∞) (x)
ν=1
2
EX = np
Ist Y ∼ Bin(m, p) und X, Y
unabhängig, so gilt
X + Y ∼ Bin(n + m, p).
(Summation über ν-elementige
Teilmengen.) Dann gilt:
n
n
[
X
ν−1
P(
Aj ) =
(−1)
Sν
j=1
Binomialverteilung
X ∼ Bin(n, p) n
k
n−k
· p · (1 − p)
P (X = k) =
k
X n
k
n−k
FX (x) =
· p · (1 − p)
k
k≤x
λ1 (A ∩ B)
λ1 (A)
λ1 (A ∩ (−∞, x])
λ1 (A)
1
fX (x) =
· 1A (x)
λ1 (A)
FX (x) =
hypergeometrische Verteilung
X ∼ Hyp(n, r, s)
Gibt die Wahrscheinlichkeit an,
beim n-maligen Ziehen ohne
Zurücklegen k der r roten von
insgesamt r + sKugelnzu ziehen.
r
s
k · n−k
P (X = k) =
r+s
n
rn
EX =
r+s
V (X) =
rs
r
r+s−n
1−
r+s
r+s
r+s−1
k
X
pij )
j=1
C(Xi , Xj ) = −npi pj
s
ρ(Xi , Xj ) = −
pi pj
(1 − pi )(1 − pj )
negative Binomialverteilung
X ∼ N b(r, p)
Gibt die Wahrscheinlichkeit an, dass
vor dem r-ten Treffer in einem
Bernoullischen Versuchsschema mit
Trefferwahrscheinlichkeit p genau k
Nieten gezogen werden.
k + r − 1
r
k
· p · (1 − p)
P (X = k) =
k
X k + r − 1 r
k
FX (x) =
· p · (1 − p)
k
k≤x
1−p
p
1−p
V (X) = r ·
p2
Ist Y ∼ N b(s, p) und X, Y
unanhängig, so gilt
X + Y ∼ N b(r + s, p).
Normalverteilung
2
X ∼ N (µ, σ
)
x−µ
FX (x) = Φ
σ
!
Z x
y2
1
exp −
Φ(x) =
dy
√
2
2π
−∞
EX = r ·
Φ(x) = 1 − Φ(−x)
−1
Φ
−1
(x) = −Φ
(1 − x)
1
· exp
fX (x) = √
σ 2π
−
(x − µ)2
2σ 2
!
EX = µ
2
V (X) = σ
Ist Y ∼ N (µ̃, σ̃ 2 ) und X, Y
unanhängig, so gilt
X + Y ∼ N (µ + µ̃, σ 2 + σ̃ 2 ).
mehrdimensionale:
X ∼ Nk (µ, Σ)
Dabei seien Y1 , . . . , Yk ∼ N (0, 1)
unabhängig, A ∈ Rk×k regulär,
Σ = A · A⊥ , µ ∈ Rk und
X := A · Y + µ. Dann gilt:
1
fX (x) = p
(2π)k · det Σ
1
⊥ −1
· exp − (x − µ) Σ (x − µ)
2
Poisson-Verteilung
X ∼ P o(λ)
λk
−λ
P (X = k) = e
·
k!
X −λ λk
FX (x) =
e
·
k!
k≤x
EX = λ
V (X) = λ
Ist Y ∼ P o(µ) und X, Y
unabhängig, so gilt
X + Y ∼ P o(λ + µ). In diesem Fall
ist
λ
X|X+Y =n
P
= Bin n,
λ+µ