Wahrscheinlichkeits-Rechnung und Statistik

Wahrscheinlichkeits-Rechnung und Statistik
Definitionen und Formeln
Karl Stroetmann
16. Dezember 2006
Definition 1 (diskreter Wahrscheinlichkeits-Raum) : Tripel hΩ, 2Ω , P i mit:
1. Ω Menge, endlich oder abzählbar unendlich
Elemente von Ω: Ergebnisse
Ω: Ergebnis-Raum
2. 2Ω : Menge der Ereignisse, Ereignis-Raum
ω ∈ Ω, dann {ω} Elementar-Ereignis
3. P : 2Ω → R Wahrscheinlichkeits-Verteilung
Kolmogorow-Axiomen
(a) 0 ≤ P (A) ≤ 1
für alle A ⊆ Ω.
(b) P (∅) = 0, ∅ unmögliche Ereignis
(c) P (Ω) = 1, Ω sicheres Ereignis
(d) ∀A, B ∈ 2Ω : A ∩ B = ∅ → P (A ∪ B) = P (A) + P (B)
A ] B = A ∪ B und impliziert A ∩ B = ∅
Laplace-Experiment: hΩ, 2Ω , P i
mit
1. Ω endlich und
2. P (A) =
|A|
.
|Ω|
Additionssätze
1. P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
2. P (A ∪ B ∪ C) = P (A) + P (B) + P (C) − P (A ∩ B) − P (A ∩ C) − P (B ∩ C) + P (A ∩ B ∩ C)
Komplement:
Ac = Ω\A, P (Ac ) = 1 − P (A).
1
Kombinatorik
kartesisches Produkt:
A1 × A2 × · · · × An := [x1 , · · · , xn ] ∀i ∈ {1, · · · , n} : xi ∈ Ai
Produkt-Regel:
|M | = |A1 | ∗ |A2 | ∗ · · · ∗ |An |
Anzahl der k-Tupel mit Wiederholung:
k
M = |M |k = nk
Anzahl der k-Tupel ohne Wiederholung, Menge der k-Permutationen aus M
P (M, k) = [x1 , · · · , xk ] ∈ M k ∀i, j ∈ {1, · · · , k} : i 6= j → xi 6= xj
P (M, k) = n ∗ (n − 1) ∗ · · · ∗ n − (k − 1) = n!
(n−k)!
Speziallfall |M | = n:
P (M, n) = n!
Anzahl der k-Kombinationen ohne Wiederholung, Menge der Teilmengen mit k Elementen:
C(M, k) = N ∈ 2M |N | = k .
n
n!
=
|C(M, k)| =
k
k! · (n − k)!
Anzahl der k-Kombinationen mit Wiederholung
Menge aller Multimengen der Mächtigkeit k mit Elementen aus M :
Cm (M, k)
n+k−1
|Cm (M, k)| =
k
Hypergeometrische Verteilung
1. N Bauteile insgesamt
2. K Bauteile defekt
3. n Bauteile in Stichprobe entnommen
4. k Bauteile in Stichprobe defekt
N −K K
k · n−k
P (k) =
N
n
Binomial-Verteilung
1. Wahrscheinlichkeits, dass ein Bauteile defekt ist: p
2. Wahrscheinlichkeits, dass von n Bauteilen k Bauteile defekt sind
n
B(n, p; k) :=
· pk · (1 − p)n−k .
k
2
Praktische Berechnung von n! und
n
k
Stirling’sche Näherung:
n n
√
.
n! ≈ 2 · π · n ·
e
Näherung von Lanzcos:
n+ 12
√
n + 12
.
n! ≈ 2 · π ·
e
Mathematische Interpretation
1 n+ 21
√
n+ 2
2·π ·
e
lim
= 1.
n→∞
n!
Berechnung des Binomial-Koeffizienten
n
= exp ln n! − ln k! − ln (n − k)! mit
k
1
1
1
ln n! ≈ · ln(2 · π) + n +
−1 .
· ln n +
2
2
2
Näherung von de Moivre für n > 36:
2 !
r
k − 12 n
2
n
n
≈
· 2 · exp −
.
1
π·n
k
2n
Näherung von Laplace falls n · p · (1 − p) > 9
n
1
(k − n · p)2
k
n−k
· p · (1 − p)
≈p
· exp −
k
2 · n · p · (1 − p)
2 · π · n · p · (1 − p)
Kumulative Verteilungs-Funktion
k X
n
· pi · (1 − p)n−i .
Fpn (k) :=
i
i=0
Abkürzung
µ := n · p,
q := 1 − p
und
σ :=
√
npq.
Approximation von Summe durch Integral
Z b+ 12
b
X
f (i) ≈
f (t) dt
i=a
a− 12
Gauß’sche Integralfunktion:
2
Z x
1
t
exp −
dt
Φ(x) = √
·
2
2 π −∞
Approximation der Verteilungs-Funktion
!
!
k + 21 − n p
k − np
n
Fp (k) ≈ Φ
≈Φ √
√
npq
npq
3
Maple: Gauß’sche Fehlerfunktion
Z x
2
√
erf(x) :=
·
exp −u2 du.
π 0
Zusammenhang zwischen Integralfunktion und Fehlerfunktion:
x
1
1
Φ(x) =
+ · erf √
2
2
2
Definition 2 (Zufallsgröße)
Sei hΩ, 2Ω , P i Wahrscheinlichkeits-Raum. Dann
X : Ω → R Zufallsgröße
Definition 3 (Erwartungswert) Sei
1. hΩ, 2Ω , P i: Wahrscheinlichkeits-Raum
2. X : Ω → R: Zufallsgröße
Erwartungswert E[X]:
∞
X
X
P (X = xn ) · xn
E[X] :=
P ({ω}) · X(ω) =
ω∈Ω
n=0
falls
X(Ω) = {X(ω) | ω ∈ Ω} = {xn | n ∈ N}
Definition 4 (Varianz, Standard-Abweichung) Sei
1. hΩ, 2Ω , P i Wahrscheinlichkeits-Raum
2. X : Ω → R Zufallsgröße
Varianz Var[X]:
∞
X
Var[X] := E (X − E[X])2 =
P (X = xn ) · (xn − µ)2
n=0
falls µ = E[X].
Standard-Abweichung:
p
σ(X) := Var[X] .
Bedingte Wahrscheinlichkeit
P (B ∩ A)
P (B|A) =
P (A)
P (B ∩ A) = P (B|A) · P (A)
4
Totale Wahrscheinlichkeit: Sei
1. B1 ∪ · · · ∪ Bn = Ω
2. Bi ∩ Bj = ∅ für i 6= j
Zerlegung von Ω. Dann
n
X
P (A) =
P (A|Bi ) · P (Bi )
i=1
Formel von Bayes
P (A|Bk ) · P (Bk )
P (Bk |A) = P
n
P (A|Bi ) · P (Bi )
i=1
Definition 5 Zwei Ereignisse E und F sind unabhängig, falls
P (F ∩ E) = P (E) · P (F ).
Definition 6 (Produkt-Raum)
Gegeben: W1 = hΩ1 , 2Ω1 , P1 i, W2 = hΩ2 , 2Ω2 , P2 i Wahrscheinlichkeits-Räume
Setze:
W1 × W2 := hΩ1 × Ω2 , 2Ω1 ×Ω2 , P i, mit
P {hx, yi} := P1 ({x}) · P2 ({y})
Allgemein
X
P (E) =
P {ω}
für alle x ∈ Ω1 und alle y ∈ Ω2 .
ω∈E
Definition 7 Gegeben :
1. hΩ, 2Ω , P i = W1 × W2 = hΩ1 , 2Ω1 , P1 i × hΩ2 , 2Ω2 , P2 i Produkt-Raum
2. E ∈ 2Ω
Dann:
1. E durch erste Komponente bestimmt g.d.w.
b ∈ 2Ω1 : E = hx, yi x ∈ E
b ∧ y ∈ Ω2
∃E
2. E durch zweite Komponente bestimmt g.d.w.
b
b ∈ 2Ω2 : E = hx, yi x ∈ Ω1 ∧ y ∈ E
∃E
Satz 8 Gegeben:
1. W = hΩ1 , 2Ω1 , P1 i × hΩ2 , 2Ω2 , P2 i Produkt-Raum
2. E und F Ereignisse
E durch erste Komponente bestimmt
F durch zweite Komponente bestimmt
Behauptung: E und F sind unabhängig.
5
Definition 9 (Unabhängige Zufallsgrößen) Es sei
1. hΩ, 2Ω , P i Wahrscheinlichkeits-Raum,
2. X : Ω → R und Y : Ω → R Zufallsgrößen.
Dann: X und Y unabhängig gdw.
∀x, y ∈ R gilt ω ∈ Ω X(ω) = x
und
ω ∈ Ω Y (ω) = y unabhängig.
Äquivalente Formulierung: Für alle x, y ∈ R gilt
P ω ∈ ΩX(ω) = x ∩ ω ∈ ΩY (ω) = y = P ω ∈ ΩX(ω) = x · P ω ∈ ΩY (ω) = y
Kürzere Schreibweise:
P (X = x ∧ Y = y) = P (X = x) · P (Y = y).
Definition 10 Gegeben:
1. W1 = hΩ1 , 2Ω1 , P1 i, W2 = hΩ2 , 2Ω2 , P2 i Wahrscheinlichkeits-Räume.
2. W = W1 × W2 = hΩ, 2Ω , P i Produkt-Raum.
3. X : Ω → R Zufallsgröße.
Behauptung:
1. X durch erste Komponente bestimmt g.d.w.
∀ω1 ∈ Ω1 : ∀ω2 , ω3 ∈ Ω2 : X hω1 , ω2 i = X hω1 , ω3 i
2. X durch zweite Komponente bestimmt g.d.w.
∀ω2 ∈ Ω2 : ∀ω1 , ω3 ∈ Ω1 : X hω1 , ω2 i = X hω3 , ω2 i .
Satz 11 Gegeben:
1. W1 = hΩ1 , 2Ω1 , P1 i, W2 = hΩ2 , 2Ω2 , P2 i Wahrscheinlichkeits-Räume.
2. W = W1 × W2 = hΩ, 2Ω , P i Produkt-Raum.
3. X1 : Ω → R, X2 : Ω → R Zufallsgrößen,
4. X1 durch erste Komponente bestimmt,
5. X2 durch zweite Komponente bestimmt.
Behauptung: X1 und X2 unabhängig.
Satz 12 Gegeben:
1. hΩ, 2Ω , P i Wahrscheinlichkeits-Raum,
2. X : Ω → R und Y : Ω → R unabhängige Zufallsgrößen,
3. A, B ⊆ R.
Behauptung:
ω ∈ Ω X(ω) ∈ A
und
ω ∈ Ω Y (ω) ∈ B
unabhängig, also
P (X ∈ A ∧ Y ∈ B) = P (X ∈ A) · P (Y ∈ B).
6
Satz 13 Gegeben:
1. hΩ, 2Ω , P i Wahrscheinlichkeits-Raum
2. X : Ω → R, Y : Ω → R Zufallsgrößen,
3. α, β ∈ R
4. Z : Ω → R definiert durch
Z(ω) = α · X(ω) + β · Y (ω)
Behauptung:
E Z =α·E X +β·E Y .
Satz 14 (Verschiebungs-Satz) Gegeben:
1. hΩ, 2Ω , P i Wahrscheinlichkeits-Raum,
2. X : Ω → R Zufallsgröße,
3. α, β ∈ R,
4. Z : Ω → R definiert durch
Z(ω) = α · X(ω) + β
Behauptung:
Var Z = α2 · Var X .
Lemma 15 Gegeben:
1. hΩ, 2Ω , P i Wahrscheinlichkeits-Raum
2. X : Ω → R, Y : Ω → R unabhängige Zufallsgrößen.
Behauptung:
E[X · Y = E X · E Y .
Satz 16 Gegeben:
1. hΩ, 2Ω , P i Wahrscheinlichkeits-Raum
2. X : Ω → R und Y : Ω → R unabhängige Zufallsgrößen.
Behauptung:
Var X + Y = Var X + Var Y .
7
√
Satz 17 ( n-Gesetz) Gegeben:
1. W = hΩ, 2Ω , P i Wahrscheinlichkeits-Raum
2. X : Ω → R Zufallsgröße
3. W n = W × · · · × W n-faches kartesisches Produkt von W
|
{z
}
n
n
4. Xi : Ω → R definiert durch
Xi hω1 , · · · , ωn i : X(ωi )
5. X : Ωn → R definiert durch
n
1 X
X(ω) := ·
Xi (ω)
n
k=1
Behauptung:
h i
1. E X = E[X]
h i
1
2. Var X = · Var[X]
n
h i
1
3. σ X = √ · σ[X]
n
Satz 18 (Ungleichung von Tschebyschow) Es sei
1. hΩ, 2Ω , P i Wahrscheinlichkeits-Raum,
2. X : Ω → R Zufallsgröße mit µ = E[X] und σ 2 = Var[X].
Beh.:
1
∀r ∈ R : r > 0 → P |X − µ| ≥ r · σ ≤ 2 .
r
Satz 19 (Schwaches Gesetz der großen Zahlen) Es sei
1. W = hΩ, 2Ω , P i Wahrscheinlichkeits-Raum,
2. X : Ω → R Zufallsgröße auf W mit µ = E[X] und σ :=
3. W n = W × · · · × W n-faches kartesisches Produkt,
|
{z
}
n
n
4. Xi : Ω → R für i = 1, · · · , n definiert durch
Xi hω1 , · · · , ωn i := X(ωi )
5. X : Ωn → R definiert durch
n
1 X
X(ω) := ·
Xi (ω)
n i=1
Beh.: ∀ε ∈ R : ε > 0 → lim P |X − µ| ≥ ε) = 0.
n→∞
8
p
Var[X] ,
Lemma 20 (Pascal’sche Regel) Sei
n+1
n
n
Beh.:
=
+
.
k
k−1
k
n
n!
:=
k
k! · (n − k)!
s(n, k): Zahl der Wege von h0, 0i nach hk, n − ki.
n
s(n, k) =
k
Definition 21 (Bernoulli-Experiment)
1. WB = {0, 1}, 2{0,1} , P
2. p := P {1}
Parameter des Bernoulli-Experiments.
n
3. Bernoulli-Kette: W = WB
4. Xi : {0, 1} → R
definiert als
Xi (ω) := ω,
5. E[Xi ] = p
6. Var[Xi ] = p · q
n
7. X : {0, 1} → R
definiert als
n
X
X [ω1 , · · · , ωn ] =
Xi (ωi ).
i=1
8. E[X] = n · p.
9. Var[X] = n · p · (1 − p).
Definition 22 (Poisson-Verteilung) Näherung für B(n, p; k) für n → ∞, p → 0
1. λ := n · p
also p =
λ
2. lim B n, ; k
n→∞
n
=
λ
n
λk −λ
·e
k!
Satz 23 Die Summe Poisson-verteilter Zufallsgrößen ist Poisson-verteilt.
λk
λk
Vor.: P (X1 = k) = 1 · e−λ1 , P (X2 = k) = 2 · e−λ2
k!
k!
(λ1 + λ2 )k −(λ1 +λ2 )
·e
Beh.: P (X1 + X2 = k) =
k!
9