Formelsammlung DWT - Benestar in Space

Formelsammlung DWT
Benedikt Seidl
Sommersemester 2017
12. August 2017
Inhaltsverzeichnis
1 Diskrete Wahrscheinlichkeitsräume
3
1.1
Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
1.2
Bedingte Wahrscheinlichkeiten . . . . . . . . . . . . . . . . . .
5
1.3
Unabhängigkeit . . . . . . . . . . . . . . . . . . . . . . . . . .
6
1.4
Zufallsvariablen . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.5
Wichtige diskrete Verteilungen . . . . . . . . . . . . . . . . . . 11
1.6
Abschätzen von Wahrscheinlichkeiten . . . . . . . . . . . . . . 12
1.7
Erzeugende Funktionen . . . . . . . . . . . . . . . . . . . . . . 14
2 Kontinuierliche Wahrscheinlichkeitsräume
16
2.1
Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2
Wichtige stetige Verteilungen . . . . . . . . . . . . . . . . . . 19
2.3
Mehrere kontinuierliche Zufallsvariablen
2.4
Zentraler Grenzwertsatz . . . . . . . . . . . . . . . . . . . . . 22
3 Statistik
. . . . . . . . . . . . 20
24
1
3.1
Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2
Schätzvariablen . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3
Konfidenzintervalle . . . . . . . . . . . . . . . . . . . . . . . . 25
3.4
Testen von Hypothesen . . . . . . . . . . . . . . . . . . . . . . 26
4 Stochastische Prozesse
28
4.1
Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.2
Prozesse mit diskreter Zeit . . . . . . . . . . . . . . . . . . . . 28
5 Liste der Theoreme
32
2
Kapitel 1
Diskrete
Wahrscheinlichkeitsräume
1.1
Grundlagen
Definition 1.1 (Wahrscheinlichkeitsraum)
1. Diskreter Wahrscheinlichkeitsraum definiert durch Ereignismenge Ω
Ω := {ω1 , ω2 , . . .}
2. (Elementar-)Wahrscheinlichkeit Pr[ωi ] ∈ [0, 1]
3. Ereignis E ⊆ Ω mit Wahrscheinlichkeit Pr[E]
Pr[E] :=
X
Pr[ω]
ω∈E
Ē heißt komplementäres Ereignis zu E.
Auf Ereignisse können die bekannten Mengenoperationen angewandt werden.
3
Definition 1.4 (Relative Häufigkeit)
absolute Häufigkeit von E
Anzahl aller Beobachtungen
Anzahl Eintreten von E
=
Anzahl aller Beobachtungen
relative Häufigkeit von E :=
Definition 1.5 (Endlicher Wahrscheinlichkeitsraum)
Ω = {ω1 , . . . , ωn } heißt endlicher Wahrscheinlichkeitsraum.
Bei unendlichen Wahrscheinlichkeitsräumen wird im Allgemeinen nur Ω = N0
betrachtet.
Lemma 1.8 (Eigenschaften von Ereignissen und Additionssatz)
Ereignisse A und B
1. Pr[∅] = 0, Pr[Ω] = 1
2. Pr[A] ∈ [0, 1]
3. Pr[Ā] = 1 − Pr[A]
4. A ⊆ B ⇒ Pr[A] ≤ Pr[B]
5. Ereignisse A1 , . . . , An paarweise disjunkt
"
Pr
n
[
#
Ai =
n
X
i=1
Pr[Ai ]
i=1
Der Additionssatz gilt auch für unendliche Ereignismengen (n = ∞).
Satz 1.9 (Siebformel)
Ereignisse A1 , . . . , An
"
Pr
n
[
#
Ai =
i=1
n
X
i=1
+ (−1)l−1
+
X
Pr[Ai ] −
Pr[Ai1 ∩ Ai2 ] ± . . .
1≤i1 <i2 ≤n
X
Pr[Ai1 ∩ . . . ∩ Ail ] ± . . .
1≤i1 <...<il ≤n
n−1
(−1)
Pr[A1 ∩ . . .
∩ An ]
Die Siebformel ist auch bekannt als Satz von Poincaré-Sylvester.
4
Korollar 1.10 (Boolesche Ungleichung)
Ereignisse A1 , . . . , An
"
Pr
n
[
#
Ai ≤
i=1
n
X
Pr[Ai ]
i=1
Die Boolesche Ungleichung gilt auch für unendliche Ereignismengen (n = ∞).
1.2
Bedingte Wahrscheinlichkeiten
Definition 1.12 (Bedingte Wahrscheinlichkeit)
Ereignisse A und B mit Pr[B] > 0
Pr[A|B] :=
Pr[A ∩ B]
Pr[B]
Falls B ⊆ Ω und Pr[B] > 0, dann bilden die Wahrscheinlichkeiten Pr[·|B]
einen Wahrscheinlichkeitsraum über Ω.
Satz 1.16 (Multiplikationssatz)
Ereignisse A1 , . . . , An mit Pr[A1 ∩ . . . ∩ An ] > 0
Pr[A1 ∩. . .∩An ] = Pr[A1 ]·Pr[A2 |A1 ]·Pr[A3 |A1 ∩A2 ]·. . .·Pr[An |A1 ∩. . .∩An−1 ]
Satz 1.18 (Satz der totalen Wahrscheinlichkeit)
Ereignisse A1 , . . . , An paarweise disjunkt, B ⊆ A1 ∪ . . . ∪ An
Pr[B] =
n
X
Pr[B|Ai ] · Pr[Ai ]
i=1
Der Satz der totalen Wahrscheinlichkeit gilt auch für unendliche Ereignismengen (n = ∞).
5
Satz 1.19 (Satz von Bayes)
Ereignisse A1 , . . . , An paarweise disjunkt mit Pr[Ai ] > 0, B ⊆ A1 ∪ . . . ∪ An
mit Pr[B] > 0
Pr[Ai |B] =
Pr[B|Ai ] · Pr[Ai ]
Pr[Ai ∩ B]
= Pn
Pr[B]
j=1 Pr[B|Aj ] · Pr[Aj ]
Der Satz von Bayes gilt auch für unendliche Ereignismengen (n = ∞).
1.3
Unabhängigkeit
Definition 1.21 (Unabhängigkeit zweier Ereignisse)
Ereignisse A und B heißen unabhängig, wenn gilt
Pr[A ∩ B] = Pr[A] · Pr[B]
Falls Pr[B] > 0 gilt außerdem
Pr[A] =
Pr[A ∩ B]
= Pr[A|B]
Pr[B]
Definition 1.22 (Unabhängigkeit von Ereignismengen)
Ereignisse A1 , . . . , An heißen unabhängig, wenn für alle Teilmengen I = {i1 , . . . , ik } ⊆
[n] gilt
Pr[Ai1 ∩ . . . ∩ Aik ] = Pr[Ai1 ] · . . . · Pr[Aik ]
Lemma 1.23
Ereignisse A1 , . . . , An paarweise verschieden
A1 , . . . , An genau dann unabhängig, wenn für alle (s1 , . . . , sn ) ∈ {0, 1}n gilt
Pr[As11 ∩ . . . ∩ Asnn ] = Pr[As11 ] · . . . · Pr[Asnn ]
6
mit A0i = Āi und A1i = Ai .
Lemma 1.24
Ereignisse A, B und C unabhängig
Dann sind auch A ∩ B und C bzw. A ∪ B und C unabhängig.
1.4
Zufallsvariablen
Definition 1.25
Wahrscheinlichkeitsraum auf Ergebnismenge Ω
X : Ω → R heißt (numerische) Zufallsvariable
Eine Zufallsvariable X über einer endlichen oder abzählbar unendlichen Ergebnismenge Ω heißt diskret und hat den Wertebereich WX
WX := X(Ω) = {x ∈ R : ∃ω ∈ Ω.X(ω) = x}
Anstelle von Pr[X −1 (x)] schreibt man oft Pr[X = x]. Außerdem gilt Pr[X ≤
x] = Pr[{ω ∈ Ω : X(ω) ≤ x}].
Definition 1.27
• (diskrete) Dichtefunktion der Zufallsvariablen X
fX : R → [0, 1], x 7→ Pr[X = x]
• Verteilungsfunktion der Zufallsvariablen X
FX : R → [0, 1], x 7→ Pr[X ≤ x]
Definition 1.29 (Erwartungswert)
Zu einer Zufallsvariable X ist der Erwartungswert E[X] definiert durch
E[X] :=
X
x · Pr[X = x] =
x∈WX
X
ω∈Ω
7
X(ω) · Pr[ω]
falls
P
x∈WX
|x| · Pr[X = x] konvergiert.
Satz 1.32 (Monotonie des Erwartungswerts)
Zufallsvariablen X und Y über Wahrscheinlichkeitsraum Ω mit X(ω) ≤ Y (ω)
für alle ω ∈ Ω
Dann gilt E[X] ≤ E[Y ].
Satz 1.33 (Linearität des Erwartungswerts)
Zufallsvariable X, a, b ∈ R
E[a · X + b] = a · E[X] + b
Satz 1.34
Zufallsvariable X mit WX ⊆ N0
E[X] =
∞
X
Pr[X ≥ i]
i=1
Definition 1.35 (Bedingte Zufallsvariable)
Zufallsvariable X, Ereignis A mit Pr[A] > 0
Die bedingte Zufallsvariable X|A besitzt die Dichte
fX|A (x) := Pr[X = x|A] =
Pr[X −1 (x) ∩ A]
Pr[A]
Der Erwartungswert E[X|A] ist dann
E[X|A] =
X
x · Pr[X = x|A]
x∈WX
Satz 1.36 (Satz des totalen Erwartungswerts)
Zufallsvariable X, Ereignisse Ai , . . . , An paarweise disjunkt mit A1 ∪ . . . ∪
An = Ω und Pr[Ai ] > 0
E[X] =
n
X
E[X|Ai ] · Pr[Ai ]
i=1
8
Definition 1.38 (Varianz)
Zu einer Zufallsvariable X mit µ = E[X] ist die Varianz Var[X] definiert
durch
X
Var[X] := E[(X − µ)2 ] =
(x − µ)2 · Pr[X = x]
x∈WX
Die Größe σ :=
p
Var[X] heißt Standardabweichung von X.
Satz 1.39
Zufallsvariable X
Var[X] = E[X 2 ] − E[X]2
Satz 1.41
Zufallsvariable X, a, b ∈ R
Var[a · X + b] = a2 · Var[X]
Definition 1.42 (Momente)
Zu einer Zufallsvariable X heißt E[X k ] das k-te Moment und E[(X − E[X])k ]
das k-te zentrale Moment.
Definition 1.44 (Gemeinsame Dichte und Verteilung)
Die gemeinsame Dichte der Zufallsvariablen X und Y ist definiert durch
fX,Y (x, y) := Pr[X = x, Y = y] = Pr[X −1 (x) ∩ Y −1 (y)]
Die Funktionen fX und fY heißen Randdichten
fX (x) =
X
fX,Y (x, y) bzw. fY (y) =
x∈WY
X
fX,Y (x, y)
x∈WX
Die gemeinsame Verteilung von X und Y ist definiert durch
FX,Y := Pr[X ≤ x, Y ≤ y] = Pr[{ω ∈ Ω : X(ω) ≤ x ∧ Y (ω) ≤ y}]
9
Die Funktionen FX und FY heißen Randverteilungen
FX (x) =
X
fX (x0 ) bzw. FY (y) =
x0 ≤x
X
fY (y 0 )
y 0 ≤y
Definition 1.45 (Unabhängigkeit von Zufallsvariablen)
Zufallsvariablen X1 , . . . , Xn heißen unabhängig, wenn für alle (x1 , . . . , xn ) ∈
WX1 × . . . × WXn gilt
Pr[X1 = x1 , . . . , Xn = xn ] = Pr[X1 = x1 ] · . . . · Pr[Xn = xn ]
Satz 1.46
Zufallsvariablen X1 , . . . , Xn , Mengen S1 , . . . , Sn mit Si ⊆ WXi
Dann sind die Ereignisse Xi ∈ Si“ unabhängig.
”
Satz 1.47
Funktionen f1 , . . . , fn mit fi : R → R
Wenn die Zufallsvariablen X1 , . . . , Xn unabhängig sind, dann gilt dies auch
für f1 (X1 ), . . . , fn (Xn ).
Satz 1.49
Zufallsvariablen X und Y unabhängig, Z := X + Y
fZ (z) =
X
fX (x) · fY (z − x)
x∈Wx
Satz 1.50 (Linearität des Erwartungswerts)
Zufallsvariablen X1 , . . . , Xn und X := a1 X1 + . . . + an Xn mit a1 , . . . , an ∈ R
E[X] = a1 E[X1 ] + . . . + an E[Xn ]
Satz 1.52 (Multiplikativität des Erwartungswerts)
Zufallsvariablen X1 , . . . , Xn unabhängig
E[X1 · . . . · Xn ] = E[X1 ] · . . . · E[Xn ]
10
Definition 1.53 (Indikatorvariable)
Zu einem Ereignis A ist die Indikatorvariable IA definiert als
(
1 falls A eintritt
IA :=
0 sonst
Dabei gilt E[IA ] = Pr[A] und E[IA1 · . . . · IAn ] = Pr[A1 ∩ . . . ∩ An ]
Satz 1.54
Zufallsvariablen X1 , . . . , Xn unabhängig und X := X1 + . . . + Xn
Var[X] = Var[X1 ] + . . . + Var[Xn ]
1.5
Wichtige diskrete Verteilungen
Definition 1.55 (Bernoulli-Verteilung)
Indikatorvariable X mit WX = {0, 1} und Dichte
(
p
fX (x) =
1−p
für x = 1
für x = 0
heißt Bernoulli-verteilt mit Erfolgswahrscheinlichkeit p. Dabei gilt
E[X] = p und Var[X] = p(1 − p)
Definition 1.55 (Binomialverteilung)
Zufallsvariable X := X1 +. . .+Xn als Summe von n unabhängigen, Bernoulliverteilten Zufallsvariablen mit gleicher Erfolgswahrscheinlichkeit p. Dann
heißt X binomialverteilt mit Parametern n und p
X ∼ Bin(n, p)
Es gilt WX = {0, . . . , n} und die Dichte ist
11
n x
b(x; n, p) := fX (x) =
p (1 − p)n−x
x
Ferner gilt
E[X] = np und Var[X] = np(1 − p)
Satz 1.56
Wenn X ∼ Bin(nx , p) und Y ∼ Bin(ny , p) unabhängig sind, dann gilt für
Z := X + Y , dass Z ∼ Bin(nx + ny , p).
Definition 1.57 (Geometrische Verteilung)
Eine geometrisch verteilte Zufallsvariable X mit Erfolgswahrscheinlichkeit
p ∈ (0, 1] hat die Dichte
fX (i) = p(1 − p)i−1 für i ∈ N
Dabei gilt
E[X] =
1−p
1
und Var[X] =
p
p2
Zufallsvariablen, die geometrisch verteilt sind, nennt man auch gedächtnislos.
Satz 1.59 (Summe von Poisson-verteilten Zufallsvariablen)
Zufallsvariablen X und Y unabhängig mit X ∼ Po(λ) und Y ∼ Po(µ)
Z := X + Y ∼ Po(λ + µ)
1.6
Abschätzen von Wahrscheinlichkeiten
Satz 1.60 (Markov-Ungleichung)
Zufallsvariable X ≥ 0, t ∈ R mit t > 0
12
Pr[X ≥ t] ≤
E[X]
t
Äquivalent dazu
Pr[X ≥ t · E[X]] ≤
1
t
Satz 1.62 (Chebyshev-Ungleichung)
Zufallsvariable X, t ∈ R mit t > 0
Pr[|X − E[X]| ≥ t] ≤
Var[X]
t2
Äquivalent dazu
h
i
p
1
Pr |X − E[X]| ≥ t Var[X] ≤ 2
t
Satz 1.63 (Gesetz der großen Zahlen)
Zufallsvariable X, ε, δ > 0, n ≥ Var[X]
εδ 2
Zufallsvariablen X1 , . . . , Xn unabhängig mit gleicher Verteilung wie X, Z :=
X1 +...+Xn
n
Pr [|Z − E[X]| ≥ δ] ≤ ε
Satz 1.64 (Untere Chernoff-Schranke)
Unabhängige, Bernoulli-verteilte Zufallsvariablen X1 , . . . , Xn mit Pr[Xi =
1] = pi und Pr[Xi = 0] = 1 − pi
X :=
Pn
i=1
Xi und µ = E[X] =
Pn
i=1
pi , sowie δ > 0
Pr[X ≥ (1 + δ) · µ] ≤
13
eδ
(1 + δ)1+δ
µ
Satz 1.66 (Obere Chernoff-Schranke)
Unabhängige, Bernoulli-verteilte Zufallsvariablen X1 , . . . , Xn mit Pr[Xi =
1] = pi und Pr[Xi = 0] = 1 − pi
X :=
Pn
i=1
Xi und µ = E[X] =
Pn
i=1
pi , sowie 0 < δ < 1
Pr[X ≤ (1 − δ) · µ] ≤
e−δ
(1 − δ)1−δ
µ
Korollar 1.68
Unabhängige, Bernoulli-verteilte Zufallsvariablen X1 , . . . , Xn mit Pr[Xi =
1] = pi und Pr[Xi = 0] = 1 − pi
X :=
Pn
i=1
Xi und µ = E[X] =
1. Pr[X ≥ (1 + δ) · µ] ≤ e
Pn
i=1
−µδ 2/
3
2. Pr[X ≤ (1 − δ) · µ] ≤ e
−µδ 2/
2
−µδ 2/
3
3. Pr[|X − µ| ≥ δµ] ≤ 2e
4. Pr[X ≥ (1 + δ) · µ] ≤
pi
für alle 0 < δ ≤ 1
für alle 0 < δ ≤ 1
für alle 0 < δ ≤ 1
(1+δ)·µ
e
1+δ
5. Pr[X ≥ t] ≤ 2−t für t ≥ 2eµ
1.7
Erzeugende Funktionen
Definition 1.70 (Wahrscheinlichkeitserzeugende Funktion)
Zufallsvariable X mit WX ⊆ N0
Wahrscheinlichkeitserzeugende Funktion GX definiert durch
GX (s) :=
∞
X
Pr[X = k] · sk = E[sX ]
k=0
Satz 1.71 (Eindeutigkeit der wahrscheinlichkeitserzeugenden Funktion)
Die Dichte und Verteilung einer Zufallsvariablen X mit WX ⊆ N0 sind durch
ihre wahrscheinlichkeitserzeugenden Funktionen eindeutig bestimmt.
14
Definition 1.74 (Momenterzeugende Funktion)
Zufallsvariable X
Momenterzeugende Funktion MX definiert durch
Xs
MX (s) := E[e
]=
∞
X
E[X i ]
i=0
i!
· si
Falls WX ⊆ N0
MX (s) = E[eXs ] = E[(es )X ] = GX (es )
Satz 1.75 (Erzeugende Funktion einer Summe)
Zufallsvariablen X1 , . . . , Xn unabhängig, Z := X1 + . . . + Xn
GZ (s) = GX1 (s) · . . . · GXn (s)
Ebenso gilt
MZ (s) = MX1 (s) · . . . · MXn (s)
Satz 1.77 (Zufällige Summen)
Zufallsvariablen X1 , . . . , XN unabhängig und identisch verteilt mit wahrscheinlichkeitserzeugender Funktion GX (s)
N ist ebenfalls eine unabhängige Zufallsvariable mit wahrscheinlichkeitserzeugender Funktion GN (s)
Dann besitzt Z := X1 +. . .+XN die wahrscheinlichkeitserzeugende Funktion
GZ (s) = GN (GX (s)).
15
Kapitel 2
Kontinuierliche
Wahrscheinlichkeitsräume
2.1
Einführung
Definition 2.79 (Kontinuierliche Zufallsvariablen)
Kontinuierliche bzw. stetige Zufallsvariable X und ihr zugrunde liegender
kontinuierlicher (reeller) Wahrscheinlichkeitsraum sind definiert durch eine
integrierbare Dichtefunktion fX : R → R+
0
Z+∞
fX (x) dx = 1
−∞
Zu jeder Dichtefunktion fX gehört eine Verteilungsfunktion FX
Zx
FX (x) := Pr[X ≤ x] =
fX (t) dt
−∞
Die Eigenschaften der Verteilungsfunktion sind
16
• FX ist stetig und monoton steigend
• lim FX (x) = 0 und lim FX (x) = 1
x→−∞
x→∞
• Pr[a < X ≤ b] = FX (b) − FX (a)
S
Eine Menge A ⊆ R mit A = k Ik und Ik abzählbar viele disjunkte Intervalle
beliebiger Art heißt Ereignis. Ein Ereignis tritt an, wenn X einen Wert aus
A annimmt.
Z
fX (x) dx =
Pr[A] =
XZ
A
k
fX (x) dx
Ik
Definition 2.82 (σ-Algebra)
Menge Ω, Menge A ⊆ P(Ω) heißt σ-Algebra über Ω, wenn
E1 Ω ∈ A
E2 A ∈ A ⇒ Ā ∈ A
E3 (∀n ∈ N : An ∈ A) ⇒
∞
S
An ∈ A
n=1
Definition 2.83 (Wahrscheinlichkeitsraum, Kolmogrov-Axiome)
Menge Ω, Menge A ist σ-Algebra über Ω
Abbildung Pr[.] : A → [0, 1] heißt Wahrscheinlichkeitsmaß, wenn
W1 Pr[Ω] = 1
W2 Ereignisse A1 , A2 , . . . paarweise disjunkt
Pr
"∞
[
#
Ai =
i=1
∞
X
Pr[Ai ]
i=1
Für ein Ereignis A ∈ A heißt Pr[A] Wahrscheinlichkeit von A.
Ein Wahrscheinlichkeitsraum ist definiert durch das Tupel (Ω, A, Pr).
17
Lemma 2.84
• Pr[∅] = 0, Pr[Ω] = 1
• 0 ≤ Pr[A] ≤ 1
• Pr[Ā] = 1 − Pr[A]
• A ⊆ B ⇒ Pr[A] ≤ Pr[B]
• (Additionssatz) Ereignisse A1 , . . . , An paarweise disjunkt
"
Pr
n
[
#
Ai =
n
X
i=1
Pr[Ai ]
i=1
Der Additionssatz gilt auch für unendliche Ereignismengen (n = ∞).
Definition 2.88 (Erwartungswert und Varianz)
Kontinuierliche Zufallsvariable X
Z+∞
E[X] =
t · fX (t) dt
−∞
Falls
R +∞
−∞
|t| · fX (t) dt existiert
Var[X] = E (X − E[X])2 =
Z+∞
(t − E[X])2 · fX (t) dt
−∞
Falls E [(X − E[X])2 ] existiert
Lemma 2.89
Kontinuierliche Zufallsvariable X, Y := g(X)
Z+∞
E[Y ] =
g(t) · fX (t) dt
−∞
18
2.2
Wichtige stetige Verteilungen
Definition 2.91 (Normalverteilung)
Zufallsvariable X mit WX = R heißt normalverteilt mit Parametern µ ∈ R
und σ ∈ R+ , falls sie die Dichte ϕ(x; µ, σ) besitzt.
1
(x − µ)2
ϕ(x; µ, σ) = √ · exp −
2σ 2
σ 2π
Man schreibt auch X ∼ N (µ, σ 2 )
N (0, 1) heißt Standardnormalverteilung und die Dichte wird abgekürzt als
ϕ(x) := ϕ(x; 0, 1).
Die Verteilungsfunktion zu N (µ, σ 2 ) ist
1
Φ(x; µ, σ) := √ ·
σ 2π
Zx
(t − µ)2
exp −
dt
2σ 2
−∞
Diese Funktion heißt Gauß’sche Φ-Funktion und hat keine elementare Darstellung.
Satz 2.93 (Lineare Transformation der Normalverteilung)
Zufallsvariable X ∼ N (µ, σ 2 ), a ∈ R\{0}, b ∈ R
Dann ist Y := aX + b normalverteilt mit Y ∼ N (aµ + b, a2 σ 2 ).
Satz 2.95
Zufallsvariable X ∼ N (µ, σ 2 ). Dann gilt E[X] = µ und Var[X] = σ 2 .
Definition 2.96 (Exponentialverteilung)
Zufallsvariable X heißt exponentialverteilt mit Parameter λ > 0, falls sie die
Dichte f (x) besitzt.
(
λe−λx
f (x) =
0
19
falls x ≥ 0
sonst
Die entsprechende Verteilungsfunktion für x ≥ 0 ist
Zx
F (x) =
λe−λt dt = 1 − e−λx
0
Für x < 0 gilt F (x) = 0.
Außerdem gilt E[X] =
1
λ
und Var[X] =
1
.
λ2
Satz 2.97 (Skalierung exponentialverteilter Variablen)
Zufallsvariable X exponentialverteilt mit Parameter λ. Für a > 0 ist Y := aX
exponentialverteilt mit Parameter λa .
Satz 2.98 (Gedächtnislosigkeit)
Zufallsvariable X mit WX = R+ ist genau dann exponentialverteilt, wenn
für alle x, y > 0 gilt
Pr[X > x + y|X > y] = Pr[X > x]
2.3
Mehrere kontinuierliche Zufallsvariablen
Für kontinuierliche Zufallsvariablen X und Y wird der gemeinsame Wahrscheinlichkeitsraum durch die zugrunde liegende gemeinsame Dichtefunktion
fX,Y definiert mit
Z
∞
Z
∞
fX,Y (x, y) dx dy = 1
−∞
−∞
Für ein Ereignis A ⊆ R2 gilt
Z
Pr[A] =
fX,Y (x, y) dx dy
A
Definition 2.100 (Randverteilung und Randdichte)
Kontinuierliche Zufallsvariablen X und Y mit gemeinsamer Dichte fX,Y
20
Die Randverteilung der Variablen X ist gegeben durch
Z
x
Z
∞
FX (x) = Pr[X ≤ x] =
fX,Y (u, v) dv du
−∞
−∞
Analog ist die Randdichte von X
Z
∞
fX (x) =
fX,Y (x, v) dv
−∞
Entsprechende Definitionen gelten symmetrisch für Y .
Definition 2.101 (Unabhängigkeit)
Kontinuierliche Zufallsvariablen X und Y heißen unabhängig, wenn für alle
x, y ∈ R gilt:
Pr[X ≤ x, Y ≤ y] = Pr[X ≤ x] · Pr[Y ≤ y]
Äquivalent dazu
FX,Y (x, y) = FX (x) · FY (y)
und
fX,Y (x, y) = fX (x) · fY (y)
Für mehr als zwei Zufallsvariablen gelten die Definitionen analog.
Satz 2.102
Minimum exponentialverteilter Zufallsvariablen
Zufallsvariablen X1 , . . . , Xn unabhängig und exponentialverteilt mit Parametern λ1 , . . . , λn .
Dann ist auch X := min{X1 , . . . , Xn } exponentialverteilt mit Parameter
λ1 + . . . + λn .
21
Satz 2.103 (Poisson-Prozess)
Zufallsvariablen T1 , T2 , . . . unabhängig, X(t) := max{n ∈ N : T1 + . . . + Tn ≤
t}
Dann ist X(t) genau dann Poisson-verteilt mit Parameter tλ, wenn T1 , T2 , . . .
exponentialverteilt sind mit Parameter λ.
Satz 2.105 (Faltung)
Kontinuierliche Zufallsvariablen X und Y unabhängig.
Für Z := X + Y gilt
Z
∞
fX (x) · fY (z − x) dx
fZ (z) =
−∞
Satz 2.106 (Additivität der Normalverteilung)
Zufallsvariablen X1 , . . . , Xn unabhängig und normalverteilt mit Parametern
µi , σi , a1 , . . . , an ∈ R
Die Zufallsvariable Z := a1 X1 + . . . + an Xn ist normalverteilt mit Erwartungswert µ = a1 µ1 + . . . + an µn und Varianz σ 2 = a21 σ12 + . . . + a2n σn2 .
2.4
Zentraler Grenzwertsatz
Satz 2.108 (Zentraler Grenzwertsatz)
Zufallsvariablen X1 , . . . , Xn unabhängig mit gleicher Verteilung, Erwartunsgswert und Varianz von Xi existieren und sind µ bzw. σ 2 (σ 2 > 0), Zufallsvariable Yn := X1 + . . . + Xn
Die Zufallsvariablen
Zn :=
Yn − nµ
√
σ n
sind asymptotisch standardnormalverteilt, also Zn ∼ N (0, 1) für n → ∞.
Es gilt lim FZn (x) = Φ(x).
n→∞
22
Korollar 2.109 (Grenzwertsatz von de Moivre)
Zufallsvariablen X1 , . . . , Xn unabhängig Bernoulli-verteilt mit gleicher Erfolgswahrscheinlichkeit p, Zufallsvairalbe Hn := X1 + . . . + Xn
Dann gilt, dass die Verteilung der Zufallsvariablen
Hn − np
Hn∗ := p
np(1 − p)
für n → ∞ gegen die Standardnormalverteilung konvergiert.
Korollar 2.110
Zufallsvariable Hn ∼ Bin(n, p)
Die Verteilung von
/n konvergiert gegen N (p, p(1−p)/n ) für n → ∞.
Hn
Approximationen für die Binomialverteilung
1. Approximation durch die Poisson-Verteilung
2. Approximation durch die Chernoff-Schranken
3. Approximation durch die Normalverteilung
23
Kapitel 3
Statistik
3.1
Einführung
1. induktive Statistik : Messwerte =⇒ Gesetze
2. deskriptive Statistik : Aufbereitung und Analyse von Daten
3.2
Schätzvariablen
Definition 3.112 (Schätzvariable)
Zufallsvariable X mit Dichte f (x; ϑ)
Eine Schätzvariable oder kurz Schätzer für den Parameter ϑ der Dichte von X
ist eine Zufallsvariable, die aus mehreren (meist unabhängigen und identisch
verteilten) Stichprobenvariablen zusammengesetzt ist.
Ein Schätzer U heißt erwartungstreu, wenn E[U ] = ϑ gilt. Die Größe E[U −ϑ]
nennt man Bias der Schätzvariablen U .
Definition 3.113 (Mittlere quadratische Abweichung (MSE))
Schätzvariable U
Die mittlere quadratische Abweichung, kurz MSE für Mean Squared Error,
ist definiert durch
24
M SE := E[(U − ϑ)2 ]
Wenn U erwartungstreu ist, so folgt M SE = Var[U ].
Wenn die Schätzvariable A einen kleineren MSE besitzt als die Schätzvariable
B, so sagt man, dass a effizienter ist als B.
Eine Schätzvariable heißt konsistent im quadratischen Mittel, wenn M SE →
0 für n → ∞ gilt, wobei n den Umfang der Stichprobe beschreibt.
Definition 3.114 (Stichprobenmittel und Stichprobenvarianz)
Die Zufallsvariablen
n
X̄ :=
n
1 X
1X
Xi und S 2 :=
(Xi − X̄)2
n i=1
n − 1 i=1
heißen Stichprobenmittel und Stichprobenvarianz der Stichprobe X1 , . . . , Xn .
X̄ und S 2 sind erwartungstreue Schätzer für den Erwartungswert bzw. die
Varianz.
Definition 3.115 (Maximum-Likelihood-Schätzwert)
Ein Schätzwert ϑ̂ für den Parameter einer Verteilung f (x; ϑ) heißt MaximumLikelihood-Schätzwert (ML-Schätzwert) für eine Stichprobe ~x, wenn für alle
ϑ gilt
L(~x; ϑ) ≤ L(~x, ϑ̂)
3.3
Konfidenzintervalle
Für zwei Schätzer U1 und U2 mit
Pr[U1 ≤ ϑ ≤ U2 ] ≥ 1 − α
wird die Wahrscheinlichkeit 1−α als Konfidenzniveau bezeichnet und [U1 , U2 ]
heißt Konfidenzintervall.
25
Definition 3.118 (γ-Quantil)
Zufallsvariable X stetig mit Verteilung FX
Eine Zahl xγ mit FX (xγ ) = γ heißt gamma-Quantil von X.
Definition 3.119
Für die Standardnormalverteilung bezeichnet zγ das γ-Quantil.
3.4
Testen von Hypothesen
Stichprobe von n unabhängigen Stichprobenvariablen X1 , . . . , Xn mit derselben Verteilung wie die Zufallsvariable X
K := {~x ∈ Rn : ~x führt zu Ablehnung der Hypothese}
K heißt Ablehnungsbereich oder kritischer Bereich des Tests.
Wird ein einzelnes Intervall im Wertebereich einer Variablen T betrachtet,
spricht man von einem einseitigen bzw. zweiseitigen Test.
Die zu überprüfende Hypothese wird als H0 bezeichnet und heißt auch Nullhypothese.
Es gibt zwei Arten von Fehlern bei statistischen Tests
• Fehler 1. Art : H0 gilt, aber wird abgelehnt
• Fehler 2. Art : H0 gilt nicht, aber wird angenommen
Die Wahrscheinlichkeit für den Fehler 1. Art wird mit α bezeichnet und heißt
Signifikanzniveau des Tests.
Die Gütefunktion g gibt an, mit welcher Wahrscheinlichkeit ein Test die Nullhypothese verwirft. Sie ist definiert als
g(ϑ) = Pr[T ∈ K]
ϑ
26
Es ist gibt einen ganzen Katalog hilfreicher Testverfahren für verschiedene
Zwecke, die im Skript oder anderer Literatur nachgeschlagen werden können.
27
Kapitel 4
Stochastische Prozesse
4.1
Einführung
Ein stochastischer Prozess ist eine Folge von Zufallsvariablen (Xt )t∈T , die ein
System zu verschiedenen Zeitpunkten t beschreiben. Ist T = N0 , so spricht
man von einem Prozess mit diskreter Zeit. Erlaubt man T = R+
0 , erhält man
einen Prozess mit kontinuierlicher Zeit.
4.2
Prozesse mit diskreter Zeit
Definition 4.123 (Markov-Kette)
Eine (endliche) Markov-Kette über der Zustandsmenge S = {0, . . . , n − 1}
besteht aus einer unendlichen Folge von Zufallsvariablen (Xt )t∈T mit WXt =
S sowie einer Startverteilung q0 ∈ R1×n .
Für jede Indexmenge I ⊆ {0, . . . , t − 1} und beliebige Zustände st ∈ S gilt
Pr[Xt+1 = st+1 |Xt = st , Xt−1 = st−1 , . . . , X0 = s0 ] = Pr[Xt+1 = st+1 |Xt = st ]
Sind die Werte pi,j := Pr[Xt+1 = j|Xt = i] von t unabhängig, so nennt man
28
die Markov-Kette (zeit)homogen. In diesem Fall definiert man die Übergansmatrix
durch P = (pi,j )0≤i,j<n . Wenn man S = N0 zulässt, so spricht man von einer
unendlichen Markov-Kette.
Der Wahrscheinlichkeitsraum einer Markov-Kette bis zum Zeitpunkt t0 ist die
Menge aller Läufe ~x = (x0 , . . . , xt0 ) ∈ Ω. Einen Lauf durch die Markov-Kette
bezeichnet man als Random Walk.
Die Variable
(k)
pi,j := Pr[Xt+k = j|Xt = i] = (P k )i,j
gibt die Wahrscheinlichkeit an, von Zustand i in k Schritten zu Zustand j zu
gelangen.
Definition 4.126 (Übergangszeit, Ankunftswahrscheinlichkeit)
Die Zufallsvariable
Ti,j := min{n ≥ 0|Xn = j, wenn X0 = i}
zählt die Anzahl an Schritten, die von Zustand i nach j benötigt werden.
Man bezeichnet Ti,j als Übergangszeit von i nach j. Wird j nie erreicht, ist
Ti,j = ∞.
Außerdem ist hi,j := E[Ti,j ] die erwartete Anzahl an Schritten von i nach j.
Die Wahrscheinlichkeit, von Zustand i in beliebig vielen Schritten nach j zu
gelangen, ist definiert als die Ankunftswahrscheinlichkeit fi,j := Pr[Ti,j < ∞].
Für i = j definieren wir Ti,i = 0 und somit auch hi,i = 0 und fi,i = 1.
Definition 4.127 (Rückkehrzeit, Rückkehrwahrscheinlichkeit)
Die Zufallsvariable
Ti := min{n ≥ 1|Xn = i, wenn X0 = i}
zählt die Anzahl an Schritten, die von Zustand i nach i zurückzukehren. Man
bezeichnet Ti als Rückkehrzeit von i.
29
Der Erwartungswert ist hi := E[Ti ] und die Wahrscheinlichkeit, dass Ti endlich ist, heißt Rückkehrwahrscheinlichkeit fi := Pr[Ti < ∞].
Lemma 4.129
Für die erwartete Übergangs-/Rückkehrzeiten gilt
hi,j = 1 +
X
pi,k hk,j für alle i 6= j
k6=j
hi = 1 +
X
pi,k hk,i
k6=i
Für die Ankunfts-/Rückkehrwahrscheinlichkeiten gilt
fi,j = pi,j +
X
pi,k fk,j für alle i 6= j
k6=j
fi = pi,i +
X
pi,k fk,i
k6=i
30
31
Kapitel 5
Liste der Theoreme
Kapitel 1 – Diskrete Wahrscheinlichkeitsräume
1.1
Definition – Wahrscheinlichkeitsraum . . . . . . . . . . . . . .
3
1.4
Definition – Relative Häufigkeit . . . . . . . . . . . . . . . . .
4
1.5
Definition – Endlicher Wahrscheinlichkeitsraum . . . . . . . .
4
1.8
Lemma – Eigenschaften von Ereignissen und Additionssatz . .
4
1.9
Satz – Siebformel . . . . . . . . . . . . . . . . . . . . . . . . .
4
1.10 Korollar – Boolesche Ungleichung . . . . . . . . . . . . . . . .
5
1.12 Definition – Bedingte Wahrscheinlichkeit . . . . . . . . . . . .
5
1.16 Satz – Multiplikationssatz . . . . . . . . . . . . . . . . . . . .
5
1.18 Satz – Satz der totalen Wahrscheinlichkeit . . . . . . . . . . .
5
1.19 Satz – Satz von Bayes . . . . . . . . . . . . . . . . . . . . . .
6
1.21 Definition – Unabhängigkeit zweier Ereignisse . . . . . . . . .
6
32
1.22 Definition – Unabhängigkeit von Ereignismengen . . . . . . . .
6
1.23 Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
1.24 Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.25 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.27 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.29 Definition – Erwartungswert . . . . . . . . . . . . . . . . . . .
7
1.32 Satz – Monotonie des Erwartungswerts . . . . . . . . . . . . .
8
1.33 Satz – Linearität des Erwartungswerts . . . . . . . . . . . . .
8
1.34 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
1.35 Definition – Bedingte Zufallsvariable . . . . . . . . . . . . . .
8
1.36 Satz – Satz des totalen Erwartungswerts . . . . . . . . . . . .
8
1.38 Definition – Varianz
. . . . . . . . . . . . . . . . . . . . . . .
9
1.39 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
1.41 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
1.42 Definition – Momente . . . . . . . . . . . . . . . . . . . . . . .
9
1.44 Definition – Gemeinsame Dichte und Verteilung . . . . . . . .
9
1.45 Definition – Unabhängigkeit von Zufallsvariablen . . . . . . . 10
1.46 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.47 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.49 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.50 Satz – Linearität des Erwartungswerts . . . . . . . . . . . . . 10
33
1.52 Satz – Multiplikativität des Erwartungswerts . . . . . . . . . . 10
1.53 Definition – Indikatorvariable . . . . . . . . . . . . . . . . . . 11
1.54 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.55 Definition – Bernoulli-Verteilung . . . . . . . . . . . . . . . . . 11
1.55 Definition – Binomialverteilung . . . . . . . . . . . . . . . . . 11
1.56 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.57 Definition – Geometrische Verteilung . . . . . . . . . . . . . . 12
1.59 Satz – Summe von Poisson-verteilten Zufallsvariablen . . . . . 12
1.60 Satz – Markov-Ungleichung . . . . . . . . . . . . . . . . . . . 12
1.62 Satz – Chebyshev-Ungleichung . . . . . . . . . . . . . . . . . . 13
1.63 Satz – Gesetz der großen Zahlen . . . . . . . . . . . . . . . . . 13
1.64 Satz – Untere Chernoff-Schranke . . . . . . . . . . . . . . . . . 13
1.66 Satz – Obere Chernoff-Schranke . . . . . . . . . . . . . . . . . 14
1.68 Korollar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.70 Definition – Wahrscheinlichkeitserzeugende Funktion . . . . . 14
1.71 Satz – Eindeutigkeit der wahrscheinlichkeitserzeugenden Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.74 Definition – Momenterzeugende Funktion . . . . . . . . . . . . 15
1.75 Satz – Erzeugende Funktion einer Summe . . . . . . . . . . . 15
1.77 Satz – Zufällige Summen . . . . . . . . . . . . . . . . . . . . . 15
34
Kapitel 2 – Kontinuierliche Wahrscheinlichkeitsräume
2.79 Definition – Kontinuierliche Zufallsvariablen . . . . . . . . . . 16
2.82 Definition – σ-Algebra . . . . . . . . . . . . . . . . . . . . . . 17
2.83 Definition – Wahrscheinlichkeitsraum, Kolmogrov-Axiome
. . 17
2.84 Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.88 Definition – Erwartungswert und Varianz . . . . . . . . . . . . 18
2.89 Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.91 Definition – Normalverteilung . . . . . . . . . . . . . . . . . . 19
2.93 Satz – Lineare Transformation der Normalverteilung . . . . . . 19
2.95 Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.96 Definition – Exponentialverteilung . . . . . . . . . . . . . . . . 19
2.97 Satz – Skalierung exponentialverteilter Variablen . . . . . . . . 20
2.98 Satz – Gedächtnislosigkeit . . . . . . . . . . . . . . . . . . . . 20
2.100Definition – Randverteilung und Randdichte . . . . . . . . . . 20
2.101Definition – Unabhängigkeit . . . . . . . . . . . . . . . . . . . 21
2.102Satz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.103Satz – Poisson-Prozess . . . . . . . . . . . . . . . . . . . . . . 22
2.105Satz – Faltung . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.106Satz – Additivität der Normalverteilung . . . . . . . . . . . . 22
2.108Satz – Zentraler Grenzwertsatz . . . . . . . . . . . . . . . . . 22
2.109Korollar – Grenzwertsatz von de Moivre . . . . . . . . . . . . 23
35
2.110Korollar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Kapitel 3 – Statistik
3.112Definition – Schätzvariable . . . . . . . . . . . . . . . . . . . . 24
3.113Definition – Mittlere quadratische Abweichung (MSE) . . . . . 24
3.114Definition – Stichprobenmittel und Stichprobenvarianz . . . . 25
3.115Definition – Maximum-Likelihood-Schätzwert . . . . . . . . . 25
3.118Definition – γ-Quantil . . . . . . . . . . . . . . . . . . . . . . 25
3.119Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Kapitel 4 – Stochastische Prozesse
4.123Definition – Markov-Kette . . . . . . . . . . . . . . . . . . . . 28
4.126Definition – Übergangszeit, Ankunftswahrscheinlichkeit . . . . 29
4.127Definition – Rückkehrzeit, Rückkehrwahrscheinlichkeit . . . . 29
4.129Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
36