Stochastische Modellbildung

Stochastische Modellbildung
Prof. Dr. Andreas Greven
Mitschrift: Philipp Drössler
Stand: 25. Juni 2012
Inhaltsverzeichnis
1 Mathematische Beschreibung von Zufallsexperimenten
1.1 Bausteine . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Ereignisfelder . . . . . . . . . . . . . . . . . . . . . .
1.3 Wahrscheinlichkeitsmaße (W-Maße) . . . . . . . . . .
1.4 Zufallsvariable . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
4
4
6
7
2 Konstruktion von Wahrscheinlichkeitsmaßen
9
2.1 Abzählbare und endliche Grundräume . . . . . . . . . . . . . . . . . . . . 9
2.2 Wahrscheinlichkeitsmaße auf R mit Dichten . . . . . . . . . . . . . . . . . 10
2.3 Verteilungsfunktion und Wahrscheinlichkeitsmaße auf R . . . . . . . . . . 11
3 Mehrstufige Zufallsexperimente
3.1 Elementare bedingte Wahrscheinlichkeiten . . . . . . . . . . . . . . . . . .
3.2 Mehrstufige Experimente . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 Hypergeometrische Binomial- und Poissonverteilung . . . . . . . . . . . .
13
13
14
17
4 Kenngrößen von Zufallsvariablen
4.1 Modalwert, Medium und Quantile . . . . . . . . . . . . . . . . . . . .
4.2 Der Erwartungswert und die Varianz einer Zufallsgröße (diskreter Fall)
4.3 Erwartungswert und Varianz für eine Zufalsvariable mit Werten in R .
4.4 Kovarianz und Korelation . . . . . . . . . . . . . . . . . . . . . . . . .
4.5 Lineare Approximation von X und Y und Korelation . . . . . . . . . .
19
19
20
23
25
27
.
.
.
.
.
.
.
.
.
.
5 Summen unabhängiger Zufallsvariablen
28
5.1 Faltung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
5.2 Erzeugende Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
6 Das Gesetz der großen Zahl und der zentrale Grenzwertsatz
32
6.1 Die Tschebyscheff Ungleichung . . . . . . . . . . . . . . . . . . . . . . . . 32
6.2 Der zentrale Grenzwertsatz . . . . . . . . . . . . . . . . . . . . . . . . . . 33
7 Der
7.1
7.2
7.3
Poissonprozess, Markowketten und Warteschlange
Der Poissonprozess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Eine andere Sichtweise auf den Poissonprozess . . . . . . . . . . . . . . . .
Markowketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
36
36
38
39
Stichwortverzeichnis
46
Logbuch
48
2
Einleitung
• Modellierung von Realitätsausschnitten, bei denen der Zufall eine Rolle spielt.
• Mathematische Durchdringung der Modelle und rechnerische Beherrschung
Beispiele:
0. Stammbaum von Spezies des Tieres.
1. KFZ-Versicherung
Ausgaben:
- Zeitpunkte von Unfällen (zufällig)
- Schadenshöhe (zufällig)
Einnahmen: deterministischer Beitragsfluss
2. Ein Exportbetrieb verkauft Produkte im Dollarraum, produziert aber im Euroraum
Put-Option. Welchen Preis soll er zahlen?
3. Medikamentenzulassung.
Ist das neuentwickelte Medikament zur Herzinfarkt-Therapie besser als herkömmliche Mittel?
4. Wir werfen N -mal eine Münze.
- Mit welcher Wahrscheinlichkeit tritt k-mal Zahl auf?
- Mit welcher Wahrscheinlichkeit kommt beim j-ten Wurf Zahl bzw. Kopf?
5. Wie hoch ist die Wahrscheinlichkeitvon:
”2 Hörer dieser Vorlesung haben am gleichen Tag Geburtstag?”
3
1 Mathematische Beschreibung von Zufallsexperimenten
1.1 Bausteine
(i) Der Merkmalsraum Ω (auch ”Stichprobenraum”)1
Ω ist eine nicht leere Menge, die alle möglichen Ausgänge des Zufallsexperimentes
beschreibt. Für Elemente von Ω schreiben wir ω.
(ii) Das Ereignisfeld A. A ist ein Teilsystem von Teilmengen2 von Ω mit der Interpretation:
A ∈ A tritt ein ⇔ Der Ausgang ω unseres Zufallsexperimentes liegt in A.
(iii) Das WahrscheinlichkeitsmaßP (”W-Maß”)
Jedem Ereignis wird ein Wahrscheinlichkeitsmaß zugeordnet.
P : A → [0, 1]
(P ist keine Funktion auf Ω sondern eine Funktion auf dem Ereignis!)
Die drei Bausteine (Ω, A, P ) heißen Wahrscheinlichkeitsraum (”W-Raum”).
Erste Aufgabe: Gebe den Wahrscheinlichkeitsraum zu einem Zufallsexperiment an.
1.2 Ereignisfelder
A ein Ereignis: A tritt nicht ein soll ein Ereignis sein.
Mit Ereignisses A1 , A2 , . . . Jedes der A1 , A2 , . . . tritt ein soll Ereignis sein.
Eine der Ai tritt ein soll Ereignis sein. Formal:
(i) Ω ∈ A
(ii) A ∈ A ⇒ CA ∈ A
(iii) A1 , A2 , · · · ∈ A ⇒
(iii)’ A1 , A2 , · · · ∈ A ⇒
∞
S
i=1
∞
T
i=1
Ai ∈ A
Ai ∈ A (iii) impliziert (iii)′
Definition 1.1 (σ-Algebra)
Ein System A von Teilmengen von Ω heißt σ-Algebra, wenn (i) − (iii) bzw. (i) − (iii)′
erfüllt sind.
Ereignisfelder über Ω sind σ-Algebren von Teilmengen von Ω
Wenn |Ω| < ∞, dann wählt man P(Ω) als Ereignisfeld.
Das gleiche für Ω abzählbar.
1
2
Mögliche Ausgänge des Experimentes
A ⊆ P(Ω); P(Ω) ist die ”Potenzmenge” von Ω
4
Subtiler: Ω = R
Ereignisse: Ausgang des Experimentes fällt in [a, b], (a, b], (a, b), (a, b],
a < b, a, b ∈ R
Definition 1.2 (von E erzeugete σ-Algebra)
Ist E ein System
T von Teilmengen von Ω, dann heißt
G
σ(E) :=
G : σ−Algebra
G⊇E
die von E erzeugte σ-Algebra und E heißt Erzeuger
Bemerkung:
1. σ(E) ist die kleinste σ-Algebra, die E enthält
2. Die Definition ist sinnvoll, denn der Schnitt ist nie leer, da
P(Ω) ⊇ E und P(Ω) ist σ-Algebra
3. σ(E) ist tatsächlich eine σ-Algebra, denn:
T
G, denn Ω ∈ G für alle G mit (G : σ − Algebra) ∧ (G ⊇ E)
(i) Ω ∈
G : σ−Algebra
G⊇E
(ii) Sei A ∈
T
G : σ−Algebra
G⊇E
G.Sei G ⊇ E σ-Algebra, beliebig.
Dann ist A ∈ G und CA ∈ G, denn G ist σ-Algebra.
Da G beliebig
T ist und (G : σ − Algebra) ∧ (G ⊇ E) gilt, folgt:
G.
CA ∈
G : σ−Algebra
G⊇E
(iii) Seien Ai ∈
T
G : σ−Algebra
G⊇E
G, i ∈ N.
(d.h. ∀i ∈ N und G ⊇ E, σ-Algebra, gilt: Ai ∈ G)
Sei G ⊇ E σ-Algebra.
Dann gilt: Ai ∈ G ∀i ∈ N.
Da G
Tσ-Algebra ist. gilt:
Ai ∈ G.
G : σ−Algebra
G⊇E
Da
σ-Algebra ist folgt:
T
T G ⊃ E beliebige
G
Ai ∈
i∈N
G : σ−Algebra
G⊇E
Beispiele
1. Sei Ω = R. Dann wählt man kanonischerweise:
E := {[a, b) : a, b ∈ R, a ≤ b}
Dann heißt σ(E) =: B(R die Borel-σ-Algebra
2. Sei Ω höchstens abzählbar3 . Dann Wählt man kanonischerweise:
E := {{ω} : ω ∈ Ω}. Dann ist σ(E) = P(Ω)
3
”diskret”
5
1.3 Wahrscheinlichkeitsmaße (W-Maße)
Um Ereignissen4 Wahrscheinlichkeiten zuzuordnen, kann man von der Vorstellung ausgehen, dass Wahrscheinlichkeiten als Grenzwerte - von relativen Häufigkeiten bei großen
Zahlen von unabhängigen Wiederholungen des Zufallsexperimentes - auftreten.
hn (A) = n1 · (Anzahl der Experimente bei denen A eintritt)
Was hat hn (A) für typische Eigenschaften?
• hn (Ω) = 1
• 0 ≤ hn (A) ≤ 1 ∀ A ∈ A
• hn (A ∪ B) = hn (A) + hn (B)
Diese Eigenschaften nehmen wir nun als definierende Eigenschaften für das allgemeine
Objekt ”Wahrscheinlichkeitsmaß”
Definition 1.3 (Wahrscheinlichkeitsmaß)
Eine Abbildung P : A → R, wobei A eine σ-Algebra ist heißt Wahrscheinlichkeitsmaß,
wenn gilt:
1. P (A) ∈ [0, 1]
∀A ∈ A
2. P (Ω) = 1
3. Seien Ai ∈ A, i ∈ N
i ∩ Aj = ∅ falls i 6= j
A∞
∞
S
P
Ai =
Dann gilt: P
P (Ai )
i=1
i=1
Bemerkung:
1. Wahrscheinlichkeitsmaße werden oft auch ”Vereteilung” genannt.
2. Falls Ai ∈ A, i ∈ N, mit Ai ∩ Aj = ∅ für i 6= j, schreibt man oft auch
∞
∞
∞
∞
S
P
S
U
Ai =
Ai oder auch
Ai =
Ai
i=1
i=1
i=1
i=1
D.h. wir hätten in 1.3 auch schreiben
∞ können:
∞
P
P
Ai =
Falls Ai ∈ A, i ∈ N, so gilt: P
P (Ai )
i=1
i=1
Beispiele:
1. Das einfachste Beispiel für ein Wahrscheinlichkeitsmaß erhält man durch sogenannte Laplace Experimente.
Wähle Ω := {1, . . . , N }, N ∈ N
A = P(Ω)
|A|
P (A) =
∀A ∈ A
|Ω|
4
Elementen aus A
6
Diese Verteilung nennt man auch Gleichverteilung auf Ω, da P ({ω}) =
(Man nennt {ω} auch ”Elementarereignis”)
1
∀ω ∈ Ω
|Ω|
2. Konkretisierung von 1. n-facher unabhängiger Münzwurf.
Jeder Wurf hat als Ausgang entweder 0 (”Kopf”) oder 1 (”Zahl”). Formalisierung:
Ω = {0, 1}n A := P(Ω)
• Falls die Münze fair ist, d.h. Ausgänge 0 und 1 sing gleich wahrscheinlich, dann:
1
1
= n ∀ω ∈ Ω
P ({ω}) =
|Ω|
2
• Falls die Münze unfair ist
d.h. die Wahrscheinlichkeit für 0 ist p ∈ (0, 1)\{ 12 } = (0, 12 ) ∪ ( 12 , 1), dann gilt:
n
P
P ({ω}) = pi=1
ωi
n−
· (1 − p)
n
P
i=1
ωi
= pk(ω) · (1 − p)n−k(ω) mit k(ω) :=
Bemerkung:
Ein Wahrscheinlichkeitsmaß P hat folgende Eigenschaften:
Seien A und B ∈ A σ-Algebra auf Ω
n
P
i=1
ωi
∀ω ∈ Ω
1. P (CA) = 1 − P (A), denn P (Ω) = P (A + CA) = P (A) + P (A)
2. P (∅) = 0, denn P (∅) = P (CΩ) = 1 − P (Ω) = 1 − 1 = 0
3. A ⊃ B ⇒ P (A) ≥ P (B), denn A = B + A\B,alsoP (A) = P (B) + P (A\B) ≥ P (B)
4. P (A ∪ B) ≥ P (A) + P (B), denn P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
Diese Identität sieht man so:
P (A) = P (A\B) + P (A ∩ B)
P (B) = P (B\A) + P (A ∩ B)
einsetzen
P (A∪B) = P ((A\B) + (B\A) + (A ∩ B)) = P (A\B)+P (A\A)+P (A∩B)
=
P (A) + P (B) − P (A ∩ B)
1.4 Zufallsvariable
Betrachte das Beispiel des n-fachen Münzwurfes oder 3 Würfeln. Wir interessieren uns
für die Zahl der Würfe von Zahl oder die Augensumme. Das heißt: Statt Aussagen in
{0, 1}n bzw. {1, . . . , 6}3 erhalen wir nun Ausgänge in {0, 1, . . . , n} bzw. {3, 4, . . . , 18}
Definition 1.4 (Zufallsvariable) Gegeben seien Merkmalsräume Ω und Ω′ mit Ereignisfeldern A und A′ . Eine Zufallsvariable (Zufallsgröße) ist eine Abbildung
X : Ω → Ω′ , die messbar ist, d.h es gilt:
X −1 (A′ ) ∈ A ∀A′ ∈ A′
[TODO: Graphik]
Beispiele:
7
1. In unserem Beispiel des n-fachen Münzwurfes (Gesamtzahl der 1er)
Ω = {0, 1}n Ω′ = {0, 1, . . . , n}
A = P(Ω) A′ = P(Ω′ )
n
P
X(ω) =
ωi , ω = (ω1 , ω2 , . . . , ωn ) ∈ Ω
i=1
2. Ω = {1, 2, . . . , 6}3 , Ω′ = {3, . . . , 18}
Augensumme: X(ω) = X({(ω1 , ω2 , ω3 )}) = ω1 + ω2 + ω3
Definition 1.5 (Verteilung)
Sei X eine Zufallsvariable auf (Ω, A, P ) mit Werten in (Ω′ , A′ ) die Verteilung Px der
Zufallsgröße X ist ein Wahrscheinlichkeitsmaß auf (Ω′ , A′ ), das gegeben ist durch:
PX (A′ ) = P (X −1 (A′ )) = P ({ω ∈ Ω : X(ω) ∈ A′ }) ∀A′ ∈ A′
PX (Ω′ ) = 1
PX (A′ ) = P (X −1 (A′ )) ∈ [0, 1]
PX (A′1 + A′2 + . . . ) = P (X −1 (A′1 + A′2 + . . . ) = P (X −1 (A′1 ) + X −1 (A′2 ) + . . . ) =
P (X −1 (A′1 )) + P (X −1 (A′2 )) + · · · = PX (A′1 ) + PX (A′2 ) + . . . ∀A′i ∈ A′ , i ∈ N
Beispiel:
N -facher Münzwurf
Ω = {0, 1}N , A = P(Ω), Ω′ = {0, 1, . . . , N }, A′ = P(Ω′ )
Für p : ’Wahrscheinlichkeit für ”1”
und 1 − p : ’Wahrscheinlichkeit für ”0” gilt
P ({ω}) = P ({(ω1 , ω2 , · · · ωN )}) = pk (1 − p)n−k mit
N
k := k(ω) = ω1 + ω2 + · · · +
ωN
, ωi ∈ {0, 1}, ω ∈ {0, 1}
N k
PX ({t}) = P (X −1 ({t}) =
p (1 − p)N −t
t
Bemerkung: (Ω′ A′ , PX ) ist wieder ein Wahrscheinlichkeitsraum.
8
2 Konstruktion von Wahrscheinlichkeitsmaßen
2.1 Abzählbare und endliche Grundräume
Betrachte |Ω| < ∞ und A = P(Ω)
Zähldichte
Ist P ein Wahrscheinlichkeitsmaß auf (Ω, A) und definiere
f : Ω → R durch f (ω) = P ({ω}), ∀ω ∈ Ω. Dann gilt:
• f (ω) ∈ [0, 1]
•
P
(P ({ω})) = P
ω∈Ω
• A ∈ A : P (A) = P
P
ω∈Ω
P
{ω} = P (Ω) = 1
ω∈A
P
P
f (ω)
P ({ω}) =
{ω} =
ω∈A
ω∈A
Wir nennen f die Zähldichte zu P
P
f (ω) = 1, dann wird durch:
Andererseits sei f : Ω → R mit 0 ≤ f (ω) ∀ω ∈ Ω mit
ω∈Ω
P
f (ω) ∀A ∈ A ein Wahrscheinlichkeitsmaß auf (Ω, A) definiert.
P (A) :=
ω∈A
Gleiches Spiel funktioniert für Ω abzählbar A = P(Ω).
Definition 2.1 (Binomialverteilung B(n, p))
Es sei Ω = {0, 1, . . . , n} und p ∈ [0, 1]. Man definiert die Binomialverteilung durch die
Zähldichte
f:
n k
f (k) =
p (1 − p)n−k , k ∈ {0, 1, . . . , n}
k
Häufig wird für die Dichte die Notation b(n, p; k) = nk pk (1 − pn−k , k ∈ N verwendet.
n
n
P
P
Binomisher Satz
=
(p + (1 − p))n = 1n = 1
pk (1 − p)n−k
b(n, p; k) =
b(n, p; k) ≥ 0,
k=0
k=0
Definition 2.2 (Geometrische Verteilung zum Parameter q)
Sei q ∈ (0, 1) und sei Ω = N = {1, 2, . . . }
Die geometrische Zähldichte f zum Parameter q ist gegeben durch:
f (k) = q k−1 (1 − q), m k ∈ N
f (k) ≥ 0
n
n
P
P
1 geom. Reihe
1−q
f (k)
q k−1 =
=
(1 − q)
=1−q·
1=
1−q
1−q
k=1
k=1
Definition 2.3 (Poissonverteilung, P oiss(λ))
Sei λ ∈ (0, ∞) ein Parameter und Ω = N0 = {0, 1, . . . }
9
Die Poissonzähldichte zum Parameter λ ist gegeben durch:
λk
f (k) = e−λ , k ∈ N0
k!
f (k) ≥ 0
∞ λk
∞
∞
P
P
P
λk
def. exp
1 = e−λ eλ = e−λ
e−λ
f (k)
=
=
k!
k=0 k!
k=0
k=0
Bemerkung: Für ein Experiment (Ω, A, P ) mit Ω abzählbar und sei X eine Zufallsvariable
mit Werten in (Ω′ , A′ ) dann hat PX die Zähldichte f (ω ′ ) = P (X −1 ({ω ′ })
2.2 Wahrscheinlichkeitsmaße auf R mit Dichten
Um Wahrscheinlichkeitsmaße auf (R, B(R)) zu definieren betrachen wir Wahrscheinlichkeiten
Definition 2.4 (Wahrscheinlichkeitsdichte auf R)
Sei f : R → R eine stetige (Lebesgue-messbare) Funktion mit
• f (x) ≥ 0,
•
R∞
∀x ∈ R
f (x)dx = 1
−∞
Dann heißt f eine Wahrscheinlichkeitsdichte auf R
Definition 2.5 (Gleichverteilung auf [A, B])
Die Wahrscheinlichkeitsdichte der Gleichverteilung auf [A, B], ist f (x)
(
1
B−A ,
0,
x ∈ [A, B]
x∈
/ [A, B]
Definition 2.6 (Exponentialverteilung)
Die Wahrscheinlichkeitsdichte der Exponentialverteilung zum Parameter α ∈ (0, ∞) ist
gegeben durch:
f (x) = αe−αx · 1[0,∞](x), x ∈ R
Diese Verteilung modelliert gedächtnislose zufällige Wartezeiten.
Definition 2.7 (Normalverteilung N (µ, σ 2 ))
Die Wahrscheinlichkeitsdichte zum Parameter (µ, σ 2 ) ∈ R × R+ ist gegeben durch:
−(x−µ)2
1
· e 2σ2 , x ∈ R
φ(x) = √
2πσ 2
und definiert die Normalverteilung zum Parameter (µ, σ 2 )
|
µ
(σ 2 reguliert die Spannweite, σ 2 groß → weite Spannweite)
10
Definition 2.8 (Betaverteilung Beta(µ, ν))
Sei µ, 
ν > 0. Die Beta(µ, ν)-Verteilung wird durc die Wahrscheinlichkeitsdichte
 Γ(µ + ν) xµ−1 (1 − x)ν−1 , 0 < x < 1
βµ,ν = Γ(µ)Γ(ν)
gegeben.

0, sonst
R∞
Mit Γ(α) = uα−1 e−u
0
Definition 2.9 (Gammaverteilung Γα,ν )
Sei α, 
ν > 0. Die Γ(α, ν)-Verteilung wird durch die Wahrscheinlichkeitsdichte
ν
 α xν−1 e−αx , x > 0
gegeben.5
γα,ν = Γ(ν)

0, sonst
2.3 Verteilungsfunktion und Wahrscheinlichkeitsmaße auf R
Oft werden Wahrscheinlichkeitsmaße auf R durch die Verteilungsfunktion definiert.
Definition 2.10 (Verteilungsfunktion)
Sei P ein Wahrscheinlichkeitsmaß auf (R, B(R)). Dann heißt
F : R → R, F (x) = P ([−∞, x]), x ∈ R die Verteilungsfunktion von P .
Bemerkung:
Wird P durch eine Wahrscheinlichkeitsduchte gegeben, dann ist F stetig und es gilt:
Rx
F (x) =
f (y)dy
−∞
Beispiel 1: (Gleichverteilung auf[A, B])
1 –
|
A


0,
x≤A
x−A
F (x) = B−A , A < x < B


1, x ≥ B
Beispiel 2: (EXP (x))
(
0, x ≤ 0
F (x) =
e−αx , x > 0
Beispiel 3: (P oissonverteilung)
5
Γα,1 ist die Normalverteilung
11
|
B



0, x < 0


−λ


e , 0 ≤ x < 1
F (x) = e−λ (1 + λ), 1 ≤ x < 2

2


e−λ (1 + λ λ2 ), 2 ≤ x < 3




...
Lemma 2.11 (ohne Beweis)
1. F ist monoton nicht fallend
2. lim F (x) = 0,
x↓∞
lim F (x) = 1
x↑∞
3. F hat Limiten von Links und ist rechts stetig.
4. P ({x}) = F (x) − F _(x),
F _(x) = lim F (y)
y↑x
Bemerkung: FX (y) = PX ((−∞, y)) = P ({ω ∈ Ω : X(ω) ≤ y})
12
3 Mehrstufige Zufallsexperimente
3.1 Elementare bedingte Wahrscheinlichkeiten
Zufallsexperiment: Teilinformation über Ausgang.
Wie verändert das unsere Wahrscheinlichkeitsverteilung?
Werfe drei Würfel. Ausgang: {1, 2, . . . , 6}3
Teilinformation: Gesamtaugenzahl bspw. 5
Definition 3.1 (bedingte Wahrscheinlichkeit)
Sei A, B ∈ A und P (B) > 0. Dann heißt
P (A ∩ B)
P (A|B) :=
P (B)
die bedingte Wahrscheinlichkeit von A gegeben B
Bemerkung: P (A ∩ B) = P (B) · P (A|B)
Bemerkung:(P (B) > 0)
P (A∩B)
P (B) ,
WB (·) : QB (A) = P (A|B) =
QB (B) = 1 QB (CB) = 0
∀A ∈ A QB ist ein Wahrscheinlichkeitsmasß mit
QB (A) ∈ [0, 1].(Wir wissen: 0 ≤ P (A ∩ B) ≤ P (B))
∞
∞
∞
P
P
P
1
1
Def. QB
(Ai ∩ B)
· P ( Ai ) ∩ B =
·P
QB
AI
=
P (B)
P (B)
i=1
i=1
i=1
∞
∞
1 P
Def QB P
P (Ai ∩ B) =
QB (Ai )
P (B) i=1
i=1
P ist W-Maß
=
Lemma 3.2 (Formel von der totalen Wahrscheinlichkeit)
n
P
Sei Ω =
Bi mit Bi ∈ A ∀i = 1, . . . , n. Dann gilt für A ∈ A
i=1
P (A) =
n
P
i=1
P (Ai |B) · P (BI )
Beweischen:
P (A) = P (A∩Ω) = P
Bayessche Formel:
P (Bk |A) =
A∩(
n
P
i=1
n
n
n
P
P
P
(A ∩ Bi ) =
Bi ) = P
P (A∩Bi ) =
P (A|Bi )P (B)
i=1
P (Bk ) · P (A|Bk )
n
P
P (Bi )P (A|Bi )
i=1
Wir wissen P (Bk |A) =
P (Bk ∩ A)
P (A)
P (Bk ∩ A) = P (Bk )P (A|Bk ),
P (A) =
n
P
P (Bi )P (A|Bi )
i=1
13
i=1
i=1
Definition 3.3 (stochastisch unabhängig)
Zwei Ereignisse A und B (A, B ∈ A) heißen stochastisch unabhängig wenn gilt:
P (A ∩ B) = P (A) · P (B)
Sind A und B unabhängig: P (A|B) = P (A), P (B|A) = P (B)
Definition 3.4 Ereignisse Ai (i ∈ A)heißen stochastisch unabhängig, wenn gilt:
k
Q
P (A1 ∩ A2 ∩ · · · ∩ Aik ) =
P (Aij )
j=1
für alle Teilmengen {11 , . . . , ik } von {1, 2, . . . , n}
Bemerkung:
Beachte: alle Ai können paarweise unabhängig sein und trotzdem sind A1 , . . . , An nicht
stochastisch unabhängig.
Seien X1 , X2 , . . . , Xn Zufallsvariablen auf dem Wahrscheinlichkeitsraum (Ω, A, P ) mit
Werten in (Ω′ , A′ ). Dann heißt:
P(X1 ,...,Xn ) (A′1 × A′2 × · · · × A′n ) = P ({ω ∈ Ω : X1 (ω) ∈ A′1 , . . . , Xn (ω) ∈ A′n })
∀A′i ∈ A i = 1, . . . , n
die gemeinsame Verteilung von X1 , . . . , Xn
Definition 3.5 (stochastische Unabhängigkeit von Zufallsvariablen)
Die Zufallsvariablen (Xi )i=1,...,n auf (Ω, A, P ) mit Werten in (Ω′ , mA′ ) heißen
stochastisch unabhängig, wenn gilt:
P(X1 ,...,Xn ) (A′1 × A′2 × · · ·× A′n ) = PX1 (A′1 )·PX2 (A′2 )·· · ··PXn (A′n ) ∀A′1 , A′2 , . . . , A′n ∈ A′
3.2 Mehrstufige Experimente
Beispiele:
• n-faches Werfen einer Münze oder eines Würfels.
• mehrfaches Ziehen von Kugeln aus einer -urne
• Börsenkurse einer Aktie zu n Zeitpunkten.
• Buchstabenfolge in einem Text.
• physikalische Daten eines Sampels einer Population:
Größe, Gewicht, Blutgruppe, Blutzuckerspiegel, Cholesterinspiegel, usw.
Seien Experimente durch (Ω1 , A1 ), . . . , (Ωn , An ) beschrieben |Ωi | < ∞ i = 1, . . . , n
Der Merkmalsraum des gesamten Experimentes ist: Ω = Ω1 × Ω2 × · · · × Ωn
A = σ(E), E = {A1 × · · · × An } Ai ∈ Ai
Wir wollen ein Wahrscheinlichkeitsmaß auf (Ω, A) definieren, indem wir die Zähldichte auf Ω angeben.
14
Gegeben:
ω1 → f10 (ω1 ), ω1 ∈ Ω1 f10 (·) ist Zähldichte auf Ω1
ω2 → f21 (ω1 ; ω2 ), ω2 ∈ Ω2 f21 (ω1 ; ·) ist Zähldichte auf Ω2
ω3 → f32 (ω1 , ω2 ; ω3 ), ω3 ∈ Ω3 f32 (ω1 , ω2 ; ·) ist Zähldichte auf Ω3
..
.
k (ω , . . . , ω ; ω
ωk+1 ∈ Ωk+1
ωk → fk+1
1
k
k+1 ),
k
fk+1 (ω1 , . . . , ωk ; ·) ist Zähldichte auf Ωk+1
TODO: Graphik, Baum
f : (ω1 , . . . , ωn ) → f (ω1 , . . . , ωn ) = f10 (ω1 )·f21 (ω1 ; ω2 )·f32 (ω1 , ω2 ; ω3 )·· · ··fkk−1 (ω1 , . . . , ωk−1 ; ωk )
P
f (ω1 , . . . , ωn−1 ; ωn ) =
P P
P
f (ω1 , . . . , ωn ) =
···
ω1 ∈Ω1 ω2 ∈Ω2
ωn ∈Ωn
P 0
P P
···
f1 (ω1 ) · f21 (ω1 ; ω2 ) · f32 (ω1 , ω2 ; ω3 ) · · · · · fnn−1 (ω1 , . . . , ωn−1 ; ωn ) =
ωn ∈Ωn
ω1 ∈Ω1 ω2 ∈Ω2
X
P
P
fnn−1 (ω1 , . . . , ωn−1 ; ωn ) =
···
f10 (ω1 ) · f21 (ω1 ; ω2 ) . . .
ω=(ω1 ,...,ωn )∈Ω
ω1 ∈Ω1
P
ω1 ∈Ω1
..
.
=
ωn−1 ∈Ωn−1
P
···
X
ωn−2 ∈Ωn−2
f10 (ω1 ) . . .
f10 (ω1 ) = 1
ω1 ∈Ω1
|
ωn ∈Ωn
{z
X
|
n−2
fn−1
(ω1 , . . . , ωn−2 ; ωn−1 ) =
ωn−1 ∈Ωn−1
|
{z
=1, da Zähldichte
{z
=1, da Zähldichte
}
}
}
=1, da Zähldichte
Schreibweise: f = f10 ⊗ · · · ⊗ fnn−1
Sprechweise: f ist Kopplung der Wahrscheinlichkeitsdichten f10 , . . . , fnn−1
Sei A = A1 × A2 × · · · ×PAn , AP
Bemerkung: P
i ∈ A i = 1, . . . , n
f (ω1 , . . . ; ωn )
···
f (ω1 , . . . ; ωn ) =
P (A) =
ω1 ,...,ωn )∈Ω
ω1 ∈Ω1
ωn ∈Ωn
unabhängige Kopplung nennen wir den Fall:
k (ω , . . . , ω ; ω
˜k
fk+1
k = 0, 1, . . . , n − 1
1
k
k+1 = fk+1 (ωk+1 ),
k
˜
fk+1 : ωk+1 → [0, 1], Zähldichte
Beispiele:
a) Unabhängige Kopplung von Laplace-Experimenten mit Grundräumen Ω1 , . . . , Ωn
1
Dann ist f (ω1 , . . . ωn ) = |Ω11 | · |Ω12 | · · · · · |Ω1n | , f (ω1 , . . . , ωk ; ωk+1 ) = |Ωk+1
|
d.h Laplace-Experiment auf ganz Ω
15
b) Bernoulli-Experiment
(
p, ωk+1 = 1
k (ω , . . . , ω ; ω
fk+1
1
k
k+1 ) =
1 − p, ωk+1 = 0
n
P
f (ω1 , . . . ; ωn ) = pk (1 − p)n−k , k =
ωi
i=1
Xi : Xi (ω) = Xi (ω1 , . . . , ωn ) = ωi , i = 1, . . . , n
Bei unabhängiger Kopplung (i 6= j):
P (XP
i = ωi , Xj = ωj )
=
f (ω1 , . . . ; ωn )
ωk ∈Ωk
k∈{i,j}
=
P
ωk ∈Ωk
k∈{i,j}
f˜10 (ω1 ) · f˜21 (ω2 ) · · · · · f˜nn−1 (ωn )
= f˜ii−1 (ωi ) · f˜jj−1 (ωj ) = P (Xi = ωi ) · P (Xj = ωj )
Letztes folgt mit analoger Rechnung.
k (ω , . . . , ω ; ω
c) Markov-Kopplung fk+1
1
k
k+1 = p(ωi , ωk+1 ωk ∈ Ωk ωk+1 ∈ Ωk+1
Spezialfall: Ω1 = Ω2 = · · · = Ωn mit |Ωn | < ∞
Dann können wir die Ausgänge mit Zahlen in {1, . . . , M } kodieren. Dann lässt sich
p(·, ·) als eine M ×M -Matrix auffassen. Diese Matrix hat Einträge (p(i, j))i,j∈{1,...,M }
M
P
in [0, 1] mit
p(i, j) = 1 ∀i ∈ {1, . . . , M }. Eine solche Matrix heißt stochastische Matrix6
j=1
d) (zufälliges Ziehen ohne Zurücklege: 6 aud 49)
Ω = Ω1 × Ω2 × . . . Ω6 = {1, 2, . . . , 49}
1
f10 (ω1 ) = |Ω11 | = 49
(
1
1
ω1 6= ω2
= 48
f21 (ω1 ; ω2 ) = |Ω2 |−1
0, ω1 = ω2
..
.
(
1
für ωi alle verschieden i = 1, . . . , 6
k
fk+1 (ω1 , . . . , ωk ; ωk+1 ) = |Ω1 |−k
0 sonst
..
.
(
1
· 1 · 1 · 1 · 1 · 1 für ωi 6= ωj i, j = 1, . . . , 6
f (ω1 , . . . , ω6 ) = |Ω1 | |Ω1 |−1 |Ω1 |−2 |Ω1 |−3 |Ω1 |−4 |Ω1 |−5
0 sonst
Allgemeiner:
f (ω1 , . . . , ωn ) =
(
1
|Ω1 |
·
1
|Ω1 |−1
0 sonst
· ··· ·
1
|Ω1 |−(n−1)
für ωi 6= ωj i, j = 1, . . . , 6
Eine andere Version des Experimentes: (N Kugeln, n mal Ziehen ohne Zurücklegen)
6
Ist überdies
M
P
p(i, j) = 1
∀j ∈ {1, . . . , M } ⇒ ”doppelt stochastisch”
i=1
16
K schwarze Kugeln und N − K weiße Kugeln
MN,K,n = #{gezogene schwarze Kugeln} Ω′ = {0, 1, . . . , n ∧ K}
PMN,K,n hat die Zähldichte fN,K,n(k), k ∈ Ω′
K
N −K k · n−k
fMN,K,n =
N
n
”hypergeometrische Verteilung” 7
Mit Zurücklegen: B(n, p) = B n, K
N
3.3 Hypergeometrische Binomial- und Poissonverteilung
N, K → ∞
K
p
−−−−−→
N N,K→∞
n, p bleiben fest.
Satz 3.6 (Approximation der hypergeometrischen Verteilung)
Sei p ∈ [0, 1]. Dann gilt:
h(N, K, n; k) −−−−−−−−−→ b(n, p; k) ∀k ∈ N0
K
N,K→∞, N
→ε
wobei b(n, p; k) = 0
∀k ∈ C{0, 1, . . . , n}
Beweis:
:::::::
h(N, K, n; k) =
K!
(K−k)!k!
·
(N −K)!
(n−k)!(((N −K)−(n−k))!
N!
n!(N −n)!
•
K!
(K−k)!
•
(N −k)
((N −K)−(n−k))!
•
N!
(N −n)!
•
K(K−1)...(K−k+1)
−−−→
Kk
k→∞
1
•
N (N −1)...(N −n+1)
−−−→
Nn
n→∞
1
= K(K − 1)(K − 2) . . . (K − k + 1)
= (N − K)(N − K − 1) . . . (N − K − (n − k) + 1)
= N (N − 1) . . . (N − n + 1)
h(N, K, n; k) =
n!
k!(n−k)!
·
K k
N
1−
K n−k
N
=
n
k
k
p (1 − p)n−k
Seltene Ereignisse in einer großen Zahl von unabhängigen Einzelversuchen
Sep (pn )n∈N eine Folge von Erfolgswahrscheinlichkeiten:
p −−−→ 0 np −−−→ λ ∈ (0, ∞)
n→∞
n→∞
λ
n
zum Beispiel pn =
7
häufig wird die Schreibweise ”h(N, K, n; k)” verwandt
17
Satz 3.7 (Satz von der Poissonapproximation)
a) Sei (pn )n∈N mit pn ≥ 0 pn −−−→ mit npn −−−→ λ ∈ (0, ∞).
n→∞
n→∞
Dann gilt: Die Poissonapproximation für die Binomialverteilung:
k
b(n, pn ; k) −−−→ e−λ · λk! ∀k ∈ N0
n→∞
b) Sei A ⊆ N0 . Dann gilt für die Poissonverteilung zuzm Parameter λ = npn
(Abkürzung: Πnp )
|Bnp (A) − Πnp (A)| ≤ np2n = (npn )pn
Beweis:
( )
•
= n(n−1)(n−2)...(n−k+1)
−−−→
k!·nk
:::::::
n
k
nk
n→∞
1
k!
• (npn )k −−−→ λk (nach Voraussetzung)
n→∞
n
n)
n−k
→ e−λ (1 − pn )k −−−→
•(1 − pn )
= (1−p
(1−pn )k
n→∞
(1 − pn )n = (1 − nλ + o( n1 ))n −−−→ e−λ
n→∞
Also gilt: b(n, pn ; k) =
Anwendung:
n
k
1, da pn −−−→ 0
n→∞
k
(n)
pn (1 − pn )n−k = nkk (npn )k (1 − pn )n−k =
• Verteilung: Blitzrate im Jahr in Deutschland
• Zahl der Unfälle pro Tag in Erlangen
• Zahl der Druckfehler pro Seite
• Radioaktiver Zerfall
18
1 k −λ
k! λ e
k
= e−λ λk!
4 Kenngrößen von Zufallsvariablen
4.1 Modalwert, Medium und Quantile
Gegeben ist eine Zufallvariable auf dem Wahrscheinlichkeitsram (Ω, A, P ) mit Werten in
R (oder Z, N, N0 )
X : Ω → R = Ω′
Definition 4.1 (Modalwert)
Jede Maximumsstelle einer Zähldichte oder Wahrscheinlichkeitsdichte heißt Modalwert
Beispiele:
1. N (µ, σ 2 )
|
µ
µ ist Modalwert
2. exp(α) : α1[0,∞) e−αx
Modalwert: 0
Deshalb spielen Modalwerte nur noxch eine Rolle bei Dichten der Form:
Definition 4.2 (Median)
Ein Median von X ist jener Wert mit:
FX (m_) ≤ 12 ≤ FX (m) f (x_) := lim f (y)
y↑x
Bemerkung:
Ist FX stetig8 suchen wir m als Lösung von F (m) =
1. N (µ, σ 2 ) mit m = µ
2. exp(α)
1
8
FX (y) = 1 · e−αy ,
!
· e−αy = 21
⇒m=
ln(2)
α
y∈R
insbesondere, wenn es eine Wahrscheinlichkeitsdichte hat
19
1
2
Also:
Definition 4.3 (α-Quantil)
Sei α ∈ [0, 1] (manchmsal drückt man das auch in % aus)
Der Wert uα heißt α-Quantil falls:
FX ((uα )_ ) ≤ α ≤ FX (uα )
Bemerkung:
Man beschreibt die Spannweite der Verteilung X durch [u0.05 , u0.95 ]
Ausgang hat Wahrscheinlichkeit ≤ 0.05
Ausgang hat Wahrscheinlichkeit ≤ 0.05
|
u0.05
|
m
Ausgang hat Wahrscheinlichkeit 0.9
|
u0.95
Nachteile des Median:
Betrachte X, Y wir kennen den Median. Was ist der Median von X + Y ?
Im Allgemeinen schwer zu sagen!
4.2 Der Erwartungswert und die Varianz einer Zufallsgröße (diskreter Fall)
Betrachte zunächsr X : Ω → Ω′ ⊆ R mit Ω′ endlich oder abzählbar
Ω′ endlich:
P
P ′
X({ω})P ({ω})
ω PX ({ω}) =
E[X] = EX =
ω∈Ω
ω∈Ω
PX ({ω ′ }) = P (X −1 (ω ′ )) = P ({ω ∈ Ω : X(ω) = ω ′ })
Problem: Ω′ abzählbar (z.B N, Z)
const.
Ω′ = N : PX ({ω}) =
k2
P const.
P ′
P const.
k
ω PX (ω) =
=
= +∞
2
k
k
ω∈N
k∈N
k∈N
Das heißt es ergibt sich ein Problem für Z
Definition 4.4 (integrierbare Zfallsvartiable)
a) Sei X : ΩP→ Ω′ ⊆ R+ (alsoPX(ω) ≥ 0 ∀ω ∈ Ω) und Ω, Ω′ abzählbar
X(ω)P ({/ω})
EX =
ω ′ P ({ω ′ }) =
ω ′ ∈Ω′
ω∈Ω
b) Ist
→ Ω′ ⊆ R, Ω,PΩ′ abzählbar und gilt
PX : Ω
|X(ω)|P ({ω})| < ∞ dann gilt:
|ω ′ |PX ({ω ′ }) =
ω ′ ∈Ω′
ω∈Ω
20
EX =
P
ω ′ ∈Ω′
ω ′ PX ({ω ′ }) =
P
X(ω)P ({ω})
ω∈Ω
Ein solchews X heißt integrierbar bzw. man sagt:
”der Erwartungswert existiert”
Bemerkung: Die Bedingung ist erfüllt ⇔ E[|X|] < ∞
Beispiele:
• PX : Gleichverteilung auf {1, . . . , N } EX = N 2+1
= N 2+1
EX = N1 (1 + 2 + · · · + N ) = N1 (N +1)N
2
• PX : Bernoulli-p-verteilt EX = p
EX = 0(1 − p) + 1p = p
• PX : B(n, p) verteilt EX = np
n
n
n
P
P
P
k nk pk (1 − p)n−k = np
k nk pk (1 − p)n−k =
k=1
k=1
k=0
np(p + (1 − p))n−1 = np
n−1 k−1
(1
k−1 p
− p)n−1−k+1 =
• PX : Poisson(λ) verteilt EX = λ
∞ ∞
∞
∞
P
P
P
P
k
k
λk−1
λk−1
=λ
=
e−λ (k−1)!
k e−λ λk! =
λ e−λ (k−1)!
EX =
k e−λ λk! =
k=1
k=1
k=1
k=0
∞ P
k
e−λ λk! = λ
λ
k=0
1
• PX : geometrische Verteilung EX = 1−p
∞ ′
∞
∞
∞
′
P k
P
P
P
k
k−1
k−1
=
p
p = (1−p)
kp
= (1−p)
k(1−p)p
= (1−p)
EX =
k=1
k=1
k=1
k=1
′
p
p
p
1
1
(1 − p) 1−p
= (1 − p) 1−p
+ (1 − p) (1−p)
2 = 1 + 1−p = 1−p
Satz 4.5 (Rechenregeln)
Seien X, Y, Z Zufallsvariablen aud (Ω, A, P ) mit Werten in (Ω′ , A′ ) deren Erwartungswerte existieren
a) X(ω) ≥ Y (ω)
∀ω ∈ Ω ⇒ EX ≥ EY
b) E[a + bX] = a + bEX,
a, b ∈ R
c) E[X + Y ] = EX + EY
Bemerkung: In a) reicht: X(ω) ≥ Y (ω)P.f.s ⇔ P ({ω ∈ Ω : X(ω) ≥ Y (ω)} = 1
Beweis:
:::::::
a) EX =
P
ω∈Ω
X(ω)P ({ω}) ≥
P
Y (ω)P ({ω}) = EY
ω∈Ω
21
b) a, b ∈ R für a + bX existiert der Erwartungswert:
|a
· |X(ω)|
P+ bX(ω)| ≤ |a| + |b|P
(|a| + |b||X(ω)|)P ({ω})
|a + bX({ω})| ≤
ω∈Ω
ω∈Ω
P
|X(ω)|P ({ω}) < ∞
|a| + |b|
ω∈Ω P
P
P
X(ω)P ({ω}) = a+bEX
aP ({ω})+b
(a+bX(ω))P ({ω}) =
E[a+bX] =
ω∈Ω
ω∈Ω
ω∈Ω
c) Da |X(ω) + Y (ω)| ≤ |X(ω)| + |Y (ω)| ∀ω ∈ Ω
Def.E P
(X(ω) + Y (ω))P ({ω}) =
E[X + Y ] =
ω∈Ω
P
P
Y (ω)P ({ω}) = EX + EY
X(ω)P ({ω}) +
=
ω∈Ω
ω∈Ω
Definition 4.6 (Varianz; Streuung)
Sei X : Ω → Ω′ ∈ R eine Zufallsvariable auf (Ω, A, P ) mit endlichem Erwartungswert
und seien Ω, Ω′ abzählbar. Dann heißt
V ar(X) = E[(X − EX)2 ]
die Varianz von X.
p
Die Streuung von X ist V ar(X)
Bemerkung: Es ist zur Berechnung von V ar(X) oft günstig folgende Formel zu verwenden. V ar(X) = E[X 2 ] − (EX)2
Def.
V ar(X) = E[(X−EX)2 ] = E[X 2 +(EX)2 −2X·EX] = E[X 2 ]+(EX)2 +E[−2XEX]
E[X 2 ] + (EX)2 − 2EX · E[X] = E[X 2 ] − (EX)2
Lem.4.5c),b)
Beispiel: Bernoulli(p): V ar(X) = E[X 2 ] − p2 = 1 · p + 0 · (1 − p) − p2 = p(1 − p)
Satz 4.7 (Rechenregeln für die Varianz)
a) V ar(a + X) = V ar(X) a ∈ R
V ar(bX) = V ar(X) b2 ∈ R
b) V ar(X) = 0 ⇔ X ist kontant (und gleich EX) P-f.s
Beweis:
:::::::
Def.
a) V ar(X) = E[((a + X) − E[a + X])2 ]
EX)2 ] = V ar(X)
Le.4.5b)
=
E[(a + X − a − EX)2 ] = E[(X −
b) V ar(bX) = E[(bX)2 ] − (E[bX])2 ] = b2 E[X 2 ] − b2 (E[X])2 = b2 (E[X 2 ] + E[X]2 ) =
b2 V ar(X)
22
=
zu b):
Wenn X(ω) 6= const ⇒ X(ω) 6= EX
für mindestens ein {ω} mit positiver Wahrscheinlichkeit
⇒ V ar(X) > 0
Gibt es ein µ mit: E[(X − µ)2 ] ist minimal? Und welche ist das?
Wenn E|X| <P∞ dan ist µ = EX
P
((X − EX) + (EX − µ))2 P ({ω}) =
(X(ω) − µ)2 P ({ω}) =
E[(Xµ)2 ] =
ω∈Ω
ω∈Ω
P =
(X(ω) − EX)2 + (EX − µ)2 + 2(X(ω) − EX)(EX − µ)) P ({ω}) =
ω∈Ω
= V ar(X) + (EX − µ)2 = V ar(X) ⇔ µ = EX 9
Bemerkung: In ähnlichem Verhältnis stehen Median und E|X − µ|
Es gilt: E|Y − u 1 | ≤ E|X − µ| ∀µ ∈ R
2
4.3 Erwartungswert und Varianz für eine Zufalsvariable mit Werten in R
Es sei X eine Zufallsvariable auf (Ω, A, P ) mit Werten in R und einer Verteilung PX mit
Wahrscheinlichkeitsdichte fX
Definition 4.8 (Erwartungswert und Varianz)
a) Es ghelte für die Wahrscheinlichkeitsdichte fX von PX :
R∞
|y|fX (y)dy < ∞ oder X(ω) =≥ 0
−∞
R∞
EX :=
yfX (y)dy
−∞
b) Für EX 2 (oder E[g(x)]) definieren wir:
!
∞
∞
R
R
E[X 2 ] =
y 2 fX (y)dy;
E[g(x)] =
g(y)fX (y)dy
−∞
Im letzten Fall fordern wir:
Insbesondere definieren wir:
V ar(X) = E[(X −
EX)2 ]
R∞
−∞
=
R∞
−∞
|g(y)|fX (y)dy)
y2f
X (y)dy
−∞
R∞
−
falls der Erwartungswert von X existiert.
9
Beachte:
P
yfX (y)dy
−∞
X
(X(ω) − EX)(EX − µ)P ({ω}) = (EX − µ)
ω∈Ω
!2
,
(X(ω) − EX)P ({ω})
ω∈Ω
P
|
ω∈Ω
23
{z
X(ω)P ({ω})+EX
P
ω∈Ω
}
P ({ω})=0
=0
Beispiel 1: Gleichverteilung auf [a, b] : EX = a+b
2
R∞
Die Bedingung ist klarerweise erfüllt, da
|y|fX (y)dy ≤ max(|a|, |b|) < ∞
R∞
EX =
yfX (y)dy =
−∞
Rb
a
−∞
1
y b−a
dy =
1
b−a
R∞
ydy =
−∞
1
2(b−a)
2 b
y a=
b2 −a2
2(b−a)
=
b+a
2
Beispiel 2: Exponentialverteilung exp(α) : EX = α1
R∞
R∞
R∞
R∞
y(−e−αy )′ dy =
EX =
yfX (y)dy =
yα1[0,∞](y)e−αy dy = y(αe−αy )dy =
−∞
[−ye−αy ]∞
0
−∞
R∞
− (−e−αy )dy = 0 − [ 12 e−αy ] =
0
0
0
1
2
Man parametrisiert die Exponentialverteilung oft mit 12 , d.h.
1
Dichte: α−1 1[0,∞] (y)e− 2 y ; EX = α
α=
b Lokationspsarameter
Beispiel 3: X ist N (µ, σ 2 )-verteilt, dann gilt:
EX = µ
V ar(X) = σ 2 mit Streuung σ
Wir
überlegen zunächst:
R
R 2
|y|fX (y)dy;
R q y fX (y)dy < ∞
In der Tat: |y| fX (y)dy < ∞ q ∈ N
2
Wir wissen ja: sup(|y 2 |e−βy ) < ∞
R∞ −αy2
dy < ∞ für jedes α > 0
e
−∞
Damit ist unsere Bediungungerfüllt und wir können explizit rechnen. Um den Erwartungswert für Zufallsvariablen X mit Werten in R, die nicht notwendigerweise eine Dichte
haben, gehen wir wie folgt vor:
FX (x) = P ({ω ∈ Ω : X(ω) ≤ ω})
Betrachte: X ≥ 0 Falls PX die Dichte f hat, gilt:
R∞
EX = F X (x)dx, F (x) = P ({ω ∈ Ω : X(ω) ≥ x})
0
Beweis:
:::::::
Rx
FX (x) =
f (y)dy, entsprechend F X (x) =
−∞
EX =
R
0
R∞
∞yf (y)dy =
R∞
f (y)dy
x
R∞ Ry
0
0
1dx f (y)dy =
R
{0≤x≤y}
F X (x)dx
0
Falls wir keine Dichte haben: (x ≥ 0)
R∞
E[X] := F X (x)dx X = X + − X − mit
0
24
f (y)dxdy =
R∞
0


Z
 ∞f (y)dy  dx =
|
x
{z
F X (x)
}
X + (ω) = max{0, X(ω)} X − (ω) = max{0, −X(ω)} X + , X − ≥ 0
Wenn E[X + ] < ∞, E[X − ]∞; dann setzen wir EE[X] = E[X + ] − E[X − ]
4.4 Kovarianz und Korelation
Man sucht eine einfachere Kennzahl für die bestehende Abhängigkeit.
Definition 4.9 (Kovarianz und Korelation)
Seien X und Y Zufallsvariablen auf (Ω, A, P ) mit Werten in Ω′ ⊆ R
Es gelte: E[X 2 ], E[Y 2 ] < ∞
a) Dann heißt cov(X, Y ) = E[(X − EX)(Y − EY )] die Kovarianz von X und Y
b) Die Korelarion zwischen X und Y ist definiert als:
cov(X, Y )
p
ρ := p
V ar(X) V ar(Y )
Die Kovarianz kann oft günstig, wie folgt, berechnet werden:
cov(X, Y ) = E[X · Y ] − E[X]E[Y ]
Beweis:
:::::::
E[(X − EX)(Y − EY )] = E[XY − Y EX − XEY + EXEY ] =
= E[XY ] − E[Y EX] − E[XEY ] + E[EXEY ] = E[XY ] − EXEY − EXEY + EXEY =
= E[XY ] − EXEY
Lemma 4.10 (Multiplikationsregel)
Sind X und Y unabhängig und ist E[X 2 ], E[Y 2 ] < ∞, dann gilt E[XY ] = EXEY
Lemma 4.11 (Grundeigenschaften der Korelation)
a) (Y = a + bX, a, b ∈ R,
⇒ ρ(X, Y ) ∈ {−1, 1}
b 6= 0)
b) E[X] = EXEY ⇒ ρ(X, Y ) = 0, insbesondere für X,Y unabhängig.
c) ρ(X, Y ) ∈ [−1, 1]
Lemma 4.12 (Varianz von Summen)
Seien X und Y Zufallsvariablen auf (Ω, A, P ) mit E[X 2 ], E[Y 2 ] < ∞. Dann gilt:
V ar(X + Y ) = V ar(X) + V ar(Y ) + 2cov(X, Y )
Insbesondere haben wir für unabhängige X und Y , cov(X, Y ) = 0, und damit:
V ar(X + Y ) = V ar(X) + V ar(Y )
Und damit für (Xi )i=1,2,...,n unabhängig:
V ar(X1 + X2 + · · · + Xn ) = V ar(X1 ) + V ar(X2 ) + · · · + V ar(Xn )
Beispiel:
B(n, p), Kovarianz: np(1 − p)
Bernoulli, Kovarianz: p(1 − p)
25
Beweis:
:::::::
(von Lemma 4.10)
Betrachte X, Y ≥ 0
Def. P
E[XY ] =
(ω1′ ω2′ )P ({ω ∈ Ω : X(ω1 ) = ω1′ })P ({ω ∈ Ω : X(ω2 ) = ω2′ }) =
′
′
ω ∈Ω






X
 X




ω1′ P ({ω ∈ Ω : X(ω) = ω1 }) 
=
ω2′ P ({ω ∈ Ω : X(ω) = ω2 })
 ′ ′
 ′ ′

ω1 ∈Ω
 ω2 ∈Ω

|
|
{z
}
{z
}
EX
X+
X −,
Im allgemeinen Fall betrachte X =
−
Y =Y
bzw. X + Y − , . . . sind positiv und unabhängig.
Setze dann in E[XY ] = E[(X + − X − )(Y + − Y − )]
EY
+−
Y − und betrachte X + , Y + ,
Beweis:
(Lemma 4.12)
:::::::
Def.V ar
V ar(X + Y ) = E[((X + Y ) − E[X + Y ])2 ] = E[(X + Y − (EX + EY ))2 ] =
= E[((X − EX) + (Y − EY ))2 ] = E[(X − EX)2 + (Y − EY )2 + 2(X − EX)(Y − EY )] =
= E[(X − EX)2 ] + E[(Y − EY )2 ] − 2E[(X − EX)(Y − EY )] =
= V ar(X) + V ar(Y ) − 2cov(X, Y )
Beweis:
:::::::
(Lemma 4.11)
a) Y = a + bX
E[XY ] = E[aX + bX 2 ] = aEX + bE[X 2 ]
EY = a + bEX
EXEY = EX(a + bEX) = aEX + b(EX)2
cov(X, Y ) = E[XY ] − EXEY = aEX + bE[X 2 ] − aEX − b(EX)2 = bV ar(X)
V ar(Y ) = V ar(a + bX) = V ar(bX) = b2 V ar(X)
bV ar(X)
cov(X, Y )
p
p
=p
= sign(b)
ρ(X, Y ) = p
V ar(X) V ar(Y )
V ar(X) b2 V ar(X)
D.h. : b > 0 ⇒ ρ(X, Y ) = 1, b < 0 ⇒ ρ(X, Y ) = −1
c) o.B.d.A. EX = EY = 0, da cov(a + X, b + Y ) = cov(X, Y )
(cov(X, Y ))2 ≤ V ar(X)V ar(Y ) ⇒ |ρ(X, Y )| ≤ 1
!2
P
cov(X, Y ) =
xyP (X = x, Y = y)
≤
x,y
P
x2 P (X = x, Y = y) y 2 P (X = x, Y = y) =
x,y
x,y
P 2
2
x P (X = x) y P (Y = y) = V ar(X) = V ar(Y )
CS−U G
=
≤
P
x
P
y
26
4.5 Lineare Approximation von X und Y und Korelation
Die Zufallsgröße X soll durch eine Einflussgröße X linear approximiert werden.
Y = a + bX+möglichst kleiner Rest;
klein im Sinne: Die mittlere quadratische Abweichung wird minimal.
Also seien X, Y Zufallsvariablen auf (ω, A, P ) mit EX 2 + EY 2 < ∞, mit V ar(X) > 0
Problem: Gesucht sind Zahlen a, b ∈ R mit E[(Y − (a + bX))2 ] minimal.
Z := Y − (a + bX) Beachte Z hängt natürlich von a und b ab.
Wir wollen E[Z 2 ] minimieren durch geschickte Wahl von a, b ∈ R
E[Z 2 ] = (EZ)2 + V ar(Z)
V ar(Z) hängt nicht von a ab.
Für festes b ist (EZ)2 minimal - genauer 0 - wenn wir a so wählen, dass EZ = 0, d.h.
amin = EY − bmin EX
Nun müssen wir bmin finden. Dazu müssen wir wissen wie V ar(Z) von b abhängt.
V ar(Z) = E[(Z − EZ)2 ] = E[((Y − (a + bX)) − E[Y − (a + bX)])2 ] =
= E[((Y − EY ) − b(X − EX))2 ] = V ar(Y ) + b2 V ar(X) − 2cov(X, Y )
Jetzt sind V ar(X), V ar(Y ), cov(X, Y ) feste Parameter und wir fassen die rechte Seite als Funktion von b auf.
f (b) = b2 V ar(X) − 2bcov(X, Y ) + V ar(Y )
!
f ′ (bmin ) = 0
f ′ (bmin ) = 2bmin V ar(X) − 2cov(X, Y ) = 0 p
V ar(Y )
σ(Y )
cov(X, Y )
cov(X, Y )
p
·p
= ρ(X, Y ) ·
=p
bmin =
V ar(x)
σ(X)
V ar(X) V ar(Y )
V ar(X)
Für den Fehler gilt nun:
a,b,einsetzen
2
min E[Z ] = min (V ar(Z))
=
V ar(Y ) 1 −
a,b
a,b
cov(X, Y )2
V ar(X)V ar(Y )
ρ(X, Y )
Dann und nur dann, wenn ρ ∈ {−1, 1}, ist der Fehler 0, (wennY > 0)
Also: Ist ρ(X, Y ) = 0, so ist der Fehler minimal.
= V ar(Y )(1 −
Korollar 4.13 Seien x, Y Zufallsvariablen auf (Ω, A, P ) mit 0 < V ar(X), V ar(Y ) < ∞,
dann gilt:
∃a, b ∈ R : Y = a + bX ⇔ ρ(X, Y ) ∈ {−1, 1} unf ρ(X, Y ) ist als sign(b) gegeben.
27
5 Summen unabhängiger Zufallsvariablen
Wir wollen untersuchen, wie X1 + X2 + · · · + Xn verteilt ist, d.h. berechne
P (X1 + X2 + · · · + Xn ∈ A) = PX1 +X2 +···+Xn (A), A ∈ B(R), wenn PX1 , PX2 , . . . , PXn
bekannt sind.
Dies ist natürlich nur sinnvoll sofern (Xi )i=1,...,n unabhängig sind.
5.1 Faltung
Beachte zunächst zwei unabhängige Zufallsvariablen x, Y mit Werten in Z mit Zähldichten fX , fY für PX , PY
Definition 5.1 (Faltung)
+
a) Seien f, g : Z → R+ . Dann heißt die Faltung f ⋆ g, die Funktion Z → R , gegeben
durch:
P
P
f (x)g(z − x), z ∈ Z
f (z − x)g(x) =
(f ⋆ g)(z) =
x∈Z
x∈Z
b) Wir schreiben für Wahrscheinlichkeitsverterilungen P, Q auf Z mit Zähldichten p, q
dann P ⋆ Q für das Wahrscheinlichkeitsmaß auf der Zähldichte p ⋆ q.
Bemerkung:
P P
P P
P
g(x)f (z − x) =
g(x)f (z − x) =
(f ⋆ g)(z) =
x∈Z z∈Z
z∈Z x∈Z
z∈Z
X
P
P
g(x)
f (z − x) =
g(x) = 1, da g Zähldichte.
=
x∈Z
z∈Z
|
{z
}
x∈Z
=1 da Zähldichte
Satz 5.2 Seien X; Y unabhängige Zufallsvariablen mit Werten in Z und PX , PY haben
die Zähldichten fX , fY . Dann hat PX+Y die Zähldichte
fX+Y = fX ⋆ fY
Ausführlich: fX+Y (z) =
P
x∈Z
fX (z − x)fY (x)
Beweis:
fX+Y
= P ({ω ∈ Ω : X(ω) + Y (ω) = z}) =
P
{ω ∈ Ω : X(ω) = x, Y (ω) = z − x} =
P
x∈Z
P
P ({ω ∈ Ω : X(ω) = x, Y (ω) = z − x}) =
=
x∈Z
P
P ({ω ∈ Ω : X(ω) = x}) · P ({ω ∈ Ω : Y (ω) = z − x}) =
=
x∈Z
P
fX (x)fy (z − x) = (fX ⋆ fY )(z), z ∈ Z
=
:::::::
x∈Z
Definition 5.3 (Faltung auf R)
28
a) Für zwei Funktionen f, g : R → R+ definieren wir die Faltung f ⋆ g : R → R, durch:
R∞
R∞
(f ⋆ g)(z) =
f (x)g(z − x)dx =
g(x)f (z − x)dx, z ∈ R
−∞
−∞
b) Haben die Wahrscheinlichkeitsverteilungen P, Q auf (R, B(R)) die Wahrscheinlichkeitsdichten p, q, dann ist P ⋆ Q die Wahrscheinlichkeitsverteilung mit Wahrscheinlichkeitsdichte p ⋆ q.
Beweis:
:::::::
Analog zum diskreten Fall.
Satz 5.4 Seien X und Y unabhängige Zufallsvariablen, deren Verteilung eine Wahrscheinlichkeitsdichte besitzt. Dann hat auch PX+Y eine Wahrscheinlichkeitsdichte fX+Y
mit fX+Y = fX ⋆ fY
Beweis:
:::::::
Analog zum diskreten Fall.
Beispiele:
(1) Poissonverteilung: Seien X, Y poissonverteilt zu den Parametern λX , λY und unabhängig. X + Y ist wiederum P oiss(λX + λY ).
Wir wissen PX+Y = Π(λ1 ) + Π(λ2 ), wenn Π(λ) die Poissonverteilung zum Parameter λ bezeichnet.
P −λ1 λk1
λ2j−k
−λ
2
e
· 1Z+ (k)e
· 1 + (j − k) =
(Π(λ1 ) ⋆ Π(λ2 )) (j) =
k!
(j − k)! Z
k∈Z
j
j
P
λj−k
1 P
λk1 λ2j−k
λk
= e−(λ1 +λ2 )
· j! =
=
e−λ1 1 e−λ2 2
k!
(j − k)!
j! k=0 k!(j − k)!
k=0
j 1 X j k j−k
e−(λ1 +λ2 )
=
λ λ
j!
k 1 2
}
|k=0 {z
Binomischer Lehrsatz
=(λ1 +λ2 )j
= e−(λ1 +λ2 )
(λ1 + λ2 )j
1
(λ1 + λ2 )j = e−(λ1 +λ2 )
= P oiss(λ1 + λ2 1)
j!
j!
(2) Seien x und Y unabhängig und geometrisch verteilt.
Ws (X = k) = Ws (Y = k) = p(1 − p)k−1 , k = 1, 2, . . .
d.h. X bzw. Y ist die Wartezeit auf den 1-ten Einser (Treffer)in einer Folge unabhängiger Bernulliexperimente.
L[X + Y ] = N b(2, p) (negative Binomialverteilung)
N b(2, p)(k) := (k − 1)p2 (1 − p)k−2 k ∈ N
Nachweis:
(1) Entweder durch Faltung
(2) oder durch Nachrechnen.
X + Y ist die Wartezeit auf den 2-ten Einser
29
Wartezeit ist k: k − 2 Nullen, 2 Einser; und einer der Einser ist an k-ter Stelle.
(k − 1)p2 (1 − p =k−2
Allgemeiner: Warten auf den r-ten Einser Tr ,
(T1j )j=1,... u-i.v geometrisch.
r
k−r
N b(2, p)(k) = k−1
r−1 p (1 − p)
Tr = T11 + T12 + · · · + T1r
5.2 Erzeugende Funktion
Sei f die Zähldichte einer Wahrscheinlichkeitsverteilung auf N0 .
Die erzeugende Funktion fˆ von f ist gegeben durch:
∞
P
f (k) · z k , z ∈ C, |z| ≤ 1
fˆ =
k=0
Da f (k) ≥ 0 und
∞
P
f (k) = 1 ist der Konvergebzradius mindestens 1.
k=0
Die Zähldichte f wird durch fˆ eindeutig festgelegt.
Erinnerung: Ableitung von fˆ im inneren des Konvergenzradius erhalten wir durch gliedweises differenzieren.
∞
P
f (k) =
f (j)(z j )y(k)
j=0
Also: f (k) = (k!)−1 f (k) (0)
Beispiel 1: (Poissonvertrilung)
λk
Πλ (k) = e−λ
k!
∞ (zλ)k
∞
P
P
λk
−λ
= e−λ ezλ = e−λ(1−z)
z k = e−λ
Π̂λ (z) =
e
k!
k!
k=0
k=0
Beispiel 2: (Binomialverteilung)
∞
∞
P
P
n k
n−k z k =
p
(1
−
p)
b̂(n, p; k) =
k
k=0
= (pz + (1 − p))n
k=0
n
k
Binom. Lehrsatz
=
(zp)k (1 − p)n−k
( Polynom in Z vom Grad n)
Satz 5.5 Seien X, Y unabhängige Zufallsvariablen mit Werten in N0
(Betrachte fX , fY , dieZähldichten der vertilungen von X,Y)
Dann gilt:
fˆX+Y = fˆX · fˆY
Allgemeiner: (Xi )i=1,2,...,n unabhängig N0 verteilt:
n
Q
n
=
fˆP
fˆX
Xi
i=1
i=1
i
Wir können also statt fX , fY zu falten einfach die erzeugenden Funktionen multiplizieren.
Beispiel:
x : P oiss(λ1 ), Y : P oiss(λ2 ), X, Y unabhängig.
30
X + Y hat die erzeugende Funktion:
exp(−λ1 (1 − z)) · exp(−λ2 (1 − z)) = exp(−(λ1 + λ2 )(1 − z))
Beweis:
:::::::
(von Satz 5.5)
fˆX (z) = E[z X ] fˆY (z) = E[z Y ]
X,Y unabh.
fˆX+Y = E[z X+Y ] = E[z Y z Y ]
=
E[z X ] · E[z Y ] = fˆX (z) · fˆY (z)
Lemma 5.6 Sei X eine N0 -wertige Zufallsvariable.
Dann ist für EX < ∞ bzw. EX 2 , . . . , EX k < ∞
EX = fˆ′ (1)
E[X 2 ] = fˆ′′ (1) + fˆ(1), E[X(X − 1)] = fˆ′′ (1)
E[X(X − 1) . . . (X − k + 1)] = fˆ(k) (1)
∞
∞
P
P
kf (k)z k−1
(f (k)z k )′ =
fˆ′ (1)(z) =
Für z = 1:
fˆ(k) (z) =
k=0
k=0
∞
P
kf (k) = EX
k=0
∞
P
(f (j)z j )(k) =
j=0
∞
P
Für z = 1:
j=k
P
j = k∞ (j(j − 1) · · · · · (j − k + 1))z j−k f (j).
j(j − 1) . . . (j − k + 1)f (j) = E[X(X − 1) . . . (X − k + 1)]
Poissonverteilung zum Parameter λ:
Π̂λ (z) = e−λ(1−z) Π̂′λ (z) = λe−λ(1−z)
(k)
(k)
Π̂λ (z) = λk e−λ(1−z) d.h Π̂λ (1) = λk k = 1, 2, . . .
E[X(X − 1) . . . (X − k + 1)] = λk
Insbesondere EX = λ E[X(X − 1)] = λ2
{z
}
|
E[X 2 ]−EX
E[X 2 ]
λ2
D.h.
=
+λ
V ar(X) = E[X 2 ] − (EX)2 = (λ2 + λ) − λ2 = λ
Betrachte jetzt zufällige Summen.
Seien N, X1 , X2 , . . . unabhängige N0 -wertige Zufallsvariablen.
Dabei haben X1 , X2 , . . . identische Verteilungen.
N
P
S :=
Xk
k=1
Was ist fˆS ?


fˆS (z) = E[z S ] = E z
=
∞
P
j=1


E 1{N =j} z
j
P
k=1
N
P
Xk
k=1
Xk
!
!

∞

P
=E
j=1
1{N =j} z

∞

 P
E 1{N =j} ·E z
=
{z
}
j=1 |
fN (j)
31
N
P
Xk
k=1
j
P
k=1
!
Xk

∞
 P

E 1{N =j} z
=
!
j=1

=
N
P
k=1
Xk
!

=
=
∞
P
j=1


E z
j
P
k=1
Xk
!
∞
∞
j
P
P

· fN (j) =
E z Xj
(fX (z))j · fN (j) =
 · fN (j) =
j=1
j=1
= fˆN fˆX (z) = (fN ◦ fX )(z)10
S=
N
P
fˆS (z) = fˆN fˆX (z) ,
|z| ≤ 1
)
N ist B(n, p), fˆN (z) = (pz + (1 − p))n
fˆS (z) = (pe−λ(1−z) + (1 − p))n
X ist P oiss(λ), fˆX (z) = e−λ(1−z)
i=1
Xi ,
z ∈ C,
Eine ähnliche Transformation hat man für R+ -wertige Zufallsvariablen.11
LX (λ) = E[e−λx ], λ ≥ 0
Satz 5.7 Seien X und Y unabhängige Zufallsvariablen mit Werten in R+ ∪ {0}
Dann gilt:
LX+Y (λ) = LX (λ · LY (λ)
Zufallsvariable mit Werten in R: ϕX (z) · E[eizx ]
6 Das Gesetz der großen Zahl und der zentrale
Grenzwertsatz
6.1 Die Tschebyscheff Ungleichung
Sei X eine Zufallsvariable mit endlichem Erwartungswert und Varianz.12
Satz 6.1 P ({ω ∈ Ω : |X − E[X]| ≥ ε}) ≤
V ar(X)
ε2
Beweis:
:::::::
Auf A = {ω ∈ Ω : |X(ω) − E[X]| ≥ ε} gilt:
1 ≤ ε−2 (X(ω) − E[X])2 , ω ∈ A
Wegen der Monotonie
des Erwartungswertes
−2
E [1A ] ≤ E ε 1A (ω)(X(ω) − E[X])2 ≤ ε−2 E X(ω) − EX 2 = ε−2 V ar(X)
Lemma 6.2 Seien X1 , X2 , . . . , Xn u.i.v Zufallsvariablen mit endlicher Varianz. Dann
gilt:
V ar(X1 + X2 + · · · + Xn ) = n · V ar(X)
Beweis:
:::::::
V ar(X1 + X2 + · · · + Xn ) = E ((X1 + X2 + · · · + Xx ) + E[X1 + X2 + · · · + Xn ])2 )
n
n P
P
= E ((X1 + E[X1 ]) + · · · + (Xn + E[Xn ]))2 =
E [(Xi − E[Xi ])(Xj − E[Xj ])]
i=1 j=1
evtl. (fN ⋆ fX )(z) oder (fˆN ◦ fˆX )(z)
LX (λ) heißt Laplace-Transformierte von X
12
E[X] < ∞, V ar(X) < ∞
10
11
32
i 6= j
E [(Xi − E[Xi ])(Xj − E[Xj ])] = E [Xi − E[Xi ]] E [Xj − E[Xj ]]) = 0
n
n
P
P
Also:
(E Xi − E[Xi ])2 =
V ar(Xi ) = n · V ar(X1 )
i=1
i=1
Satz 6.3 (Das schwache Gesetz der großen Zahl)
Seinen (Xi )i∈N Zufallsvariablen u.i.v. mit
E|X
i | < ∞, i ∈ N Dann gilt:
n
1 P
P
ω ∈ Ω : n
−−→ 0,
1{X∈A} − PX (A) > ε −n→∞
i=1
∀ε > 0
Beweis:
:::::::
Schritt1: EXi2 < ∞
n
n
n
P
P
P
P ({ω ∈ Ω : | n1
Xi −EX| ≥ ε}) ≤ ε−2 ·V ar n1
Xi − Ex = ε−2 V ar n1
Xi =
i=1
=
ε−2 n12 V
ar (X1 + X2 + · · · + Xn )
Lemma6.2
=
Schritt2: E|Xi | < ∞ ”Krengel”
i=1
1
−2
ε n2 V ar(X) −−−→
n→∞
i=1
0
Definition 6.4 (P-fast sicher)
Eine Folge von Zufallsvariablen (Yn )n∈N auf ΩA, P ) konvergiert P − f s.
gegen
(Ω, A, P ) wenn gilt:
n eine Zufallsvariable Y aufo
P
ω ∈ Ω : lim Yn (ω) = Y (ω)
=1
n→∞
Theorem 1 (Das starke Gesetz der großen Zahl)
Sei (Xi )i∈N eine Folge von unabhängig identisch verteilten (u.i.v) Zufallsvariablen auf
n
P
Xi . Dann gilt:
(Ω, A, P ) mit E|Xi | < ∞, i ∈ N. S0 , S1 , . . . , Sn := n1
Sn −−−→ EX
n→∞
i=1
P − f s.
Beweis:
:::::::
→ Vorlesung Wahrscheinlichkeitstheorie.
6.2 Der zentrale Grenzwertsatz
Umfragen: 2000 Iren; wie stimmen sie ab um Fiskalpackt
(
1
Xi =
0
ite befragte Person stimmt ab mit ”Ja”
ite befragte Person stimmt ab mit ”Nein”
p=
i = 1) = relative
P (X2000
Häufigkeit der ”Ja”-Sager in der Gesamtpopulation.
1 P
Xi − p ≥ ε klein
P 2000
i=1
n
P
S̃n =
Xi − nEX
i=1
33
tarkes Gesetz der großen Zahl (S.G.d.g.Z.):
S̃n
−−→
n −
n→∞
0
Von welcher Größenordnung ist nun S̃n wirklich?
n
P
Xi − nEX
√
wobei (Xi )i∈N u.i.v E|X| < ∞, 0 < V ar(X) = σ 2 < ∞
2
σ n
Jetzt gilt: E Ŝn =0


P
n
n
P
Xi − nEX
Xi − nEX
 i=1



 = V ar  i=1 √
=
√
V ar(Ŝn ) = V ar 




σ2 n
σ2 n
S̃n =
i=1
1
= 2 V ar
σ n
n
P
Xi
i=1
=
1 2
σ n=1
σ2 n
Satz 6.5 (Normalapproximation)
Seien (Xi )i∈N u.i.v. Zufallsvariable mit 0 < V ar(Xi ) < ∞
Dann gilt für z ∈ R, bzw. z1 < z2 , zj ∈ R, l = 1, 2
Zz
n
o
x2
1
√ e− 2 dx
P
ω ∈ Ω : Ŝn (ω) ≤ z
−−−→
n→∞
2π
P
n
ω ∈ Ω : z1 ≤ Ŝn (ω) ≤ z2
o
−−−→
n→∞
−∞
Zz2
z1
x2
1
√ e− 2 dx
2π
(=
b Φ(z))
a)
b) Seien (Xi )i∈N u.i.v. Bernoulli-verteilt mit Parameter p und (hn )n∈N eine Folge mit
hn − np
−−−→ x
√
npq n→∞
Dann gilt:
x2
1
e− 2
b(n, p; k) ∼ p
2π(n + 1)pq
Bemerkung:
Alle Verteilungen führen eine universale Lösung für die Wahrscheinlichkeiten von Ŝn .
Fehlerabschätzung mit zentralem Grenzwert (Berry-Essen)
Seien (Xi )i∈N u.i.v Zufallsvariablen mit 0 < V ar(X1 ) < ∞
Sei zusätzlich E|Xi3 | < ∞. Dann gilt:
x
n (X − EX )
R
P
y2
1
i
i
− 2
√1
√
≤
x
−
e
dy
sup P
≤
n
2π
x∈R i=1 V ar(Xi )
−∞
34
1
c0 E |X − EX|3
1 3
≤
·
3
n
V ar(x) 2
Wobei gilt: c0 ∈ [0.4, 0.8]
35
7 Der Poissonprozess, Markowketten und Warteschlange
In diesem Kapitel lernen wir stochastische Prozesse.
7.1 Der Poissonprozess
Ein Prozess zufälliger Punkte auf [0, ∞) oder [0, T ]
Motivation:
Geigerzähler, Schadensfälle, Warteschlangen (Eingang und Abgang von Kunden)
Sei Nt = #Punkte in [0, t]. Das ist eine Zufallsvariable mit Werten in N0 für jedes t.
Die Wahrscheinlichkeitsverteilung von Nt beschreiben wir durch: {Pn (t), n ∈ N0 }
Pn (t) = P ({Nt = n}), n ∈ N0
(Pn (t) ist die Wahrscheinlichkeit zium Zeitpunkt t n Punkte zu finden.)
Na,b = #Punkte in [a, b]
Satz 7.1 Wir nehmen an unsere Punktprozess hat folgende Eigenschaften:
(i) Na,b und Nc,d sind stochastisch unabhängig und [a, b] ∩ [c, d] = ∅
(ii) Na+s,b+s und Na,b haben für alle s ∈ R+ die gleiche Verteilung.
(iii) Es existiert
eine
Konstante λ > 0, so dass
P1 (∆t)
lim
=λ
∆t↓0
∆t
P (N∆t ≥ 2)
(iv) lim
=0
∆t↓0
∆t
Dann gilt für t ≥ 0 bzw. a, b ∈ [0, ∞), (a < b)
Nt ist Poissonverteilt zum Parameter λ · t
Na,b ist Poissonverteilt zum Parameter λ · (b − a)
Definition 7.2 (Poisson-Punktprozess - ”PPP”)
Man nennt ein System zufälliger Punkte auf [0, ∞), so dass die Bedingungen (i) − (iv)
erfüllt sind einen Poisson-Punktprozess.
| ×
× × ×
Definition 7.3 (Poisson-Prozess - ”PP”)
Der Prozess (Nt )t≥0 heißt Poissonprozess, wenn (i) − (iv) erfüllt sind.
| ×
× × ×
Definition 7.4 (Intensität)
Im Poissonprozess bzw. Poisson-Punktprozess heißt λ Intensität.
36
Satz 7.5 Die (Tk )k∈N sind u.i.v
P (Tk > t) = e−λt
Beweis:
:::::::
(von Satz 7.1)
Idee: Leite ein System von Differenzialgleichungen her um {Pn b(t), n ∈ N0 } zu bestimmen.
| ]
t ∆t
Es gilt: (Nt+∆t − Nt ), Nt sind stochastisch unabhängig.
Das folgt aud (i) und (iii), da nach (iii) ein fester Punkt mit Wahrscheinlichkeit 0 auftritt.
n = 0: Differenzialgleichung für (P0 (t))t≥0
• P0 (t + ∆t) = P ({Nt+∆t = 0}) = P ({Nt = 0} ∩ {Nt+∆t−Nt = 0}) =
|
[
(ii)
= P ({Nt = 0}) · P ({Nt+∆t − Nt = 0}) = P0 (t) · P0 (∆t)


Gegenereignis
}|
{
z
 P (t) (1 − P (∆t)) 
P0 (t) (P0 (∆t) − 1)


0
0
′
• P0 (t) = lim
= lim −
=
∆t↓0
∆t↓0 
∆t
∆t


Pk (∆t)
P0 (t) P1 (t) −


k=2
 = −λP0 (t)
−
= lim 


∆t↓0
∆t

∞
P
Also P0′ (t) = −λP0 (t)
P0 (t) = Ce−λt , C ∈ R,
⇒ C = 1 ⇒ P0 (t) =
P0 (0) = 1
e−λt
Als nächstes betrachten wir n ≥ 1:
Zu berechnen ist Pn′ (t) =?
Es gilt: Pn (t + ∆t) = P ({Nt+∆t } = n)
n
P
• Pn (t + ∆t) = P ({Nt+∆t = n}) =
P ({Nt = k} , {Nt+∆t − N = n − k}) =
{z
}
n=0 |
Pn (t)·Pn−k (∆t),da unabhängig
=
n−2
P
(Pn (t)Pn−k (∆t)) + Pn−1 (t)P1 (∆t) + Pn (t)P0 (∆t)
k=0
Pn (t + ∆t) − Pn (t)
= · · · = −λPn (t) + λPn−1 (t),da
∆t↓0
∆t
!
P
Pn (∆t)
−Pn (t)(1 − P0 (∆t)) = −Pn (t) P1 (∆t) +
• Pn′ (t) = lim
k≥2
Also haben wir: Für jedes m ∈ N
Differenzialgleichungen.
(Pk (k))k≥0 , n = 1, . . . , m erfüllt ein System von
37
Dann weiß man13 : Es gibt zu jeder Anfangsbedingung genau eine Lösung.
fn (t) =
(λt)n −λt
(t ≥ 0, n ∈ N)
n! e
(λt)n
(λt)n−1 −λt
−λt
−λe
n! + λ (n−1)! e
fn′ (t) =
fn (0) = 0 f0 (0) = 1
= −λfn (t) + λfn−1 (t)
Eindeutigkeit des Problems: Pn (t) = fn (t) =
(λt)n −λt
n! e
Beweis:
:::::::
(von Satz 7.5)
P (Tk ≥ t) = e−λt ,
(Tk )
| {zk∈N}
folgt aus (i) und (ii) von PPP






!
=0
{Tk ≥ t} = N k−1
(Summen stehen im Index)
k−1
P
P


Tj +t
Tj ,


j=0
j=0



P N
k−1
P
Tj ,
k−1
P
!
Tj +t
j=0
j=0

= 0 = P (Nt = 0) = e−λt
7.2 Eine andere Sichtweise auf den Poissonprozess
Man betrachtet das Intervall 0, nλ
Verteile unabhängig in n Schritten n Punkte nach der Gleichverteilung in diesem Intervall.
Die Wahrscheinlichkeit, dass ein Punkt auf ein teilintervall der Länge t fällt:
λt
t
n =
n
λ
Die Wahrscheinlichkeit genau k Punkte in diesem Intervall der Länge t zu platzieren ist:
n λt k
λt n−k
1
−
n
n
k
pn = λt
n · pn = λt D.h. nach dem Satz von der Poissonapproximation:
n,
k
n λt k
λt n−k
1
−
−−−→ e−λt (λt)
n
n
k!
k
n→∞
Also erhalten wir im Limes einen PPP mit Intensität λ.
(n)
Abstand der Punkte Tk
|
|
|
]
λ
n
T0
T1
(n)
Lines n → ∞?
Was
ist
die
Dichte
n
o von Tk im
n
[(n)
λ
= 1− n ·u
P
T0 ≥ u
{z
}
|
1−F (n) (u)
(n)
Die Wahrscheinlichkeit von T0
n−1
u 7→ λ 1 − nλ · u
13
ist also:
aus der Linearen Algebra
38
Dies konvergiert für n → ∞ gegen u 7→ λe−λu
7.3 Markowketten
Wir betrachten die Folge (Xn )n∈N von Zufallsvariablen mit Werten in einer endlichen
Menge von Zuständen {E1 , . . . , Ek }.
Bedinsystem: Kunden kommen nach diskreten Zeitschritten.
Es gibt eine Wahrscheinlichkeit, dass Einer/Keiner im nächsten Abschnitt kommt.
Die Wahrscheinlichkeit in einem Zeitschritt abgefertigt zu werden ist eine Zahl aus
(0, 1).
Betrachte jetzt die Zahl der Kunden im System als Zustand.
(in Warteschlange oder Server)
Wenn k Kunden im System sind wird keine Kunde mehr zugelassen.
Zustände: {0, 1, . . . , k}
Wie entickelt sich das System in der Zeit?
Sei a eine Wahrscheinlichkeitsverteilung auf den Zuständen {E1 , . . . , Ek } d.h
k
P
a = (a1 , . . . , ak ) mit ai ≥ 0 ∀i = 1, . . . , k,
ai = 1
i=1
Sei P = (Pi,j )i,j∈N eine stochastische Matrix,
k
P
d.h 0 ≤ Pi,j ≤ 1,
Pi,j = 1 ∀i = 1, . . . , k
j=1
Für diesen Prozess (Xn )n∈N
(⋆) P (X1 = Ei1 , X2 = Ei2 , . . . , Xn = Ein ) = ai1
Pi1 ,i2 , Pi2 ,i3 , . . . , Pin−1 ,in
Im Kapitel 3 hatten wir gesehen, dass auf diese Art Wahrscheinlichkeit auf Pfaden der
Länge n definiert werden.
Definition 7.6 (Markowkette)
Der Prozess (Xn )n∈N gegeben durch (⋆) heißt Markowkette mit Anfangsverteilung a und
Übergangswahrscheinlichkeit P = (Pi,j )j=1,...,k
Chrakteristische Eigenschaft einer Markowkette ist Vergangenheit und Zukunft sind unabhängig. Die Zukunft hängt nur von der gegenwart ab.
Satz 7.7 (Markoweigenschaft)
P (Xn+1 = Ein+1 | X1 = Ei1 , . . . , Xn = Ein ) = P (Xn = Ein+1 | Xn = Ein ) = Pin ,in+1
(Bedingte Wahrscheinlichkeit)
Beweis:
:::::::
LS = P (Xn+1 = Ein+1 | X1 = Ei1 , . . . , Xn = Ein ) =
P (Xn+1 = Ein , X1 = Ein , . . . , X1 = Ei1 )
=
=
P (Xn = Ein , . . . , X1 = Ei1 )
39
ai1 Pi1 ,i2 · Pi2 ,i3 · · · · · Pin ,in+1
= Pin ,in+1
ai1 Pi1 ,i2 · Pi2 ,i3 · · · · · Pin−1 ,in
P (Xn+1 = Ein+1 , Xn = Ein )
RS = P (Xn = Ein+1 | Xn = Ein ) =
=
P (Xn = Ein )
P
ai1 · Pi1 ,i2 · · · · · Pin−1 ,in · Pin ,in+1
=
=
i1 ,...,in−1
P
=
ai1 · Pi1 ,i2 · · · · · Pin−1 ,in
i1 ,...,in−1
P
ai1 · Pi1 ,i2 · · · · · Pin−1 ,in
Summe geht nur bis in−1
=
Pin ,in+1 ·
i1 ,...,in−1
P
i1 ,...,in−1
ai1 · Pi1 ,i2 · · · · · Pin−1 ,in
= Pin ,in+1 = LS
Beispiel 7.1 Irrfahrt mit absorbierendem Rand auf E0 , E1 , . . . , Ea
p
q
E0
E1
E2
p, q ∈ (0, 1) p + q

1 0
0

q 0
p


0
0 q
.
.

..
P =  ..
.
 ..

.
 ..
0 ... ...
...
E3
=1
...
...
p
..
..
.
...
...
.
q
0
p
0
...
q
0
0
0
Ea−2 Ea−1 Ea

0
.. 
.
.. 

.
.. 
.


0


p
1
Beispiel 7.2 Irrfahrt mit elastischem oder reflektierenden Rand auf
E0 , E1 , . . . , Ea , δ0 ∈ (0, 1]
p
q
1 − δ0 E0
E1
E2
...
p, q ∈ (0, 1) p + q = 1

1 − δ0 δ0
0

0
p
 q


q
0
 0
 .
..
P =
.
 ..
 .
 ..

 .
 ..
0
... ...
...
...
Ea−1 Ea
...
...
0
..
.
..
.
..
.
p
..
.
..
q
0
p
0
0
...
q
0
0
δ0
p
1 − δ0
.














Beispiel 7.3 Zyklische Irrfahrt auf E0 , E1 , . . . , Ea ]
40
q
E0

0
q


0


P =  ...

 ..
.

0
p
p
q
E1
E2
...
E3
p
0
0
p
...
...
q
0
..
.
p
..
.
..
0 ...
q
0
...
0
q
0
.
...
Ea−2 Ea−1 Ea
p

0 q
0

.. 
.

.. Diese Matrix ist doppelt stochastisch14
.


p 0

0 p
q 0
Beispiel 7.4 Irrfahrt mit Ruhepausen. Wir erlauben mit Wahrscheinlichkeit h ∈ [0, 1)
zu stehen und (1 − h)sich zu bewegen.
q(1 − h)
p(1 − h)
Ei−1
Ei
h
Ei+1
Anwendung der Beispiele 1-4 auf Bediensysteme
Server:
• Ein Bedienvorgang wird mit Wahrscheinlichkeit µ in einem Bedienschritt abgeschlossen; mit (1 − µ) wird zur nächsten Zeiteinheit ubergegangen.
• Mit Wahrscheinlichkeit ν trifft ein Kunde ein (pro Zeiteinhet)( mit (1 − ν) keiner.
• Sind n Kunden im System wird der n + 1te weggeschickt.
Zustände: {0, 1, . . . , n}
1 Zustände {1, . . . , n − 1} observable Kunden im System
Sprung nach unten: (1 − ν)µ
keine Änderung: νµ + (1 − µ)(1 − ν)
Sprung nach oben: ν(1 − µ)
2 In den Zuständen {0, n}
0 (elastisch): 0 Kunden: (1 − ν); 1 Kunde: ν
n (elastisch): n Kunden: νµ + (1 − µ)(1 − ν) + ν(1 − µ), n − 1 Kunden: (1 − ν)µ
14
D.h.
a
P
i=0
Pi,j = 1, ∀j = 0, . . . , a und
a
P
Pi,j = 1, ∀i = 0, . . . , a
j=0
41
Irrfahrt auf {0, 1, . . . , n} mit Ruhepausen und elastischem Rand:
q = (1 − ν)µ, p = ν(1 − µ); Randwahrscheinlichkeit nach 2)
Beispiel 7.5 Zwei Container A und B enthalten zusammen n Teilchen (n ∈ N).
Man greift eines der Teilchen aus den beiden Containern zufällig heraus und versetzt es
in den anderen Container.
Zustände: #Teilchen im Container A: {0, . . . , n}
P ist eine (n − 1) × (n − 1)-Matrix.


0 1
0
...
... 0
.. 
1
 n 0 1 − n1
0
.

.. 


.
0
1 − n2
0
 0 n2
.
.. 
..
..
..
P =
.
.
.
.

 ..

.
..
..
..
 ..
.
.
. 0



.
1
1

 ..
1−
0
n
n
0
0
1 0
Keine Irrfahrt,da die Wahrscheinlichkeiten vom aktuellen Zustand anhängen.
Beispiel 7.6 (Verzweigungsprozess)
(Zn )n∈N auf N0
(n)
Xi : Zahl der Nachkommen des i-ten Individuums der n-ten Generation.
Zn
P
(n)
Z0 = 1, Zn+1 =
Xi
i=1
(n)
u.i.v. N0 -wertig
Xi
n,i∈N
(n)
bk =: P (Xi = k), k ∈ N0
(Zn )n∈N ist ein Markowprozess mit Übergangsmatrix P = (Pi,j )i,j∈N0
Pi,j = b∗i (j), j ∈ N0 , i ∈ N
P0,j = 0 ∀j ∈ N
Berechnung von Wahrscheinklichkeiten bei Markowketten
Was ist die Wahrscheinlichkeit, nach n Schritten im Zustand k zu sein, wenn wir in j
starten.
P (Xn = k | X0 = j) = (P n )j,k
P (Xn = k | X0 = j) =
Def.M arkowkette
=
P
P
i1 ,...,in−1
P 2 j,i2
P
P (Xn = k, Xn−1 = in−1 , . . . , X1 = i1 ) =
i1 ,...,in−1
δi0 ,j Pj,i1 · Pi1 ,i2 · · · · · Pn−1,k
Pj,i1 Pi1 ,i2 =
P
Pj,i1 Pi1 ,i2 Pi2 ,i3 = P 3 j,i3
i1
i1 ,i2
. . . ergibt die Identität.
42
Stertverteilung von X0 istP
a (Wahrscheinlichkeitsvektor)
a = (a1 , . . . , ak ) (ai ≥ 0, a1 = 1)
Ist der Anfangszustand gemäß a verteilt, dann gilt:
• P (Xn = k) = (a · P n )k
Auszahlungsfunktion f : {E1 , . . . , Ek } → R
Wir fassen diese Funktion als Spaltenvektor auf.
k
k
P
P
f (El ) (P n )i,l (P n f )i
f (El )P (Xn = l | X0 = i) =
E [F (X) | X0 = i] =
l=1
l=1
Wie verhält sich P (Xn = k | X0 = j) −−−→? Hängt das von j ab?
n→∞
Definition 7.8 (Gleichgewichtsverteilung)
a) Eine Eahrscheinlichkeitsverteilung π auf den Zuständen {E
1 , . . . , Ek } der
Mar15
kowkette heißt eine Gleichgewichtsverteilung bezüglich P = (Pi,j )i,j=1,...,k , wenn
gilt:
k
P
πi Pj,j ′ = πj , ∀j ∈ {1, . . . , k} ,Symbolisch: πP = π
i=1
πi ≥ 0,
k
P
πi = 1
i=1
b) Gleichgewicht ⇔ π ist ein positiver normierter (bzgl. k · k1 ) Linkseigenvektor der
Matrix P , zum Eigenwert 1.
Bemerkung: Die Bedingung Pi Pi,j = πj Pj,i ∀i, j ∈ {1, . . . , k} impliziert πP = π
k
k
X
k
P
reversibel P
Pj,i = πj ∀j ∈ {1, . . . , k}
πi Pi,j
=
πj Pj,i = πj
i=1
i=1
|i=1{z }
1∀j∈{1,...,k}
Bemerkung: Der Vektor (1, 1, . . . , 1) ist stets ein positiver Rechtseigenvektor von P :
k
P
Pi,j · 1 = 1 Also ist k1 , k1 , . . . , k1 ein positiver normierter Rechtseigenvektor.
i=1
In der Regel aber nicht das gesuchte Gleichgewicht!
Definition 7.9 (Kette im Gleichgewicht)
Eine Markowkette heißt im Gleichgewicht, wenn gilt:
P (Xn = Ei ) ist unabhängig von n, für alle i ∈ {1, . . . , k}
Sei π eine Gleichgewichtsverteilung für P , dann ist die Markowkette zu P mit L[X0 ] = π
ist im Gleichgewicht.
P (Xn = Ei ) = (πP n )i Allgemein ist πP = π
15
invariantes Maß, Equilibrium
43
⇒ P (Xn = Ei ) = (πP n )i = πi
i ∈ {1, . . . , k}
Beispiel 1:
Die zyklische Irrfahrt
aus Beispiel 3 für Markowketten ist doppelt stochastisch. Dann ist
1
1 1
π = k , k , . . . , k ein Gleichgewicht.
k
P
1 · Pi,j = 1 ∀j ∈ {1, . . . , k}
i=1
Gleichgewicht ist die Gleichverteilung
Beispiel 2: (Geburts und Todesprozess auf N, ν, µ ∈ (0, 1))
µ
ν
P : Pi,i+1 = µ+ν
Pi,i−1 = µ+ν
für i = 1, 3, . . .
µ
ν
und P1,1 = µ+ν P1,1 = µ+ν
(Pi,j = 0 falls j ∈
/ {i, i − 1} i ≥ 2)
Ist ν > µ, so existiert
ein Gleichgewicht:
i−1
−1
· µν
, i∈N
πi = 1 − µν
Rechne nach: πj Pi,j = πj Pj,i
Klassifikation von Zuständen und Mengen von Zuständen
Eine Teilmenge C von Zuständen heißt abgeschlossen, falls gilt:
n = 0 ∀n ∈ N, i ∈ C, j ∈ CC (C c )
Pi,j
Eine Markowkette heißt irreduzibel, wenn nur der gesamte Zustandsraum eine abgeschlossene Menge ist.
n >0
D.h. für jedes i, j gibt es ein n mit Pi,j
Wenn wir in einer Matrix P mit abgeschlossener Menge C alle Einträge entfernen, die
i ∈ C, j ∈ CC oder umgekehrt beinhaltet, dann erhalten wir eine |C| × |C|-Matrix, die
stochastisch ist.
Definition 7.10 (periodisch,aperiodisch)
a) Eine Klasse L ⊆ {E1 , . . . , Ek } heißt periodisch mit Periode d ∈ N, wenn gilt:
L = L1 + L2 + · · · + Ld
P (X0 ∈ L1 , X1 ∈ L2 , . . . , Xd−1 ∈ Ld , Xd ∈ L1 ) = 1
b) Eine Markowkette heißt aperiodisch, wenn {E1 , . . . , Ek } die einzige periodische
Klasse, mit Periode 1, ist.
Satz 7.11 (Langzeitverhalten)
a) Ist die Matrix P irreduzibel und aperiodisch, dann gilt:
(P n )i,j −−−→ πj , ∀i, j ∈ {1, . . . , k}
n→∞
Dann ist π = (π1 , . . . , πk ) die eindeutige Gleichgewichtsverteilung von P .
44
b) Hinreichend
für
Aperiodizität und Irreduzibilität ist:
k
∃k ∈ N : Pi,j > 0 ∀i, j ∈ {1, . . . , k}
Markowketten in stetiger Zeit
Seien (Ti )i∈N unabhängige exponentialverteilte Zufallsvariablen.
Sei (Xi )i∈N eine Markowkette zu P und a.
T0 = 0 mit (Ti )i∈N und (Xi )i∈N sind unabhängige Zufallsvariablen.
Markowkette
in stetiger Zeit:
XN (t) t≥0 mit N (t) = k ↔ T1 + T2 + · · · + Tk−1 ≤ T1 + · · · + Tk
Die Parameter der Exponentialverteilung von Tk können von dem Zustand abhängen,
der zur Zeit t1 + T2 + · · · + Tk−1 erreicht wurde.
In unserem Bedienmodell könnte es so aussehen:
kt : Zahl der Kunden im System
Wenn die Wartezeit auf den nächsten Kunden EXP (λ) verteilt ist und die Bediendauer
EXP (µ) verteilt ist
• kt = kt + 1 wenn ein weiterer Kunde eintrifft
• kt = kt − 1 wenn ein Bedienvorgang endet
Wenn wir gerade gesprungen sind, dann tritt der nächste Sprung ↑ oder ↓ mit Wahrµ
λ
scheinlichkeit µ+λ
bzw. λ+µ
auf.
Dazu müssen wir berechnen W s(T1 < T2 ) mit T1 ∼ EXP (λ), T2 ∼ EXP (µ).
T1 und T2 unabhängig.
R
R∞ −λv Rv −µv
−λu
−µv
W s(T1 < T2 ) = {u<v} λe
µe
dudv = µe
λe
du dv =
0
0
i∞
h
R∞
R∞
µ
λ
= λ+µ
e−(µ+λ)v
= µe−λv 1 − e−λv dv = 1 − µe−(µ+λ)v dv = 1 − λ+µ
0
0
0
45
INDEX
Stichwortverzeichnis
Zufallsvariable . . . . . . . . . . . . . . . . . . . 20
Intensität. . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
irreduzibel . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Symbols
σ-Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Borel- . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
von E erzeugt. . . . . . . . . . . . . . . . . . . . .5
K
A
B
Kette
im Gleichgewicht . . . . . . . . . . . . . . . . 43
Kopplung. . . . . . . . . . . . . . . . . . . . . . . . . . . .15
Korelation . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Kovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Bedinsystem . . . . . . . . . . . . . . . . . . . . . . . . . 39
L
E
Langzeitverhalten. . . . . . . . . . . . . . . . . . . .44
Laplacetransformierte. . . . . . . . . . . . . . . .32
abgeschlossen . . . . . . . . . . . . . . . . . . . . . . . . 44
aperiodisch . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Equilibrium . . . . . . . . . . . . . . . . . . . . . . . . . 43
Ereignisfeld . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Erwartungswert . . . . . . . . . . . . . . . . . . . . . 20
Erzeugende Funktion . . . . . . . . . . . . . . . . 30
Erzeuger
einer σ-Algebra . . . . . . . . . . . . . . . . . . . 5
Experiment
Laplace- . . . . . . . . . . . . . . . . . . . . . . . . . . 6
M
Markoweigenschaft . . . . . . . . . . . . . . . . . . 39
Markowkette . . . . . . . . . . . . . . . . . . . . . . . . 39
Maß
invariantes . . . . . . . . . . . . . . . . . . . . . . 43
Median . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Merkmalsraum . . . . . . . . . . . . . . . . . . . . . . . 4
Modalwert. . . . . . . . . . . . . . . . . . . . . . . . . . .19
F
Faltung
auf R. . . . . . . . . . . . . . . . . . . . . . . . . . . .28
Formel
Bayessche . . . . . . . . . . . . . . . . . . . . . . . 13
totale Wahrscheinlichkeit . . . . . . . . 13
Funktion
erzeugende . . . . . . . . . . . . . . . . . . . . . . 30
N
Normalapproximation . . . . . . . . . . . . . . . 34
P
P-fs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
periodisch . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Poisson-Prozess . . . . . . . . . . . . . . . . . . . . . . 36
Poisson-Punktprozess . . . . . . . . . . . . . . . . 36
G
Gesetz der großen Zahl
schwaches . . . . . . . . . . . . . . . . . . . . . . . 33
starkes . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Gleichgewichtsverteilung . . . . . . . . . . . . . 43
Q
Quantil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
I
S
integrierbar
Satz
46
von der Poissonapproximation . . . 18
stochastisch unabhängig . . . . . . . . . . . . . 14
Zufallsvariablen . . . . . . . . . . . . . . . . . 14
stochastische Matrix . . . . . . . . . . . . . . . . . 16
Streuung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
V
Varianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
von Summen . . . . . . . . . . . . . . . . . . . . 25
Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Beta- . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Binomial- . . . . . . . . . . . . . . . . . . . . . . . . 9
Exponential- . . . . . . . . . . . . . . . . . . . . 10
Gamma- . . . . . . . . . . . . . . . . . . . . . . . . 11
Geometrische- . . . . . . . . . . . . . . . . . . . . 9
Gleich- . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Gleichgewichts- . . . . . . . . . . . . . . . . . . 43
hypergeometrische . . . . . . . . . . . . . . . 17
Normal- . . . . . . . . . . . . . . . . . . . . . . . . . 10
Poisson- . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Verteilungsfunktion . . . . . . . . . . . . . . . . . . 11
W
Wahrscheinlichkeit
bedingte. . . . . . . . . . . . . . . . . . . . . . . . .13
Wahrscheinlichkeitsdichte . . . . . . . . . . . . 10
Wahrscheinlichkeitsmaß . . . . . . . . . . . . . . . 6
Wahrscheinlichkeitsraum . . . . . . . . . . . . . . 4
Z
Zähldichte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
zufällige Summe . . . . . . . . . . . . . . . . . . . . . 31
Zufallsvariable . . . . . . . . . . . . . . . . . . . . . . . . 7
47
Logbuch
01.
02.
03.
04.
05.
06.
07.
08.
09.
10.
11.
12.
13.
14.
15.
16.
17.04,
19.04,
24.04,
26.04,
03.05,
08.05,
10.05,
15.05,
22.05,
24.05,
31.05,
05.06,
12.06,
14.06,
19.06,
21.06,
3–5
5–8
8–10
10–14
14–16
16–18
18–21
21–24
24–26
26–29
29–32
32–34
34–38
38–41
41–43
43–45
48