Zusammenfassung (18. Oktober 2006) Einführung in die Stochastik

2
Zusammenfassung (18. Oktober 2006)
Einführung in die Stochastik
Die Stochastik ist die Lehre von den mathematischen Gesetzmäßigkeiten des Zufalls
• Teilgebiete: Wahrscheinlichkeitstheorie, Statistik.
• Aufgaben der Wahrscheinlichkeitstheorie: Bildung und Untersuchung von Modellen für Phänomene, die vom Zufall beeinflußt
sind.
• Aufgaben der Statistik: Entwicklung von Verfahren zur Analyse
realer Daten.
• Begriffe, Konzepte der Wahrscheinlichkeitstheorie:
– Wahrscheinlichkeitsräume
(einfache Spezialfälle: Laplace’sche, diskrete Wahrscheinlichkeitsräume).
– Zufallsvariablen.
– Erwartungswert, Varianz; Verteilung einer Zufallsvariablen.
– Stochastische Prozesse.
– Bedingte Wahrscheinlichkeiten.
– Gesetz der großen Zahlen, Zentraler Grenzwertsatz.
– Markovketten.
Zusammenfassung (20. Oktober 2006)
• Ein Wahrscheinlichkeitsraum ist ein Tripel (Ω, F, P), wobei Ω (Stichprobenraum) eine Menge, F eine σ-Algebra und
P ein Wahrscheinlichkeitsmaß auf (Ω, F) ist.
• Elementare Beispiele zur Modellierung mit Wahrscheinlichkeitsräumen.
P
(|Ω| < ∞; F = Pot(Ω); P[A] = ω∈A P[{ω}], A ∈ F;
P
P[{ω}] ∈ [0, 1], ω ∈ Ω; ω∈Ω P[{ω}] = 1)
– Münzwurf (fair, unfair; ein-, mehrmalig unabhängig)
– Wurf eines Würfels (fair, unfair)
– Laplace’scher W’raum: P[{ω}] = 1/|Ω|, ω ∈ Ω
(Gleichverteilung auf Ω).
• ∞-facher, unabhängiger, fairer Münzwurf :
– Ω = (ωk )k∈N : ωk ∈ {0, 1}, k ∈ N =: {0, 1}N.
Interpretation: ωk beschreibt Ergebnis des k-ten Wurfs, wenn
insgesamt die Wurfsequenz ω geworfen wird.
( ωk = 0“ , Wurf von Kopf“, ωk = 1“ , Wurf von Zahl“)
”
”
”
”
– Wenn F = Pot(Ω) gewählt wird, kann kein vernünftiges“
”
Wahrscheinlichkeitsmaß P auf (Ω, F) definiert werden (Satz
von Vitali).
• Frage (F): Welche Eigenschaften sollten F, bzw. P beim ∞fachen, unabhängigen, fairen Münzwurf sinnvollerweise haben?
Ziel: Rechtfertigung von Axiomensystemen für σ-Algebren und
Wahrscheinlichkeitsmaße.
3
4
Zusammenfassung (25. Oktober 2006)
Zusammenfassung (27. Oktober 2006)
• Sinnvolle Eigenschaften von σ-Algebren und Wahrscheinlichkeitsmaßen beim ∞-fachen Münzwurf.
Definition 1.3.1. Sei Ω 6= ∅. Eine Familie F ⊆ Pot(Ω) mit
(1) Ω ∈ F
(2) A ∈ F
(Sicheres Ereignis)
(Ω \ A) ∈ F
S∞
(3) A1, A2 , · · · ∈ F =⇒
n=1 An ∈ F
=⇒
(A tritt nicht ein)
(A1 oder A2 oder ...)
wird als σ-Algebra bezeichnet. (Ω, F) ist ein meßbarer Raum.
Definition 1.3.3. Sei (Ω, F) ein meßbarer Raum. Eine Funktion P :
F → [0, 1] mit
(1) P[Ω] = 1
P∞
S
(2) P ∞
i=1 P[Ai ], falls Ai ∩ Aj = ∅, i 6= j
i=1 Ai =
heißt Wahrscheinlichkeitsmaß. (2) wird als σ-Additivität bezeichnet.
(Ω, F, P) ist ein Wahrscheinlichkeitsraum.
• Vorgehensweise bei der Konstruktion von σ-Algebren und
Wahrscheinlichkeitsmaßen. Ω sei gegeben.
– Familie F ∗ elementarer“ Ereignisse.
”
∗
∗
– P : F → [0, 1] mit den Eigenschaften (1) und (2) in Definition 1.3.3.
– Erweiterung F = σ(F ∗) (kleinste F ∗ umfassende σ-Algebra).
– Fortsetzung P von P∗.
P : F → [0, 1] Wahrscheinlichkeitsmaß auf (Ω, F).
• Der ∞-fache, unabhängige Münzwurf: Details zur Konstruktion
von F und P.
– Ω = {0, 1}N
– F = σ(Fendl) (kleinste Fendl umfassende σ-Algebra)
Sei A = {ω ∈ Ω : ωk1 = ηk1 , . . . , ωkn = ηkn } ∈ Fendl.
n
– Faire Münze: P∗ [A] = 1/2 .
– Münze mitPWahrscheinlichkeit
p für Zahl“ (, 1):
Pn
”
n
η
n−
η
l=1 kl .
P∗[A] = p l=1 kl (1 − p)
– Zu P∗ : Fendl → [0, 1] existiert jeweils eine eindeutig bestimmte Fortsetzung P : F → [0, 1]. P ist W’maß auf (Ω, F).
• Beispiel.
p
P[Erster Wurf von Kopf“ in geradem Zeitpunkt] =
.
”
1+p
• Eigenschaften einer σ-Algebra F in Ω:
– ∅ ∈ F,
SN
A ∈ F.
– A1, A2, . . . , AN ∈ F =⇒
T∞ n=1 n
– A1, A2, · · · ∈ F =⇒
n=1 An ∈ F.
• Eigenschaften eines Wahrscheinlichkeitsmaßes P auf (Ω, F):
– P[∅] = 0,
– P[A ∪ B] = P[A] + P[B] − P[A ∩ B], A, B ∈ F.
– Subadditivität: P[A ∪ B] ≤ P[A] + P[B], A, B ∈ F.
– Monotonie: A ⊆ B =⇒ P[A] ≤ P[B].
• Beispiel.
P[beim ∞-fachen Münzwurf nur endlich oft Kopf“]
”
=P {ω ∈ {0, 1}N : ωk = 0 für nur endlich viele k} = 0.
5
6
Zusammenfassung (3. November 2006)
Zusammenfassung (8. November 2006)
• Satz von Vitali. Auf ({0, 1}N, Pot({0, 1}N)) kann kein vernünfti-
ges Wahrscheinlichkeitsmaß zur Modellierung des ∞-fachen, unabhängigen Wurfs einer fairen Münze existieren.
⇒ Pot(Ω) i.allg. als σ-Algebra in überabzählbaren Stichpro-
benräumen Ω ungeeignet.
• Einheitsintervall mit Gleichverteilung.
Ω = [0, 1],
F = B([0, 1]) = σ(F ∗), wobei F ∗ = {[a, b] : 0 ≤ a ≤ b ≤ 1}
(Borelsche σ-Algebra),
P mit P [a, b] = b − a, 0 ≤ a < b ≤ 1 (Lebesguemaß)
• Lebesguemaß im Rd, d = 1, 2, . . . .
B(Rd) kleinste σ-Algebra, die alle offenen Mengen enthält,
Lebesguemaß λ mit λ(A) = Vol(A), falls A ein Quader ist.
• Wahrscheinlichkeitsmaß mit Dichte f .
R
f : Rd → [0, ∞) stückweise stetig, Rd f (x)dx = 1.
R
P[A] = A f (x)dx, A ∈ B(Rd).
Beispiele: Normalverteilung, Exponentialverteilung, Gleichver-
teilung auf beschränktem Gebiet.
• Diskrete Wahrscheinlichkeitsräume (Ω, F, P).
Ω endlich oder abzählbar unendlich;
P
F = Pot(Ω); P[A] = a∈A pa, A ∈ F.
P
(pa = P[{a}] ∈ [0, 1], a ∈ Ω;
a∈Ω pa = 1)
P
Für Ω ⊂ Rd ist P mit P[A] := a∈A∩Ω pa ein Wahrscheinlichkeitsmaß auf (Rd, B(Rd)). a mit pa = P[{a}] > 0 ist ein Atom.
• Beispiele. Bernoulli-Verteilung (|Ω| = 2),
Binomial-Vert. (Ω = {0, ..., N }; pk = Nk pk (1−p)N −k , k ∈ Ω),
Geometrische Verteilung (Ω = N; pk = (1 − p)k−1p, k ∈ N),
Laplacesche Verteilung (Gleichverteilung auf endlicher Menge).
• Quantile. P W’maß auf (R, B(R)), α ∈ (0, 1). q ∈ R mit
P (−∞, q] ≥ α, P [q, ∞) ≥ 1 − α ist ein α-Quantil von P.
Quantile brauchen nicht eindeutig zu sein.
2. Zufallsvariable
• ZV’en dienen derModellierung “zufälliger Beobachtungsgrößen“.
• (Ω, F, P) Wahrscheinlichkeitsraum, (Ω′, F ′) meßbarer Raum.
X : (Ω, F, P) → (Ω′, F ′) mit
X −1(A′) = {ω ∈ Ω : X(ω) ∈ A′} ∈ F, A′ ∈ F ′,
(1)
heißt Zufallsvariable.
=⇒ P[X −1(A′)] =: P[X ∈ A′] wohldefiniert für alle A′ ∈ F ′.
• Ω abzählbar, F = Pot(Ω) =⇒ Jede Funktion auf Ω erfüllt (1).
7
8
Zusammenfassung (10. November 2006)
Zusammenfassung (15. November 2006)
• X : (Ω, F, P) → (Ω′, F ′) braucht keine Zufallsvariable zu sein,
• Sei X : (Ω, F, P) → (Ω′, F ′) eine Zufallsvariable.
• Sei (Ω, F, P) ein Wahrscheinlichkeitsraum, (Ω′, F ′) ein meßbarer
• Sei X : (Ω, F, P) → (R, B(R)) eine reellwertige Zufallsvariable.
wenn F zu klein ist.
′
′
Raum und T ⊆ R. Xt : (Ω, F, P) → (Ω , F ), t ∈ T, seien ZV’en.
X = (Xt)t∈T wird als stochastischer Prozeß bezeichnet.
• Beispiel. Bernoulli-Prozeß Y = (Yk )k∈N mit Parameter p.
(Y1, Y2, . . . unabhängige, {−1, 1}-wertige Zufallsvariable mit
P[Yk = −1] = 1 − p, P[Yk = 1] = p, k = 1, 2, . . . )
• Beispiel. Irrfahrt: X0 = 0; Xk = Xk−1 + Yk , k = 1, 2, . . . .
(Y = (Yk )k∈N Bernoulli-Prozeß)
Zu jedem Zeitp. k ∈ N springt X = (Xk )k∈N0 auf der Zahlengera-
Die Verteilung PX von X ist ein W’maß auf (Ω′, F ′).
Ihre Verteilungsfunktion FX : R → [0, 1] ist definiert durch
FX (y) = P[X ≤ y],
y ∈ R.
• Eigenschaften der Verteilungsfunktion FX einer ZV X:
– PX (a, b] = FX (b) − FX (a), −∞ < a < b < ∞.
=⇒
PX ist durch FX eindeutig bestimmt.
– FX ist monoton wachsend mit
lim FX (y) = 0,
y→−∞
lim FX (y) = 1.
y→∞
den mit W’keit p nach rechts bzw. mit W’keit (1−p) nach links.
– FX ist rechtsstetig und besitzt linksseitige Grenzwerte.
p = 1/2: Symmetrische Irrfahrt.
– a ∈ R sei ein Atom von PX
• Sei (Ω, F, P) ein Wahrscheinlichkeitsraum, (Ω′, F ′) ein meßbarer
Raum und X : (Ω, F, P) → (Ω′, F ′) eine ZV. PX mit
PX [A′] = P {ω ∈ Ω : X(ω) ∈ A′} = P[X ∈ A′], A′ ∈ F ′,
ist die Verteilung der Zufallsvariablen X.
• PX ist ein Wahrscheinlichkeitsmaß auf (Ω′, F ′).
• Ω′ höchstens abzählbar, F ′ = Pot(Ω′). X eine Ω′-wertige ZV.
P
PX [A′] = a∈A′ PX [{a}], A′ ∈ F ′,
d.h., PX ist eindeutig durch PX [{a}], a ∈ Ω′, bestimmt.
Es gilt:
=⇒
FX hat Sprung in a.
FX (a) − limyրa FX (y) = P[X = a].
– PX habe eine Dichte f bzgl. des Lebesguemaßes auf R.
Ry
=⇒ FX (y) = −∞ dz f (z), y ∈ R.
• Wahrscheinlichkeitsräume und ZVen bei der Modellbildung.
– allgemeine, hinreichend große W’räume zur Konstruktion
der bei der Modellbildung benötigten Zufallsvariablen.
– spezielle Wahrscheinlichkeitsräume zur Beschreibung und
Untersuchung der gemeinsamen Verteilung von ZV’en.
9
10
Zusammenfassung (17. November 2006)
Zusammenfassung (22. November 2006)
(• Gemeinsame Verteilung, Unabhängigkeit von Zufallsvariablen)
3. Laplacesche Wahrscheinlichkeitsmodelle
• Ω endlich, F = Pot(Ω), P[{ω}] = |Ω|−1, ω ∈ Ω.
Alle Elemente von Ω sind gleichwahrscheinlich“.
”
• Lösung von Abzählproblemen zur Bestimmung von Wahrscheinlichkeiten (P[A] = |A|/|Ω|).
Hilfsmittel: Urnenmodelle.
• Urne mit N Kugeln, n Ziehungen. Ziehungsvarianten:
(U1) Ziehung mit Zurücklegen, Reihenfolge berücksichtigt.
(U2) Ziehung ohne Zurücklegen, Reihenfolge berücksichtigt.
(U3) Ziehung mit Zurücklegen, Reihenfolge unberücksichtigt.
(U4) Ziehung ohne Zurücklegen, Reihenfolge unberücksichtigt.
• Wk (N, n) mögliche Ziehungsresultate für (Uk ), k = 1, . . . , 4.
W1(N, n) , {1, . . . , N }n
= {(w1, . . . , wn) : w1, . . . , wn = 1, . . . , N },
W2(N, n) , {w ∈ W1(N, n) : wi 6= wj , i 6= j},
W3(N, n) , {w ∈ W1(N, n) : 1 ≤ w1 ≤ w2 ≤ . . . ≤ wn ≤ N },
W4(N, n) , {w ∈ W1(N, n) : 1 ≤ w1 < w2 < . . . < wn ≤ N }.
(wi , Resultat der i-ten Ziehung; bei W3(N, n) und W4(N, n)
evtl. Umordnung der Ziehungszeitpunkte“)
”
• Urnenmodelle (U1) - (U4). Wk (N,n) Ziehungsresultate für (Uk ).
|W1(N, n)| = N n,
|W2(N, n)| = N !/(N − n)!,
N +n−1
N
|W3(N, n)| =
, |W4(N, n)| =
.
n
n
• Beispiele.
– W’keit für 2 Buben im Skat = |W4(4, 2)|/|W4(32, 2)|.
– W’keit, daß für M Pers. 2 am gleichen
Tag Geburtstag
haben
M (M − 1)
|W2(365, M )|
.
≥ 1 − exp −
=1−
|W1(365, M )|
730
– Wahrscheinlichkeit für r Richtige beim Zahlenlotto 6 aus 49“
”
|W4(6, r)| |W4(43, 6 − r)|
=
.
|W4(49, 6)|
11
12
Zusammenfassung (24. November 2006)
Zusammenfassung (29. November 2006)
• Warnung vor sorgloser Anwendung von Laplaceschen Modellen.
• Verteilungsmodelle“ als Alternativen zu Urnenmodellen.
”
– Verteilung von n Murmeln“ auf N Zellen“.
”
”
– Vier Varianten:
∗ Mehrfachbelegung der Zellen erlaubt / nicht erlaubt.
∗ Murmeln unterscheidbar / nicht unterscheidbar.
– Äquivalenz zu entsprechenden Urnenmodellen.
• Für k = 1, . . . , n sei Ωk höchstens abzählbar, Fk = Pot(Ωk ) und
Xk : (Ω, F, P) → (Ωk , Fk ) eine Zufallsvariable. Die gemeinsame
Verteilung von X1, . . . , Xn ist eindeutig bestimmt durch
P[X1 = m1 , . . . , Xn = mn], m1 ∈ Ω1, . . . , mn ∈ Ωn.
Die gemeinsame Verteilung PX1,...,Xn von X1, . . . , Xn mit
X
PX1,...,Xn [A] =
P[X1 = m1, . . . , Xn = mn],
(m1 ,...,mn )∈A
= P[(X1, ..., Xn) ∈ A], A ∈ Pot(Ω1 ×...×Ωn),
4. Familien von Zufallsvariablen
• T1, T2, . . . seien Zufallsvariable mit gleicher Verteilung
(identisch verteilte Zufallsvariable).
Unterschiedliche Abhängigkeiten“ sind möglich.
”
• Seien (Ω, F, P) ein W’raum und (Ωk , Fk ), k = 1, 2, ..., meßbare
Räume. Seien Xk : (Ω, F, P) → (Ωk , Fk ), k = 1, 2, . . . , ZV’en.
Die gemeinsame Verteilung von X1, X2, ... wird durch
P[Xk1 ∈ Ak1 , . . . , Xkn ∈ Akn ],
Ak1 ∈ Fk1 , . . . , Akn ∈ Fkn , 1 ≤ k1 < · · · < kn < ∞, n ∈ N,
beschrieben. Die Zufallsvariablen X1, X2, ... heißen unabhängig,
wenn die gemeinsame Verteilung faktorisiert“, d.h., wenn
”
P[Xk1 ∈ Ak1 , . . . , Xkn ∈ Akn ] = P[Xk1 ∈ Ak1 ] . . . P[Xkn ∈ Akn ]
jeweils gilt.
ist ein W’maß auf (Ω1 × · · · × Ωn, Pot(Ω1 × · · · × Ωn)).
• Seien Xk : (Ω, F, P) → (Ωk , Fk ), k ∈ N, Zufallsvariable.
Die gemeinsame Verteilung PX1,X2,... ist ein W’maß auf
N∞
N∞
Q∞
F
Ω
,
k=1 k ,
k=1 k
k=1 Fk kleinste σ-Algebra, die alle
endlich-dimensionalen Rechtecke
n
Q
Ω
:
ω
∈
A
,
i
∈
∆
:
ω∈ ∞
k
i
i
k=1
umfaßt.
o
Ai ∈ Fi, i ∈ ∆; ∆ ⊂ N, |∆| < ∞
• Ereignisse Aλ, λ ∈ Λ, in einem Wahrscheinlichkeitsraum
(Ω, F, P) sind unabhängig, wenn
T
Q
P λ∈∆Aλ = λ∈∆P[Aλ ],
∆ ⊂ Λ, |∆| < ∞.
• Beachte: Paarweise Unabhängigkeit ; Unabhängigkeit.
13
14
Zusammenfassung (1. Dezember 2006)
5. Spezielle Wahrscheinlichkeitsmaße
• Sei X = (Xn)n∈N0 ein stoch. Prozeß mit Werten in (Ω′, F ′).
– X ist stationär, wenn die gemeinsame Verteilung von
Xk+k1 , . . . , Xk+kn jeweils unabhängig von k ∈ N0 ist.
– Ein stationärer Prozeß X ist mischend, wenn jeweils
′
lim P[X0 ∈ A′0, ..., Xn ∈ A′n, Xk ∈ B0′ , ..., Xk+m ∈ Bm
]
k→∞
′
].
= P[X0 ∈ A′0, ..., Xn ∈ A′n]P[X0 ∈ B0′ , ..., Xm ∈ Bm
(Teilsequenzen von X sind bei wachsender zeitlicher Entfernung asymptotisch“ unabhängig.)
”
– Der Bernoulliprozeß ist stationär und mischend.
Die Irrfahrt ist nicht stationär.
• Gleichheitsbegriffe.
– X, Y : (Ω, F, P) → (Ω′, F ′).
X = Y , f.s., falls P[X = Y ] = 1 (fast-sichere Gleichheit).
– X : (Ω, F, P) → (Ω′, F ′), Y : (Ω1, F1, P1) → (Ω′, F ′).
L
d
X = Y (X = Y ), falls PX = PY
(Gleichheit in Verteilung, X und Y sind identisch verteilt).
Es existieren auch unterschiedliche Konvergenzkonzepte.
• Multinomialverteilung Mn(N, q1, . . . , qn) mit Parametern
P
n, N ∈ N und q1, . . . , qn ∈ [0, 1], wobei nk=1 qk = 1:
Ω = ω = (ω1, . . . , ωn) :
Pn
ωk ∈ {0, 1, ..., N }, k = 1, ..., n;
k=1ωk = N ,
N!
q1ω1 . . . qnωn , ω ∈ Ω.
pω = P[{ω}] =
ω1! . . . ωn!
• Anwendung: Urne mit Kugeln der Farben 1, . . . , n. Für k =
1, . . . , n sei qk der Anteil der Kugeln der Farbe k. N -maliges
Ziehen mit Zurücklegen.
P[lk Kugeln der Farbe k, k = 1, . . . , n]
= Mn(N, q1, . . . , qn)[{(l1, . . . , ln)}],
Pn
l1, . . . , ln ∈ N0 ,
k=1 lk = N .
15
16
Zusammenfassung (6. Dezember 2006)
Zusammenfassung (8. Dezember 2006)
• Multinomialverteilung Mn (N, q1, . . . , qn). Verteilung der Farben bei Ziehung mit Zurücklegen von Kugeln der Farben 1, ..., n
mit den jew. Anteilen q1, ..., qn aus einer Urne.
• Hypergeometrische Verteilung Hn,M (N, m1, ..., mn ). Verteilung
der Farben bei Ziehung ohne Zurücklegen von Kugeln der Far-
ben 1, ..., n mit den jew. Anzahlen m1, ..., mn aus einer Urne.
• Multinomialapproximation der hypergeometrischen Verteilung.
• Poissonverteilung P (λ), λ > 0:
Ω = N0,
pk = λk exp(−λ)/k!, k = 0, 1, 2, . . . .
• Poisson-Approximation der Binomialverteilung.
Sei pn, n ∈ N, eine Folge in [0, 1] mit limn→∞ npn = λ ∈ (0, ∞).
=⇒
lim B(n, pn)[{k}] = P (λ)[{k}],
n→∞
k = 0, 1, 2, . . .
• Bedeutung der Poissonverteilung in Anwendungen basiert auf
dieser Approximation (Anzahl der Zerfälle eines radioaktiven
Präparats, Anzahl der Anfragen an einen Mail-Server, . . . )
• Wartezeiten. Für t > 0 sei die Anzahl spezieller, sich nicht
beeinflußender Ereignisse in [0, t] verteilt nach P (λt).
=⇒ Wartezeit auf das erste Ereignis ist exponentiell verteilt
mit Parameter λ.
• Ausblick: Untersuchung w’theoretischer Modelle.
– Erwartungswert E[X], Varianz von Zufallsvariablen X.
Seien Xk , k ∈ N, unabhängige, identisch verteilte ZV’en.
– Gesetz der großen Zahlen
(Asymptotik von Mittelwerten:
– Zentraler Grenzwertsatz
(Asymptotik von Fluktuationen
1
N
PN
k=1 Xk
N →∞
→ E[X1])
√ 1 PN
N ( N k=1 Xk − E[X1]))
– Markovketten X = (Xk )k∈N. (Bedingt unter der Gegenwart
sind Vergangenheit und Zukunft unabhängig)
6. Erwartungswert und Varianz
• Sei X : (Ω, F, P) → (R, B(R)) diskret, d.h. X(Ω) ist höchstens
abzählbar.
– X ist integrabel, wenn
P
x∈X(Ω) |x|P[X
= x] < ∞.
– Man definiert dann den Erwartungswert von X durch
P
E[X] := x∈X(Ω) xP[X = x].
17
18
Zusammenfassung (13. Dezember 2006)
Zusammenfassung (15. Dezember 2006)
• Sei X eine reellwertige Zufallsvariable.
X ist integrabel ⇐⇒ E[|X|] < ∞.
• Eigenschaften der Abbildung X → E[X], X Zufallsvariable.
X, Y , Xk , Yk , k ∈ N, ZV’en mit Werten in (R, B(R)), c ∈ R.
– Monotonie des Erwartungswerts:
X ≤ Y , f.s. =⇒
E[X] ≤ E[Y ].
– Linearität des Erwartungswerts:
cX, X + Y sind integrabel mit
∗ E[cX] = cE[X],
∗ E[X + Y ] = E[X] + E[Y ].
– σ-Additivität des Erwartungswerts:
P
Xk ≥ 0, f.s., k ∈ N, und X = ∞
n=1 Xn .
P∞
=⇒ E[X] = k=1 E[Xk ].
Satz von der monotonen Konvergenz:
Yk ր Y
=⇒ limk→∞ E[Yk ] = E[Y ].
X, Y, Xn, Yn, n ∈ N, seien reellwertige, integrable Zufallsvariable.
• Weitere Eigenschaften der Abbildung X → E[X], X ZV.
– Produktregel für unabhängige Zufallsvariablen:
X, Y unabhängig.
=⇒ XY ist integrabel und E[XY ] = E[X]E[Y ].
– Normierung: Sei X = 1, f.s.
=⇒ E[X] = 1.
• Bestimmung von E[X] mit Hilfe diskreter Approximationen.
– Sei X(m)(ω) = ⌊mX(ω)⌋/m, ω ∈ Ω.
– X(n0) für ein n0 integrabel
=⇒ alle X(n) sind integrabel, E[X(n)] ist Cauchy-Folge.
– Definition: E[X] := limn→∞ E[X(n)]
• PX habe Dichte f bzgl. des Lebesguemaßes. H meßbar.
R
X ist integrabel, falls R dx |x|f (x) < ∞,
R
H(X) ist integrabel, falls R dx |H(x)|f (x) < ∞,
R
R
E[X] = R dx xf (x), E[H(X)] = R dx H(x)f (x).
• E[ . ] ist ein abstraktes Integral.
R
R
Schreibweise: E[X] =: Ω X(ω)P(dω) =: XdP.
• Sei p ∈ [1, ∞).
Falls E[|X|p] < ∞, existiert das p-te Moment E[X p] von X.
19
20
Zusammenfassung (20. Dezember 2006)
• Sei p ∈ [1, ∞) und (Ω, F, P) ein Wahrscheinlichkeitsraum.
Lp(Ω, F, P) := {Y : (Ω, F, P) → (R, B(R)) : E[|Y |p] < ∞}
ist ein Banachraum mit der Norm kY kp := (E[|Y |p])1/p.
L2(Ω, F, P) ist Hilbertraum mit Skalarprodukt hY, Zi := E[YZ].
Seien X, Y ∈ L2(Ω, F, P).
• Varianz: Var(X) := E[(X − E[X])2].
(Stärke der Fluktuationen von X um typischen“ Wert E[X])
p
”
• Standardabweichung: σX = Var(X).
• Kovarianz: Cov(X, Y ) := E[(X − E[X])(Y − E[Y ])].
Cov(X, Y )
∈ [−1, 1].
• Korrelation: ρ(X, Y ) :=
σX σY
(ρ(X, Y ) > 0 (bzw. < 0), wenn typischerweise“ X −E[X] und
”
Y −E[Y ] gleiches (bzw. entgegengesetztes) Vorzeichen besitzen.)
• Cauchysche Ungleichung: E[|X|]2 ≤ E[X 2].
• X = (X1, . . . , Xd), Y = (Y1, . . . , Yd) seien Rd-wertige ZV’en.
(Cov(Xi, Yj ))i,j=1,...,d ist die Kovarianzmatrix.
• X, Y unabhängig ⇒ X, Y unkorreliert, d.h., Cov(X, Y ) = 0.
X, Y unkorreliert ; X, Y unabhängig.
Rechenregeln für Varianz und Kovarianz.
• Cov(aX + b, cY + d) = ac Cov(X, Y ), a, b, c, d ∈ R,
Var(aX + b) = a2 Var(X).
n
X
X
Cov(Xk , Xl ).
Var(Xk ) +
• Var(X1 + · · · + Xn) =
k=1
k,l=1,...,n
k6=l
Für unkorrelierte Zufallsvariablen addieren sich die Varianzen.
• Cov(X, Y )2 ≤ Var(X) Var(Y ).
Beispiele.
• X habe Exponentialverteilung mit Parameter λ > 0.
⇒ E[X] = 1/λ, E[X 2] = 2/λ2, Var(X) = 1/λ2 .
• X habe Cauchy-Verteilung mit Parameter a > 0.
⇒ X besitzt kein erstes Moment.
• X habe Normalverteilung mit Parameter µ ∈ R und σ 2 > 0.
⇒ Alle Momente existieren,
E[X] = µ, Var(X) = σ 2, E[X 2] = σ 2 + µ2.
21
22
Zusammenfassung (10. Januar 2007)
Zusammenfassung (12. Januar 2007)
7. Gesetz der großen Zahlen
• Weiterer Konvergenzbegriff in der Wahrscheinlichkeitstheorie:
– Konvergenz in Verteilung.
Zusammenfassende Beschreibung einer großen Anzahl von ZV’en.
• Ungleichungen in der Wahrscheinlichkeitstheorie.
– Markov-Ungleichung. Sei f : [0, ∞) → [0, ∞) monoton wach-
send mit f (x) > 0 für x > 0. Dann gilt:
E[f (|X|)]
, ǫ > 0.
P[|X| ≥ ǫ] ≤
f (ǫ)
E[X 2]
– Čebyšev-Ungleichung: P[|X| ≥ ǫ] ≤
, ǫ > 0.
ǫ2
• Satz. Xk , k ∈ N, Folge von unkorrelierten, reellwertigen Zufallsvariablen in L2(Ω, F, P) mit
supk∈N Var(Xk ) < ∞ und E[Xk ] = µ, k ∈ N.
#
"
N
1 X
N →∞
Xk − µ ≥ ǫ → 0 (schwaches GGZ).
=⇒ P N
k=1
• Hinweis: Unter obigen Bedingungen gilt auch das starke GGZ.
• Konvergenzbegriffe in der Wahrscheinlichkeitstheorie.
– Stochastische Konvergenz (Konv. in Wahrscheinlichkeit).
n→∞
P[|Xn − X| > ǫ] → 0, ǫ > 0
Anwendung: Schwaches GGZ.
P
⇐⇒: Xn → X.
8. Bedingte Wahrscheinlichkeiten
– Fast-sichere Konvergenz.
P[limn→∞ Xn = X] = 1
Anwendung: Starkes GGZ.
d
limn→∞ E[h(Xn)] = E[h(X)], h ∈ Cb(R) ⇐⇒: Xn → X.
Anwendung: Zentraler Grenzwertsatz.
– Satz. Äquivalente Aussagen:
d
(1) Xn → X.
(2) limn→∞ FXn (y) = FX (y), y ∈ R, FX stetig in y.
(3) limn→∞ ψXn (y) = ψX (y), y ∈ R.
(FY Verteilungsfunktion, ψY mit ψY (z) = E[exp(izY )]
charakteristische Funktion einer Zufallsvariablen Y )
f.s.
P
d
– Satz. Xn → X =⇒ Xn → X =⇒ Xn → X.
• Anwendungen des schwachen Gesetzes der großen Zahlen.
– Monte Carlo Integration. h : [0, 1] → R meßbar, beschränkt.
P
P R1
h(X
)
→
=⇒ (1/N ) N
k
k=1
0 dx h(x)
(X1, X2, . . . unabhängig, gleichverteilt auf [0, 1])
– Weierstraß’scher Approximationssatz. f : [0, 1] → R stetig,
P
Bernstein-Polynome: fN (p) = E[f ((1/N ) N
Xnp)]
n=1
P
N k
N −k
= N
.
k=0 f (k/N ) k p (1 − p)
p
p
(X1 , X2 , . . . unabh. Würfe einer Münze mit Erfolgsw’keit p)
=⇒ limN →∞ supp∈[0,1] |fN (p) − f (p)| = 0.
f.s.
⇐⇒: Xn → X.
P[A|B] Wahrscheinlichkeit für A unter der Bedingung, daß B eingetreten ist.
• P[A|B] 6= P[A], falls A und B nicht unabhängig sind.
23
24
Zusammenfassung (17. Januar 2007)
Zusammenfassung (19. Januar 2007)
• (Ω, F, P) ein Wahrscheinlichkeitsraum, B ∈ F mit P[B] > 0.
Bedingte Wahrscheinlichkeit P[ . |B] ist W’maß auf (Ω, F) mit
P[A ∩ B]
P[A|B] =
, A ∈ F.
P[B]
(Bestätigung durch ein Beispiel und durch allgem. Überlegung)
• Rechenregeln.
•
S
Ω = j∈I Bj abzählbare Zerlegung von Ω. P[Bj ] > 0, j ∈ I.
– Fallunterscheidungsformel.
P
P[A] = j∈I P[Bj ]P[A|Bj ], A ∈ F.
– Formel von Bayes.
P[Bk ]P[A|Bk ]
P[Bk ]P[A|Bk ]
=P
P[Bk |A] =
,
P[A]
P[B
]P[A|B
]
j
j
j∈I
k ∈ I, A ∈ F, P[A] > 0.
• Anwendung: Bewertung eines medizin. Diagnoseverfahrens.
• Markovketten. Ein stochastischer Prozeß X = (Xn)n∈N0 mit
′
,
X
=
s
|
X
=
s
,
.
.
.
,
X
=
s
P X
=
s
n
n
0
0
n−1
n−1
n+k
| {z } |
{z
} | {z }
Gegenwart
Vergangenheit
Zukunft
= P Xn+k = s′|Xn = sn , n, k ∈ N0, s0, s1, . . . , sn , s′ ∈ S.
heißt Markovkette. (Bei Kenntnis der Gegenwart enthält die
Vergangenheit keine Information zur Vorhersage der Zukunft.)
– Übergangsw’keiten: Pn(s, s′) = P Xn+1 = s′|Xn = s .
Übergangsmatrizen: Pn = (Pn(s, s′))s,s′∈S .
Stationäre Übergangsw’keiten: Pn unabhängig von n.
– Beispiele: Bernoulli-Prozeß, Irrfahrt.
• Markovketten.
– Übergangsw’keit: P (s, s′) = P Xn+1 = s′|Xn = s , s, s′ ∈ S.
P
– Verallg. Irrfahrt: X = (Xn)n∈N0 mit Xn = nk=1 ζk , n ∈ N0,
wobei ζk , k ∈ N, i.i.d. (unabh. identisch verteilt), Zd-wertig.
– Verteilung einer M.K. X ist bestimmt durch PX0 und P :
P[X0 = s0, ..., Xn = sn] = PX0 [{s0 }]P (s0, s1 )...P (sn−1, sn).
– n-Schritt-Übergangswahrscheinlichkeiten:
P n(s, s′) = P[Xn+m = s′|Xm = s], n ∈ N0, unabh. von m.
– Chapman-Kolmogorov-Gleichung:
P
P k+l (s1, s2 ) = s∈S P k (s1, s)P l (s, s2), k, l ∈ N0, s1, s2 ∈ S.
– (µs)s∈S linker Eigenvektor von P zum Eigenwert 1 mit µs ≥ 0,
P
s∈S µs = 1. =⇒ (µs )s∈S ist invariante Verteilung von X.
• Modellbildung mit Markovketten.
– Ehrenfestsches Modell: Diffusion durch eine Membran.
– Ein Warteschlangenmodell: Xn+1 = (Xn − 1)+ + ζn, n ∈ N0;
ζn, n ∈ N0, i.i.d. (Anzahl der ankommenden Kunden).
– Ein Verzweigungsprozeß (Galton-Watson-Prozeß):
P n l l
Xn+1 = X
l=1ζn ; ζn , n ∈ N0 , l ∈ N, i.i.d. (Anz.d.Nachkommen).
9. Zentraler Grenzwertsatz
• Ziel: Präzisierung des GGZ für i.i.d. ZV’en in L2(Ω, F, P) mit
pos. Varianz. Charakterisierung der Konvergenzgeschwindigkeit.
p
d
P
N/Var(X1) N1 N
k=1 Xk − E[X1] → X mit PX = N(0, 1).
• Vorgehensweise:
− Spezialfall. Bernoulli-verteilte ZV’en (Elementare Methode).
− Allgemeiner Fall (Charakteristische
Funktionen).
n→∞ √
n
2πn(n/e) als Hilfsmittel.
• Stirling Formel n! ∼
25
26
Zusammenfassung (24. Januar 2007)
Zusammenfassung (26. Januar 2007)
• Abschätzung der Konvergenzgeschwindigkeit beim GGZ.
Xn, n ∈ N, i.i.d., {0, 1}-wertig, P[X
 n = 0] = P[Xn = 1] = 1/2.
#
"
√

N
1, falls αN N → ∞,
1 X
1
N →∞
Xk − ≤ αN →
P √

N
2
0, falls αN N → 0.
k=1
√
P
X
−
1/2
wird nichttrivialer
Konsequenz: Für N N1 N
k
k=1
Limes“ erwartet.
”
• Normalapproximation der Binomialverteilung B(N, 1/2).
Standardisierte Summenvariable:
√
P
X
−
1/2
; E[FN ] = 0, Var(FN ) = 1.
FN = 4N N1 N
k
k=1
Für k = 0, 1, . . . ,
N sei k
xN (k)
1
2
N
;
1+ √
xN (k) = √
=
k−
.
2
N 2
N
N
Es gilt:
N
N
1
P[FN = xN (k)] =
2
k
s
N −k N
k N
1
N
1
N
N →∞
∼ √
N −k
2
2π k(N − k) | k
{z
}
|
{z
}
=
b(N,
k)
= a(N, k)
mit
1
1
N →∞ N
,
−
log
b(N,
k)
= xN (k)2 +O(N −1/2),
∼
a(N, k)2
4
2
gleichmäßig für alle k mit |xN (k)| ≤ c, c > 0.
• Satz. (Lokale Normalapproximation der Binomialverteilung)
p ∈ (0, 1); B(N, p)[{k}] = Nk pk (1 − p)N −k , k = 0, 1, ..., N .
Es gilt:
exp(−x (k)2/2)/√2π
N
−1 = 0, c > 0, (∗)
lim
sup p
N →∞ {k:|x (k)|≤c}
N p(1−p)B(N, p)[{k}] N
p
wobei xN (k) = (k − N p)/ N p(1 − p), k = 0, 1, ..., N .
• Interpretation.
– Histogramm der Binomialverteilung B(N, p):
  N pk (1 − p)N −k , falls x ∈ [k − 1 , k + 1 ),
k
2
2
∗
fN (x) =
0,
falls x < − 21 oder x ≥ N + 21 .
– Reskaliertes Histogramm von B(N, p):
p
p
fN (x) = N p(1 − p)fN∗ ( N p(1 − p)x + N p), x ∈ R,
p
d.h., N p(1−p)B(N, p)[{k}] = fN (xN (k)).
– (∗) beschreibt lokal gleichmäßige Konvergenz von fN gegen
die Dichte der standard Normalverteilung N(0, 1).
• Korollar. (ZGWS für ZV’en mit Bernoulli-Verteilung)
Xn, n ∈ N, i.i.d. ZV’en mit Bernoulli-Verteilung zu p ∈ (0, 1).
Es gilt:
"s
!
#
N
X
N
1
lim P
Xk − p ∈ (a, b]
N →∞
p(1 − p) N
k=1
Z b
x2 1
, −∞ < a < b < ∞.
dx exp −
=√
2
2π a
27
Zusammenfassung (31. Januar 2007)
• Eigenschaften charakteristischer Funktionen.
R
ψX (z) = E[exp(izX)] = R PX (dx) exp(izx), z ∈ R.
a) X, Y unabhängig =⇒ ψX+Y = ψX · ψY .
b) E[|X|2] < ∞ =⇒ ψX ∈ Cb2(R),
ψX (z) = 1 + izE[X] − z 2E[X 2]/2 + o(|z|2), bei |z| → 0.
c) a, b ∈ R =⇒ ψaX+b (z) = exp(izb)ψX (az), z ∈ R.
d) PX = N(0, 1) =⇒ ψX (z) = exp(−z 2/2), z ∈ R.
e) ψX = ψY =⇒ PX = PY .
(Eindeutigkeit der charakteristischen Funktionen)
• Zentraler Grenzwertsatz. Xn, n ∈ N, i.i.d. reellwertige ZV’en.
E[X1] = µ, Var(X1) = σ 2 ∈ (0, ∞). Es gilt:
!
r
N
N 1 X
d
X
−
µ
→
X mit PX = N(0, 1).
k
σ2 N
k=1
• Ergänzungen zum Zentralen Grenzwertsatz.
Xn, n ∈ N, i.i.d. ZV’en mit E[X1] = 0, Var(X1) ∈ (0, ∞), . . .
p
P
FN Verteilungsfunktion von SN∗ = (1/ N Var(X1)) N
k=1 Xk ,
Φ Verteilungsfunktion von N(0, 1).
– Satz von Berry-Esseen:
supx∈R |FN (x) − Φ(x)| ≤ CN −1/2, N ∈ N.
– Gesetz vom Iterierten Logarithmus:
p
lim supN →∞ SN∗ / 2 log(log N ) = 1, f.s.
– Große Abweichungen:
1 − FN (aN )
= 1, falls aN = o(N 1/6) bei N → ∞.
lim
N →∞ 1 − Φ(aN )