Begleitmaterial zur Vorlesung - Fakultät für Mathematik und Informatik

Begleitmaterial zur Vorlesung
Stochastik/Einführung in die Wahrscheinlichkeitstheorie
FMI-MA0007 & FMI-MA3022
(Informatik B.Sc. und LA Regelschule)
WS 2015/2016, FSU Jena
Ilya Pavlyukevich
14. Dezember 2015˚
Empfohlene Literatur zur Vorlesung
• U. Krengel, Einführung in die Wahrscheinlichkeitstheorie und Statistik. Vieweg.
• N. Henze, Stochastik für Einsteiger. Vieweg+Teubner Verlag.
• A. Büchter und H.–W. Henn, Elementare Stochastik: Eine Einführung in die Mathematik der Daten
und des Zufalls. Springer.
• S. M. Ross, Introduction to probability models. Elsevier/Academic Press
1
Grundbegriffe der Wahrscheinlichkeitstheorie
1.1
Zufällige Ereignisse und Elementarereignisse
Definition 1.1. Eine Familie A von Teilmengen der Basismenge Ω heißt Algebra, wenn gilt
1. Ω P A ;
2.
APA
˝
3 .
APA;
ñ
A, B P A
ñ
(1.1)
AYB PA.
Definition 1.2. Eine Familie F von Teilmengen der Basismenge Ω heißt σ-Algebra, wenn gilt
1. Ω P F ;
2.
APF
3.
A1 , A2 , . . . , An , . . . P F
ñ
A P F;
(1.2)
ď
ñ
An P F .
n
1.2
Die mathematische Wahrscheinlichkeit
Definition 1.3. Sei Ω eine Basismenge und F eine σ-Algebra von Ereignissen auf Ω. Als Wahrscheinlichkeit
P auf dem Raum pΩ, F q bezeichnet man eine Mengenfunktion, die die folgenden Axiome erfüllt:
˚ Bitte
(Tipp-)Fehler, Kommentare, Anregungen an [email protected] mitteilen.
1
1. P : F Ñ r0, 1s, d.h. jedem zufälligen Ereignis A ist eine feste nichtnegative Zahl 0 ď PpAq ď 1
zugeordnet, die Wahrscheinlichkeit von A genannt wird;
2. PpΩq “ 1;
3. Sind die Ereignisse An P F , n ě 1, paarweise unverträglich, d.h. Ak An “ H, k ‰ n, so gilt
´ğ ¯ ÿ
P
An “
PpAn q pσ-Additivitätq.
n
(1.3)
n
Das Tripel pΩ, F , Pq heißt Wahrscheinlichkeitsraum.
Definition 1.4. Ist Ω endlich, so ist jede Algebra A von Ereignissen gleichwohl eine σ-Algebra. In diesem
Fall ist es ausreichend zu verlangen, dass P additiv ist, d.h. für alle A, B P A , AB “ H gilt
PpA \ Bq “ PpAq ` PpBq.
(1.4)
In diesem Fall heißt das Tripel pΩ, A , Pq ein elementarer (klassischer) Wahrscheinlichkeitsraum.
Definition 1.5.
1.ŮEin System von Ereignissen tAn u Ď F heißt Partition von Ω, falls An Ak “ H für
n ‰ k, und Ω “ n An .
2. Ein System von Ereignissen tBn u Ď F heißt vollständiges System, wenn gilt Bn Bk “ H für n ‰ k,
und
´ğ ¯ ÿ
Bn “
P
PpBn q “ 1.
(1.5)
n
n
Satz 1.6 (Additionssatz für Wahrscheinlichkeiten). Für beliebige Ereignisse A, B P F gilt
PpA Y Bq “ PpAq ` PpBq ´ PpABq.
(1.6)
Satz 1.7 (Siebformel, Ausschlussprinzip für Wahrscheinlichkeiten). Für beliebige A1 , . . . , An P F gilt
PpA1 Y ¨ ¨ ¨ Y An q “
n
ÿ
PpAi q ´
i“1
1.3
ÿ
PpAi Aj q ` ¨ ¨ ¨ ` p´1qn PpA1 . . . An q.
(1.7)
iăj
Klassischer Wahrscheinlichkeitsraum. Laplace-Experiment
Definition 1.8. Sei Ω “ tωi , 1 ď i ď nu eine nichtleere endliche Menge, A die Algebra der Teilmengen von
Ω. Man spricht von einem Laplace–Experiment, falls die Wahrscheinlichkeit wie folgt definiert ist
PpAq “
1.4
|A|
,
|Ω|
APA.
(1.8)
Elemente der Kombinatorik. Urnenmodelle
Modell: Aus einer Urne mit n Kugeln werden zufällig k entnommen. Dabei unterscheidet man die Auswahl
mit Zurücklegen (mit Wiederholung) und ohne Zurücklegen (ohne Wiederholung). Die ausgewählte Menge
i1 ,. . . , ik kann geordnet oder ungeordnet sein (Ziehen mit oder ohne Reihenfolge).
in Reihenfolge
(geordnet)
ohne Reihenfolge
(ungeordnet)
mit Zurücklegen
1. Variationen mit Wiederholung
Ω1 “ tpω1 , . . . , ωk q, 1 ď ωi ď nu,
k
|Ω1 | “ V n “ nk ,
kě1
4. Kombinationen mit Wiederholung
Ω4 “ ttω1 , . . . , ωk u, 1 ď ωi ď nu,
`
˘ pn`k´1q!
|Ω4 | “ n`k´1
“ k!pn´1q! ,
k
kě1
2
ohne Zurücklegen
2. Variationen ohne Wiederholung
Ω2 “ tpω1 , . . . , ωk q, ωi ‰ ωj , i ‰ j, 1 ď ωi ď nu,
|Ω2 | “ Vnk “ n ¨ pn ´ 1q ¨ pn ´ k ` 1q,
1ďkďn
3. Kombinationen ohne Wiederholung
Ω3 “ ttω1 , . . `. , ˘ωk u, ωi ‰ ωj , i ‰ j, 1 ď ωi ď nu,
n!
|Ω3 | “ Cnk “ nk “ k!pn´kq!
,
1ďkďn
1.5
Geometrische Wahrscheinlichkeiten
Definition 1.9. Sei Ω ein Gebiet im Rd mit dem Volumen |Ω| P p0, 8q. Die Ereignisse A sind Teilmengen
von Ω, für welche das Volumen wohldefiniert ist. Man definiert die geometrische Wahrscheinlichkeit P von
A durch
|A|
.
PpAq “
(1.9)
|Ω|
2
2.1
Bedingte Wahrscheinlichkeit
Bedingte Wahrscheinlichkeit
Satz 2.1 (und Definition). Sei pΩ, F , Pq ein Wahrscheinlichkeitsraum, B ein Ereignis mit der Wahrscheinlichkeit PpBq ą 0. Dann ist die durch die Formel
PB pAq “ PpA|Bq :“
PpABq
PpBq
(2.1)
definierte Abbildung PB p¨q : F Ñ r0, 1s eine Wahrscheinlichkeit auf pΩ, F q.
2.2
Der Satz von der totalen Wahrscheinlichkeit
Satz 2.2 (Der Satz von der totalen Wahrscheinlichkeit). Sei pΩ, F , Pq ein Wahrscheinlichkeitsraum und
sei tAn u ein vollständiges System mit PpAn q ą 0. Dann gilt für jedes Ereignis B
ÿ
PpBq “
PpB|An qPpAn q.
(2.2)
n
2.3
Die Formel von Bayes
Satz 2.3 (Formel von Bayes). Sei tAn u ein vollständiges System mit PpAn q ą 0. Dann gilt für jedes Ereignis
B mit PpBq ą 0 die Gleichheit
PpB|An qPpAn q
PpAn |Bq “ ř
.
(2.3)
n PpB|An qPpAn q
Dabei heißt PpAn q a priori Wahrscheinlichkeit und PpAn |Bq a posteriori Wahrscheinlichkeit.
2.4
Stochastische Unabhängigkeit
Definition 2.4. 1. Zwei Ereignisse A und B heißen stochastisch unabhängig, falls gilt
PpABq “ PpAqPpBq.
(2.4)
2. Die Ereignisse A1 , . . . , An heißen (gemeinsam) stochastisch unabhängig, falls gilt
PpAi1 ¨ ¨ ¨ Aik q “ PpAi1 q ¨ . . . ¨ PpAik q
(2.5)
für alle 1 ď k ď n und ti1 , . . . ik u Ď t1, . . . , nu.
Satz 2.5. Seien die Ereignisse A1 , . . . , An gemeinsam stochastisch unabhängig. Dann sind auch B1 , . . . , Bn
mit Bi P tAi , Ai u gemeinsam stochastisch unabhängig.
3
3.1
Diskrete Zufallsvariablen und Verteilungen
Zufallsvariablen und ihre Existenz
Definition 3.1. Sei pΩ, F , Pq ein Wahrscheinlichkeitsraum. Eine Funktion X : Ω Ñ R heißt Zufallsvariable
(messbare Abbildung), wenn für jedes a P R gilt
X ´1 pp´8, asq “ tω : Xpωq ď au P F .
3
(3.1)
Definition 3.2. Sei pΩ, Ů
F , Pq ein Wahrscheinlichkeitsraum. Eine Zufallsvariable X : Ω Ñ R heißt diskret,
wenn eine Partition Ω “ n An , tAn u Ď F und eine Folge von paarweise verschiedenen reellen Zahlen txn u
existieren, so dass
ÿ
Xpωq “
xn IAn pωq.
(3.2)
n
Die Menge txn u Ă R heißt Träger von X. Die Partition tAn u heißt die von der Zufallsvariable X erzeugte
Partition. Die Folge von Zahlen tpn u definiert durch
pn :“ PpX “ xn q.
(3.3)
heißt Zähldichte. Die Mengenfunktion PX für B Ď R definiert durch
ÿ
PX pBq “ Pptω : Xpωq P Buq “
pn .
(3.4)
n : xn PB
heißt die Verteilung von X und FX pxq :“ PX pp´8, xsq bezeichnet man als Verteilungsfunktion.
3.2
3.2.1
Wichtige diskrete Verteilungen
Bernoulli–Verteilung
Definition 3.3. Man betrachtet ein Experiment, bei welchem nur zwei Ereignisse A oder Ac mit Wahrscheinlichkeit p “ PpAq bzw. q “ 1 ´ p “ PpAc q, auftreten können. Die Zufallsgröße X mit
Xpωq “ IA pωq
(3.5)
besitzt die Verteilung
xn
pn
0
1´p
1
p
Man nennt diese Verteilung Bernoulliverteilung, Bernoullippq.
3.2.2
Bernoulli–Schema. Binomialverteilung
Satz 3.4. Bei einem Zufallsexperiment, das die komplementären Ereignisse A und Ac mit den Wahrscheinlichkeiten p “ PpAq und q “ 1 ´ p “ PpAc q zur Folge haben kann, ist die Wahrscheinlichkeit, dass das
Ereignis A bei n unabhängigen Durchführungen des Experiments genau k mal auftritt, gegeben durch
ˆ ˙
n k n´k
n!
pn pkq “
p q
“
pk q n´k , k “ 0, . . . , n.
(3.6)
k
k!pn ´ kq!
Die Wahrscheinlichkeiten ppn p0q, . . . , pn pnqq heißen Binomialverteilung (von Erfolgen in einer n-Serie), Binpn, pq.
3.2.3
Hypergeometrische Verteilung
Definition 3.5. Es liegt eine N -elementige Menge vor, wobei M (0 ď M ď N ) dieser Elemente eine
besondere Eigenschaft besitzen. Aus der Gesamtheit werden n, 0 ď n ď N , Elemente entnommen. Die
Wahrscheinlichkeit, dass genau m dieser Elemente die besondere Eigenschaft besitzen, entspricht
`M ˘`N ´M ˘
pN,M pm, nq “
m
`Nn´m
˘
,
0 ď m ď mintM, nu
(3.7)
n
und wird Hypergeometrische Verteilung zu den Parametern N, M und n genannt.
Satz 3.6. Für N Ñ 8 und M Ñ 8 mit
M
N
Ñ p P r0, 1s gilt
ˆ ˙
n n
pN,M pm, nq Ñ
p p1 ´ pqn´m .
m
4
(3.8)
3.2.4
Geometrische Verteilung
Definition 3.7. Die Verteilung mit den Wahrscheinlichkeiten ppp1q, pp2q, . . . q, wobei gilt
ppnq “ p1 ´ pqn´1 p,
(3.9)
n ě 1,
heißt geometrische Verteilung, Geomppq. Sie tritt natürlicherweise bei der Bestimmung der Wahrscheinlichkeit auf, wann der erste Erfolg bei einer unendliche Folgen von unabhängigen Bernoulli–Experimenten mit
Erfolgswahrscheinlichkeit p P r0, 1s eintritt.
3.2.5
Gleichmäßige Verteilung
Definition 3.8. Die Verteilung, die durch
xn
pn
x1
x2
1
N
1
N
¨¨¨
¨¨¨
xN
1
N
gegeben ist, heißt gleichmäßige Verteilung auf txn u.
3.2.6
Poissonverteilung
Definition 3.9. Sei λ ą 0. Die Verteilung auf t0, 1, 2, 3, . . .u mit der Zähldichte
pn “ e´λ
λn
,
n!
(3.10)
ně0
heißt Poissonverteilung zum Parameter λ.
3.3
Diskrete zweidimensionale ZV
Definition 3.10. Seien X und Y diskrete Zufallsvariablen mit Werten txi u bzw. tyi u. Dann ist pX, Y q eine
zweidimensionale diskrete Zufallsgröße. Deren Verhalten ist durch die Angabe von
PpX “ xi , Y “ yj q “ ppxi , yj q,
(3.11)
bestimmt. Die marginalen Verteilungen sind
ppxi q “ PpX “ xi q “
ÿ
PpX “ xi , Y “ yj q “
j
ppyj q “ PpY “ yj q “
ÿ
ppxi , yj q,
j
PpX “ xi , Y “ yj q “
i
3.4
ÿ
ÿ
(3.12)
ppxi , yj q.
i
Stochastische Unabhängigkeit von diskreten Zufallsvariablen
pkq
Definition 3.11. Zufallsvariablen X1 , . . . , Xn mit Werten txi uk“1,...,n sind stochastisch unabhängig, falls
PpX1 P B1 , . . . , Xn P Bn q “
n
ź
PpXk P Bk q,
für alle Bk Ď R
(3.13)
pnq
für alle xjk .
(3.14)
k“1
oder äquivalent
p1q
pnq
p1q
pnq
p1q
pX1 ,...,Xn pxj1 , . . . , xjn q “ PpX1 “ xj1 , . . . , Xn “ xjn q “ pX1 pxj1 q ¨ . . . ¨ pXn pxjn q,
pkq
Satz 3.12. Seien g1 , . . . , gn reelle Funktionen und sind die Zufallsvariablen X1 , . . . , Xn stochastisch unabhängig, so sind auch g1 pX1 q, . . . gn pXn q stochastisch unabhängig.
Lemma 3.13. Für stochastisch unabhängige Zufallsvariablen X und Y mit Werten in t0, ˘1, ˘2, . . . u gilt
ÿ
ÿ
PpX ` Y “ nq “
PpX “ n ´ kqPpY “ kq “
PpX “ kqPpY “ n ´ kq, n P Z.
(3.15)
k
k
5
Insbesondere:
1. Sind X1 , . . . , Xn iid (für independent und identically distributed ) Bernoulliverteilt zum Parameter
p P r0, 1s, so ist X1 ` ¨ ¨ ¨ ` Xn pn, pq-binomialverteilt.
2. Seien X und Y zwei unabhängige poissonverteilte ZV mit den Parametern µ bzw. λ. Dann ist X ` Y
poissonverteilt mit dem Parameter λ ` µ
3.5
Erwartungswert
Definition 3.14. Sei X eine diskrete Zufallsvariable mit dem Träger txi u und der Zähldichte tpi u. Als
Erwartungswert definieren wir die Summe
ÿ
ÿ
EX “
xi PpX “ xi q “
xi p i ,
(3.16)
i
unter der Bedingung, dass
ř
i
i
|xi |pi ă 8. In diesem Fall sagen wir, dass X integrierbar ist, X P L1 pPq.
Einfache Eigenschaften des Erwartungswertes (X, Y P L1 pPq):
1. EIA “ PpAq für alle Ereignisse A.
2. EpX1 ` ¨ ¨ ¨ ` Xn q “ EX1 ` ¨ ¨ ¨ ` EXn .
3. EC “ C für jede Konstante C.
4. EpcXq “ cEX für jede Konstante c.
5. X ě Y ñ EX ě EY .
6. X ě 0 und EX “ 0 ñ PpX “ 0q “ 1.
7. Sei g eine reellwertige Funktion. Dann gilt
ÿ
ÿ
EgpXq “
gpxi qPpX “ xi q “
gpxi qpi ,
i
falls
i
ÿ
|gpxi q|pi ă 8.
(3.17)
i
Satz 3.15. Seien X1 , . . . , Xn unabhängige, integrierbare Zufallsvariablen. Dann ist X1 ¨ . . . ¨ Xn ebenfalls
integrierbar und es gilt
EpX1 ¨ . . . ¨ Xn q “ EX1 ¨ . . . ¨ EXn .
(3.18)
3.6
Varianz und Standardabweichung
Definition 3.16.
1. Der Erwartungswert des Quadrats der Abweichung einer Zufallsvariablen X von
ihrem Erwartungswert EX heißt Varianz von X
Var X “ EpX ´ EXq2 .
(3.19)
2. Für n ě 1, heißt EX n das n-te Moment von X, E|X|n das absolute n-te Moment von X, EpX ´ EXqn
das zentriete n-te Moment von X, E|X ´ EX|n das absolute zentriete n-te Moment von X.
3. Als Standardabweichung von X bezeichnet man
a
σpXq “ EpX ´ EXq2 .
Einfache Eigenschaften der Varianz (X, Y P L2 pPq):
1. Var X “ EX 2 ´ pEXq2 .
2. VarpCq “ 0 für jede Konstante C.
6
(3.20)
3. Var X ě 0, Var X “ 0 ô PpX “ cq “ 1 für eine Konstante c.
4. VarpcXq “ c2 Var X, VarpX ` cq “ Var X für jede Konstante c.
Satz 3.17. Seien X1 , . . . , Xn unabhängige Zufallsvariablen mit EXi2 ă 8. Dann gelten
VarpX1 ` ¨ ¨ ¨ ` Xn q “ VarpX1 q ` ¨ ¨ ¨ ` VarpXn q,
a
σpX1 ` ¨ ¨ ¨ ` Xn q “ σ 2 pX1 q ` ¨ ¨ ¨ ` σ 2 pXn q.
3.7
(3.21)
Empirischer Erwartungswert
Definition 3.18. Seien X1 , . . . , Xn Zufallsvariablen. Der empirische Erwartungswert ist
X̄ pnq “
X1 ` ¨ ¨ ¨ ` Xn
.
n
(3.22)
Seien X1 , . . . , Xn iid mit dem Mittelwert EXi “ µ und der Varianz Var Xi “ σ 2 P p0, 8q.
1.
EX̄ pnq “ E
2.
VarpX̄ pnq q “ Var
3.
´ X ` ¨ ¨ ¨ ` X ¯ n VarpX q
σ2
1
1
n
“
.
“
2
n
n
n
c
σpX̄
4
X1 ` ¨ ¨ ¨ ` Xn
µn
“
“ µ.
n
n
pnq
q“
Var
´X ` ¨ ¨ ¨ ` X ¯
σ
1
n
“? .
n
n
(3.23)
(3.24)
(3.25)
Gesetz der großen Zahlen
Satz 4.1. Sei ϕ : R Ñ r0, 8q eine nichtnegative (messbare) reelle Funktion und X eine Zufallsvariable. Dann
gilt für jedes a ą 0
EϕpXq
(4.1)
.
PpϕpXq ě aq ď
a
Korollar 4.2 (Ungleichung von Markoff). Mit ϕpxq “ |x| gilt
Pp|X| ě aq ď
E|X|
,
a
a ą 0.
(4.2)
Korollar 4.3 (Ungleichung von Tschebyscheff). Sei EX 2 ă 8, dann gilt
Pp|X| ě aq ď
EX 2
,
a2
Pp|X ´ EX| ě aq ď
Var X
,
a2
(4.3)
a ą 0.
?
Korollar 4.4. Mit a “ u Var X “ uσpXq, u ą 0, bekommt man
´ |X ´ EX|
¯
1
Pp|X ´ EX| ě uσpXqq “ P
ě u ď 2.
σpXq
u
(4.4)
Satz 4.5 (Gesetz der großen Zahlen). Seien X1 , X2 , . . . paarweise stochastisch unabhängig und es gibt ein
c ą 0, so dass Var Xi ď c. Dann gilt für jedes a ą 0:
´ˇ X ` ¨ ¨ ¨ ` X
¯
EX1 ` ¨ ¨ ¨ ` EXn ˇˇ
ˇ 1
n
(4.5)
P ˇ
´
ˇ ě a Ñ 0, n Ñ 8.
n
n
7
Korollar 4.6. Seien X1 , X2 , . . . identisch verteilt, paarweise stochastisch unabhängig und Var X1 ă 8.
Dann gilt für jedes a ą 0:
ˇ
¯
´ˇ X ` ¨ ¨ ¨ ` X
ˇ 1
ˇ
n
(4.6)
P ˇ
´ EX1 ˇ ě a Ñ 0, n Ñ 8.
n
Satz 4.7 (Satz von Bernoulli). Seien X1 , X2 , . . . paarweise stochastisch unabhängig und bernoulliverteilt
mit PpX1 “ 1q “ p. Sei Sn “ X1 ` ¨ ¨ ¨ ` Xn die Anzahl von Erfolgen in den ersten n Versuchen. Dann gilt
ˇ
¯ pp1 ´ pq
´ˇ S
1
ˇ n
ˇ
(4.7)
ď
.
P ˇ
´ pˇ ą a ď
n
na2
4na2
Definition 4.8. Seien X, X1 , X2 , . . . Zufallsvariablen auf pΩ, F , Pq. Die Folge Xk konvergiert in WahrP
scheinlichkeit gegen X, Xk Ñ X, falls für jedes ε ą 0
Pp|Xk ´ X| ą εq Ñ 0,
5
5.1
k Ñ 8.
(4.8)
Grenzwertsätze für die Binomialverteilung
Der Poissonsche Grenzwertsatz
Satz 5.1. Sei np “ nppnq Ñ λ für n Ñ 8 und sei Sn,p „ Binpn, pq. Dann gilt für jedes k “ 0, 1, 2, . . ., dass
ˆ ˙
n k
λk
PpSn,p “ kq “
p p1 ´ pqn´k Ñ e´λ , n Ñ 8.
(5.1)
k
k!
Satz 5.2. Sei n P N, Sn,p „ Binpn, pq und A Ď t0, 1, 2, . . . u. Für alle n P N und p P p0, 1q gilt dann:
ˇ
ˇ
ˇ
iˇ
ÿ
ˇ
´np pnpq ˇ
e
ˇPpSn,p P Aq ´
ˇ ď np2 .
ˇ
ˇ
i!
iPA
(5.2)
Insbesondere hat man mit np “ λ:
ˇ
ˇ
ˇ
iˇ
ÿ
λ2
ˇ
´λ λ ˇ
.
e
ˇď
ˇPpSn,p P Aq ´
ˇ
i! ˇ
n
iPA
Korollar 5.3. Der Grenzwert im Satz 5.1 ist gleichmäßig über k:
ˇ
ˇ
kˇ
ˇ
λ2
´λ λ ˇ
ˇ
sup ˇPpSn,p “ kq ´ e
ď
.
ˇ
k!
n
kě0
5.2
(5.3)
(5.4)
Der lokale Satz von de Moivre–Laplace
Satz 5.4. Sei C ą 0, n ě 1, m ě 0, xm,n :“ ?m´np . Es existiert ein n0 “ n0 ppq P N, sodass für alle
npp1´pq
n ě n0 und für alle m mit |xm,n | ď C gilt
´ S ´ np
¯
2
1
n
PpSn “ mq “ P a
“ xm,n « a
e´xm,n {2 .
npp1 ´ pq
2πnpp1 ´ pq
(5.5)
5.3
Der integrale Satz von de Moivre–Laplace
Satz 5.5. Sei 0 ă p ă 1. Dann gilt
żb
´
¯
2
Sn ´ np
1
P aď a
ďb Ñ ?
e´x {2 , dx
2π a
npp1 ´ pq
als npp1 ´ pq Ñ 8 gleichmäßig über ´8 ď a ď b ď `8.
8
(5.6)
Bezeichne
2
1
ϕpxq “ ? e´x {2 ,
2π
żx
(5.7)
2
1
e´y {2 dy.
Φpxq “ ?
2π ´8
Es gilt: Φpxq ist stetig und strikt monoton steigend, limxÑ`8 Φpxq “ 1.
Für jedes α P p0, 1q heißt die Zahl uα mit Φpuα q “ α das α-Quantil der Standardnormalverteilung.
6
Absolut stetige Verteilungen und Zufallsvariablen
6.1
Wahrscheinlichkeitsdichte. Transformation von Zufallsvariablen
Definition 6.1. Sei f : R Ñ R` auf allen Intervallen ra, bs Riemann-integrierbar mit
ż8
żb
f pyq dy “ lim
f pyqdy “ 1.
(6.1)
a,bÑ8 a
´8
Wir nennen eine Zufallsvariable X absolut stetig verteilt mit der Wahrscheinlichkeitsdichte f , falls
żx
f pyq dy.
FX pxq “ PpX ď xq “
(6.2)
´8
Insbesondere gilt PptX “ auq “ 0 für jedes a P R.
1. Die Gleichverteilung Rra, bs (U ra, bs), auch Rechteck- oder Uniform-Verteilung genannt.
$
’
0,
x ă a,
’
&x ´ a
1
, x P ra, bs,
f pxq “
I
pxq, FX pxq “
’b´a
b ´ a ra,bs
’
%
1,
x ą b.
(6.3)
2. Die Exponentialverteilung Epλq, λ ą 0.
f pxq “ λe
´λx
Ir0,`8q pxq,
#
0,
FX pxq “
1 ´ e´λ ,
x ă 0,
x ě 0.
(6.4)
3. Die Normalverteilung N pµ, σ 2 q, µ P R, σ ą 0.
f pyq “ ϕµ,σ2 pyq :“
py´µq2
1
? e´ 2σ2 .
σ 2π
(6.5)
Insbesondere mit µ “ 0 und σ “ 1 bekommt man Standardnormalverteilung N p0, 1q:
Dichte
2
1
ϕpxq “ ? e´x {2 ,
2π
1
Verteilungsfunktion Φpxq “ ?
2π
(6.6)
żx
e´y
2
{2
dy.
´8
Satz 6.2 (Gedächtnislosigkeit). Ist die Zufallsvariable X exponentialverteilt dann gilt für alle s, t ě 0
PpX ą t ` s|X ą sq “ PpX ą tq.
(6.7)
Satz 6.3 (Lineare Transformation von Zufallsvariablen). Sei a ą 0, b P R. Sei X eine absolut stetige
Zufallsvariable mit Dichte fX und sei Y “ aX ` b. Dann ist auch Y absolut stetig, verteilt mit Dichte
´y ´ b¯
´
y ´ b¯
“ FX
,
FY pyq “ PpaX ` b ď yq “ P X ď
a
a
(6.8)
´y ´ b¯ 1 ´y ´ b¯
d
d
fY pyq “
FY pyq “
FX
“ fX
.
dy
dy
a
a
a
9
Spezialfälle:
6.2
X „ N pµ, σ 2 q
ñ
X „ N pµ, σ 2 q
ñ
Y “ aX ` b „ N paµ ` b, a2 σ 2 q,
X ´µ
„ N p0, 1q.
Y :“
σ
(6.9)
Erwartungswert und Varianz
Satz 6.4. Sei X eine absolut stetige Zufallsvariable mit Dichte f mit
ż8
xf pxq dx.
EX “
ş8
´8
|x|f pxq dx ă 8. Dann gilt
(6.10)
´8
Ist g eine messbare Funktion, so dass
ş8
|gpxq|f pxqdx ă 8, so gilt:
ż8
EgpXq “
gpxqf pxqdx.
´8
(6.11)
´8
6.3
Zweidimensionale, absolut stetige Zufallsvariablen
Definition 6.5. Seien X und Y Zufallsvariablen auf einem Wahrscheinlichkeitsraum pΩ, F , Pq und sei
F px, yq :“ PpX ď x, Y ď yq.
Gilt
(6.12)
żx ży
F px, yq “
f pu, vq dudv,
´8
so heißt f die gemeinsame Wahrscheinlichkeitsdichte von pX, Y q. Insbesondere gilt
żbżd
PpX P pa, bs, Y P pc, dsq “
f pu, vq dudv.
a
Ferner ist fX mit
(6.13)
´8
(6.14)
c
ż8
fX pxq “
f px, vq dv
(6.15)
´8
die Randdichte/marginale Dichte von X. Für die Dichte von Y gilt eine analoge Formel.
6.4
Stochastische Unabhängigkeit von absolut stetigen Zufallsvariablen
Definition 6.6. Seien X1 , . . . , Xn Zufallsvariablen auf einem Wahrscheinlichkeitraum pΩ, F , Pq und sei
F px1 , . . . , xn q :“ PpX1 ď x1 , . . . , Xn ď xn q.
Gilt
ż x1
F px1 , . . . , xn q “
ż xn
f py1 , . . . , yn q dy1 . . . dyn ,
¨¨¨
´8
(6.16)
(6.17)
´8
so heißt f gemeinsame Wahrscheinlichkeitsdichte von X1 , . . . , Xn . Insbesondere gilt
ż b1
ż bn
PpX1 P pa1 , b1 s, . . . , Xn P pan , bn sq “
¨¨¨
f py1 , . . . , yn q dy1 . . . dyn .
a1
(6.18)
an
Definition 6.7. Die absolut stetigen Zufallsvariablen X1 , . . . , Xn heißen stochastisch unabhängig, falls
PpX1 P pa1 , b1 s, . . . , Xn P pan , bn sq “
n
ź
PpXi P pai , bi sq für alle ai , bi P R.
(6.19)
i“1
Insbesondere gilt
F px1 , . . . , xn q “ FX1 px1 q ¨ . . . ¨ FXn pxn q für alle xi P R.
10
(6.20)
Satz 6.8. Die absolut stetigen Zufallsvariablen X1 , . . . , Xn mit den Dichten fXi und der gemeinsamen Dichte
fX1 ,...,Xn sind stochastisch unabhängig genau dann, wenn
fX1 ,...,Xn px1 , . . . , xn q “ fX1 px1 q ¨ . . . ¨ fXn pxn q für alle xi P R.
(6.21)
Satz 6.9. Seien die absolut stetigen Zufallsvariablen X1 , . . . , Xn stochastisch unabhängig und h1 , . . . , hn
messbare Funktionen, so sind auch die Zufallsvariablen h1 pX1 q, . . . , hn pXn q stochastisch unabhängig.
Satz 6.10. Sind X1 . . . , Xn stochastisch unabhängig mit E|Xi | ă 8, so ist X1 ¨ . . . ¨ Xn integrierbar und
EpX1 ¨ . . . ¨ Xn q “ EX1 ¨ . . . ¨ EXn .
(6.22)
Satz 6.11. Sind X1 , . . . , Xn stochastisch unabhängig mit E|Xi |2 ă 8, so gilt
VarpX1 ` ¨ ¨ ¨ ` Xn q “ VarpX1 q ` ¨ ¨ ¨ ` VarpXn q.
6.5
(6.23)
Summen von unabhängigen absolut stetigen Zufallsvariablen
Lemma 6.12. Seien X und Y zwei unabhängige Zufallsvariablen mit den Dichten fX und fY . Dann ergibt
sich die Dichte der Summe X ` Y als Faltung der einzelnen Dichten:
ż8
ż8
fX`Y pzq “
fX pxqfY pz ´ xq dx “
fX pz ´ yqfY pyq dy.
(6.24)
´8
´8
Insbesondere, Seien X1 „ N pµ1 , σ12 q, X2 „ N pµ2 , σ22 q unabhängig. Dann
Y “ X1 ` X2 „ N pµ1 ` µ2 , σ12 ` σ22 q.
6.6
(6.25)
Kovarianz und Korrelation
Definition 6.13. Seien X und Y Zufallsvariablen mit EX 2 , EY 2 ă 8. Die Kovarianz von X und Y ist
”
ı
KovpX, Y q “ E pX ´ EXqpY ´ EY q .
(6.26)
Einfache Eigenschaften:
1. KovpX, Y q “ EpXY q ´ EXEY.
2. KovpX, Xq “ VarpXq ě 0.
3. KovpX, Y q “ KovpY, Xq
4. KovpX, Cq “ 0, C P R
5. KovpaX ` b, cY ` dq “ ac KovpX, Y q für a, b, c, d P R.
6. Sind X, Y unabhängig, so gilt KovpX, Y q “ 0.
7. | KovpX, Y q| ď σpXqσpY q.
Definition 6.14. Seien X, Y ZV mit Var X ą 0, Var Y ą 0. Der Korrelationskoeffizient von X und Y ist
ρpX, Y q :“
KovpX, Y q
.
σpXqσpY q
Er ist dimensionslos und |ρpX, Y q| ď 1.
11
(6.27)
7
Der zentrale Grenzwertsatz
Satz 7.1 (Zentraler Grenzwertsatz). Seien X1 , . . . , Xn iid ZV mit EXi “ µ und Var Xi “ σ 2 P p0, 8q.
Dann gilt für alle a ă b
řn
żb
´
¯
2
1
i“1 pXi ´ µq
(7.1)
?
e´x {2 dx “ Φpbq ´ Φpaq.
P aď
ďb Ñ ?
σ n
2π a
Bemerkung 7.2. Für beliebige iid ZV X1 , . . . , Xn mit EXi “ µ und Var Xi “ σ 2 P p0, 8q gilt
řn
řn
EpXi ´ µq
i“1 pXi ´ µq
?
E
“ i“1 ?
“ 0,
σ n
σ n
řn
n
pXi ´ µq
1 ÿ
nσ 2
Var i“1 ?
“ 2
VarpXi ´ µq “ 2 “ 1.
σ n
σ n i“1
σ n
(7.2)
Bemerkung 7.3. Bei der obigen ř
Konvergenz handelt es sich im Grunde um die Konvergenz der Verteilungsn
pX ´µq
funktionen Fn von den ZV Zn “ i“1σ?ni
gegen die Verteilungsfunktion Φ und nicht um die Konvergenz
d
der ZV. Man spricht deshalb über die Konvergenz nach Verteilung (englisch: ‘in distribution’, Zn Ñ Z).
Satz 7.4 (Berry–Esseen).
Seien X1 , . . . , Xn iid mit EXi “ µ und Var Xi “ σ 2 P p0, 8q und sei Fn die
řn
´µq
i“1 pX
?i
Verteilungsfunktion von
. Dann gilt
σ n
sup |Fn pxq ´ Φpxq| ď C
x
mit einer absoluten Konstante
?1
2π
E|X1 ´ µ|3
?
σ3 n
(7.3)
“ 0.3989 . . . ď C ă 0.7056.
Bemerkung 7.5. Der Satz von Berry–Esseen gilt für beliebige ZV Xi . In vielen Fällen ist die
Konvergenz?
? ?
p2 3q2
geschwindigkeit wesentlich besser. Z.B. sei Xi „ Rr´ 3, 3s, so dass EXi “ 0, Var Xi “ 12 “ 1. Dann
schon mit n “ 5 gilt:
sup |F5 pxq ´ Φpxq| ď 0.006
(nach Berry–Esseen ď 0.23q.
x
(7.4)
Einfachster Erzeuger von N p0, 1q-ZV: seien X1 , . . . , Xn iid Rpr0, 1sq, dann ist
X1 ` ¨ ¨ ¨ ` Xn ´ n{2
a
» N p0, 1q
n{12
und mit n “ 12 ist X1 ` ¨ ¨ ¨ ` X12 ´ 6 eine sehr gute Annäherung.
12
(7.5)
Tabelle der Normalverteilung (des Integrals Φpxq “
ş x ´ y2
?1
e 2
2π ´8
Beispiel: Φp0,73q “ 0,7673
0
1
2
3
4
5
6
7
8
9
´3,40
´3,30
´3,20
´3,10
´3,00
0,00034
0,00048
0,00069
0,00097
0,00135
0,00032
0,00047
0,00066
0,00094
0,00131
0,00031
0,00045
0,00064
0,0009
0,00126
0,0003
0,00043
0,00062
0,00087
0,00122
0,00029
0,00042
0,0006
0,00084
0,00118
0,00028
0,0004
0,00058
0,00082
0,00114
0,00027
0,00039
0,00056
0,00079
0,00111
0,00026
0,00038
0,00054
0,00076
0,00107
0,00025
0,00036
0,00052
0,00074
0,00104
0,00024
0,00035
0,0005
0,00071
0,001
´2,90
´2,80
´2,70
´2,60
´2,50
0,00187
0,00256
0,00347
0,00466
0,00621
0,00181
0,00248
0,00336
0,00453
0,00604
0,00175
0,0024
0,00326
0,0044
0,00587
0,00169
0,00233
0,00317
0,00427
0,0057
0,00164
0,00226
0,00307
0,00415
0,00554
0,00159
0,00219
0,00298
0,00402
0,00539
0,00154
0,00212
0,00289
0,00391
0,00523
0,00149
0,00205
0,0028
0,00379
0,00508
0,00144
0,00199
0,00272
0,00368
0,00494
0,00139
0,00193
0,00264
0,00357
0,0048
´2,40
´2,30
´2,20
´2,10
´2,00
0,0082
0,01072
0,0139
0,01786
0,02275
0,00798
0,01044
0,01355
0,01743
0,02222
0,00776
0,01017
0,01321
0,017
0,02169
0,00755
0,0099
0,01287
0,01659
0,02118
0,00734
0,00964
0,01255
0,01618
0,02068
0,00714
0,00939
0,01222
0,01578
0,02018
0,00695
0,00914
0,01191
0,01539
0,0197
0,00676
0,00889
0,0116
0,015
0,01923
0,00657
0,00866
0,0113
0,01463
0,01876
0,00639
0,00842
0,01101
0,01426
0,01831
´1,90
´1,80
´1,70
´1,60
´1,50
0,02872
0,03593
0,04457
0,0548
0,06681
0,02807
0,03515
0,04363
0,0537
0,06552
0,02743
0,03438
0,04272
0,05262
0,06426
0,0268
0,03362
0,04182
0,05155
0,06301
0,02619
0,03288
0,04093
0,0505
0,06178
0,02559
0,03216
0,04006
0,04947
0,06057
0,025
0,03144
0,0392
0,04846
0,05938
0,02442
0,03074
0,03836
0,04746
0,05821
0,02385
0,03005
0,03754
0,04648
0,05705
0,0233
0,02938
0,03673
0,04551
0,05592
´1,40
´1,30
´1,20
´1,10
´1,00
0,08076
0,0968
0,11507
0,13567
0,15866
0,07927
0,0951
0,11314
0,1335
0,15625
0,0778
0,09342
0,11123
0,13136
0,15386
0,07636
0,09176
0,10935
0,12924
0,15151
0,07493
0,09012
0,10749
0,12714
0,14917
0,07353
0,08851
0,10565
0,12507
0,14686
0,07215
0,08691
0,10383
0,12302
0,14457
0,07078
0,08534
0,10204
0,121
0,14231
0,06944
0,08379
0,10027
0,119
0,14007
0,06811
0,08226
0,09853
0,11702
0,13786
´0,90
´0,80
´0,70
´0,60
´0,50
0,18406
0,21186
0,24196
0,27425
0,30854
0,18141
0,20897
0,23885
0,27093
0,30503
0,17879
0,20611
0,23576
0,26763
0,30153
0,17619
0,20327
0,2327
0,26435
0,29806
0,17361
0,20045
0,22965
0,26109
0,2946
0,17106
0,19766
0,22663
0,25785
0,29116
0,16853
0,19489
0,22363
0,25463
0,28774
0,16602
0,19215
0,22065
0,25143
0,28434
0,16354
0,18943
0,2177
0,24825
0,28096
0,16109
0,18673
0,21476
0,2451
0,2776
´0,40
´0,30
´0,20
´0,10
´0,00
0,34458
0,38209
0,42074
0,46017
0,5
0,3409
0,37828
0,41683
0,4562
0,49601
0,33724
0,37448
0,41294
0,45224
0,49202
0,3336
0,3707
0,40905
0,44828
0,48803
0,32997
0,36693
0,40517
0,44433
0,48405
0,32636
0,36317
0,40129
0,44038
0,48006
0,32276
0,35942
0,39743
0,43644
0,47608
0,31918
0,35569
0,39358
0,43251
0,4721
0,31561
0,35197
0,38974
0,42858
0,46812
0,31207
0,34827
0,38591
0,42465
0,46414
0,00
0,10
0,20
0,30
0,40
0,5
0,53983
0,57926
0,61791
0,65542
0,50399
0,5438
0,58317
0,62172
0,6591
0,50798
0,54776
0,58706
0,62552
0,66276
0,51197
0,55172
0,59095
0,6293
0,6664
0,51595
0,55567
0,59483
0,63307
0,67003
0,51994
0,55962
0,59871
0,63683
0,67364
0,52392
0,56356
0,60257
0,64058
0,67724
0,5279
0,56749
0,60642
0,64431
0,68082
0,53188
0,57142
0,61026
0,64803
0,68439
0,53586
0,57535
0,61409
0,65173
0,68793
0,50
0,60
0,70
0,80
0,90
0,69146
0,72575
0,75804
0,78814
0,81594
0,69497
0,72907
0,76115
0,79103
0,81859
0,69847
0,73237
0,76424
0,79389
0,82121
0,70194
0,73565
0,7673
0,79673
0,82381
0,7054
0,73891
0,77035
0,79955
0,82639
0,70884
0,74215
0,77337
0,80234
0,82894
0,71226
0,74537
0,77637
0,80511
0,83147
0,71566
0,74857
0,77935
0,80785
0,83398
0,71904
0,75175
0,7823
0,81057
0,83646
0,7224
0,7549
0,78524
0,81327
0,83891
1,00
1,10
1,20
1,30
1,40
0,84134
0,86433
0,88493
0,9032
0,91924
0,84375
0,8665
0,88686
0,9049
0,92073
0,84614
0,86864
0,88877
0,90658
0,9222
0,84849
0,87076
0,89065
0,90824
0,92364
0,85083
0,87286
0,89251
0,90988
0,92507
0,85314
0,87493
0,89435
0,91149
0,92647
0,85543
0,87698
0,89617
0,91309
0,92785
0,85769
0,879
0,89796
0,91466
0,92922
0,85993
0,881
0,89973
0,91621
0,93056
0,86214
0,88298
0,90147
0,91774
0,93189
1,50
1,60
1,70
1,80
1,90
0,93319
0,9452
0,95543
0,96407
0,97128
0,93448
0,9463
0,95637
0,96485
0,97193
0,93574
0,94738
0,95728
0,96562
0,97257
0,93699
0,94845
0,95818
0,96638
0,9732
0,93822
0,9495
0,95907
0,96712
0,97381
0,93943
0,95053
0,95994
0,96784
0,97441
0,94062
0,95154
0,9608
0,96856
0,975
0,94179
0,95254
0,96164
0,96926
0,97558
0,94295
0,95352
0,96246
0,96995
0,97615
0,94408
0,95449
0,96327
0,97062
0,9767
2,00
2,10
2,20
2,30
2,40
0,97725
0,98214
0,9861
0,98928
0,9918
0,97778
0,98257
0,98645
0,98956
0,99202
0,97831
0,983
0,98679
0,98983
0,99224
0,97882
0,98341
0,98713
0,9901
0,99245
0,97932
0,98382
0,98745
0,99036
0,99266
0,97982
0,98422
0,98778
0,99061
0,99286
0,9803
0,98461
0,98809
0,99086
0,99305
0,98077
0,985
0,9884
0,99111
0,99324
0,98124
0,98537
0,9887
0,99134
0,99343
0,98169
0,98574
0,98899
0,99158
0,99361
2,50
2,60
2,70
2,80
2,90
0,99379
0,99534
0,99653
0,99744
0,99813
0,99396
0,99547
0,99664
0,99752
0,99819
0,99413
0,9956
0,99674
0,9976
0,99825
0,9943
0,99573
0,99683
0,99767
0,99831
0,99446
0,99585
0,99693
0,99774
0,99836
0,99461
0,99598
0,99702
0,99781
0,99841
0,99477
0,99609
0,99711
0,99788
0,99846
0,99492
0,99621
0,9972
0,99795
0,99851
0,99506
0,99632
0,99728
0,99801
0,99856
0,9952
0,99643
0,99736
0,99807
0,99861
3,00
3,10
3,20
3,30
3,40
0,99865
0,99903
0,99931
0,99952
0,99966
0,99869
0,99906
0,99934
0,99953
0,99968
0,99874
0,9991
0,99936
0,99955
0,99969
0,99878
0,99913
0,99938
0,99957
0,9997
0,99882
0,99916
0,9994
0,99958
0,99971
0,99886
0,99918
0,99942
0,9996
0,99972
0,99889
0,99921
0,99944
0,99961
0,99973
0,99893
0,99924
0,99946
0,99962
0,99974
0,99896
0,99926
0,99948
0,99964
0,99975
0,999
0,99929
0,9995
0,99965
0,99976
13
dy)