Barbara Gentz`s cover letter

Fakultät für Mathematik
Prof. Dr. Barbara Gentz
SS 2017
Vertiefung NWI: 11. Vorlesung zur Wahrscheinlichkeitstheorie
Mittwoch, 28.6.2017
11. Zufallsgrößen mit Dichten
Erinnerung
Der Satz von de Moivre-Laplace zeigt für eine mit Parametern n und p binomialverteilte Zufallsgröße
Sn , daß
Sn − np
≤b →
np(1 − p)
P a< p
mit ϕ ≥ 0 und
Z b
ϕ(x) dx
für n → ∞
a
Z ∞
ϕ(x) dx = 1.
−∞
Motivation
p
Für große n können wir also die Wahrscheinlichkeit, daß die ZV (Sn − np)/ np(1 − p) in einem
Intervall (a, b] liegt, durch ein Integral approximieren. Wir möchten nun allgemeiner Zufallsgrößen mit
Werten im Kontinuum (z.B. (−∞, ∞), [a, ∞), (a, ∞), [a, b], [a, b), usw.) mit Hilfe solcher Integrale
einführen.
Definition: Dichte
Eine Funktion f : R → [0, ∞), die stückweise stetig ist, heißt Dichte, sofern
Z +∞
f (x) dx = 1
−∞
gilt.
Erläuterung
Für eine Funktion
g ≥ 0, die auf jedem kompakten Intervall [−N, +N ] Riemann-integrierbar ist, ist
R +N
die Folge { −N g(x) dx}N ∈N monoton wachsend in N . Ist die Folge unbeschränkt, so setzen wir
R +∞
−∞ g(x) dx = ∞, andernfalls
Z +∞
Z +N
g(x) dx = lim
−∞
N →∞ −N
g(x) dx .
Beispiele von Dichten (vgl. Bilder im Anhang)
1. Dichte der Standardnormalverteilung, vgl. Satz von de Moivre-Laplace,
1
2
ϕ(x) = √ e−x /2 .
2π
2. Dichte der Normalverteilung mit den Parametern µ ∈ R und σ > 0
(Wir werden später sehen, daß µ ∈ R die Rolle des Erwartungswerts und σ 2 > 0 jene der Varianz spielen.)
ϕ(x; µ, σ 2 ) = √
1
2 /2σ 2
2πσ 2
e−(x−µ)
.
Es gilt ϕ(x; µ, σ 2 ) ≥ 0 für alle x. Somit zeigt die Substitution y = (x−µ)/σ, daß x 7→ ϕ(x; µ, σ 2 )
eine Dichte ist: Für N → ∞ gilt
√
1
2πσ 2
Z N
e−(x−µ)
2 /2σ 2
dx = √
−N
Z (N −µ)/σ
1
2πσ 2
e−y
2 /2
σ dy →
Z ∞
ϕ(y) dy = 1
−∞
(−N −µ)/σ
3. Dichte der uniformen Verteilung auf [a, b] für −∞ < a < b < ∞
(
f (x) =
1
b−a
für x ∈ [a, b]
sonst
0
f ist Dichte, weil f ≥ 0 und
Z ∞
Z b
f (x) dx =
−∞
a
1
dx = 1
b−a
Beachte: f ist das Analogon zur Gleichverteilung im Fall diskreter Zufallsgrößen. Wie die Gleichverteilung kann auch die uniforme Verteilung nur auf beschränkten Mengen definiert werden.
4. Dichte der Exponentialverteilung zum Parameter α > 0
(
f (x) =
für x < 0
für x ≥ 0
0
α e−αx
f ist Dichte, weil f ≥ 0 und
Z ∞
Z N
f (x) dx = lim
−∞
N →∞ 0
α e−αx dx = − lim
Z N
d
N →∞ 0
dx
N
e−αx dx = − lim e−αx N →∞
x=0
=1
Definition: Dichte und Verteilungsfunktion einer Zufallsgröße, Wahrscheinlichkeiten
f sei eine Dichte. Dann heißt eine Zufallsgröße X absolutstetig mit Dichte f , falls die Wahrscheinlichkeit, daß X ≤ x gegeben ist durch
FX (x) := P{X ≤ x} =
Z x
f (y) dy
−∞
∀x ∈ R
Die Funktion FX heißt Verteilungsfunktion von X.
2
Warnung
Angenommen, wir haben eine ZV X derart, daß
P{a < X ≤ b} =
(*)
Z b
f (x) dx
a
für alle a, b mit a < b (mit einer über ganz R integrierbaren Funktion f ). Dann gilt für jedes n
0 ≤ P{X = a} ≤ P{a − 1/n < X ≤ a} =
Z a
f (x) dx → 0
für n → ∞
a−1/n
Das heißt, für jedes a gilt
P{X = a} = 0 .
Für diskrete Zufallsgröße kann somit keine Dichte f existieren, weil (∗) nicht für alle a < b gelten
kann!
Bemerkungen
• Im Rahmen dieser Vorlesung nehmen wir einige Einschränkungen in Kauf: Wir zeigen z.B. nicht,
unter welchen Voraussetzungen eine Dichte existiert. Auch spezifizieren wir den Wahrscheinlichkeitsraum nicht. Hier gilt es zu beachten, daß P{X ∈ A} in der Regel nicht für alle Teilmengen
von R definiert werden kann. Uns soll genügen, daß alles gutgeht, wenn wir uns auf Mengen A beschränken, die durch höchstens abzählbare Vereinigungen und Schnitte von Intervallen
dargestellt werden können.
• Vergleichen Sie die bekannten Eigenschaften der Verteilungsfunktion für diskrete Zufallsgrößen
mit jenen der Verteilungsfunktion einer Zufallsgröße mit Dichte:
– Verteilungsfunktionen sind monoton wachsend.
– limx→−∞ FX (x) = 0 und limx→∞ FX (x) = 1
– Falls die Zufallsgröße X eine Dichte hat, so ist die Verteilungsfunktion FX stetig. Für
diskrete Zufallsgrößen dagegen ist die Verteilungsfunktion stückweise konstant.
(Machen Sie zwei Skizzen!)
• Dichten sind nicht eindeutig bestimmt.
(Verschiedene Dichten ergeben sich, wenn wir ein Dichte in einzelnen Punkten ändern.)
• Ist die Dichte f stetig in einem Punkt a, so gilt
f (a) =
dFX (y) dy y=a
Dies erlaubt, aus der Verteilungsfunktion einer Zufallsgröße eine Dichte zu bestimmen.
3
Piled Higher and Deeper
14/04/15 14:16
Piled Higher and Deeper by Jorge Cham
www.phdcomics.com
title: "The Tenure Cloud/t" - originally published 7/14/2008
Beispiele (vgl. Bilder im Anhang)
3. Verteilungsfunktion der uniformen Verteilung
FX (x) =



0






Z x
für x < a
1
dy =
x−a

b−a

a b−a


Z ∞





f (y) dy = 1
für x ∈ [a, b]
für x > b
−∞
4. Verteilungsfunktion der Exponentialverteilung



0

FX (x) = Z
x
x




α e−αy dy = − e−αy für x < 0
y=0
0
= 1 − e−αx
für x ≥ 0
1. Verteilungsfunktion Φ der Standardnormalverteilung (siehe Tabelle)
http://www.phdcomics.com/comics/archive_print.php?comicid=1042
2. Verteilungsfunktion
Φµ,σ2 der Normalverteilung
Φµ,σ2 (x) = √
1
2πσ 2
Z x
e−(z−µ)
2 /2
−∞
1
dz = √
2π
Page 1 of 1
Z (x−µ)/σ
−∞
e−y
2 /2
dy = Φ
x−µ
σ
(mit der gleichen Substitution wie oben)
Sprechweise
Eine ZG heißt normalverteilt, uniform verteilt, exponentialverteilt, etc, falls sie eine entsprechende
Dichte hat.
4
Rechenregeln
Hat X eine Dichte f , so gelten für alle −∞ ≤ a < b ≤ ∞
• P{a < X < b} = P{a ≤ X ≤ b} = P{a ≤ X < b} = P{a < X ≤ b}
• P{a < X ≤ b} =
Z b
a
f (x) dx = P{X ≤ b} − P{X ≤ a} = FX (b) − FX (a)
• P{X ≤ b} = FX (b) =
• P{a < X} =
Z ∞
Z b
f (x) dx
−∞
f (x) dx = 1 −
Z a
−∞
a
f (x) dx = 1 − P{X ≤ a} = 1 − FX (a)
Beispiel
Berechnen der Wahrscheinlichkeit, daß eine exponentialverteilte Zufallsgröße mit Parameter α einen
Wert größer als a annimmt bzw. einen Wert zwischen a und b.
• Direktes Ausrechnen des entsprechenden Integrals
• Erst Berechnen der Verteilungsfunktion, dann der Wahrscheinlichkeit
Definition: Erwartungswert und Varianz
Sei X eine Zufallsgröße mit einer Dichte f .
∞
• Falls −∞
|x|f (x) dx < ∞, so sagen wir, daß der Erwartungswert von X existiert. Er ist in
diesem Fall gegeben durch
R
E[X] =
Z ∞
Z N
xf (x) dx = lim
N →∞ −N
−∞
xf (x) dx .
(Warnung: So dürfen wir nur rechnen, wenn wir bereits gezeigt
haben, daß der Erwartungswert
RN
existiert, denn für Dichten f , die gerade Funktionen sind, gilt −N
xf (x) dx = 0 für alle N , auch
wenn der Erwartungswert ggf. gar nicht existiert.)
• Falls der Erwartungswert von X existiert, definieren wir die Varianz von X als
Z ∞
Var(X) =
−∞
(x − E[X])2 f (x) dx .
Ist Var(X) < ∞, so sagen wir, daß die Varianz existiert.
Bemerkung
Vergleichen Sie mit dem Fall diskreter Zufallsgrößen.
5
Beispiele
3. Uniforme Verteilung (direktes Ausrechnen – warum ist der Erwartungswert (a + b)/2 ?)
Der Erwartungswert existiert, weil f = 0 außerhalb des kompakten Intervalls [a, b].
b
b2 − a2
1
1
a+b
=
dx =
x2 =
b
−
a
2(b
−
a)
2(b
−
a)
2
x=a
a
Z b
3
3
1
b −a
1
1
b
x2
E[X 2 ] =
=
dx =
x3 = (b2 + ab + a2 )
b−a
3(b − a)
3(b − a)
3
x=a
a
2
2
2
2
b + ab + a
a + 2ab + b
(a − b)2
Var(X) = E[X 2 ] − (E[X])2 =
−
=
3
4
12
E[X] =
Z b
x
4. Exponentialverteilung (verwende partielle Integration)
Der Erwartungswert existiert genau dann, wenn die erste Zeile der folgenden Rechnung einen
endlichen Wert ergibt (was der Fall ist):
E[X] =
E[X ] =
2
Z ∞
−αx
x |α e{z } dx = − lim x e
|{z}
N →∞
0
↓
Z ∞
↑
N
Var(X) = E[X 2 ] − (E[X])2 =
2
−
α2
2
1
α
=
0
Z ∞
+2
1
dx = 0 +
α
Z ∞
f (x) dx =
−∞
x e−αx dx = 0 +
0
x=0
↑
↓
−αx
e
+
x=0
x α
x e
|{z}
| e{z } dx = − Nlim
→∞
0
Z ∞
2 −αx −αx
2
N
−αx 1
α
2
2
E[X] = 2
α
α
1
α2
1. Standardnormalverteilung
Die Existenz der Erwartungswerts folgt aus der folgenden Überlegung: Es existiert ein x0 > 0
2
2
mit x e−x /2 ≤ e−x /4 für alle x ≥ x0 . Daher gilt für alle N ≥ x0 :
Z N
|x| ϕ(x) dx ≤ 2
Z N
Z x0
−N
x0 ϕ(x) dx + 2
x0
0
1
2
√ e−x /4 dx ≤ 2x20 + 2
2π
Z ∞
e−x
2 /4
dx < ∞
0
Wir berechnen nun Erwartungswert und Varianz:
E[X] =
Z ∞
xϕ(x) dx
−∞
Z N
Z 0
xϕ(x) dx +
= lim
N →∞
−N
xϕ(x) dx = lim −
N →∞
0
Z N
Z N
0
xϕ(x) dx = 0
yϕ(y) dy +
0
Var(X) = E[X ]
2
Z ∞
=
N
x xϕ(x) dx = lim x −ϕ(x) −∞ |{z} | {z
↓
↑
}
N →∞
x=−N
−
Z N
−N
−ϕ(x) dx = 0 +
Z ∞
ϕ(x) dx = 1
−∞
6
2. Normalverteilung (verwende Substitution und Wissen über Dichte, Erwartungswert und Varianz
der Standardnormalverteilung)
Existenz des Erwartungswerts: Analog zur obigen Rechnung für die Standardnormalverteilung
E[X] =
Z ∞
x√
−∞
Z ∞
Z
2πσ 2
2 /2σ 2
e−(x−µ)
Z ∞
yϕ(y) dy + µ
=σ
E[X 2 ] =
1
x2 √
−∞
Z ∞
1
2
(σy + µ) √ e−y /2 dy
2π
−∞
ϕ(y) dy = σ · 0 + µ · 1 = µ
−∞
−∞
∞
= σ2
Z ∞
dx =
1
2πσ 2
2 /2σ 2
e−(x−µ)
y 2 ϕ(y) dy + 2µσ
−∞
Z ∞
dx =
(σy + µ)2 ϕ(y) dy
−∞
Z ∞
−∞
2
yϕ(y) dy + µ2
Z ∞
ϕ(y) dy
−∞
= σ 2 · 1 + 2µσ · 0 + µ2 · 1 = σ + µ2
Var(X) = E[X 2 ] − (E[X])2 = σ 2
Bemerkung
Die bekannten Rechenregeln gelten weiter:
• Linearität des Erwartungswerts
• Var(aX + b) = a2 Var(X) für a, b ∈ R
• Var(X) = E[X 2 ] − (E[X])2
• Tschebyscheffsche Ungleichung
• Definition der bedingten Wahrscheinlichkeit
7
Nachtrag zur 11. Vorlesung zur Wahrscheinlichkeitstheorie
Satz
Sei fX eine Dichte der Zufallsgröße X. Dann gelten:

√
√ 1
 √
2 y fX ( y) + fX (− y)
2
(a) Die Zufallsgröße X hat die Dichte fX 2 (y) =
0
(b) E[X ] =
2
Z ∞
−∞
für y > 0
sonst
x2 fX (x) dx
Beweis
(a) Für die Verteilungsfunktion FX 2 von X 2 gilt FX 2 (y) = P{X 2 ≤ y} = 0 für y ≤ 0.
√
Sei daher im folgenden y > 0. Die Substitution z = x zeigt:
√
√
FX 2 (y) = P{X 2 ≤ y} = P{− y < X ≤ y}
Z √y
fX (x) dx +
=
√ fX (x) dx
− y
0
Z y
=
0
Z √y
Z √y
Z 0
fX (x) dx +
=
0
fX (−x) dx
0
1 √ fX (z) + fX (−z) dz
2 z
(b) Die Definition des Erwartungswerts und die Substitutionen y = x2 sowie z = −x, die die
Substitutionen in Teil (a) rückgängig machen, zeigen
E[X ] =
2
Z ∞
Z ∞
−∞
yfX 2 (y) dy =
0
Z ∞
=
0
Z ∞
=
0
y √ √
√ fX ( y) + fX (− y) dy
2 y
x
fX (x) + fX (−x) 2x dx
2
x2 fX (x) dx +
Z 0
−∞
z 2 fX (z) dz =
Z ∞
−∞
x2 fX (x) dx
8
p
=
=
µ = 0,
µ = 0,
p
2
3/2
=1
µ = 1/2,
Normalverteilung
= 1)
(µ = 0,
Parameter
Standardnormalverteilung
Verteilung
-4
-4
-4
-4
-2
-2
-2
-2
0.05
0.1
0.15
0.2
0.25
0.1
0.2
0.3
0.4
0.1
0.2
0.3
0.4
0.1
0.2
0.3
0.4
2
2
2
2
Dichte
4
4
4
4
Verteilungsfunktion
↵=2
↵ = 1/2
↵=1
a = 0, b = 3/2
uniforme
Verteilung
Exponentialverteilung
Parameter
Verteilung
0.4
1
2
3
3
5
5
-1
0.5
1
1.5
2
0.1
0.2
0.3
0.4
0.5
1
1
2
2
3
3
4
4
5
5
-1
-1
0.2
0.4
0.6
0.8
1
0.2
0.4
0.6
0.8
0.4
0.2
0.4
0.6
0.2
0.6
4
4
1
2
0.8
1
1
0.1
0.2
0.3
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
Verteilungsfunktion
0.8
-1
0.6
0.5
Dichte
Exponentialverteilung
uniforme
Verteilung
µ ∈ R, σ > 0
Normalverteilung



ϕ(x; µ, σ) = √
α>0
f (x) =

0


 αe−αx
e
−(x−µ)2 /2σ 2
sonst
für x ≥ 0
sonst
für x ∈ [a, b]
2πσ 2
1
1
2
ϕ(x) = √ e−x /2
2π
Dichte
1
b−a
a, b ∈ R, a < b f (x) =

0
(µ = 0, σ = 1)
Parameter
Standardnormalverteilung
Verteilung
x
−∞
Z
−∞
x
F (x) =

 1 − e−αx


0
für x ≥ 0
für x < 0
für x > b
für a ≤ x ≤ b
für x < a
ϕ(y; µ, σ) dy
ϕ(y) dy



0


x−a
F (x) =

b−a



1
F (x) =
Φ(x) =
Z
Verteilungsfunktion
Zufallsgrößen mit Dichten
1/α
(a + b)/2
µ
0
Erwartungswert
1/α2
(a − b)2 /12
σ2
1
Varianz