Folien - christian

Zentralübung
Diskrete Wahrscheinlichkeitstheorie
Christian Ivicevic
([email protected])
Technische Universität München
14. Juni 2017
Agenda
I
Disclaimer und wichtige Hinweise
I
Überblick der bisherigen Vorlesungsinhalte
I
Übungsaufgaben
Disclaimer und wichtige Hinweise
Diese Folien wurden weder von Prof. Albers noch von der
Übungsleitung erstellt und erheben keinerlei Anspruch auf
Richtigkeit oder Vollständigkeit. Sie sollen nicht die
Vorlesungsfolien ersetzen, sondern lediglich als Lernunterstützung
genutzt werden.
Die hier gestellten Aufgaben und die damit abgedeckten
Themenbereiche sind weder für die Klausur relevant, noch
irrelevant. Sie dienen vor allem dazu euch andere Blickrichtungen
auf den Stoff zu präsentieren.
Wahrscheinlichkeitsräume
Überblick der bisherigen Vorlesungsinhalte
Definition
Ein diskreter Wahrscheinlichkeitsraum (Ω, Pr) besteht aus einer
abzählbaren Elementarergebnismenge Ω und einem zugehörigen
Wahrscheinlichkeitsmaß Pr : Ω → [0, 1], das
X
Pr[ω] = 1
ω∈Ω
erfüllt.
Hinweis
Bei der Konstruktion eines Wahrscheinlichkeitsraums muss die
Menge Ω stets definiert oder hinreichend beschrieben werden,
sowie gezeigt P
werden, dass 0 6 Pr[ω] 6 1 für alle ω ∈ Ω gilt.
Zuletzt muss ω∈Ω Pr[ω] = 1 gezeigt werden.
Wahrscheinlichkeitsräume
Überblick der bisherigen Vorlesungsinhalte
Beispiel: Zweifaches Werfen einer gezinkten Münze
Die Ergebnisse Ω = {hh, ht, th, tt} beschreiben die vier möglichen
Ausgänge, wobei h für Kopf und t für Zahl steht. Falls die Münze
mit Wahrscheinlichkeit 1/3 Kopf zeigt, erhalten wir folgendes
Wahrscheinlichkeitsmaß:
1
3
1
Pr[ht] =
3
2
Pr[tt] =
3
Pr[hh] =
1
1
=
3
9
2
2
· = = Pr[th]
3
9
2
4
· =
3
9
·
Alle Wahrscheinlichkeiten sind positiv und addieren sich
offensichtlich zu 1, daher ist die Konstruktion des
Wahrscheinlichkeitsraumes (Ω, Pr) gültig.
Ereignisse
Überblick der bisherigen Vorlesungsinhalte
Definition
Ein Ereignis E ⊂ Ω ist eine Menge von Ergebnissen und es gilt
X
Pr[E] =
Pr[ω].
ω∈E
Beispiel: Zweifaches Werfen einer gezinkten Münze
In unserem letzten Beispiel mit Ω = {hh, ht, th, tt} können wir die
Ergebnisse, bei denen keine Seite doppelt vorkommt mithilfe des
Ereignisses A = {ht, th} ⊂ Ω beschreiben.
Wahrscheinlichkeiten zusammengesetzter Ereignisse
Überblick der bisherigen Vorlesungsinhalte
Satz (Additionssatz)
Seien A1 , . . . , An ⊂ Ω disjunkte Ereignisse, dann gilt
" n
#
n
[
X
Pr
Ak =
Pr[Ak ].
k=1
k=1
Satz (Siebformel)
Seien A1 , . . . , An ⊂ Ω, nicht notwendigerweise disjunkte,
Ereignisse, dann gilt
" n
#
"
#
[
X
\
|I|+1
Pr
Ak =
(−1)
· Pr
Ai .
k=1
∅⊂I⊂[n]
i∈I
Wahrscheinlichkeiten zusammengesetzter Ereignisse
Überblick der bisherigen Vorlesungsinhalte
Beispiel: Siebformel
Für n = 2 erhalten wir durch Einsetzen in die Siebformel:
Pr[A1 ∪ A2 ] = Pr[A1 ] + Pr[A2 ] − Pr[A1 ∩ A2 ]
Für n = 3 erhalten wir durch Einsetzen in die Siebformel:
Pr[A1 ∪ A2 ∪ A3 ] = Pr[A1 ] + Pr[A2 ] + Pr[A3 ]
− Pr[A1 ∩ A2 ] − Pr[A1 ∩ A3 ] − Pr[A2 ∩ A3 ]
+ Pr[A1 ∩ A2 ∩ A3 ]
Wahrscheinlichkeiten zusammengesetzter Ereignisse
Überblick der bisherigen Vorlesungsinhalte
Definition
Seien A, B ⊂ Ω und Pr[B] 6= 0, dann beschreibt der Ausdruck
Pr[A | B] =
Pr[A ∩ B]
Pr[B]
die bedingte Wahrscheinlichkeit von A unter der Bedingung, dass
B bereits eingetreten ist. Es gelten folgende Rechenregeln:
I
Pr[A | A] = 1
I
Pr[A | Ω] = Pr[A]
I
Pr[∅ | A] = 0
I
Pr[A | B] = 1 − Pr[A | B]
Wahrscheinlichkeiten zusammengesetzter Ereignisse
Überblick der bisherigen Vorlesungsinhalte
Satz (Multiplikationssatz)
Seien A1 , . . . , An ⊂ Ω mit Pr[A1 ∩ . . . ∩ An ] 6= 0, dann gilt
Pr[A1 ∩ . . . ∩ An ] = Pr[A1 ] · Pr[A2 | A1 ] · Pr[A3 | A1 ∩ A2 ]
· . . . · Pr[An | A1 ∩ . . . ∩ An−1 ].
Satz von der totalen Wahrscheinlichkeit
Überblick der bisherigen Vorlesungsinhalte
Satz (Satz von der totalen Wahrscheinlichkeit)
Sei A1 , . . . , An ⊂ Ω eine paarweise disjunkte Partition von Ω,
dann gilt
n
X
Pr[B] =
Pr[B | Ak ] · Pr[Ak ].
k=1
Satz von Bayes
Überblick der bisherigen Vorlesungsinhalte
Satz (Satz von Bayes)
Seien A, B ⊂ Ω mit positiven Wahrscheinlichkeiten, dann gilt
Pr[A | B] =
Pr[B | A] · Pr[A]
.
Pr[B]
Diskrete Zufallsvariablen
Überblick der bisherigen Vorlesungsinhalte
Definition
Eine Zuordnung X : Ω → R bezeichnen wir als Zufallsvariable.
Beispiel: Zweimaliges Werfen einer Münze
In diesem Experiment können wir zu Ω = {hh, ht, th, tt} eine
Zufallsvariable X definieren mit X(hh) = 0, X(ht) = X(th) = 1
und X(tt) = 2, die angibt, wie oft in einem Ergebnis ein Zahlwurf
enthalten ist. Somit folgt auch die Evalution des Ausdrucks
Pr[X = 1] = Pr[{ω ∈ Ω | X(ω) = 1}]
= Pr[{ht, th}]
= Pr[ht] + Pr[th].
Dichte und Verteilung
Überblick der bisherigen Vorlesungsinhalte
Definition
Eine Zuordnung
fX : R 3 x 7→ Pr[X = x] ∈ [0, 1]
wird als Dichte(funktion) der Zufallsvariablen X bezeichnet. Die
Zuordnung
FX : R 3 x 7→ Pr[X 6 x] ∈ [0, 1]
wird als Verteilung(sfunktion) der Zufallsvariablen X bezeichnet.
Hinweis
Während das Wahrscheinlichkeitsmaß Pr lediglich für gültige
Werte definiert ist, müssen Dichte und Verteilung für sämtliche
Werte definiert werden! Insbesondere müssen Sonderfälle
berücksichtigt werden, in denen der Wert 0 angenommen wird!
Gemeinsame Dichte und Randdichten
Überblick der bisherigen Vorlesungsinhalte
Definition
Seien X und Y Zufallsvariablen, dann wird der Ausdruck
fX,Y (x, y) = Pr[X = x, Y = y]
als gemeinsame Dichte der Zufallsvariablen X und Y bezeichnet.
Definition
Aus einer gemeinsamen Dichte fX,Y lassen sich die Randdichten
gemäß folgender Vorschrift herleiten:
X
fX (x) =
fX,Y (x, y)
y∈WY
fY (y) =
X
x∈WX
fX,Y (x, y)
Unabhängigkeit
Überblick der bisherigen Vorlesungsinhalte
Definition
Seien X1 , . . . , Xn Zufallsvariablen, dann nennen wir diese
unabhängig genau dann, wenn
fX1 ,...,Xn (x1 , . . . , xn ) = fX1 (x1 ) · . . . · fXn (xn ).
Definition
Seien X und Y unabhängige Zufallsvariablen und Z = X + Y, dann
folgt die Dichte fZ (z) aus der diskreten Faltungsformel und es gilt
X
fZ (z) =
fX (x) · fY (z − x).
x∈WX
Erwartungswert
Überblick der bisherigen Vorlesungsinhalte
Definition
Der Erwartungswert einer Zufallsvariablen X ist definiert durch
X
E[X] =
x · fX (x)
x∈WX
und existiert nur, wenn diese Reihe absolut konvergiert. Darüber
hinaus können Zufallsvariablen, die durch Komposition von
Funktionen entstehen, ähnlich genutzt werden, dann gilt
X
E[g(X)] =
g(x) · fX (x).
x∈WX
Erwartungswert
Überblick der bisherigen Vorlesungsinhalte
Beispiel: Erwartungswerte
E[X(X − 1)] =
X
x∈WX
x · (x − 1) · fX (x)
hp
i
X p
E
X2 + 1 =
x2 + 1 · fX (x)
x∈WX
Bedingte Erwartungswerte
Überblick der bisherigen Vorlesungsinhalte
Definition
Ein Erwartungswert kann auf ein bestimmtes Ereignis A ⊂ Ω
bedingt werden. In diesem Fall gilt
X
E[X | A] =
x · Pr[X = x | A].
x∈WX
Erneut lassen sich Funktionen auf die Zufallsvariablen anwenden
und es folgt
X
E[g(X) | A] =
g(x) · Pr[X = x | A].
x∈WX
Bedingte Erwartungswerte
Überblick der bisherigen Vorlesungsinhalte
Satz
Analog zum Satz von der totalen Wahrscheinlichkeit sei
A1 , . . . , An ⊂ Ω eine paarweise disjunkte Partition von Ω, dann
gilt
n
X
E[X] =
E[X | Ak ] · Pr[Ak ]
k=1
und ebenso
E[g(X)] =
n
X
k=1
E[g(X) | Ak ] · Pr[Ak ].
Eigenschaften des Erwartungswertes
Überblick der bisherigen Vorlesungsinhalte
Definition
Sei X = a1 X1 + . . . + an Xn eine zusammengesetzte Zufallsvariable,
dann folgt aus der Linearität des Erwartungswertes, dass
E[X] = a1 E[X1 ] + . . . + an E[Xn ].
Definition
Seien X1 , . . . , Xn unabhängige Zufallsvariablen, dann folgt aus der
Multiplikativität des Erwartungswertes, dass
E[X1 · . . . · Xn ] = E[X1 ] · . . . · E[Xn ].
Varianz
Überblick der bisherigen Vorlesungsinhalte
Definition
Die Varianz einer Zufallsvariablen X ist definiert durch
X
Var[X] = E[(X − E[X])2 ] =
(x − E[X])2 · fX (x).
x∈WX
Über den Verschiebungssatz
Var[X] = E[X2 ] − E[X]2
lässt sich die Varianz angenehmer berechnen.
Eigenschaften der Varianz
Überblick der bisherigen Vorlesungsinhalte
Definition
Die Varianz ist nicht linear, jedoch gilt
Var[aX + b] = a2 Var[X].
Definition
Seien X1 , . . . , Xn unabhängige Zufallsvariablen, dann folgt aus der
Additivität der Varianz, dass
Var[X1 + . . . + Xn ] = Var[X1 ] + . . . + Var[Xn ].
Wichtige diskrete Verteilungen
Überblick der bisherigen Vorlesungsinhalte
Bernoulliverteilung X ∼ Ber(p)
(Hit or Miss)

für x = 1,

p,
fX (x) = 1 − p, für x = 0,


0,
sonst.
E[X] = p
Var[X] = p(1 − p)
Wichtige diskrete Verteilungen
Überblick der bisherigen Vorlesungsinhalte
Binomialverteilung X ∼ Bin(n, p)
(n-fache Bernoullikette)
 
 n px (1 − p)n−x , für x ∈ {0, . . . , n},
x
fX (x) =

0,
sonst.
E[X] = np
Var[X] = np(1 − p)
Falls X ∼ Bin(nx , p) und Y ∼ Bin(ny , p) unabhängige
Zufallsvariablen sind, dann gilt
X + Y ∼ Bin(nx + ny , p).
Wichtige diskrete Verteilungen
Überblick der bisherigen Vorlesungsinhalte
Geometrische Verteilung X ∼ Geo(p)
(Warten auf den ersten Treffer)
fX (x) =
p(1 − p)x−1 ,
für x ∈ N,
0,
sonst.
1
p
1−p
Var[X] =
p2
FX (x) = 1 − (1 − p)x
E[X] =
Wichtige diskrete Verteilungen
Überblick der bisherigen Vorlesungsinhalte
Poisson-Verteilung X ∼ Po(λ)
(Diskreter Prozess mit Auftrittsrate λ)


λx
, für x ∈ N0 ,
fX (x) = exp(x) · x!

0,
sonst.
E[X] = λ = Var[X]
Abschätzen von Wahrscheinlichkeiten und Verteilungen
Überblick der bisherigen Vorlesungsinhalte
Markov-Ungleichung
Sei X eine nicht-negative Zufallsvariable und t > 0, dann gelten
Pr [X > t] 6
E[X]
t
sowie
Pr [X > t · E[X]] 6
Chebyshev-Ungleichung
Sei X eine Zufallsvariable und t > 0, dann gilt
Pr [|X − E[X]| > t] 6
Var[X]
t2
und äquivalent dazu
h
i
p
1
Pr |X − E[X]| > t · Var[X] 6 2
t
1
t
Abschätzen von Wahrscheinlichkeiten und Verteilungen
Überblick der bisherigen Vorlesungsinhalte
Chernoff-Schranken
Seien X1 , . . . , Xn unabhängige Bernoulli-Zufallsvariablen mit
X = X1 + . . . + Xn , dann gelten folgende Schranken:
2
δ E[X]
für 0 < δ 6 1
Pr [X > (1 + δ) · E[X]] 6 exp −
3
E[X]
exp δ
Pr [X > (1 + δ) · E[X]] 6
für δ > 0
(1 + δ)(1+δ)
E[X]
exp(−δ)
Pr [X 6 (1 − δ) · E[X]] 6
für 0 < δ < 1
(1 − δ)(1−δ)
(−→ alle anderen Schranken mit Bedingungen für δ im Skript)
Erzeugende Funktionen
Überblick der bisherigen Vorlesungsinhalte
Beispiel
Es werden drei faire sechsseitige Würfel gleichzeitig geworfen und
die Summe der Augenzahlen mit der Zufallsvariablen Z bezeichnet.
Wie berechnet man möglichst elegant Pr[Z = 12]?
1 1 1 2 1 3 1 4 1 5 1 6 3
z + z + z + z + z + z
6
6
6
6
6
6
3
z
25z12
z18
=
+ ... +
+ ... +
.
216
216
216
Somit lässt sich ablesen, dass
Pr[Z = 12] =
25
.
216
Erzeugende Funktionen
Überblick der bisherigen Vorlesungsinhalte
Definition
Sei X eine Zufallsvariable, dann gilt, für die durch GX (s) definierte
wahrscheinlichkeitserzeugende Funktion, dass
GX (s) =
∂
GX (s)
∂s
s=1
=
∞
X
sx · fX (x) = E sX
x=0
∞
X
x · 1x−1 · fX (x) = E[X]
x=0
∞
X
G
(s)
=
x · (x − 1) · 1x−2 · fX (x) = E[X · (X − 1)]
X
2
∂ s
s=1
x=0
k
∂
GX (s)
= Pr[X = k] · k!
∂k s
s=0
∂2
Erzeugende Funktionen
Überblick der bisherigen Vorlesungsinhalte
Wichtige erzeugende Funktionen
I
Binomialverteilung (X ∼ Bin(n, p))
GX (s) = (1 − p + ps)n
I
Geometrische Verteilung (X ∼ Geo(p))
GX (s) =
I
ps
1 − (1 − p)s
Poissonverteilung (X ∼ Po(λ))
GX (s) = exp(λ(s − 1))
Erzeugende Funktionen
Überblick der bisherigen Vorlesungsinhalte
Definition
Sei X eine Zufallsvariable, dann ist die momenterzeugende
Funktion gegeben durch
MX (t) := GX (exp t) = E[exp(t · X)]