Vertiefung Mathematik II für NWI

Universität Bielefeld
SS 2007
Fakultät für Mathematik
Prof. Barbara Gentz
Vertiefung Mathematik II für NWI
Elementare Wahrscheinlichkeitsrechnung
Grundbegriffe der Statistik
Maintained by Christian Munier
Inhaltsverzeichnis
I.
Diskrete Wahrscheinlichkeitsräume
3
II. Zufallsgrößen
9
III. Grenzwertsätze
16
IV. Etwas Statistik
21
V. Zufallsgrößen mit Dichten
25
1
Stochastik
• Wahrscheinlichkeitsrechnung
• Statistik
– deskriptive Statistik
– induktive Statistik
Wo treten stochastische Fragestellungen auf?
• Strategien bei Entscheidungsprozessen; Glücksspiel
• Wachstum von Populationen; Vererbung von Eigenschaften
• Nachrichtenkodierung, -übermittlung, möglichst ökonomisch
• Qualitätsstudien
• Messfehler
• probabilistische Analyse von Algorithmen
• average-case-Analysen
• Monte-Carlo-Simulationen
• Warteschlangen
• Mustererkennung
Zufallsexperiment
• reales oder gedankliches Experiment, dessen Ausgang nicht durch logische Gründe vorhergesagt
werden kann
• Experiment, wenn wiederholt unter gleichen Bedingungen nicht stets das gleiche Ergebnis kommt
Beispiele
• Würfeln
• blindes“ Ziehen von Kugeln aus einer Urne
”
• Kartenspiele: Bestimmung der Wahrscheinlichkeit aus Symmmetrien
• Geburten (Junge, Mädchen?)
• Ausschuss in der Tagesproduktion von . . .
• Lebensdauern (Menschen, Glühbirnen, . . . )
• Wirksamkeit von Medikamenten
2
Persönliche Wahrscheinlichkeit“
”
Wette: Ich wette 23:1, dass der Zug pünktlich kommt. Das heißt, für mich ist die Wahrscheinlichkeit,
23
dass der Zug pünktlich kommt 23+1
.
Teil I.
Diskrete Wahrscheinlichkeitsräume
§1. Endliche W-Räume
Beispiel: Werfen zweier Würfel
Würfel 1: rot
Würfel 2: blau
unterscheidbar
Mögliche Ausgänge (i, j); (5, 2) heißt roter (1.) Würfel zeigt 5, blauer (2.) zeigt 2.
Ereignisraum
Ω = {(i, j) : 1 ≤ i, j ≤ 6} = {(1, 1), (1, 2), . . . , (1, 6), . . . , (6, 1), (6, 2), . . . , (6, 6)}
Elementarereignis: (i, j) ∈ Ω
Ereignis
A = {(1, 1), (1, 3), (1, 5), (3, 1), (3, 3), (3, 5), (5, 1), (5, 3), (5, 5)} ∈ Ω
(1)
Bei fairen Würfen: Alle Elementarereignissse in diesem Ω sind gleich wahrscheinlich.
P ((i, j)) =
Wahrscheinlichkeit von A:
P (A) =
1
1
=
36
|Ωk
] günstige Ereignisse
|A|
=
|Ω|
] mögliche Ereignisse
§1.1. Definition: Endl. W-Raum
• Ereignisraum Ω: endl. Menge Ω
• Elementarereignis ω: ω ∈ Ω
• Ereignis: A ⊂ Ω
• Wahrscheinlichkeitsverteilung, -maß P : Abbildung P : P → [0, 1] mit
– P (Ω) = 1 (normiert)
– P (A) ≥ 0 ∀A ∈ P(Ω) (nicht negativ)
– P (A∪B) = P (A)+P (B) falls A, B ∈ P(Ω) und A und B disjunkt, also A∩B = ∅ (additiv)
P ist die Potenzmenge.
P(Ω) = {A : A ⊂ Ω}
P({0, 1}) = {∅, {0}, {1}, {0, 1}}
3
Beispiel: A wie in (1), B = {(4, 4)}
• A ∩ B = ∅ ⇒ A ∪ B = A ∪˙ B Entweder A oder B“
”
• P (A): Ws. von A
• W-Raum: (Ω, P )
§1.2. Lemma: Eigenschaften von P
A, B, Ai ⊂ Ω und AC = {ω ∈ Ω : ω ∈ A}
a) P (AC ) = 1 − P (A)
denn Ω = A ∪˙ AC
b) A ⊂ B ⇒ P (A) ⊆ P (B) ⇒ P (B) = P (B\A) + P (A)
denn B = B\A ∪˙ A
c) P (A\B) = P (A) − P (A ∩ B)
!
n
n
[
X
Ai =
P (Ai ), falls die Mengen Ai paarweise disjunkt sind,
d) P
i=1
i=1
i=1
i=1
d.h. ∀i, j mit i 6= j : Ai ∩ Aj = ∅
!
n
n
X
[
P (Ai )
Ai ≤
e) P
f) P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
§1.3. Bemerkung
P (A) =
P
ω∈A P ({ω})
Beispiel
Werfen von 3 Würfeln - uns interessiert die Augensumme
Ω1 = {3, . . . , 18}
P kann konstruiert werden aus p1 (i) = P ({i})
P1 (A) =
X
p1 (i)
i∈A
Ω2 = (ω1 , ω2 , ω3 ) ∈ {1, . . . , 6}3 = {1, . . . , 6}3
mit P2 Gleichverteilung
Beispiel
(3 Würfel) Augensumme 11 scheint häufiger aufzutreten als 12, obwohl es gleichviele Darstellungen
gibt.
641 3! 651 3!
632 3! 642 3!
551 3 633 3
542 3! 552 3
533 3 543 3!
443 3 444 1
P (11) =
1
= 0.125
8
P (12) =
4
25
≈ 0.1157
63
Urnenmodelle
Ziehen von k Kugeln (unterscheidbar) aus N Kugeln
1) Geordnet mit Zurücklegen
K× ziehen; zurücklegen; merken der Reihenfolge
Ω = {1, . . . , N }k ,
|Ω| = N k
2) Geordnet ohne Zurücklegen
(gezogene Kugeln sind weg)
Ω = {(ω1 , . . . , ωk ) : ωi ∈ {1, . . . , N }, ωi 6= ωj (i 6= j)}
|Ω| = |{z}
N · (N − 1) · . . . · (N − k + 1) =: (N )k
|
{z
}
| {z }
1.Kugel
2.Kugel
k.Kugel
Beachte
(N )N = N ! = Anzahl der Permutationen von {1, . . . , N }
N!
(N )k =
(N − k)!
3) Ungeordnet ohne Zurücklegen Welche Kugeln werden gezogen? (Reihenfolge egal)
Ω = {{ω1 , . . . , ωk } : ωi ∈ {1, . . . , N }, ωi 6= ωj (i 6= j)}
= alle k-elementigen Teilmengen von {1, . . . , N }
(N )k
N
=
|Ω| =
k
k!
4) Ungeordnet mit Zurücklegen
Ω = {{ω1 , . . . , ωk } : ωi ∈ {1, . . . , N }}
|Ω| = |{(ω1 , . . . , ωk ) : 1 ≤ ω1 < ω2 < ωk ≤ N + (k − 1)}| =
(N + k − 1)!
k!(N − 1)!
§2. Bedingte Wahrscheinlichkeiten
Beispiel
Skat-Spiel: 32 Karten, darunter 4 Asse
1) Wahrscheinlichkeit, dass Spieler 1 genau i Asse unter seinen 10 Karten hat
Ω = Teilmengen von {1, . . . , 32} der Größe k = 10
P Gleichverteilung
A = ω ∈ Ω : ∃k1 < k2 < . . . < ki mit ωkj ∈ {1, . . . , 4}
|A|
4
28
32
|Ω| =
, |A| =
, P (A) =
10
i
10 − i
|Ω|
5
2) Spieler 1 will wissen, ob Spieler 2 zwei Asse hat; gegeben die eigenen Karten. Vorliegende Teilinformationen verändern die Wahrscheinlichkeiten. Hat Spieler 1 vier Asse, so ist die gesuchte
Wahrscheinlichkeit = 0.
2
20
2
2
P (Spieler 2 hat zwei Asse | Spieler 1 hat zwei Asse) = 22
10
P (Spieler 2 hat 2 Asse und Spieler 1 hat 2 Asse)
=
P (Spieler 1 hat 2 Asse)
§2.1. Definition
Für A, B ⊂ Ω, P (B) > 0 heißt
P (A|B) :=
P (A ∩ B)
P (B)
heißt bedingte Wahrscheinlichkeit von A gegen B.
Beispiel (Skat)
Ai =Spieler i hat genau 1 As
P (A1 ∩ A2 ∩ A3 ) = P (A1 )P (A2 |A1 )P (A3 |A1 ∩ A2 )
4
27
3
19
2
10
1
9
1
9
1
9
P (A1 ) = , P (A2 |A1 ) = , P (A3 |A1 ∩ A2 ) = 32
22
12
10
10
10
§2.2. Satz
(i) Sei P (B) > 0.
PB (A) := P (A|B) ist W-Maß, A 7→ P (A|B)
Für A ⊂ B C oder P (A) = 0 ist P (A|B) = 0
(ii) Formel von der totalen Wahrscheinlichkeit
S
B1 , . . . , Bn Zerlegung von Ω: Bi paarweise disjunkt und ni=1 Bi = Ω
P (A) =
N
X
P (A|Bk )P (Bk )
k=1
(iii) Formel von Bayes
Vorraussetzung wie in (ii) und P (A) > 0
P (A|Bi )P (Bi )
P (Bi |A) = P
k P (A|Bk )P (Bk )
P (A ∩ Bi )
=
P (A)
(iii)
Beispiel
Flughafen: Sicherheitskontrolle
• Terrorist hat die Ws. 0.98 festgenommen zu werden
• Nichtterrorist hat die Ws. 0.99 nicht festgenommen zu werden
• 0.01% Anteil der Terroristen unter den Passagieren
6
Ges.: Ws., dass Festgenommener Terrorist ist
Ω = {T, P } × {0, 1} T :Terrorist, P :Passagier, 0:Festnahme, 1:darf passieren
F ⊂ Ω Festnahme“ → F = Ω1 × {0} = {(T, 0), (P, 0)}
”
Terrorist ⊂ Ω Person ist Terrorist“ → Terrorist = {T } × Ω2 = {(T, 0), (T, 1)}
”
geg.
P (F |Terrorist) = 0.98
P (F C |TerroristC ) = 0.99
P (Terrorist) = 0.0001
ges. P (Terrorist|F )
P (F ) = P (F |Terrorist)P (Terrorist) + P (F |TerroristC )P (TerroristC )
= 0.98 · 0.0001 + (1 − P (F C |TerroristC )) · (1 − P (Terrorist))
P (F |Terrorist)P (Terrorist)
98
1
P (Terrorist ∩ F )
=
=
≈
P (Terrorist|F ) =
P (F )
P (F )
10097
100
§3. Abhängigkeit
Ws. von A muss nicht von B beeinflusst werden.
P (A|B) =
P (A ∩ B)
= P (A)
P (B)
§3.1. Definition
A, B ⊂ Ω heißen (stochastisch) unabhängig, wenn
P (A ∩ B) = P (A)P (B)
§3.2. Satz
A, B ⊂ Ω, P (B) > 0
A, B unabh. ⇔ P (A ∩ B) = P (A)P (B) ⇔ P (A|B) = P (A)
§3.3. Definition
A1 , . . . , An ⊂ Ω heißen unabhängig, wenn für jede Teilauswahl Ai1 , . . . , Aik
(i1 , . . . , ik ∈ {1, . . . , n} verschieden)
P (Ai1 ∩ . . . ∩ Aik ) = P (Ai1 ) · . . . · P (Aik )
§3.4. Definition
Ωn = {0, 1}n mit
Pn ({(ω1 , . . . , ωn )}) = p
Pn
i=1
ωi
· q n−
Pn
i=1
ωi
für 0 ≤ p ≤ 1 und q = 1 − p ∈ [0, 1] heißt Bernoulli Experiment mit n Versuchen und Erfolgswahrscheinlichkeit p.
7
Beispiel
(
Ak = {insgesamt genau k Erfolge} =
ω = (ω1 , . . . , ωn ) ∈ Ωn :
n
X
)
ωi = k
i=1
Beachte: ∀ω ∈ Ak ist Pn ({ω}) = pk (1 − p)n−k
k
n−k
Pn (Ak ) = |Ak | p (1 − p)
n k
=
p (1 − p)n−k =: b(k; n, p)
k
§3.5. Urnenmodell
r = roteKugeln und s = schwarze Kugeln; rot → Erfolg
Ziehen mit Zurücklegen:
Ohne Zurücklegen:
Bernoulli-Experiment mit Erfolgsws.
s
r
q =1−p=
p=
r+s
r+s
Ziehung nicht mehr unabhängig!
Ak = {rote Kugeln k} bei n Ziehungen ; 0 ≤ k ≤ r, 0 ≤ n − k ≤ s
Ω = {n-elementige Teilmengen der r + s Kugeln}
Gleichverteilung
|Ak | =
s
n−k
| {z }
r
k
| {z }
mögliche rote zu ziehen n − k schwarze
hypergeometrische Verteilung
r
s
k
n−k
|Ak |
P (Ak ) =
=
|Ω|
r+s
n
r + s sehr viel größer als n:
P (Ak ) ≈ b(k; n, p)
mit p =
r
r+s
r
lim
=p
r,s→∞ r + s
r
s
k
n−k
n k
lim
=
p (1 − p)n−k
r,s→∞
k
r+s
n
§4. Abzählbar unendliche W-Räume
Beispiel: Würfeln bis 6 fällt
1
Ω = N = {1, 2, . . .}; p = ; P ({n}) = (1 − p)n−1 · p
6
Prüfen:
∞
X
n=1
P ({n}) = p
∞
X
(1 − p)n−1 = p
n=1
∞
X
n=0
8
(1 − p)n = p
1
=1
1 − (1 − p)
§4.1. Definition
(Ω, P ), Ω höchstens abzählbar
P : P(Ω) → [0, 1]
mit
∞
[
P (A) > 0, P (Ω) = 1, P
!
Ai
=
i=1
∞
X
P (Ai ) für Ai ∩ Aj = ∅(i 6= j)
i=1
(Ω, P ) heißt diskreter W-Raum
Teil II.
Zufallsgrößen
Sei (Ω, P ) ein diskreter W-Raum
§1. Definition
X : Ω → R heißt Zufallsgröße (auf Ω)
Sprechweisen:
{X = z} = {ω ∈ Ω : X(ω) = z}
X nimmt den Wert z an“
”
{X ∈ A} = {ω ∈ Ω : X(ω) ∈ A} X nimmt einen Wert aus A an“
”
{X ≤ z} = {ω ∈ Ω : X(ω) ≤ z} X nimmt einen Wert kleiner gleich z an“
”
Beispiel
a) 2 mal Würfeln, X Augensumme
Ω = {1, . . . , 6}2 , P Gleichverteilung
X : Ω → R;
X((ω1 , ω2 )) := ω1 + ω2 ∈ {2, . . . , 12} ⊂ R
b) Bernoulli-Experiment, X = Anzahl der Erfolge
Ωn = {0, 1}n ;
Pn wie oben;
X(ω1 , . . . , ωn )
n
X
ωi ∈ {0, . . . , n} ⊂ R
i=1
§2. Definition
X : Ω → R (diskrete ZG)
ΩX = X(Ω) = {X(ω) : ω ∈ Ω} = Bild von X“
”
Dann heißt
f : ΩX → [0, 1] mit f (z) := P (X = z)
die Verteilung von X. Vorsicht :
6= Verteilungsfunktion z 7→ P {X ≤ z}
A ⊂ R:
P (X ∈ A) =
X
P (X = z) =
z∈ΩX ∩A
X
z∈ΩX ∩A
9
f (z)
Beispiel
1) Binomialverteilte ZG
X = Anzahl der Erfolge im Bernoulli-Exp., Länge n, Erfolgsws. p
n k
f (k) = P (X = k) =
p (1 − p)n−k
k
X heißt binomialverteilt mit Parametern p und n.
2) Geometrisch verteilte ZG
Wiederholen Bernoulli-Exp. bis zum 1.Erfolg. Wie lange dauert das?
Ω = N, X : Ω → R, X(k) := k
f (n) = P (X = n) = (1 − p)n−1 p
§3. Satz
X sei geometrisch verteilt. Die bedingte Ws.
P (X = n − 1 + k|X ≥ n) = P (X = k|X ≥ 1) = P (X = k), k ≥ 1
Beweis
P (X = n − 1 + k und X ≥ 1)
f (n − 1 + k)
= P∞
P (X ≥ n)
m=n f (m)
∞
∞
∞
X
X
X
f (m) =
(1 − p)m−1 p = p(1 − p)n−1
(1 − p)m = (1 − p)n−1
P (X = n − 1 + k|X ≥ n) =
m=n
m=n
P (X = n − 1 + k|X ≥ n) =
m=0
p)n−1+k+1
p(1 −
(1 − p)n−1
= p(1 − p)k−1 = P (x = k) = f (k)
§4. Definition
Erwartungswert (gewichtetes Mittel)
Sei X eine diskrete ZG
X
EX = E(X) :=
zP (X = z) =
z∈ΩX
X
zf (z)
z∈ΩX
P
heißt Erwartungswert, vorrausgesetzt E(|X|) = z∈ΩX |z| f (z) < ∞. Sonst ex. der Erwartungswert
nicht
X ZG, |X| (ω) := |X(ω)|
§5. Lemma
Falls EX existiert:
X
EX =
zf (z) =
z∈ΩX
X
z∈ΩX
z
X
P ({ω}) =
ω:X(ω)=z
X
P ({ω})X(ω)
ω∈Ω
X Augensumme
EX = 2 ·
EX =
2
1
+3·
+ ...
36
36
X
1
(ω1 + ω2 )P ({(ω1 , ω2 )}) =
36
2
ω∈{1,...,6}
10
6
X
ω1 ,ω2 =1
(ω1 + ω2 )
§6. Satz
a)
c ∈ R, X(ω) = c ∀ω ∈ Ω ⇒ EX = c · P (x = z) = cP (Ω) = c
b)
X, Y ZG, EX, EY ex., a, b ∈ R
⇒ aX + bY ist ZG, ω 7→ aX(ω) + bY (ω) ist Abb. Ω → R
Merkregel: EW ist linear.
Beweis
X
|aX(ω) + bY (ω)| P ({ω}) =
ω∈Ω
= |a|
X
X
(|a| |X(ω)| + |b| |Y (ω)|) P ({ω})
ω∈Ω
|X(ω)| P ({ω}) + |b|
ω∈Ω
X
|Y (ω)| P ({ω})
ω∈Ω
⇒ Reihe ist konvergent ⇒ E(aX + bY ) ex.
Gleiche Rechnung ohne | | (da EW ex., dürfen wir umsortieren):
X
X
X
(aX(ω) + bY (ω)) P ({ω}) = a
X(ω)P ({ω}) + b
Y (ω)P ({ω}) = aE(X) + bE(Y )
ω∈Ω
ω∈Ω
ω∈Ω
Analog:
E
n
X
i=1
!
ai Xi
=
n
X
ai EXi
(falls E(Xi ) ex.)
i=1
Beispiele
a) Bernoulli-Versuch: X ∈ {0, 1}; p := P (X = 1); P (X = 0) = 1 − p
Existiert EW? Ja, X hat nur endl. viele Werte.
EX = 0 · P (X = 0) + 1 · P (X = 1) = p
b) Binomialverteilung → zählt Anzahl der Erfolge in unabh. wiederholtem Bernoulli-Exp., n Wiederholungen, Erfolgsws. p ∈ [0, 1]
Xi ZG, Xi = 1 ⇔ Erfolg im i-ten Versuch (Xi = 0 sonst)
n
X
n k
X :=
Xi = Anzahl der Erfolge P (X = k) =
p (1 − p)n−k
k
i=1
EX? (Existenz klar, da X nur endl. viele Werte annimmt)
!
n
n
X
X
E(Xi ) = n · p
EX = E
Xi =
i=1
i=1
(n Versuche, Erfolgsws. p ⇒ im Mittel np Erfolge)
Einschub
P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
P (A ∪ B ∪ C) = P (A) + P (B) + P (C) − P (A ∩ B) − P (A ∩ C) − P (B ∩ C) + P (A ∩ B ∩ C)
Ein- und Ausschlußprinzip / Siebformal“ / Formel von Sylvester
”
11
Nützliche Notation
A ⊂ Ω (Im Beispiel: A = Aj = {ω ∈ Ω : ωj = j}, Xj = 1Aj )
Indikatorfunktion:
1 für ω ∈ A
1A : Ω → R ZG mit 1A =
0 sonst
Rechenregeln:
1AC = 1 − 1A
(prüfen für ω ∈ A und ω ∈ AC )
1A∩B = 1A · 1B
(1A )2 = 1A
A ∩ B = ∅ ⇒ 1A∪B = 1A + 1B
1A ≤ 1B ⇔ A ⊂ B
E(1A ) = P (A)
(vgl. Bsp. (a))
Beispiel
Geometrisch verteilte ZG X mit
P (X = k) = (1 − p)k−1 · p,
EX?
∞
X
k ∈ {1, 2, 3, . . .}
kP (X = k) < ∞ ⇔ EX ex.
k=1
Konvergiert die Reihe? Quotientenkriterium p ∈]0, 1[
k+1
(k + 1) · P (X = k + 1)
=
(1 − p) ≤ 1
k · P (X = k)
k
für große k. ⇒ Die Reihe konvergiert.
EX =
∞
X
kP (X = k) =
k=1
∞
X
k(1 − p)k+1 p = p · f (1 − p)
k=1
mit
f (s) :=
∞
X
k−1
ks
,
g(s) :=
k=1
∞
X
sk = s ·
k=1
1
1−s
(1 − s) · 1 − (−1) · s
1
d
g(s) =
=
2
ds
(1 − s)
(1 − s)2
∞
∞
∞
X
d X k X d k
d
g(s) =
s =
(s ) =
ksk−1 = f (s)
ds
ds
ds
k=1
k=1
k=1
Also folgt
EX = p · f (1 − p) = p ·
p
1
1
= 2 =
2
(1 − (1 − p))
p
p
§7. Definition
a) Varianz
Var(X) =
X
(z − E(X))2 P (X = z)
z∈ΩX
b) Standardabweichung
p
S(X) = + Var(X)
12
(sonfern Var(X) < ∞)
§8. Lemma
X ZG, E(X) existiere, Var(X) < ∞
a)
(X − E(X))2 ist ZG,
ω 7→ (X(ω) − E(X))2 ∈ R
mit E((X − E(X))2 ) = Var(X)
Beweis:
Var(X) =
X
(z − E(X))2 P (X = z) =
z∈ΩX
X
(X(ω) − E(X))2 P ({ω}) = E((X − E(X))2 )
ω∈Ω
b)
Var(X) = E(X 2 ) − (E(X))2
Beweis:
Var(X) = E((X − E(X))2 ) = E(X 2 − 2X · E(X) + (E(X))2 ) = E(X)2 − 2E(X)E(X) + (E(X))2
c)
c ∈ R : Var(cX) = c2 Var(X)
Beweis:
Var(cX) = E((cx)2 ) − (E(cx))2 = c2 E(X 2 ) − c2 (E(X))2
Beispiel: 1 Bernoulliexperiment mit Erfolgsws. p
1 für Erfolg
X=
⇒ EX = p, Var(X) = E(X 2 ) − (E(X))2 = p − p2 = p(1 − p) = pq
0 sonst
Beachte: Im allg. ist Var(X + Y ) 6= Var(X) + Var(Y )
X = Y : Var(X + Y ) = Var(2X) = 22 Var(X) = 2(Var(X) + Var(Y ))
§9. Definition
X, Y ZG heißen unabhängig, wenn
P (X = a und Y = b) = P ({X = a} ∩ {Y = b}) = P ({X = a})P ({Y = b})
für alle a ∈ ΩX und alle b ∈ ΩY . X1 , . . . , Xn heißen unabhängig, wenn {X1 = a1 }, . . . , {Xn = an }
unabhängig sind ∀ai .
§10. Satz
X, Y unabh. mit ex. EW und Var(X) < ∞, Var(Y ) < ∞.
a) E(X · Y ) ex. und E(X · Y ) = E(X)E(Y )
b) Var(X + Y ) = Var(X) + Var(Y )
13
Beweis
a)
E(X · Y ) =
X
X
z · P (X · Y = z) =
z∈ΩX·Y
=
X
X
z
z∈ΩX·Y
P ({X = x} ∩ {Y = y})
x∈ΩX
y∈ΩY
x·y=z
x · yP ({X = x})P ({Y = y})
x∈ΩX
y∈ΩY
=
X
xP ({X = x}) ·
x∈ΩX
X
yP ({Y = y}) = E(X) · E(Y )
y∈ΩY
b)
Var(X + Y ) = E((X + Y )2 ) − (E(X + Y ))2 = E(X 2 + 2XY + Y 2 ) − (E(X) + E(Y ))2
= E(X 2 ) + 2E(X)E(Y ) + E(Y 2 ) − (E(X))2 − 2E(X)E(Y ) − (E(Y ))2
= Var(X) + Var(Y )
Analog
X1 , . . . , Xn paarweise unabh.
⇒ Var(X1 + . . . + Xn ) = Var(X1 ) + . . . + Var(Xn )
Beispiel n-mal wiederholtes Bernoulliexp. mit Parameter p
X = Anzahl der Erfolge ist binomialverteilt.
1 mit Ws. p
X = X1 + . . . + Xn , X i =
,
0 mit Ws. 1 − p
n
X
EX = np, Var(X) =
Var(Xi ) = npq
Xi unabh.
i=1
Standardabweichung:
√
npq ist viel kleiner (für große n) als EW np.
Allgemein Die Standardabweichung misst, wie weit X abweichen kann von E(X), ohne dass diese
Abweichung sehr unwahrscheinlich ist.
§11. Satz (Tschebyscheff-Ungleichung)
X diskrete ZG, EW ex., Var(X) < ∞
P ({|X − E(X)| ≥ c}) ≤
Var(X)
c2
∀c > 0
Beweis
P ({|X − E(X)| ≥ c}) =
X
P (X = z) ≤
...
z∈ΩX
|z−E(X)|≥c
≤
X
z∈ΩX
... ≤
X z − E(X) 2
|
1
Var(X)
c2
14
c
{z
≥1
}
P (X = z)
Beispiel
X ∈ {−k, 0, k} mit P (X = −k) =
1
1
= P (X = k) und P (X = 0) = 1 − 2
2k 2
k
E(X) = 0
Var(X) = (−k − E(X))2 P (X = −k) + (0 · 0)2 P (X = 0) + (+k − 0)2 P (X = k)
1
= 2k 2 2 = 1 ∀k
2k
Var(X)
1
P ({|X − EX| ≥ c}) = P ({|X| ≥ c}) = 2 =
k
c2
Ungleichung ist scharf“. Mit c = k + 1:
”
P ({|X − EX| ≥ c}) = 0 <
Var(X)
1
=
c2
(k + 1)2
Allgemein
Var(X)
mit c = a · S(X)
c2
1
Var(X)
⇒ P ({|X − E(X)| ≥ aS(X)}) ≤ 2
= 2
2
a (S(X))
a
P ({|X − E(X)| ≥ c}) ≤
Fazit Die Ws., dass eine ZG mit ex. EW und endl. Varianz um mehr als aS(X) von EW abweicht,
ist ≤ a12 .
Beispiel Wie lange müssen sie würfeln, bis sie mit Ws. ≥ 0.99 sicher sein können, dass die relative
Häufigkeit einer 6 um nicht mehr als 0.01 von 61 abweicht?
X1 , X 2 , . . .
mit Xi =
1 falls 6 im i-ten Wurf
0 sonst
rel. Häufigkeit = n1 Sn = n1 (X1 + . . . + Xn )
ges. n mit P ({ n1 Sn − 61 ≥ 0.01}) ≤ 1 − 0.99
1
1
1
1
E
Sn = E(Sn) = · nE(X1 ) = p =
n
n
n
6
1
1
Var n Sn
1002
5
2 1
Sn − 1 ≥ 0.01
=
100
Var(Sn)
=
·n·
⇒P
=
n
2
2
2
1
6
n
n
36
100
1002 1
1
=5·
· ≤ 0.01 =
36 n
100
⇒ n ≥ . . . (auflösen)
§12. Satz (Markoff-Ungleichung)
X diskrete ZG, k ≥ 1, E(|X|2 ) ex. (< ∞)
E |X − E(X)|k
P ({|X − E(X)| ≥ c}) ≤
ck
15
(k = 2: Tschebyscheff-Ungl.)
§13. Satz ( Gesetz der großen Zahlen“)
”
(n)
(n)
(Die Verteilung von Xk
(n)
= µ ∀i∀n
∀n ∈ N: ZG X1 , . . . , Xn
(n)
darf von n abhängen)
Vorraussetzung
(n)
• EXi
ex. mit EXi
(n)
• Var(Xi ) = σ 2 < ∞ ∀i∀n
(n)
(n)
(n)
(n)
(n)
• {Xi }i sind paarweise unkorreliert, d.h. ∀i, j(i 6= j) ist E(Xi Xj ) = E(Xi )E(Xj ) (Ist
insbesondere für paarweise unabh. ZG erfüllt.)
(n)
Sn := Xi
+ . . . + Xn(n)
Dann gilt:
1
=0
∀ε > 0 : lim P
n Sn − µ ≥ ε
n→∞
Beispiel: (Bestimmen einer Erfolgsws.)
Xi unabh. (unabh. Wiederholungen); P (Xi = 1) = p, P (Xi = 0) = 1 − p, EXi = p ← gesucht!
rel. Anzahl der Erfolge
1
n→0
S n − p ≥ ε
→ ∞
P
n
1
n Sn
=
Beweis ε > 0 fest
1
1
1
1
P
≤ 2 Var
Sn = 2 2
n Sn − µ ≥ ε
ε
n
ε n
Var(S )
| {z n}
=
≤
1
ε 2 n2
· nσ 2 =
σ2
ε2
P∞
i=1
(n)
Var(Xi
)
1 n→0
→ 0
n
Warnung: Es gilt im allg. nicht, dass P ( n1 Sn 6= µ) → 0
Teil III.
Grenzwertsätze
§1. Satz (Poissonscher Grenzwertsatz)
n→∞
Gilt für n, pn , n ∈ N, pn ∈]0, 1[ : n · pn → α > 0, so gilt
αk −α
n k
n→∞
b(k; n, pn ) :=
pn (1 − pn )n−k → pk (α) :=
e
k
k!
§2. Definition
Eine ZG X mit Werten in N0 = {0, 1, 2, . . .} und P (X = k) = pk (α) heißt poissonverteilt zum
Parameter α > 0.
16
Beachte
∞
X
pk (α) =
k=0
∞
X
αk
k=0
k!
e−α = eα · e−α = 1
§3. Lemma
X poissonverteilt mit Parameter α > 0
EX =
∞
X
kP (X = k) =
k=0
= αe−α
∞
X
k=1
∞
X
αl
l=0
l!
∞
X αk−1
αk −α
e = ae−α
k·
k!
(k − 1)!
k=1
= αe−α eα = α
Var(X) = . . . = α
Bedeutung: Für jedes n: ZG X (n) binomialverteilt mit Parametern n, pn
P (X (n) = k) = b(k; n, pn )
EX (n) = n · pn =: αn → α
(n → ∞)
npn αn = αn 1 −
→α
Var(X (n) ) = npn (1 − pn ) = αn 1 −
n
n
(n → ∞)
D.h.: Für n → ∞ mit npn = α → α verhalten sich EX (n) und Var(X (n) ) wie für die Poissonverteilung. Der Satz sagt
n k, n α := np ⇒ P (X (n) = k) ≈ pk (np)
Beispiel 1: Betrachte seltenes Ereignis: Roulette mit 36 Zahlen und einer Null
• Setze immer auf Zahl → Erfolgsws.
1
37
• Tue das 37 mal
• Erwartete Anzahl von Erfolgen: 1
• Berechne Ws. für k Erfolge in 37 Wiederholungen
1
k b(k; 37, )
pk (1)
37
37
1
=: c ≈ 0.363 ≈ 0.368 = e−1
1−
0
e−1
37
 
37 1
1 36


≈ c = e−1
1−
e−1
1
37
37
1
 
2 37
1
1 35 1 37 · 36 37 2
1
1 −1


2
1−
=
c ≈ e−1
e
37
37
2 37 · 37 36
2
2
2
• Spielen 3x so lange: 111 = 3 · 37 Spiele
17
Analog:
1
k b k; 111,
37
pk (3)
0 c3 ≈ e−3
e−3
110
1
111
1−
≈ 3e−3 3e−3
1
37
37
9
32 −3
2 ≈ e−3
e
2
2!
Historisches Beispiel 2 Im alten Preußen ... 20 Jahre, 10 Regimente ; 200 Regimentsjahre
Tote k Anzahl Jahren mit k Toten durch Hufschlag 200pk α, α = 0.61
0
109
109
1
65
66
22
20
2
3
3
4
1
1
4
≥5
0
0
Seien n Soldaten in einem Regiment. Für jeden einzelnen Soldaten ist die Ws., durch Hufschlag
umzukommen sehr klein und unabh. von den anderen.
; Anzahl der Toten im Jahr ≈ b(k; n, p) ≈ pk (α)
Gesetz der großen Zahlen: Bei 200 Wiederholungen:
Anzahl der Jahre mit k Toten ≈ 200pk (α)
Beispiel 3
• Bakterien unter Mikroskop (Teilchen)
• Gitternetz
• Im Schnitt µ Teilchen pro Quadrat
• N (groß) Quadrate(klein)
• Wie viele Teilchen landen in meinem“ Quadrat?
”
Modellierung µN Teilchen werden unabh. und zufällig in die N Quadrate verteilt. p = N1 = die Ws.,
dass ein bestimmtes Teilchen in einem bestimmten Quadrat landet.
Gesucht: Ws., dass in einem vorher ausgewählten Quadrat k Teilchen sind. b k; µN, N1
viele Quadrate → N ist groß
• n = N µ ist groß
• nk
• n α := n · p = N µ ·
b k; µN, N1 ≈ pk (µ)
1
N
=µ
18
Beispiel 4
• eingehende Aufträge auf einem Rechner
• Im Schnitt α Aufträge pro Zeiteinheit
• In einem kleinen Zeitfenster der Länge δ 1: Ws. einen Auftrag in diesem Fenster zu beobachten
δ→0
≈ α · δ(= α · δ + h(δ) mit h(δ) → 0)
•
N [
k
k−1
[0, t) =
· t,
·t
N
N
k=1 |
{z
}
Länge Nt
• Für jedes dieser Zeitintervalle: Ws., dass Auftrag eingeht ≈ α ·
t
N
Anmerkung N groß: Wir wollen annehmen, dass max. ein Auftrag eintrifft pro Intervall der Länge
t
N.
→ pro Intervall: 0 oder 1 Auftrag → Bernoulli-Exp.
Anmerkung Unabhängigkeit dieser Ereignisse
→ In jedem Intervall: Bernoulli-Exp. mit Erfolgsws. α Nt
Ws. für k eintreffende Aufträge im Zeitintervall [0, t):
αt
αt
b k; N,
≈ pk N ·
= pk (αt)
N
N
Poissonverteilung wird benutzt für Modelle von Warteschlangen
Beispiel Poissonapproximation geht für kleine p, d.h. seltene Ereignisse. Was tun für festes p und
große n? Wie groß ist die Ws., dass eine Münze in 100 Würfen genau 50-mal Kopf zeigt?
100
50
50 50 1
1
1
1
1
100
=
≈ 0.0796 ≈
≈
100
50 2
2
2
12.5
13
Poissonapproximation
k = 50, n = 100, p =
1
⇒ α = np = 50
2
Besser
b(k; n, p) ≈ √
pk (α) =
(k−np)2
1
−
e αnpq = 0.07979 . . .
2πnpq
q = 1 − p, np Erwartungswert, npq Varianz
§4. Satz (lokaler zentraler Grenzwertsatz)
Es seien 0 < p < 1, q = 1 − p,
(n)
Xk
αk −α
e ≈ 0.056
k!
k − np
:= √
npq
für 0 ≤ k ≤ n
19
A > 0 sei eine Konstante. Dann gilt:
b(k;
n,
p)
lim ˛ sup˛ − 1 = 0
(n) 2
n→∞ ˛ (n) ˛
)
(X
− k2
k:˛Xk ˛≤A √ 1
e
2πnpq
Def.
Notation: f ∼ g ⇔ limn→∞
Satz sagt:
f (n)
g(n)
=1
(n) 2
)
b(k; n, p) ∼ √
(X
1
k
e− 2
2πnpq
(n) gleichmäßig für alle k mit Xk ≤ A.
Beispiel 1200-mal
Ws., genau k-mal eine Sechs zu werfen? n = 1200, p = 16 , q = 56 :
(n)
X2 50
200 − np
= √
=0
npq
X2 50
(n)
√
6
= 5√
10
k
b(k; n, p)
Approximation
200 0.0308886 . . . 0.030901 . . .
250 0.0000244 . . . 0.0000170 . . .
• Wenn wir wissen wollen, ob 150 bis 250 Erfolge?
• Wenn wir wissen wollen, ob mindestens 250 Erfolge?
§5. Satz (Satz von DeMoivre-Laplace)
Sei Sn die Anzahl der Erfolge in Bernoulli-Exp. der Länge n mit Erfolgsws. p. ∀ Konstanten a, b mit
−∞ < a < b < ∞ gilt:
Z b
Z b
x2
1
Sn − np
lim P a < √
≤b = √
e− 2 dx =
ϕ(x) dx
n→∞
npq
2π a
a
Zentraler Grenzwertsatz mit
x2
1
ϕ(x) = √ e− 2
2π
Z y
Φ(y) :=
ϕ(x) dx
Dichte der Standardnormalvert.
Verteilungsfkt. der Standardnormalvert.
−∞
ϕ Gaußsche Glockenkurve, Φ Fläche unter ϕ (Φ(0) = 21 )
Φ(x) → 0 für x → −∞,
Φ(x) → 1 für x → +∞
Für z < 0 gilt
Z
z
Z
ϕ(x) dx = 1 −
Φ(z) =
−∞
∞
Z
|z|
ϕ(x) dx = 1 −
ϕ(x) dx = 1 − Φ(|z|)
−∞
z
Beispiel Eine Fabrik stellt Chips her mit Ausschußrate 10%. Mit welcher Ws. sind unter 400 Chips
mehr als 50 defekt?
Bernoulli-Exp.: Länge n = 400
1
Erfolgsws.: p = 10
(Ws. für defekten Chip)
Gesucht: P (Sn > 50) (Sn Anzahl der Erfolge)
20
NR
n = 400, p =
√
q = 1 − p, np = 40, npq = 40 · q = 36, npq = 6
Z ∞
50 − np
Sn − np
>
≈
P (Sn > 50) = P
ϕ(x) dx
√
√
5
npq
npq
3
5
= 1 − Φ(1.67) = 1 − 0.9525 ≈ 0.05
=1−Φ
3
1
10 ,
Ws. von 5% mehr als 50 defekte Chips zu haben. Mit welcher Wahrscheinlichkeit sind zwischen 35
und 45 defekte Chips zu haben.
34 − 40
Sn − np
45 − 40
P (34 < Sn ≤ 45) = P
< √
≤
6
npq
6
5
− Φ(−1) ≈ 0.64
≈Φ
6
Beispiel 2 Kinos konkurrieren um Kunden
1000 Kunden, die sich unabh. voneinander für eines der Kinos entscheiden, mit gleicher Ws.. Wie viele
Plätze sollte jedes Kino haben, damit die Ws., einen Kunden abweisen zu müssen, höchstends 1% ist?
Betrachte Kino A und B mit jeweils N Plätzen.
Bernoulli-Exp. mit Länge n = 1000, Erfolgsws. 12 (Kunden wählt Kino A). Sn = Anzahl von Kunden,
die ins Kino A wollen.
gesucht: N mit P (Kino A oder Kino B müssen Kunden abweisen) ≤ 1%. Kein Kunde wird abgewiesen, wenn:
1.) Kino A hat genug Platz: Sn ≤ N
n − N ≤ Sn ≤ N
2.) Kino B hat genug Platz: n − Sn ≤ N
Gesucht: N mit
1 − P (n − N ≤ Sn ≤ N ) ≤ 1% ⇔ P
Sn − np
N − np
n − N − np
≤ √
≤ √
√
npq
npq
npq
≥ 99%
n = 1000, p = 21 , q = p, np = 500, npq = 250
Sn − np
N − 500
500 − N
√
≤ √
≤ √
≥ 99%
P
250
250
250
Die linke Seite ist näherungsweise
N − 500
N − 500
N − 500
N − 500
√
√
√
−Φ − √
=Φ
− 1−Φ
Φ
250
250
250
250
N muss so sein, dass
2Φ
N − 500
√
250
− 1 ≥ 99%
bzw. Φ
N − 500
√
250
≥
1.99
= 0.995
2
Somit folgt
N − 500
√
250
Tabelle
2
.58 ⇒ N = 558
Teil IV.
Etwas Statistik
Beispiel Außersinnliche Wahrnehmung (AW) (1973 UC Davis)
Computer wählt zufällig eines von vier Symbolen. Medium soll das gewählte Symbol mitteilen.
21
15 Medien; je 500 Versuche → 7500 Versuche, Ergebnis: 2006 Erfolge
Statistik kann uns nicht sagen, ob AW im Spiel war. Umformulierung: Kann das Ergebnis reiner Zufall
sein?
Modell Ω = {0, 1}, N = 500 · 15 = 7500, ΩN := ΩN
Anzahl der Erfolge SN : ΩN → {0, . . . , N }, SN ist b(k; N, p)-verteilt, p = p0 := 41 entspricht reinem
Raten der Symbole.
Frage: Gilt für die Medien p > 41 ?


2006 − 1875 
SN − N p 0
≈ 1 − Φ(3, 49) = 0.0002
Pp0 {SN ≥ 2006} = Pp0  p
≥ q
N p0 (1 − p0 )
1875 · 34
Entweder: p 6= p0 = 41 oder wir haben etwas extrem Seltenes beobachtet. Falls p 6=
oder Fehler in der Durchführung Exp. (Modell evtl. falsch).
Nehmen wir an mit Ws. γ tritt AW ein und in den anderen Fällen wird geraten:
1
4
entweder AW
3
1
1
p = γ + (1 − γ) = γ +
4
4
4
Schätzen von γ:
2006
Anz. Erfolge, die beobachtet wurden
=
7500
Anzahl Versuche
3
1
⇒ γ̂ erfüllt p̂ = γ̂ + , p̂ wie oben ⇒ gamma
ˆ
= 0.023
4
4
Demnach idt der Einfluss der außersinnlichen Wahrnehmung auf Erfolg sehr klein.
p̂ =
Achtung: γ̂ ist geschätzt, muß nicht der wahre Wert sein.
Typscher Zugang: Suche Intervall (Konfidenz- oder Vertrauensintervall), sodass γ̂ mit Ws. ≥ 1 − α in
diesem Intervall liegt.
Hier: [0.006; 0.040] ist ein Intervall, das γ̂ mit Ws. ≥ 0.99 enthält.
Formulieren Zufallsexp., n-mal unabh. wiederholt
X1 , . . . , Xn unabh. und identisch verteilt, Xi haben alle Verteilung µ0 , die von einem Parameter Θ
abh..
Xi Bernoulli-Var.: Xi ∼ b(k; 1, p) (Θ = p)
Beispiel
1.Ziel
Wir wollen eine Größe g(Θ) ∈ R abschätzen.
g : Θ 7→ g(Θ) ∈ R
Beispiel g(Θ) = Θ: Wir wollen p schätzen
Falls wir Varianz von Xi schätzen wollen: g(p) = p(1 − p)
Schätzer dafür ist Abb. T = Rn → R
Beispiel
Wenn wir schätzen wollen:
n
T (X1 , . . . , Xn ) :=
1X
Xi
n
i=1
Dann ist
n
T (X1 , . . . , Xn ) =
1
1X
Sn =
Xi =: p̂
n
n
i=1
22
§1. Definition
Ein Schätzer T heißt erwartungstreu, falls
EΘ (T (X1 , . . . , Xn )) = g(Θ) ∀Θ
Beispiel
Ep (T (X1 , . . . , Xn )) = Ep
1
Sn
n
n
=
1X
EXi = p = g(p)
n
i=1
Wenn wir Varianz schätzen wollen?
1.Versuch
2

n
n
1 X
1X 
T̃2 (X1 , . . . , Xn ) :=
Xj
Xi −
n
n
i=1
j=1
Erwartungstreu?
Yi unabh. ⇒ Var
X
n
X
i = 1n Yi =
Var(Yi )
i=1

2
n
n
1X 
1X 
E Xi −
Xj
Ep (T̃2 (X1 , . . . , Xn )) =
n
n
i=1
j=1

2 
2 

n
n
X
X
1
1
1
= E X 1 −
X j   = E  1 −
X1 −
Xj  
n
n
n
j=1
j=2

2 
n
n
 
X
X
1
1
1
1
=E  1−
(Xj − EXj ) + 1 −
EXj 
(X1 − EX1 ) −
EX1 −


n
n
n
n
j=2
j=2


n
1X
1

(X1 − EX1 ) −
(Xj − EXj )
= Var
1−
n
n
j=2
2 X
n
1
1
(n − 1)2
1
Var(X1 ) −
= 1−
−
(n
−
1)
Var(Xj ) = Var(X1 )
n
n
n2
n2
j=2
1
= Var(X1 ) 2 (n − 1)[n − 1 − 1]
n
Sollte sein = Var(X1 ) n−1
n für erwartungstreuen Schätzer Var(X1 )
2.Versuch
T2 (X1 , . . . , Xn ) :=
1
n−1
n
X
Erwartungstreu?
23
i=1
2
n
X
X i − 1
Xj 
n

j=1
Testen Hypothesen
1) Verteilungshypothese:
X1 , X2 , . . . , Xn unabh., identisch verteilt. Verteilung ist . . . mit Parameter Θ.
Im Beispiel X1 , . . . , Xn sind unabh. Bernoulli-Ver. mit Erfolgsws. p.
1) Nullhypothese: (Die möchten wir verwerfen)
H0 : Θ ∈ H0 (Parameterbereich). Im Beispiel: H0 =
3) Alternative:
H1 : Θ ∈ H1 (Parameterbereich). Im Beispiel: H1 =
1
4
(typisch H0 Intervall)
1
4, 1
4) Teststatistik:
T : Rn → R
typischerweise: T groß → Nullhypothese abgelehnt, T klein → Nullhypothese kann nicht verworfen werden
Im Beispiel: T (X1 , . . . , Xn ) = n1 Sn
5 Verwerfungsbereich:
Bereich von Werten, für den wir Nullpaare verwerfen. Typischerweise:
R = {X ∈ Rn : T (X) ≥ tc }
n
R = {X ∈ R : T (X) ≥
t+
c
(einseitig)
oder T (X) ≤
t−
c }
(zweiseitig)
R muss bestimmt werden!
6) Gütefunktion:
einseitig
β(Θ) := PΘ {(X1 , . . . , Xn ) ∈ R} = PΘ {T (X1 , . . . , Xn ) ≥ tc }
Im Beispiel: = Pp n1 Sn ≥ tc
β(Θ) ist die Ws., dass die Nullhypthese verworfen wird.
7) Niveau des Tests:
Test hat Niveau α (kleine Zahl in ]0; 1[) falls β(Θ0 ) ≤ α. D.h., falls die Nullhypothese wahr
wäre/ist, dann ist die Ws., dass die Nullhypothese verworfen wird ≤ α.
8) Fehler 1.Art:
β(Θ0 ) = Ws., dass die Nullhypothese fälschlicherweise verworfen wird
9) Fehler 2.Art:
supΘ∈H1 1 − β(Θ) Ws., dass Nullhypothese nicht verworfen wird, obwohl sie falsch ist.
Aufgabe Daten aus Exp. 1973:
Testen sie die Nullhypothese H0 = 14 gegen die Alternative H1 =
1
4, 1
zum Niveau 0.05.
1) Verteilungsannahme...
2) Nullhypothese...
3) Alternative...
4) Teststatistik T (X1 , . . . , Xn ) :=
Pn
i=1 Xi
Rechnen (tc ist so zu bestimmen, dass β(p0 ) ≤ α ≤ 0.05):
Sn − np
tc − np
tc − np
≥ √
≈1−Φ √
β(p) = Pp {T (X1 , . . . , Xn ) ≥ tc } = Pp
√
npq
npq
npq
24
Wir brauchen: Φ
Tabelle:
t√
c −np0
np0 q
≤ 1 − 0.05, da β(p0 ) ≤ 5% sinvoll.
tc − np0
tc − 1875
tc − np0
≥ 1.65, √
=q
⇒ tc ≥ 1936.88 . . .
√
np0 q
np0 q
3
· 1875
4
⇒ Verwerfungsbereich R = {X : T (X) ≥ tc }
Daten einsetzen: Anzahl der Erfolge 2006:
T (X1 , . . . , Xn ) = 2006 (Erfolge) für konkrete Daten ⇒ liegt im Verwerfungsbereich
Schlussfolgerung: Wir verwerfen die Nullhypothese. Die Daten stützen mit Ws. ≥ 1−5% die Annahme,
dass reiner Zufall im Spiel war nicht.
Teil V.
Zufallsgrößen mit Dichten
Zur Erinnerung: Sn ∼ b(n; k, p)
Zentraler Grenzwertsatz:
Z b
x2
Sn − np
1
n→∞
√ e− 2 dx = Φ(b) − Φ(a)
≤b
→
P a< √
npq
2π
a
| {z }
=:ϕ(x)
Rb
Wir wollen modellieren: ZG mit P (a < X ≤ b) = a ϕ(x) dx
Geht das?
Falls ja:
Z a
1
n→∞
ϕ(x) dx → 0
P (X = a) ≤ P a − ≤ X ≤ a =
1
n
a−
n
Konstruktion derartiger ZG mit W-Raum → Maßtheorie
§1. Definition
ϕ : R → [0, ∞) stückweise stetig heißt Dichte, falls
Erinnerung
R∞
−∞ ϕ(x) dx
= 1.
g ≥ 0, Riemannintegrierbar auf [−N, N ] ∀N
Z
N
für N → ∞
g(x) dx
−N
RN
Falls ( −N g(x) dx)N unbeschränkt:
Z
∞
g(x) dx := +∞
−∞
Sonst:
Z
∞
Z
g(x) dx := lim
−∞
N
N →∞ −N
Vorsicht: Geht so nur weil g ≥ 0!
25
g(x) dx ∈ [0, ∞)
Beispiel
2
(a) ϕ(x) =
x
√1 e− 2
2π
ist Dichte:
– ϕ≥0
– ϕ (stückweise) stetig
R∞
– −∞ ϕ(x) dx = 1 (ungeprüft)
heißt Dichte der Standardnormalverteilung
(b)
ϕ(x; µ, σ 2 ) = √
1
2πσ 2
e−
(x−µ)2
2σ 2
, σ > 0, µ ∈ R
σ groß: Glockenkurve wird flacher, ϕ(x; µ, σ) ist Dichte:
– ϕ≥0
– stetig
R∞
– −∞ √
1
e−
2πσ 2
−(x−µ)2
2σ 2
dx =
2
− y2
√1
−∞ 2π e
R∞
dy = 1
ϕ(x; µ, σ) Dichte der Normalverteilung mit Erwartungswert µ und Varianz σ 2 .
(c) a < b
1
b−a
f (x) :=
0
für x ∈ [a; b]
sonst
a
Z
P (X < a) =
f (x) dx = 0, P (X > b) = 0
−∞
Z d
P (c < X < d) =
Z
f (x) dx =
c
c
d
d−c
1
dx =
b−a
b−a
Dichte der uniformen/gleichförmigen Verteilung auf [a; b].
d)
f (x) =
0
für x < 0
−αx
αe
für x > 0
– f ≥0
– f ist stückweise stetig
R∞
R∞
– −∞ f (x) dx = 0 αe−αx dx = 1
f heißt Dichte der Exponentialverteilung zum Parameter α.
§2. Definition
f sei eine Dichte. Eine ZG X heißt absolut stetig mit Dichte f , falls
Z y
FX (x) = P (X ≤ x) =
f (y) dy ∀x ∈ R
−∞
FX (x) heißt Verteilungsfunktion von X.
26
Folgerung
Z
b
P (a < X ≤ b) = P (X ≤ b) − P (X ≤ a) =
Z
a
f (x) dx −
−∞
b
Z
f (x) dx =
−∞
f (x) dx
a
Bemerkung
• Wir beweisen die Existenz solcher ZG nicht.
• Wir spezifizieren den W-Raum nicht.
• Für diskrete ZG: FX (x) = P (X ≤ x)
x→∞
• Falls X eine Dichte hat: FX stetig, monoton wachsend, FX (x) → 1, FX (x)
x→−∞
→
0
Definition
FX stetig heißt die ZG X ist stetig.
• Dichte ist nicht eindeutig: Wir dürfen die an endlich vielen Punkten ändern
1
b−a für x ∈]a; b[
˜
f (x) =
0
sonst
ist ebenfalls Dichte der uniformen Verteilung auf [a, b].
• Falls Dichte stetig in y, so ist
dFX (x) f (y) =
dx x=y
Sprechweise ZG heißt normalverteilt, uniform verteilt, exponentialverteilt, wenn sie die entsprechende Dichte hat.
§3. Definition
Sei X eine ZG mit Dichte f
R∞
(a) Falls −∞ |x| f (x) dx < ∞: Der Erwartungswert existiert und ist definiert als
Z
∞
E(X) :=
Z
xf (x) dx = lim
N
N →∞ −N
−∞
(b) Falls EW ex.:
Z
xf (x) dx
∞
(x − EX)2 f (x) dx
Var(X) :=
−∞
Beispiel
(a) X sei normalverteilt
Z
EX =
∞
Z 0
Z ∞
2
2
2
1
1
− x2
− x2
− x2
√ xe
dx = √
xe
dx +
xe
dx = 0
2π
2π −∞
∞
0
Z ∞
Z ∞
2
2 ∞
2
1
1
2 − x2
− x2 − x2
Var(X) = √
x e
dx = − √
xe
−
1·e
dx = 1
2π −∞
2π
−∞
x=−∞
27
(b) Normalverteilung ϕ(x; µ, σ 2 ), y := x−µ
σ , dx = σdy
Z ∞
Z
(x−µ)2
y2
1
−
2
EX = √
xe 2σ dx = −∞∞ (µ + σy)e− 2 dy
2πσ 2 −∞
Z
Z ∞
= −∞∞ µϕ(x) dx + σ
yϕ(y) dy = µ
−∞
Var(X) = √
Z
1
2πσ 2
∞
2
(x−µ)2
−
2σ 2
(x − µ) e
−∞
1
dx = √
2π
(c) Exponentialverteilung zum Parameter α > 0
Z ∞
Z
−αx
−αx ∞
|x| αe
dx = xe
+
0
0
∞
Z
∞
σ 2 y 2 e−
y2
2
dy = σ 2
−∞
e−αx dx =
0
1
α
Ziel Unabh. definieren
Vorbereitung
n ∈ N, g : Rn → [0, ∞), (x1 , . . . , xn ) 7→ g(x1 , . . . , xn ) ∈ [0, ∞)
z.B. n = 2
g : R × R → [0, ∞), g = 1A×B (A, B Intervall)
1 für (x, y) ∈ A × B = Rechteck
= 1A (x)1B (y)
g(x, y) =
0 sonst
Halten x2 , . . . , xn fest, variieren nur x1 :
x1 7→ h(x1 ) := g(x1 , x2 , . . . , xn ), h : R → [0, ∞)
z.B. h(x1 ) = 1A (x1 )1B (x2 ), wobei 1B (x2 ) ∈ {0, 1}, aber fest sobald x2 gewählt.
x2 ∈ B hx2 (x1 ) = 1A (x1 )
x2 wählt eine dieser Funktionen
x2 ∈
/ B hx2 (x1 ) = 0
Falls integrierbar:
Z
∞
Z
∞
g(x1 , . . . , xn ) dx1 :=
−∞
z.B.
h(x1 ) dx1
−∞
 R
 ∞ 1 (x ) dx (x ∈ B)
1
2
−∞ A 1
g(x1 , x2 ) dx1 =
R∞

−∞
(x2 ∈
/ B)
−∞ 0 dx1 = 0
Z
∞
Integral ist Fkt. von (x2 , . . . , xn )
Z ∞
g(x1 , . . . , xn ) dx1 =: G(x2 , . . . , xn )
−∞
z.B.
G(x2 ) = Länge(A) · 1B (x)
Wir wiederholen das Spiel
Z ∞
Z ∞ Z ∞
G(x2 , . . . , xn ) dx2 =
g(x1 , . . . , xn ) dx1 dx2 = . . .
−∞
−∞
−∞
Z ∞
Z ∞
=
...
g(x1 , . . . , xn ) dx1 . . . dxn = Konstante
−∞
z.B.
Z
∞
Z
G(x2 ) dx2 = Länge(A)
−∞
−∞
∞
1B (x2 ) dx2 = Fläche von A × B
|
{z
}
Länge von B
−∞
28
Wichtige Beobachtung Reihenfolge der Integration im Bsp. nicht wichtig.
Z ∞ Z ∞
Z ∞ Z ∞
g(x1 , x2 ) dx1 dx2 =
g(x1 , x2 ) dx2 dx1
−∞
Allgemein
−∞
−∞
−∞
Für nicht negative Fkt., die stückweise stetig“ sind und für große |x| klein werden, gilt:
”
Z ∞
Z ∞
Z ∞
Z ∞
...
g(x1 , . . . , xn ) dx1 . . . dxn =
...
g(x1 , . . . , xn ) dxi1 . . . dxin
−∞
−∞
−∞
−∞
für alle Permutationen (i1 , . . . , in ) von {1, . . . , n}. Für C ⊂ Rn gilt:
Z
Z
Z ∞
Z ∞
. . . g(x1 , . . . , xn ) dx1 . . . dxn =
...
1C (x1 , . . . , xn )g(x1 , . . . , xn ) dxi1 . . . dxin
−∞
−∞
| {z }
C
Im Beispiel:
g = 1A×B (mit A = B = [0, 1]), C = Dreieck = {(x1 , x2 ) ∈ Q : x2 ≤ x1 }, Q = A × B
ZZ
Z ∞Z ∞
g(x1 , x2 ) dx1 dx2 =
1C (x1 , x2 )1Q (x1 , x2 ) dx1 dx2 = . . . 1C∪Q (x1 , x2 ) . . .
C
−∞ −∞
Z ∞Z ∞
1
1
=
1C (x1 , x2 ) dx1 dx2 =
da C Fläche 2 hat
2
−∞ −∞
x2 fest:
1C (x1 , x2 ) =
1 für x1 ≥ x2
0 für x1 < x2
für x2 ∈ [0, 1]
Bzw.
ZZ
1C (x1 , x2 ) = 1 ⇔ 0 ≤ x2 ≤ x1 ≤ 1 ⇔ 0 ≤ x2 ≤ 1, x1 ∈ [x2 , 1]
Z ∞ Z ∞
g(x1 , x2 ) dx2 =
1[x2 ,1] (x1 ) dx1 1[0,1] (x2 ) dx2
−∞
∞
C
−∞
Z
Z
(1 − x2 )1[0,1] (x2 ) dx2 =
=
−∞
1
(1 − x2 ) dx2 =
0
1
2
Zurück zur Wahrscheinlichkeitsrechung
§4. Definition
a) f : Rn → [0, ∞) heißt n-dim. Dichte, wenn
Z ∞
Z ∞
...
f (x1 , . . . , xn ) dx1 . . . dxn = 1
−∞
−∞
b) n ZG X1 , . . . , Xn
Eine Funktion f heißt gemeinsame Dichte der ZG X1 , . . . , Xn , wenn
Z a1
Z an
f (x1 , . . . , xn ) dx1 . . . dxn ∀ai ∈ R
(∗) P (X1 ≤ a1 , . . . , Xn ≤ an ) =
...
−∞
−∞
Mit C := (−∞, a1 ] × . . . × (−∞, an ] ist
Z
(∗) = P ((X1 , . . . , Xn ) ∈ C) =
Z
. . . f (x1 , . . . , xn ) dx1 . . . dxn
| {z }
C
– Formel (*) gilt für allg. Mengen C
– Es gibt pathologische Fälle C, wo das nicht geht.
29
Beispiel
C Menge in R2
1)
Z
∞
Z
∞
1C (x, y) dx dx = Flächeninhalt = |C| =
...
−∞
−∞
1
für das Dreieck
2
2) Uniforme Verteilung auf C
f (x, y) :=
1
1C (x, y) ist Dichte
|C|
3) Frage: Wie groß ist Ws., dass x + y ≤ 12 ?
1
⊂C
D = (x, y) ∈ C : x + y ≤
2
1
1 1
1
|D|
1
2 · 2 · 4
P X +Y ≤
=
=
=
1
2
|C|
8
2
Nach Definition
ZZ
Z ∞Z ∞
1
1
(∗) := P X + Y ≤
=
f (x, y) dx dy =
1D (x, y)1C (x, y) dx dx
2
|C| −∞ −∞
D
Z ∞Z ∞
=2
1D (x, y) dy dx
−∞
−∞
(x, y) ∈ D :
x fest, x ∈ [0, 21 ]: 0 ≤ y ≤ x und y ≤
1
2
Z
(∗) = 2
0
Z
=2
0
1
4
0≤y≤x≤1
x + y ≤ 12
1
2
− x ⇔ 0 ≤ y ≤ min{x, 21 − x}
!
Z min{x, 1 −x}
Z 1
2
2
1
1 dy dx = 2
min x, − x dx
2
0
0
!
1
Z 1
Z 1
2 1
4
x2 4
1
x dx +
( − x) dx = 2 · 2
x dx = 4 · =
1
2
2 0
8
0
4
30