Vorlesung 6b Unabh¨angigkeit

Vorlesung 6b
Unabhängigkeit
1
Vergangene Vorlesung hatten wir schon die Definition der
Unabhängigkeit von zwei Zufallsvariablen :
Zufallsvariable X1, X2 heißen (stochastisch) unabhängig,
falls für alle Ereignisse {X1 ∈ A1}, {X2 ∈ A2} gilt:
P(X1 ∈ A1, X2 ∈ A2) = P(X1 ∈ A1) P(X2 ∈ A2)
(“Produktformel”)
2
P(X1 ∈ A1, X2 ∈ A2) = P(X1 ∈ A1) P(X2 ∈ A2)
anders geschrieben:
E[1A1 (X1)1A2 (X2)] = E[1A1 (X1)]E[1A2 (X2)]
Der Erwartungswert des Produktes
ist das Produkt der Erwartungswerte.
Die Indikatorvariablen I{X1∈A1} und I{X2∈A2}
sind unkorreliert.
3
Wir werden gleich sehen, dass allgemeiner gilt:
Sind X1, X2 unabhängig,
dann sind reellwertige “Verarbeitungen”
h1(X1), h2(X2) unkorreliert.
Anders gesagt:
Der Erwartungwert des Produktes h1(X1) · h2(X2)
ist das Produkt der Erwartungswerte.
Genauer:
4
Satz:
X1, X2 unabhängige ZV’e mit Zielbereichen S1, S2,
h1, h2 Abbildungen von S1 bzw. S2 in die reellen Zahlen.
Haben h1(X1) und h2(X2) endlichen Erwartungswert,
so folgt
h
i
h
i
h
i
E h1(X1)h2(X2) = E h1(X1) E h2(X2) .
Insbesondere sind (im Fall endlicher Varianzen)
h1(X1) und h2(X2) unkorreliert.
5
Beweis für diskrete ZV’e:
h
i
E h1(X1)h2(X2)
=
=
=
X
a1,a2
X
a1,a2
X
a1
h1(a1)h2(a2) P(X1 = a1, X2 = a2)
h1(a1)P(X1 = a1) h2(a2)P(X2 = a2)
h1(a1)P(X1 = a1)
h
i
X
a2
h
h2(a2)P(X2 = a2)
i
= E h1(X1) E h2(X2)
6
Zufallsvariable X1, . . . , Xn mit Zielbereichen S1, . . . , Sn
heißen
(stochastisch) unabhängig, falls für alle Ereignisse {Xi ∈ Ai}
folgende Produktformel gilt:
P(X1 ∈ A1, . . . , Xn ∈ An) = P(X1 ∈ A1) · · · P(Xn ∈ An) .
7
Für diskrete Zufallsvariable ist die Unabhängigkeit
geichbedeutend mit der
Produktform der Verteilungsgewichte:
P(X1 = a1, . . . , Xn = an) = ρ1(a1) · · · ρn(an)
Die ρi(ai) sind dann die Verteilungsgewichte von Xi.
8
Sei X1, X2, . . . eine Folge von Zufallsvariaben.
Definition:
Die Zufallsvariablen X1, X2, . . . sind unabhängig
:⇐⇒ für jedes n sind X1, . . . , Xn unabhängig.
Beispiele:
Fortgesetzter Münzwurf, fortgesetztes Würfeln
9
Ereignisse E1, . . . , En heißen unabhängig
:⇐⇒ IE1 , . . . , IEn sind unabhängig.
Satz:
Dies ist gleichbedeutend mit
P(Ei1 ∩ · · · ∩ Eik ) = P(Ei1 ) · · · P(Eik )
für beliebige 1 ≤ i1 < · · · < ik ≤ n.
Ein eleganter Beweis findet sich im Buch auf Seite 67.
10
Fazit:
Die Unahängigkeit zweier Ereignisse E1, E2
ist äquivalent zur Produktformel
P(E1 ∩ E2) = P(E1) P(E2)
11
Und die Unabhängigkeit dreier Ereignisse E1, E2, E3 ist
äquivalent dazu,
dass beide der folgenden Bedingungen a) und b) erfüllt sind:
a)
P(E1 ∩ E2) = P(E1)P(E2),
P(E1 ∩ E3) = P(E1)P(E3),
P(E2 ∩ E3) = P(E2)P(E3).
b) P(E1 ∩ E2 ∩ E3) = P(E1)P(E2)P(E3)
a) oder b) allein reichen i.a. nicht für die Unabhängigkeit:
12
Beispiel:
Z1, Z2, Z3 sei ein 1
2 -Münzwurf,
E1 := {Z1 = 1}, E2 := {Z2 = 1},
E3 := {Z1 = Z2}
E1, E2, E3 sind paarweise unabhängig,
aber nicht unabhängig.
13
Gewisse Teilaspekte von abhängigen Zufallsvariablen
können unabhängig sein:
Beispiel:
(X, Y ) seien rein zufällige “Zwei aus {1, 2, . . . , 32}”.
Offenbar sind X und Y nicht unabhängig.
Aber: die Ereignisse
E1 := {X ist durch 8 teilbar },
E2 := {17 ≤ Y ≤ 24}.
sind unabhängig.
Denn
1 , P(E ∩ E ) = 3·8+7 = 1 .
P(E1) = 1
,
P
(E
)
=
2
1
2
8
4
32·31
32
14
Ein Beispiel für indirekte Abhängigkeiten:
(X, Y ) sei ein p-Münzwurf, U sei uniform verteilt auf {0, 1},
X, Y, U seien unabhängig.
1
1
1
P(X = U ) = p + q = ,
2
2
2
1
analog: P(Y = U ) =
2
15
Ein Beispiel für indirekte Abhängigkeiten:
(X, Y ) sei ein p-Münzwurf, U sei uniform verteilt auf {0, 1},
X, Y, U seien unabhängig.
1
1
1
P(X = U ) = p + q = ,
2
2
2
1
analog: P(Y = U ) =
2
1
2
2
P(X = U, Y = U ) = (p + q )
2
p2 + q 2 = (p + q)2 − 2pq = 1 − 2pq ≥ 1
2,
1.
mit “=” genau dann wenn p = 2
Für p 6= 1
2 sind I{X=U } und I{Y =U } nicht unabhängig!
16
Unabhängigkeit von Zufallsvariablen mit Dichten
Für Zufallsvariable mit Dichten
ist die Unabhängigkeit von X1 und X2
äquivalent zur Produktform der gemeinsamen Dichte:
f (a1, a2) da1 da2 = f1(a1) da1 f2(a2) da2
17
Beispiele:
1. Uniforme Verteilung auf dem Einheitsquadrat:
X1, X2 seien unabhängig und uniform verteilt auf [0, 1].
Dann hat (X1, X2) die Dichte
1[0,1](a1) da1 · 1[0,1](a2) da2
= 1[0,1]×[0,1](a1, a2) da1 da2,
und ist somit uniform verteilt auf [0, 1] × [0, 1].
18
2. Standard-Normalverteilung:
Eine R-wertige Zufallsvariable Z mit Dichte
1 −a2/2
ϕ(a) da := √ e
da
2π
heißt standard-normalverteilt.
19
0, 4
0, 3
0, 2
0, 1
−4
−2
0
2
4
Wichtige Beobachtung:
Z1, Z2 seien standard-normalverteilt und unabhängig.
(Z1, Z2) hat dann die Dichte
ϕ(a1) da1 ϕ(a2) da2
1 −a2/2 1 −a2/2
√
=
e 1 √ e 2 da1da2
2π
2π
1 −|a|2/2
e
da,
=
2π
a = (a1, a2) ∈ R2.
Die Dichte ist rotationssymmetrtisch!
21
f (a1, a2) =
1 −(a2+a2)/2
1
2
e
2π
a2
a1
22
Definition:
Eine R2-wertige Zufallsvariable Z mit Dichte
1 −|a|2/2
f (a) da =
e
da,
2π
a ∈ R2,
heißt standard-normalverteilt auf R2.
23
Fassen wir das zufällige Zahlenpaar Z = (Z1, Z2) auf
als die (Standard-)Koordinaten
eines zufälligen Vektors
~ in R2,
Z
~
dann folgt aus der Rotationsinvarianz der Verteilung von Z:
~
Für jeden Einheitsvektor ~
u ∈ R2 ist die ~
u-Koordinate von Z
standard-normalverteilt in R.
24
Anders gesagt:
Sind Z1, Z2 unabhängig und N(0, 1)-verteilt,
dann gilt für jedes Zahlenpaar (τ1, τ2) mit τ12 + τ22 = 1:
τ1Z1 + τ2Z2 ist N(0, 1)-verteilt.
25
Unabhängigkeit von Zufallsvariablen mit Dichten
Satz
X1, . . . , Xn seien reellwertige Zufallsvariable.
Dann sind äquivalent:
(i) X1, . . . , Xn sind unabhängig,
und Xi hat die Dichte fi(ai) dai, i = 1, . . . , n.
(ii) (X1, . . . , Xn) hat die Dichte
f1(a1) · · · fn(an) da1 . . . dan
26
Beispiel: Multivariate Standard-Normalverteilung.
Sei Z := (Z1, . . . , Zn). Dann gilt:
Z1, . . . , Zn sind unabhängig und N(0, 1)-verteilt
⇐⇒
|a|2 1
exp −
P(Z ∈ da) =
da ,
n/2
2
(2π)
a ∈ Rn ,
2.
+
·
·
·
+
a
mit |a|2 := a2
n
1
Z heißt dann standard-normalverteilt auf Rn.
27
Analog zum Fall n = 2 gilt:
Ist Z = (Z1, . . . , Zn) standard-normalverteilt auf Rn
und sind τ1, . . . , τn reelle Zahlen mit τ12 + · · · + τn2 = 1,
dann ist Y := τ1Z1 + · · · + τnZn N(0, 1)-verteilt.
~ = Z1~e1 + · · · + Zn~en
( Y ist die Koordinate von Z
zum Einheitsvektor ~
u := τ1~e1 + · · · + τn~en .)
Insbesondere ergibt sich:
Z1 + · · · + Zn
√
n
ist N(0, 1)-verteilt.
28