Lösung 9 - ISI Fallback Page

Signal and Information
Processing Laboratory
Zeitdiskrete und statistische
Signalverarbeitung (ZSSV)
dass E[Y ] endlich ist, da sonst E[X] · E[Y ] undefiniert ist. Die folgende Rechnung zeigt,
dass E[Y ] endlich ist:
Z ∞Z ∞
y fXY (x, y) dx dy
E[Y ] =
−∞ −∞
Z ∞Z ∞
1
y [δ(y − x) + δ(y + x)] fX (x) dx dy
=
2 −∞ −∞
Z ∞
1
=
(x − x) fX (x) dx
2 −∞
Institut für Signal- und
Informationsverarbeitung
Prof. H.-A. Loeliger
Musterlösung 9
http://www.isi.ee.ethz.ch/teaching/courses/zssv
22. November 2016
=0
Verbundwahrscheinlichkeitsdichte
Aufgabe 4.6
R∞
a) E[X] = −∞ x fX (x) dx (Definition 4.9)
Jetzt gilt: fX (−x) = fX (x), d.h. fX (x) ist eine gerade Funktion. Daraus folgt:
Z ∞
xfX (x) dx
E[X] =
=
=
Z
−∞
0
x fX (x) dx +
−∞
Z 0
Z
∞
x fX (x) dx
0
x fX (−x) dx +
−∞
=−
= 0.
Z
∞
x fX (x) dx +
Z
∞
x fX (x) dx
Z0 ∞
und daher gilt E[X] · E[Y ] = 0 · E[Y ] = 0 = E[X · Y ], d.h. X und Y sind unkorreliert.
d) X und Y sind unabhängig falls gilt: fXY (x, y) = fX (x) · fY (y).
Einerseits ist:
Z ∞
fXY (x, y) dx
fY (y) =
−∞
Z ∞
1
[δ(y − x) + δ(y + x)] fX (x) dx
=
2 −∞
1
= [fX (y) + fX (−y)]
2
= fX (y) (weil fX (−y) = fX (y)) ,
so dass fX (x) · fY (y) = fX (x) · fX (y).
Anderseits ist fXY (x, y) = fX (x) 12 [δ(y − x) + δ(y + x)].
Weil fX (y) 6= 21 [δ(y − x) + δ(y + x)] ist fXY (x, y) 6= fX (x) · fY (y). X und Y sind also
abhängig. Das ist auch wie folgt intuitiv einsichtig: Falls x gegeben ist, können Aussagen
über y gemacht werden, nämlich: y = x oder y = −x. Beide Grössen sind also abhängig.
x fX (x) dx
0
0
b) Satz 4.3 im Skript gibt an, wie man den Erwartungswert einer Funktion eines reellen
Zufallsvektors berechnen kann. In dieser Aufgabe ist X = (x, y) und g(X) = xy. Wir
können schreiben:
Z ∞Z ∞
xy fXY (x, y) dx dy
E[X · Y ] =
−∞ −∞
Z ∞Z ∞
1
=
xy fX (x) [δ(y − x) + δ(y + x)] dx dy
2 −∞ −∞
Z ∞
Z ∞
1
y [δ(y − x) + δ(y + x)] dy dx
x fX (x)
=
2 −∞
−∞
Z ∞
1
=
x fX (x) (x − x) dx
2 −∞
Dichte der Summe
Aufgabe 4.7
a)
E[X] = −1 · P (X = −1) + 0 · P (X = 0) + 1 · P (X = 1)
1
1
1
= −1 · + 0 · + 1 ·
4
2
4
= 0
= 0.
c) X und Y sind unkorreliert falls gilt: E[X · Y ] = E[X] · E[Y ].
E[X · Y ] = 0, siehe b) und E[X] = 0, siehe a). Wir sollten uns nun noch davon überzeugen,
1
E[Y ] = −1 · P (Y = −1) + 1 · P (Y = 1)
1
1
= −1 · + 1 ·
2
2
= 0
2
Aus Satz 4.4 folgt:
E[Z] = E[X] + E[Y ]
= 0
die Vereinigung aller Ereignisse X1 = x1 , für welche g1 (X1 ) = y1 . Die Wahrscheinlichkeit
von dem Ereignis Y1 = y1 ist somit gegeben durch
X
P (Y1 = y1 ) =
P (X1 = x1 ).
x1 ∈X :g1 (x1 )=y1
b) Wir gehen aus von Z = X +Y . Welche Experimente führen nun zu einem fixen Wert Z = z?
z erhalten wir, wenn X = x auftritt und Y = z −x. Dieses Ereignis hat die Wahrscheinlichkeit fX,Y (x, z − x), und da X und Y unabhängig sind, ist diese Wahrscheinlichkeit genau
fX (x)fY (z − x). Dies ist aber nur eine von unendlich vielen Möglichkeiten das Ergebnis z
zu erhalten, d.h. wir müssen über alle möglichen x integrieren:
Z ∞
fX (x)fY (z − x)dx
fZ (z) =
−∞
Da es sich bei X und Y um eine diskrete Zufallsgrösse handelt, ist die Dichte eine Summe
von Dirac-Stössen:
Analog dazu
Die Verbundwahrscheinlichkeit von Y1 und Y2 ist
X
P (X1 = x1 und X2 = x2 )
P (Y1 = y1 und Y2 = y2 ) =
x1 ∈X :g1 (x1 )=y1
x2 ∈X :g2 (x2 )=y2
=
{z
P (Y1 =y1 )
·
}
X
P (X2 = x2 ) .
x2 ∈X :g2 (x2 )=y2
|
{z
P (Y2 =y2 )
zfZ (z)dz
−∞
1
1
1
1
1
= −2 − 1 + 0 + 1 + 2 = 0.
8
4
4
4
8
Funktionen von unabhängigen Zufallsgrössen
a) Sei Ai die i-te Zeile von A, dann können wir schreiben:
E[(A1 X, A2 X, ..., Am X)T ]
(E[A1 X], E[A2 X], ..., E[Am X])T
(A1 E[X], A2 E[X], ..., Am E[X])T
A E[X]
Das Ereignis Y1 = y1 ist gleich dem Ereignis g1 (X1 ) = y1 , d.h.,
{ω ∈ Ω : Y1 (ω) = y1 } = {ω ∈ Ω : g1 (X1 (ω)) = y1 }
[
{ω ∈ Ω : X1 (ω) = x1 },
=
(Satz 4.2)
(Satz 4.4)
b) Zuerst beweisen wir Satz 4.6 für X und Y reelle Zufallsgrössen. Da in diesem Fall
E[X · Y ] = E[X · Y ] und E[X] · E[Y ] = E[X] · E[Y ] reicht es E[X · Y ] = E[X] · E[Y ]
zu zeigen. X und Y sind unabhängig falls gilt:
X1 und X2 sind Zufallsgrössen mit endlichem Wertebereich X , also diskrete Zufallsgrössen.
Da sie unabhängig sind, gilt (Definition 4.4 im Skript)
∀x1 , x2 ∈ X .
}
Beweise
E[AX] =
=
=
=
∞
3
P (X1 = x1 )
P (X1 = x1 ) · P (X2 = x2 )
Aufgabe 4.9
Für E[Z] gilt also
x1 ∈X :g1 (x1 )=y1
X
x2 ∈X :g2 (x2 )=y2
Damit haben wir gezeigt, dass Y1 und Y2 unabhängig sind.
−∞
P (X1 = x1 und X2 = x2 ) = P (X1 = x1 ) · P (X2 = x2 ),
X
x1 ∈X :g1 (x1 )=y1
|
1
1
1
1
1
= δ(z + 2) + δ(z + 1) + δ(z) + δ(z − 1) + δ(z − 2).
8
4
4
4
8
Aufgabe 4.8
X
=
x1 ∈X :g1 (x1 )=y1
Somit können wir fZ (z) berechnen
Z ∞
fX (x)fY (z − x)dx
fZ (z) =
E[Z] =
P (X2 = x2 ).
x2 ∈X :g2 (x2 )=y2
1
1
1
fX (x) = δ(x + 1) + δ(x) + δ(x − 1)
4
2
4
1
1
fY (y) = δ(y + 1) + δ(y − 1)
2
2
Z
X
P (Y2 = y2 ) =
fX,Y (x, y) = fX (x) · fY (y)
Wir können also schreiben:
E[X · Y ] =
=
Z
∞
Z−∞
∞
−∞
Z
∞
xy fXY (x, y) dx dy
Z ∞
x fX (x) dx
y fY (y) dy
−∞
−∞
= E[X] · E[Y ]
4
Nun nehmen wir an X und Y sind komplexe Zufallsgrössen. Schreibe X als X =
Xr + i · Xi und Y als Y = Yr + i · Yi , wobei Xr , Xi , Yr und Yi reelle Zufallsgrössen
sind.
c) Es gilt: X und Y sind orthogonal ⇐⇒ Korrelation E[XY ] = 0
E[|Z|2 ] =
=
=
=
=
=
=
X und Y sind unabhängig falls gilt:
fXr ,Xi ,Yr ,Yi (xr , xi , yr , yi ) = fXr ,Xi (xr , xi ) · fYr ,Yi (yr , yi )
Daraus folgt mit Gleichung (4.25) im Skript, dass Xr und Yr unabhängig, Xr und Yi
unabhängig, Xi und Yr unabhängig und Xi und Yi unabhängig sind. Da Xr , Xi , Yr
und Yi reelle Zufallsgrössen sind, folgt aus dem bereits bewiesenen Teil des Satzes
4.6:
E[Xr · Yr ]
E[Xr · Yi ]
E[Xi · Yr ]
E[Xi · Yi ]
=
=
=
=
E[Xr ] · E[Yr ]
E[Xr ] · E[Yi ]
E[Xi ] · E[Yr ]
E[Xi ] · E[Yi ]
Wir können nun schreiben:
E[X · Y ] =
=
=
=
E[(Xr + i · Xi )(Yr − i · Yi )]
E[Xr · Yr ] + E[Xi · Yi ] + i · E[Xi · Yr ] − i · E[Xr · Yi ]
E[Xr ] · E[Yr ] + E[Xi ] · E[Yi ] + i · E[Xi ] · E[Yr ] − i · E[Xr ] · E[Yi ]
(E[Xr ] + i · E[Xi ])(E[Yr ] − i · E[Yi ])
E[|X + Y |2 ]
E[(X + Y )(X + Y )]
E[(X + Y )(X + Y )]
E[XX + XY + Y X + Y Y ]
E[XX] + E[XY ] + E[Y X] + E[Y Y ]
E[XX] + E[Y Y ]
E[|X|2 ] + E[|Y |2 ]
Varianz
Aufgabe 4.10
Die Varianz der Zufallsvariable X ist definiert als
Var(X) = E[(X − mX )2 ]
wobei mX = E[X] der Erwartungswert von X ist. Unter Berücksichtigung des diskreten
Wertebereichs von X folgt
Var(X) = E[X 2 ] − m2X
= E[1] − m2X
= 1 − m2X
dabei wurde benutzt, dass 12 = (−1)2 = 1.
Var(X)
= E[X] · E[Y ]
und auch:
E[X · Y ] =
=
=
=
=
E[(Xr + i · Xi )(Yr + i · Yi )]
E[Xr · Yr ] − E[Xi · Yi ] + i · E[Xi · Yr ] + i · E[Xr · Yi ]
E[Xr ] · E[Yr ] − E[Xi ] · E[Yi ] + i · E[Xi ] · E[Yr ] + i · E[Xr ] · E[Yi ]
(E[Xr ] + i · E[Xi ])(E[Yr ] + i · E[Yi ])
E[X] · E[Y ]
1
1 − m2X
1
2
mX
−1
− 12
1
2
womit der ganze Satz bewiesen ist.
5
6
1
Korrelations- und Kovarianzmatrix
Aufgabe 4.11
Es gilt: Y = AX +b ⇒ mY = AmX +b. Die Kovarianzmatrix ist definiert als VY = E[(Y −
mY )(Y −mY )H ]. Der Mittelwert wird subtrahiert, weshalb VY unabhängig von b ist. Somit
kann b zur Berechnung der Kovarianzmatrix vernachlässigt werden: VY =AX+b = VY =AX .
Dies sieht man auch in der folgenden Rechnung:
VY
RY
=
=
=
=
=
=
=
E[(Y − mY )(Y − mY )H ]
E[(AX + b − AmX − b)(AX + b − AmX − b)H ]
E[(AX − AmX )(AX − AmX )H ]
E[(AX − AmX )(X H AH − mX H AH )]
E[A(X − mX )(X H − mX H )AH ]
AE[(X − mX )(X H − mX H )]AH
AVX AH
=
=
=
=
=
=
E[Y Y H ]
E[(AX + b)(AX + b)H ]
E[(AX + b)(X H AH + bH )]
E[AXX H AH + AXbH + bX H AH + bbH ]
H
H
AE[XX H ]AH + AmX bH + bmH
X A + bb
H
H
H H
H
ARX A + AmX b + (AmX b ) + bb
Ein alternativer Weg die Korrelationsmatrix zu berechnen wird in Gleichung (4.111) beschrieben:
RY
=
=
=
=
=
Korrelationskoeffizient
Aufgabe 4.12
ρ=
a)
E[(X − mX )(Y − mY )]
p
Var(X)Var(Y )
Y =X:
b)
Y =
Var(X)
=1
ρ= p
Var(X)2
X
E[(X − mX )(Y − mY )]
+1: ρ= p
2
Var(X) · E[(Y − mY )2 ]
1
Var(X)
2
=q
Var(X) · 41 Var(X)
=1
c) X und Y sind statistisch unabhängig, d.h. E[XY ] = E[X] · E[Y ].
⇒ E[(X − mX )(Y − mY )] = E[XY ] − E[X] · E[Y ] = 0.
⇒ ρ=
E[(X − mX )(Y − mY )]
p
= 0.
Var(X)Var(Y )
VY + mY mH
Y
AVX AH + (AmX + b)(AmX + b)H
H
H
H H
H
AVX AH + AmX mH
X A + AmX b + (AmX b ) + bb
H
H H
H
H H
H
A(RX − mX mH
)A
+
Am
m
A
+
Am
b
+
(Am
X X
X
X b ) + bb
X
ARX AH + AmX bH + (AmX bH )H + bbH
7
E[(X − mX )( 21 X + 1 − 12 mX − 1)]
=q
Var(X) · E[( 12 X + 1 − 21 mX − 1)2 ]
8
Lineare Quantisierung bei A/D-Wandlung
Aufgabe 4.13
fX (x)
✻
a)
p0
p−2
∆
i · ∆ ≤ x < (i + 1)∆
⇐⇒
y =i·∆+ , i∈Z
2
(
max(z) = ∆2
z =x−y
=⇒
min(z) = − ∆2
b)
fZ (z) =
(
0,
− ∆2
≤z<
sonst
∆
2
Z
∞
zfZ (z)dz =
−∞
2
2
Z
∆/2
z
−∆/2
=
σZ =
c)
i) Für − ∆2 ≤ z <
∆
2
∆/2
z2
−∆/2
r
1
dz = 0
∆
2
∆2
1
dz =
∆
12
∆2
∆
|∆|
= √ = √
12
2 3
2 3
∞
[
i=−∞
−1
P i·∆≤X <i·∆+
∆
2
0
1
2
3
R i·∆+ ∆ +z
+ z = i·∆ 2 fX (x)dx =
∆
2
+ z pi
X
∞ ∞
X
∆
∆
+ z pi =
+z ·
pi
2
2
i=−∞
i=−∞
R∞
P∞
P∞
Bemerkung: Da −∞ fX (x)dx = i=−∞ ∆ · pi = ∆ · i=−∞ pi = 1 folgt:
Z
i=−∞
∞
2
z fZ (z)dz
−∞
pi =
dFZ (z)
dz
1
∆
< ∞ für ∆ > 0.
P
= fZ (z) = ∞
i=−∞ pi =
1
iv) Aber P (Z < z) = FZ (z), und
= konstant und
∆
unabhängig von z.
=⇒ Z ist gleichverteilt (im Intervall −∆/2 ≤ z < ∆/2).
Bemerkung: Eigentlich ist FZ (z) , P (Z ≤ z), aber da fZ (z) keine DiracStösse enthält, kann man auch, wie hier, “<” anstatt “≤” schreiben.
d) Gemäss c) müsste fX (x) eine Treppenfunktion mit konstantem Wert in jedem
Intervall i · ∆ ≤ x < (i + 1)∆ sein, damit Z gleichverteilt ist innerhalb − ∆2 , ∆2 .
Für praktische Anwendungen genügt es aber, dass fX (x) in jedem solchen Intervall
“etwa konstant” ist:
für ∆ > 0
{ω : i · ∆ ≤ X(ω) < i · ∆ +
∆
+ z}
2
und weil {ω : i·∆ ≤ X(ω) < i·∆+ ∆2 +z}∩{ω : j·∆ ≤ X(ω) < j·∆+ ∆2 +z} = ∅
für i 6= j folgt:
∞
X
∆
P (Z < z) =
P i·∆≤X <i·∆+ +z .
2
i=−∞
ii) Aber fX (x) hat folgende Form: fX (x) = pi , für i · ∆ ≤ x < (i + 1)∆
9
−2
P∞
gilt:
{ω : Z(ω) < z} =
✲ x
P (Z < z) =
Var(Z) = E[(Z − mZ ) ] = E[Z ] − E[Z] =
Z
p1
∆
−3
iii)
Bemerkung: Wir nehmen an, dass fZ rechtsseitig stetig ist.
E[Z] =
p3
p−3
=⇒
1
,
∆
p2
p−1
fX (x)
✻
✲ x
∆
−3
−2
−1
0
1
2
3
e) Es wurde dabei angenommen, dass die Zufallsgrösse X eine stetige Zufallsgrösse ist
und somit für jedes i gilt: P (X = i · ∆) = 0.
In Anwendungen können wir Ereignisse mit Wahrscheinlichkeit gleich 0 immer unbeachtet lassen.
10