Übung 11 - ISI Fallback Page

Signal and Information
Processing Laboratory
Zeitdiskrete und statistische
Signalverarbeitung (ZSSV)
Institut für Signal- und
Informationsverarbeitung
Prof. H.-A. Loeliger
Übung 11
http://www.isi.ee.ethz.ch/teaching/courses/zssv
29. November 2016
Es wird empfohlen, die eingerahmten Aufgaben zuerst zu lösen.
Bedingte Dichte einer Summe
Aufgabe 4.27
Es seien X und W unabhängige reelle Zufallsgrössen und sei Y = X + W . Zeigen Sie, dass
f (y|x) = fW (y − x). Hinweis: Berechnen Sie FY |X wie in Kap. 4.6 (Funktionen von Zufallsgrössen).
Bedingte Wahrscheinlichkeit
Aufgabe 4.28
Es sei X eine diskrete Zufallsgrösse mit Wertebereich {0, +1}. Gegeben seien pX (0) = 3/4 und
pX (+1) = 1/4. Beobachtet sei Y = X + W . Die “Störung” W sei eine (von X unabhängige)
2 = 1.
normalverteilte Zufallsgrösse mit Mittelwert 0 und Varianz σW
a) Berechnen Sie E[X].
b) Berechnen Sie E[Y ].
c) Berechnen Sie P (X = x|Y = y).
d) Berechnen Sie P (X = x|Y = y) für y = 0, y = 0.5 und y = 1.
e) Berechnen Sie E[X|Y = 0].
Verteilungsfunktion
Aufgabe 4.29
Sei X eine reellwertige Zufallsgrösse, gleichverteilt zwischen −1 und +1. Bestimmen und skizzieren
Sie
a) die Verteilungsfunktion FX (x) = P (X ≤ x)
b) die bedingte Verteilungsfunktion FX|X 2 =1/4 (x) = P (X ≤ x|X 2 = 1/4)
c) die bedingte Verteilungsfunktion FX 2 |X<0 (x) = P (X 2 ≤ x|X < 0).
Erwartungswert
Aufgabe 4.30
Die reelle Zufallsgrösse X sei gleichverteilt im Intervall [0, 1]. Bestimmen Sie:
a) E[X|X < b ] für 0 < b ≤ 1.
b) E X 2 |X(1 − X) = 0 .
c) E[ sin(Xπ)].
1
Bedingte Wahrscheinlichkeit und Erwartungswert
Aufgabe 4.31
Es seien X und Y zwei unabhängige reelle Zufallsgrössen, beide gleichverteilt im Intervall
[0, 1]. Berechnen Sie
a) E[X|Y = 0.1].
b) E[X|X ≥ Y ].
Stochastische Prozesse
Aufgabe 4.32
Sei U [.] ein reeller stochastischer i.i.d. Prozess. U [k] sei gleichverteilt zwischen −1 und +1.
Durch Filterung mit H(z) = 1 + 2z −1 erhalten wir einen neuen stochastischen Prozess
Y [.] = (U ∗ h)[.].
a) Bestimmen Sie E[Y [k]] und E Y [k] | Y [k − 1] = 3 .
b) Ist Y [.] i.i.d.? Begründung?
c) Mit einem weiteren stabilen Filter G(z) = 1/(2 + z −1 ) erhalten wir W [.] = (Y ∗ g)[.].
Zeigen Sie, dass W [.] weisses Rauschen ist.
ML-Schätzung: gedächtnisloser Kanal
Aufgabe 5.1
Eine reellwertige Zufallsgrösse X wird n mal über einen gedächtnislosen Kanal gesendet, der
mit additivem Rauschen Z gestört ist. Für den empfangenen Vektor Y gilt
Y = (Y1 , Y2 , . . . , Yn ) = (X, X, . . . , X) + (Z1 , Z2 , . . . , Zn ),
wobei Z1 , Z2 , . . . , Zn i.i.d. Gauss’sche (= normalverteilte) Zufallsgrössen mit Mittelwert 0
und Varianz σ 2 darstellen, die unabhängig von X sind.
a) Bestimmen Sie fY |X (y|x) = fY |X (y1 , y2 , . . . , yn |x).
Hinweis: Bestimmen Sie zuerst fZ (z) = fZ (z1 , z2 , . . . , zn ). Benutzen Sie dann die Beziehung fY |X (y|x) = fZ (y − x).
b) Bestimmen Sie die ML-Regel für die Schätzung von X aus Y .
Hinweis: Zeigen Sie zuerst die Beziehung
argmax fY |X (y|x) = argmin
x
x
n
X
(yi − x)2 .
i=1
c) Bestimmen Sie für diese ML-Schätzregel E[X̂|X = x] und E[X̂].
Hinweis: Sie sollten
E[X̂|X = x] = x
erhalten. Eine solche Schätzung heisst erwartungstreu.
d) Bestimmen Sie für diese ML-Schätzregel Var[X̂|X = x].
2
e) Zeigen Sie allgemein, dass für eine erwartungstreue Schätzregel gilt:
h
i
E (X − X̂)2 |X = x = Var[X̂|X = x]
f) Berechnen Sie den MSE = E[(X − X̂)2 ] für die ML-Schätzregel in b).
Nebenbei: Interessanterweise können wir hier den MSE berechnen, ohne fX (x) zu kennen.
Verteilungsfunktion und MMSE-Schätzung
Aufgabe 5.2
Zwei reelle Zufallsgrössen X und Y seien gemeinsam gleichverteilt in
{(x, y) ∈ R2 : 0 ≤ x ≤ 2 und 0 ≤ y ≤ 1}.
a) Bestimmen Sie die Verteilungsfunktionen FX und FY von X und Y .
b) Sind X und Y unabhängig?
c) Bestimmen Sie den Erwartungswert des Vektors (X, Y )T .
d) Bestimmen und skizzieren Sie
FX|Y ≤X/2 (x) = P (X ≤ x|Y ≤ X/2).
e) Bestimmen Sie die Bayes’sche MMSE-Schätzung von Y aufgrund der Beobachtung
X = x und der Zusatzbedingung Y ≤ X/2.
Median
Aufgabe 5.3
Der Median einer reellen Zufallsgrösse X ist die reelle Zahl θ definiert durch
P (X > θ) = P (X < θ).
Zeigen Sie, dass die Bayes’sche Schätzung von X aus Y = y, die den Erwartungswert
E[|x̂(y) − X| | Y = y]
minimiert, gleich dem bedingten Median von X gegeben Y = y ist.
3
Schätztheorie: Warteschlangenproblem
Aufgabe 5.4
Die Zufallsgrösse Y wird als exponentialverteilt bezeichnet, wenn die Wahrscheinlichkeit von
folgender Form ist:
(
0,
y ≤ 0,
fY (y) =
−cy
ce , y > 0,
wobei c eine positive Konstante ist.
a) Berechnen Sie E[Y ].
b) Bestimmen Sie für ∆ > 0 die Wahrscheinlichkeit P (Y ≥ ∆).
c) Finden Sie für ∆ > 0 und β > 0 die Wahrscheinlichkeit P (Y ≥ β + ∆|Y ≥ β).
Bemerkung: Dies erklärt, warum die Exponentialverteilung manchmal als “gedächtnislos” bezeichnet wird.
In vielen praktisch interessanten Warteschlangen-Systemen ist die Zeit Y (in Sekunden)
zwischen dem Eintreffen zweier aufeinanderfolgender Benutzer exponentialverteilt unter der
Bedingung, dass im Mittel X = x Benutzer pro Sekunde eintreffen:
(
0,
y≤0
fY |X (y|x) =
−xy
xe , y > 0.
Wir nehmen nun an, dass wir zwischen zwei Benutzern eine Zeit Y = y beobachtet haben
und anhand dieser Beobachtung die mittlere Benutzerrate X schätzen wollen.
d) Finden Sie die Maximum-Likelihood (ML-) Schätzregel.
Wir nehmen nun als bekannt an, dass die Benutzerrate X mit Mittelwert α exponentialverteilt ist.
e) Finden Sie die Bayes’sche Schätzregel, die den MSE E[(X − X̂)2 ] minimiert.
f) Wann ergeben die ML-Regel und die Bayes’sche Regel für MMSE die gleiche Schätzung
für X?
Z ∞
i!
xi e−bx dx = i+1 , b > 0, i ∈ {0, 1, 2, . . .}, 0! = 1.
Hinweis:
b
0
Schätzung des Erwartungswerts
Aufgabe 5.5
Seien X1 und X2 zwei reelle Zufallsgrössen mit gleichem Erwartungswert m, gleicher Varianz
2
σX
, und Kovarianz γ. Bestimmen Sie den Erwartungswert und die Varianz der Schätzung
m̂ =
1
X1 + X2 .
2
4
Aufgabe 5.6
Erwartungswert und bedingte Wahrscheinlichkeit
Der Wertebereich der Zufallsgrösse X sei {21 , 22 , 23 , 24 , . . .} und es gelte
P (X = 2k ) = 2−k
für k ∈ {1, 2, 3, . . .}. Bestimmen Sie
a) E[X].
b) P pX (X) < 1/10 .
c) E[X | pX (X) ≥ 1/8].
5