Signal and Information Processing Laboratory Zeitdiskrete und statistische Signalverarbeitung (ZSSV) d) Autokorrelationsfunktion Institut für Signal- und Informationsverarbeitung RX [n] = E[X[k + n]X[k]] = Prof. H.-A. Loeliger Bsp. 4.11: Musterlösung 10 http://www.isi.ee.ethz.ch/teaching/courses/zss Bsp. 4.12: 24. November 2015 Z ∞ −∞ Z ∞ xx′ fX[k],X[k+n] (x, x′ )dxdx′ −∞ RX [n] = 1/2 1 − a, n=0 RX [n] = (1 − a)2 , n = 6 0 e) Korrelationsmatrix von X = (X[k], X[k + 1])T Stochastische Prozesse Aufgabe 4.14 E[XX T ] = a) Verbundwahrscheinlichkeit x 0 0 1 1 x′ P (X[k] = x, X[k + 1] = 0 1 0 1 Beispiel 4.11 1/2 0 0 1/2 x′ ) Beispiel 4.12 a2 a (1 − a) a (1 − a) (1 − a)2 b) Mittelwert + a(1 − a)δ(x − 1)δ(x′ ) + (1 − a)2 δ(x − 1)δ(x′ − 1) = aδ(x) + (1 − a)δ(x − 1) aδ(x′ ) + (1 − a)δ(x′ − 1) mX = E[X[k]] = Z Bsp. 4.12: mX = 1 − a c) mittlere Leistung ∞ x2 fX (x)dx −∞ Bsp. 4.11: RX [0] = 1/2 Bsp. 4.12: RX [0] = 1 − a 1 E[XX T ] = 1/2 1/2 1/2 1/2 RX [0] RX [−1] RX [1] RX [0] 1−a (1 − a)2 (1 − a)2 1−a Addition von stochastischen Prozessen E [Z [k]] = E [X [k] + Y [k]] = E [X [k]] + E [Y [k]] = mX + mY ∀k ∈ Z b) mX = 1/2 Z Bsp. 4.12: = a) xfX (x)dx Bsp. 4.11: RX [0] = E[|X[k]|2 ] = E[XX T ] = Aufgabe 4.15 ∞ −∞ Bsp. 4.11: E[(X − mX )(X − mX )T ] = E[XX T ] − mX mX T 1/4 1/4 Bsp. 4.11: 1/4 1/4 a (1 − a) 0 Bsp. 4.12: 0 a (1 − a) Bsp.4.11 : fX[k],X[k+1] (x, x′ ) = Bsp.4.12 : fX[k],X[k+1] (x, x′ ) = a2 δ(x)δ(x′ ) + a(1 − a)δ(x)δ(x′ − 1) E[X 2 [k]] E[X[k]X[k + 1]] E[X[k + 1]X[k]] E[X 2 [k + 1]] Kovarianzmatrix von X = (X[k], X[k + 1])T mit den zugehörigen Verbundwahrscheinlichkeitsdichten 1 1 δ(x)δ(x′ ) + δ(x − 1)δ(x′ − 1) 2 2 1 1 ′ δ(x) + δ(x − 1) = δ(x − x ) 2 2 i h i h E Z [. + k] Z [k] = E (X [. + k] + Y [. + k]) (X [k] + Y [k]) i h i h i h i h = E X [. + k] X [k] + E Y [. + k] Y [k] + E X [. + k] Y [k] + E Y [. + k] X [k] h i h i = RX [.] + RY [.] + E [X [. + k]] E Y [k] + E [Y [. + k]] E X [k] , (da X[.] und Y [.] statistisch unabhängig und schwach stationär) = RX [.] + RY [.] + mX mY + mY mX , (da X[.] und Y [.] schwach stationär) = RX [.] + RY [.] + 2Re (mX mY ) 2 ∀k ∈ Z h i Der Prozess Z[.] ist gleichfalls schwach stationär, da sowohl E [Z [k]] als auch E Z [. + k] Z [k] unabhängig von k sind. Aufgabe 4.18 Leistungsdichtespektrum Aufgabe 4.16 a) Aus Übung 4.14 wissen wir RX [n] = 1/2, n ∈ Z. Die z-Transformierte SX (z) = 1/2 ∞ X Stochastische Prozesse Gemäss Formel (4.121) auf Seite 100 im Skript ist U [.] ein schwach stationärer Prozess mit der Autokorrelationsfunktion RU [.] = σU2 δ[.] mit entsprechender z-Transformierten SU (z) = σU2 = 1. Für die z-Transformierte SX (z) der Autokorrelationsfunktion RX [.] des gefilterten Prozesses X[.] gilt (Skript S. 103): z −k SX (z) = SU (z)H(z)H c (z) k=−∞ existiert nicht, da ROC(RX ) = {z ∈ C : 1 < |z| < 1} = ∅. Mit den Formeln (1.157) und (1.158) für Ω0 = 0 und einem Skalierungsfaktor 12 kann man trotzdem ein Spektrum definieren: X SX (eiΩ ) = π δ(Ω − 2πn) = H(z)H c (z), wobei SX (z) aus RX [.] berechnet werden kann: SX (z) = z + 2 + z −1 . n∈Z b) Das Leistungsdichtespektrum SY (eiΩ ) des gefilterten weissen Rauschens ist gegeben durch: Wir suchen jetzt also ein Filter H(z), so dass H(z)H c (z) = z + 2 + z −1 . SY (eiΩ ) = |H(eiΩ )|2 SX (eiΩ ) = |1 − e−iΩ |2 σ 2 Die Lösung finden wir, indem wir SX (z) entsprechend faktorisieren: = (1 − e−iΩ )(1 − eiΩ )σ 2 SX (z) = (z + 1)(1 + z −1 ) = 2(1 − cos Ω)σ 2 Somit ist sowohl z + 1 als auch 1 + z −1 ein mögliches Filter. In der Aufgabenstellung wird jedoch ein kausales Filter H(z) verlangt. Somit gilt: mit dem ROC(RY )= {z ∈ C : 0 < |z| < ∞}. H(z) = 1 + z −1 . Leistungsdichtespektrum Aufgabe 4.17 Sei X[·] weisses Rauschen, dh. RX [k] = σ 2 δ[k] und folglich: SX (z) = σ 2 . Die z-Transformierte des gefilterten Prozess Y [·] = (X ∗ h)[·], ergibt sich aus Formel (4.149): Stochastischer Prozess Aufgabe 4.19 SY (z) = H(z)H(z)c SX (z) Da H(z) nur reelle Pole hat (β ∈ R), ist h[·] reell. Folglich ist H c (z) = H(z −1 ) und wir bekommen: n n n n β2 β2z βz −1 βz σ2 = σ2 = σ2 SY (z) = −1 −1 2 2 2 z−β z −β 1 − zβ − βz + β z − βz − β + zβ Um das Leistungsdichtespektrum zu erhalten, werten wir SY (z) auf dem Einheitskreis aus und erhalten: n n β 2 eiΩ β 2 eiΩ SY (eiΩ ) = σ2 = σ2 iΩ 2iΩ iΩ 2 iΩ 2iΩ iΩ 2 e − βe − β + e β e − βe − β + e β n n β2 β2 = σ2 σ2 = 1 − βeiΩ − βe−iΩ + β 2 1 + β 2 − β(eiΩ + e−iΩ ) n β2 σ2 = 2 1 + β − 2β cos(Ω) 3 a) U [k] ist reell und gleichverteilt zwischen −1 und +1: E [U [k]] = Z 1 u −1 1 du = 0 2 Var(U [k]) = E[U [k]2 ] − (E[U [k]])2 Z 1 1 u2 du − 0 = 2 −1 1 1 3 1 u = 2 3 −1 1 = 3 b) U [k] ist gleichverteilt zwischen −1 und +1. Der maximale Wert von |U [k]| ist also 1. 4 c) h und U sind reell, also ist Y auch reell. d) 2 Var(Y [k]) = E[Y [k] ] − (E[Y [k]]) ∞ X h[n]U [k − n] |Y [k]| = 2 Wir berechnen zuerst E[Y [k]]: E[Y [k]] = E " ∞ X h[n]U [k − n] n=−∞ ∞ X ≤ # ≤ n=−∞ =0 |h[n]||U [k − n]| n=−∞ ∞ X n=−∞ h[n]E[U [k − n]] = n=−∞ ∞ X Also haben wir: = E Y [k] ∞ X h[n]U [k − n] n=−∞ =E = = = = = " ∞ X h[n]Y [k]U [k − n] n=−∞ ∞ X n=−∞ ∞ X # # h[n]E[Y [k]U [k − n]] h[n]E n=−∞ ∞ X ∞ X " ∞ X h[l]U [k − l]U [k − n] l=−∞ # h[n]h[l]E[U [k − l]U [k − n]] n=−∞ l=−∞ ∞ X 2 h[n] E[(U [k − n])2 ] n=−∞ ∞ X h[n]2 n=−∞ ! Var(U [k]) In der vorletzten Zeile haben wir die Unabhängigkeit von U [k − n] und U [k − l] für ein fixiertes k benutzt: E[(U [k − n])2 ], für n = l E[U [k − l]U [k − n]] = 0, sonst. Bemerkung: Interessierte Studenten können nachprüfen, dass man das gleiche Ergebnis bekommt, falls E[U [k]] = mU 6= 0 ! 5 =1 Da h stabil ist, ist dieser maximal mögliche Wert endlich. Er ist erreicht wenn U [k − n] = sgn(h[n]) für alle n. wobei wir die Berechnung aus Frage a, E[U [k]] = 0 benutzt haben. Var(Y [k]) = E[Y [k]2 ] " ! |h[n]| max |U [k − n]| | {z } 6 Stochastischer Prozess Aufgabe 4.20 iii) k = 2: Y [2], Y [3] und Y [4] sind unabhängige Variablen, es gilt also: X[k] ist eine binäre Zufallsvariable mit der Dichte y2 −1 −1 −1 +1 −1 +1 +1 +1 1 fX[k] (xk ) = (δ (xk + 1) + δ (xk − 1)) 2 für alle k ∈ Z. Aus Y [3n] = X[2n] und Y [3n + 1] = X[2n + 1] folgt für die jeweiligen Dichtefunktionen fY [3n] (y3n ) = fX[2n] (y3n ) fY [3n+1] (y3n+1 ) = fX[2n+1] (y3n+1 ) a) i) k = 0: Wir machen eine Tabelle mit der Verbundwahrscheinlichtkeitsverteilung. y0 −1 −1 +1 +1 y1 −1 +1 −1 +1 sonst y2 +1 −1 −1 +1 P (Y [0] = y0 , Y [1] = y1 , Y [2] = y2 ) 1/4 1/4 1/4 1/4 0 y3 −1 −1 +1 −1 +1 −1 +1 +1 y4 −1 +1 −1 −1 +1 +1 −1 +1 P (Y [2] = y2 , Y [3] = y3 , Y [4] = y4 ) 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 fY [2],Y [3],Y [4] (y2 , y3 , y4 ) = fY [2] (y2 ) · fY [3] (y3 ) · fY [4] (y4 ) = 4 1Y δ (yn + 1) + δ (yn − 1) 8 n=2 b) Aus Teilaufgabe a) schliessen wir, dass der Prozess Y [.] nicht stationär ist, da fY [k],Y [k+1],Y [k+2] abhängig ist von k ist und somit die Eigenschaft in Definition 4.11 im Skript nicht erfüllt ist. Y [0] und Y [1] sind unabhängige Variablen. Bei gegebenen Werten für y0 und y1 ist y2 deterministisch bestimmt und wir erhalten c) Die Dichte fY [k] (yk ) ist unabhängig von k und für E[Y [k]] gilt: E[Y [k]] = 0 fY [0],Y [1],Y [2] (y0 , y1 , y2 ) = fY [0] (y0 ) · fY [1] (y1 ) · fY [2]|Y [1],Y [0] (y2 |y1 , y0 ) 1 1 = δ(y0 − 1) + δ(y0 + 1) · δ(y1 − 1) + δ(y1 + 1) · δ(y2 − y0 y1 ) 2 2 ii) k = 1: y1 −1 −1 −1 +1 −1 +1 +1 +1 y2 −1 −1 +1 −1 +1 −1 +1 +1 y3 −1 +1 −1 −1 +1 +1 −1 +1 P (Y [1] = y1 , Y [2] = y2 , Y [3] = y3 ) 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 Somit sind alle Eigenschaften aus Definition 4.12 im Skript erfüllt, Y [.] ist also schwach stationär. a) Unter der Annahme σ 2 = 0: 7 1 8 n=1 δ (yn + 1) + δ (yn − 1) i) Aus X[n] = βX[n − 1] wissen wir: X[n] = β n X[0]. Daher: E[X[n]] = β n E[X[0]] fY [1],Y [2],Y [3] (y1 , y2 , y3 ) = fY [1] (y1 ) · fY [2] (y2 ) · fY [3] (y3 ) = Stochastischer Prozess Aufgabe 4.21 Y [2] ist für unbestimmtes Y [0] eine freie Variable, und Y [3] ist unabhängig von Y [1] und Y [2]. Die Dichte kann also direkt aus den Randverteilungen von Y [1], Y [2], Y [3] bestimmt werden: 3 Y Y [k0 ] und Y [k1 ] sind unabhängig für alle k0 6= k1 , also gilt: E[Y [k + n]] · E[Y [k]] = 0, n 6= 0 E[Y [k + n] · Y [k]] = E[|Y [k]|2 ] = 1, n=0 E[X[k + n] · X[k]] = E[β k+n X[0] · β k X[0]] = β 2k+n E[|X[0]|2 ] 8 ii) Damit X[.] ein schwach stationärer Prozess ist, muss sowohl E[X[k]] als auch E[X[k+ n] · X[k]] für jedes n ∈ Z unabhängig von k sein. Für den gegebenen Prozess heisst das, E[X[0]] = 0 und E[|X[0]|2 ] = 0. Anders gesagt X[0] = 0 und damit X[k] = β k X[0] = 0 für alle k ∈ Z. b) Ab jetzt ist σ 2 wieder beliebig und X[.] schwach stationär. Welche Prozesse kommen in Frage? Suchen wir zuerst nach den Prozessen, die die Bedingung X[n] = βX[n − 1] + W [n] erfüllen. • Sei X ′ [.] das mit ii) Da H reell ist, gilt SX (z) = SW (z)H(z)H(z −1 ) 1 1 = σ2 −1 1 − βz 1 − βz SX (z) hat Pole an den Stellen z = β und z = β1 , somit folgt für β < 1 der ROC(RX ) = {z ∈ C : β < |z| < β1 } iii) Um SX (z) in den Zeitbereich zu transformieren, wenden wir die Partialbruchzerlegung (siehe Appendix A) an H(z) = 1 1 − βz −1 σ2 SX (z) =− z β gefilterte Rauschen W [.]. Da dann X ′ (z) = 1 1 − βz −1 =− W (z) ⇒ X ′ [n] = βX ′ [n − 1] + W [n] erfüllt X ′ [n] die Bedingung. X[n] = X ′ [n] + X ′′ [n] = βX ′ [n − 1] + W [n] + βX ′′ [n − 1] = β X ′ [n − 1] + X ′′ [n − 1] + W [n] β i) Wir wissen nun, dass X[.] das mit H(z) gefilterte Rauschen W [.] ist. Es gilt Gleichung (4.129): mX = mW ∞ X n=−∞ h[n] = 0 · ∞ X 1 z− 1 β A B + z − β z − β1 ! ! RX [0] = σ2 . 1 − β2 Leistungsdichtespektrum Aufgabe 4.22 Aus Gleichung (4.149) wissen wir SY (z) = SU (z)H(z)H c (z) = σU2 H(z)H c (z) = H(z)H c (z) h[n] = 0 n=−∞ wobei wir benutzt haben, dass die rechtsseitige Entwicklung von H(z) stabil ist (weil P∞ P β < 1), d.h. ∞ n=−∞ |h[n]| < ∞. n=−∞ h[n] ≤ 9 Die Rücktransformation in den Zeitbereich kann man gemäss Seite 31 im Skript durchführen, wobei zu beachten ist, dass der erste Term rechtsseitig und der zweite Term linksseitig entwickelt werden müssen. Einzig das rechtsseitige Signal hat einen von Null verschiedenen Wert and der Stelle n = 0 und wir erhalten = βX[n − 1] + W [n] Im Allgemeinen definiert die Bedingung also keinen eindeutigen stochastischen Prozess. Da aber auch vorgegeben wird, dass X[n] schwach stationär sein muss, folgt aus Teilaufgabe a) X ′′ [n] = 0 für alle n ∈ Z und deswegen muss X[.] = X ′ [.] das mit H(z) gefilterte Rauschen W [.] sein. Da W [.] schwach stationär ist, ist auch X[.] schwach stationär. 1 z−β 1 1 1 −β σ 2 β− β1 β + =− β z − β z − β1 ! σ2 1 1 = − 1 − β 2 z − β z − β1 ⇒ X ′ (z) = βX ′ (z)z −1 + W (z) • Sei X ′′ [n] ein reellwertiger stochastischer Prozess, welcher X ′′ [n] = βX ′′ [n − 1] erfüllt. Wir können zeigen, dass auch X[n] = X ′ [n] + X ′′ [n] die Bedingung erfüllt: σ2 ! = 5 z + z −1 − 4 2 Wir können H(z) finden, indem wir SY (z) entsprechend faktorisieren: 10 5 z + z −1 − 4 2 z −1 2 5 (z − z + 1) =− 2 2 −1 1 z (z − 2) z − =− 2 2 1 1 −1 z− = z − 2 2 ✲ ❥ ✲ z −1 ✻ SY (z) = woraus ein kausales H(z) = − 12 + z −1 r ✲ Einsetzen von H(z) ergibt für die Leistung: folgt. Sigma-Delta A/D-Wandler Aufgabe 4.23 GX (z) = PX a) (X(z) − Y (z)) H(z) = Y (z) ⇒ GX (z) = H(z) 1 + H(z) −Y (z)H(z) + W (z) = Y (z) ⇒ GW (z) = 1 1 + H(z) b) = = = 1 H(z) = 1 + H(z) z Z π n 1 SX (eiΩ )|GX (eiΩ )|2 dΩ 2π − π n Z π 1 2 n 1 SX (eiΩ ) iΩ dΩ 2π − π e n Z π n 1 iΩ SX (e )dΩ 2π − π n = Pin c) Das Leistungsdichtespektrum am Ausgang des Sigma-Delta Wandlers ist SY (eiΩ ) = SX (eiΩ )|GX (eiΩ )|2 + SW (eiΩ )|GW (eiΩ )|2 Da vor der Dezimation die Frequenzanteile ausserhalb des Nutzbandes |Ω| < π/n vom Tiefpassfilter abgeschnitten werden, ist die Leistung sowohl des Nutzsignals wie auch des Rauschens nur in diesem Band relevant. Mit Hilfe der Wiener-Khinchine Beziehung (4.155)(4.156) erhalten wir die Leistung in diesem Band als: Die Leistung des Nutzsignals am Ausgang entspricht im relevanten Band somit genau der Leistung Pin am Eingang des Sigma-Delta Wandlers. Für die Rauschleistung erhalten wir: GW (z) = PW PX 1 = 2π Z 1 2π Z PW = π n π −n π n π −n = iΩ 2 iΩ SX (e )|GX (e )| dΩ = SW (eiΩ )|GW (eiΩ )|2 dΩ und deren Verhältnis = = π n π −n π n π −n R SNR = R SX (eiΩ ) |GX (eiΩ )|2 dΩ SW (eiΩ ) |GW (eiΩ )|2 dΩ 1 = 1 − z −1 1 + H(z) Z π n 1 SW (eiΩ )|GW (eiΩ )|2 dΩ 2π − π n Z π n 1 σ 2 (1 − e−iΩ )(1 − eiΩ )dΩ 2π − π n Z π n 1 σ 2 (2(1 − cos Ω)) dΩ 2π − π n π 2σ 2 π − sin π n n Das weisse Rauschen wird also mit 2 · (1 − cos Ω) gefärbt, d.h. die Leistung des Quantisierungsrauschens wird zu höheren Frequenzen hin verschoben: z d) Aus der Normalform von H(z) = 1−z −1 (siehe Abbildung unten) ist ersichtlich, dass alle Eingangswerte aufsummiert werden und H(z) ein diskreter Integrator ist. −1 11 12 4 Discrete Memoryless Channel und bedingte Wahrscheinlichkeiten Aufgabe 4.25 3.5 2(1−cosΩ) 3 a) Wir wissen, A1 ∪ A2 = Ω und A1 ∩ A2 = ∅. 2.5 2 P (B1 ) = P (B1 ∩ A1 ) + P (B1 ∩ A2 ) 1.5 S (eiΩ) X 1 0.5 0 −0.5 −0.4 −0.3 −0.2 −0.1 0 Ω/2π 0.1 0.2 0.3 0.4 0.5 f /2 f /2 os s Analog: P (B3 ) = P (A1 ) · P (B3 |A1 ) + P (A2 ) · P (B3 |A2 ) = 0.24 Schliesslich ist das Verhältnis von Signalleistung zu Rauschleistung (SNR): SNR = 2σ 2 πPin π π n − sin n Der Nenner des SNR strebt für n → ∞ gegen Null. = P (A1 ) · P (B1 |A1 ) + P (A2 ) · P (B1 |A2 ) 1 1 = · 0.5 + · 0.02 = 0.26 2 2 P (B2 ) = P (A1 ) · P (B2 |A1 ) + P (A2 ) · P (B2 |A2 ) = 0.24 P (B4 ) = P (A1 ) · P (B4 |A1 ) + P (A2 ) · P (B4 |A2 ) = 0.26 (Kontrolle : P4 i=1 P (Bi ) = 1) b) Aus der einfachen Form (4.173) der Bayes’schen Regel folgt: 1 · 0.5 P (A1 ) · P (B1 |A1 ) = 2 = 0.962 P (B1 ) 0.26 1 · 0.34 P (A1 ) · P (B2 |A1 ) P (A1 |B2 ) = = 2 = 0.708 P (B2 ) 0.24 1 · 0.14 P (A1 ) · P (B3 |A1 ) = 2 = 0.292 P (A1 |B3 ) = P (B3 ) 0.24 1 · 0.02 P (A1 ) · P (B4 |A1 ) = 2 = 0.038 P (A1 |B4 ) = P (B4 ) 0.26 P (A1 |B1 ) = A posteriori Wahrscheinlichkeit Aufgabe 4.24 Der Übersicht halber werden an dieser Stelle die folgenden Abkürzungen für die Ereignisse gebraucht Ereignis Testperson krank Testperson nicht krank Test positiv Abkürzung K K P os c) Weil B2 ∩ B3 = ∅ ist, gilt: Mit der Bayes’schen Regel (4.173) kann die gesuchte Wahrscheinlichkeit ausgedrückt werden als P (P os|K)P (K) P (K|P os) = . P (P os) Der Wert der Wahrscheinlichkeit P (“Test positiv”) lässt sich mit den bedingten Wahrscheinlichkeiten bestimmen P (P os) = P (P os|K)P (K) + P (P os|K)P (K) = P (P os|K)P (K) + P (P os|K)(1 − P (K)) = 1 · 0.001 + 0.02 · (1 − 0.001) = 0.021. P (B2 ∪ B3 |A1 ) = P (B2 |A1 ) + P (B3 |A1 ) = 0.34 + 0.14 = 0.48 analog: P (B2 ∪ B3 |A2 ) = P (B2 |A2 ) + P (B3 |A2 ) = 0.14 + 0.34 = 0.48 Für die dritte Aufgabe setzen wir wieder die Bayes’sche Regel ein: P (A1 ) · P (B2 ∪ B3 |A1 ) P (A1 ) · P (B2 ∪ B3 |A1 ) = P (B2 ∪ B3 ) P (B2 ) + P (B3 ) 1 · 0.48 1 = 2 = 0.24 + 0.24 2 P (A1 |B2 ∪ B3 ) = So erhält man P (“Testperson krank”|“Test positiv”) = 13 1 · 0.001 = 0.048. 0.021 14