Formelsammlung: Stoch. Modelle und Signalverarbeitung

Stoffsammlung:
Stoch. Modelle und Signalverarbeitung
Stephan Senn
9. Februar 2005
ETH Zürich, D-ITET
Version 3.1
Text in LATEXgesetzt.
e-Mail: [email protected]
Homepage: www.ee.ethz.ch/ssenn/
INHALTSVERZEICHNIS
1
Inhaltsverzeichnis
1 Signale
1.1 Stabilität: Absolute Summierbarkeit von Signalen .
1.2 Endliche Energie: Quadratische Summierbarkeit von
1.3 Beschränkte Signale . . . . . . . . . . . . . . . . . .
1.4 Kausale Signale . . . . . . . . . . . . . . . . . . . .
1.5 Signalklassen . . . . . . . . . . . . . . . . . . . . .
1.6 Faltung . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . .
Signalen .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
2 Systeme
2.1 Systemeigenschaften . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Linearität . . . . . . . . . . . . . . . . . . . . . . . .
2.1.2 Zeitinvarianz . . . . . . . . . . . . . . . . . . . . . .
2.1.3 BIBO-Stabilität (Bounded Input Bounded Output Stability) . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.4 Kausalität . . . . . . . . . . . . . . . . . . . . . . . .
2.1.5 Realisierbarkeit . . . . . . . . . . . . . . . . . . . . .
2.1.6 LTI-Systeme (Linear Time Invariant Systems) . . . .
2.1.7 Gedächtnis . . . . . . . . . . . . . . . . . . . . . . .
2.1.8 Invertierbarkeit . . . . . . . . . . . . . . . . . . . . .
2.2 Eigenschaften von LTI-Systemen . . . . . . . . . . . . . . .
2.2.1 Kausalität . . . . . . . . . . . . . . . . . . . . . . . .
2.2.2 BIBO-Stabilität . . . . . . . . . . . . . . . . . . . . .
3 Die
3.1
3.2
3.3
3.4
Z-Transformation
Definition . . . . . . . . . . .
Eigenschaften . . . . . . . . .
Anfangs- und Endwerttheorem
Umkehrformel . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
für kausale Signale
. . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
6
6
6
6
7
7
.
.
.
9
9
9
9
.
.
.
.
.
.
.
.
.
9
9
10
10
10
10
10
10
10
.
.
.
.
11
11
11
11
12
4 Komplexe Analysis
12
4.1 Satz von Cauchy und Hadamard . . . . . . . . . . . . . . . . . 12
4.2 Konvergenz von Laurent-Reihen . . . . . . . . . . . . . . . . . 12
4.3 Analytische Funktionen . . . . . . . . . . . . . . . . . . . . . . 13
5 Normalformen und Faltungsalgorithmen
13
6 Zeitdiskret und kontinuierlich
15
6.1 Transformationen im Überblick . . . . . . . . . . . . . . . . . 15
6.2 Das Spektrum eines Signals . . . . . . . . . . . . . . . . . . . 15
6.3 Laplace- und Z-Transformation . . . . . . . . . . . . . . . . . 15
INHALTSVERZEICHNIS
2
6.4 Zeitkont. und zeitdiskrete Fourierransformation . . . .
6.5 Amplitudengang . . . . . . . . . . . . . . . . . . . . .
6.6 Konvergenzgebiete . . . . . . . . . . . . . . . . . . . .
6.7 Konvergenzbetrachtungen . . . . . . . . . . . . . . . .
6.7.1 Bei der Laplacetransformation . . . . . . . . . .
6.7.2 Bei der Z-Transformation . . . . . . . . . . . .
6.8 Stabilitätsbetrachtungen . . . . . . . . . . . . . . . . .
6.8.1 Beliebige Signale . . . . . . . . . . . . . . . . .
6.8.2 Rechtsseitige Signale . . . . . . . . . . . . . . .
6.8.3 Linksseitige Signale . . . . . . . . . . . . . . . .
6.9 Umwandlung zeitdiskreter in zeitkontinuierliche Signale
6.10 Abtastung . . . . . . . . . . . . . . . . . . . . . . . . .
6.11 Nyquist-Shannon Abtasttheorem . . . . . . . . . . . .
6.11.1 Definition . . . . . . . . . . . . . . . . . . . . .
6.11.2 Anwendung . . . . . . . . . . . . . . . . . . . .
6.11.3 Dezimation, Interpolation und Umrechnung
der Abtastrate . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
17
17
17
18
18
18
19
19
19
20
20
21
22
22
22
. . . . 23
7 Filterdesign
7.1 FIR-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2 IIR-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2.1 Design . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2.2 Butterworth-Filter . . . . . . . . . . . . . . . . . . .
7.2.3 Beziehung zwischen Hoch- und Tiefpassfilter . . . . .
7.3 Inverse zeitdiskrete Filter . . . . . . . . . . . . . . . . . . . .
7.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . .
7.3.2 Berechnung . . . . . . . . . . . . . . . . . . . . . . .
7.3.3 Regeln . . . . . . . . . . . . . . . . . . . . . . . . . .
7.3.4 Grundsatz der inversen Filter . . . . . . . . . . . . .
7.4 Egalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.4.1 Problemstellung . . . . . . . . . . . . . . . . . . . . .
7.4.2 Das klassische lineare Egalisationsverahren . . . . . .
7.4.3 Decision-Feedback Equalizer (DFE), ein nicht-lineares
Egalisationsverfahren . . . . . . . . . . . . . . . . . .
8 Grundbegriffe der Wahrscheinlichkeitstheorie
8.1 Die Axiome von Kolmogorov . . . . . . . . . .
8.2 Zufallsgrössen . . . . . . . . . . . . . . . . . .
8.3 Funktionen von Zufallsgrössen . . . . . . . . .
8.4 Wahrscheinlichkeitsdichte und
Verteilungsfunktion . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
24
25
26
26
26
26
27
27
27
27
27
28
28
28
. 29
31
. . . . . . . . . 31
. . . . . . . . . 32
. . . . . . . . . 32
. . . . . . . . . 32
INHALTSVERZEICHNIS
8.5 Verbundwahrs. und Verbundverteilungsfunktion . . .
8.6 Randverteilungen und Randdichten . . . . . . . . . .
8.7 Erwartungswert . . . . . . . . . . . . . . . . . . . . .
8.7.1 Erwartungswert einer Zufallsgrösse . . . . . .
8.7.2 Erwartungswert eines Zufallsvektors . . . . . .
8.7.3 Erwartungswert einer komplexen Zufallsgrösse
8.7.4 Wichtige Beziehungen . . . . . . . . . . . . .
8.8 Varianz und Korrelation . . . . . . . . . . . . . . . .
8.8.1 Moment einer Zufallsvariable . . . . . . . . .
8.8.2 Definition . . . . . . . . . . . . . . . . . . . .
8.8.3 Varianz einer komplexen Zufallsvariable . . . .
8.8.4 Korrelation und Kovarianz . . . . . . . . . . .
8.8.5 Varianz und Korrelation eines Zufallsvektors .
8.9 Unabhängigkeit und Korrelation . . . . . . . . . . . .
8.10 Bedingte Wahrscheinlichkeit . . . . . . . . . . . . . .
8.11 Formel von Bayes . . . . . . . . . . . . . . . . . . . .
8.11.1 Bei diskreten Zufallsgrössen . . . . . . . . . .
8.11.2 Bei reellen Zufallsgrössen . . . . . . . . . . . .
8.12 Totale Wahrscheinlichkeit . . . . . . . . . . . . . . .
8.12.1 Bei diskreten Zufallsgrössen . . . . . . . . . .
8.12.2 Bei reellen Zufallsgrössen . . . . . . . . . . . .
8.13 Totaler Erwartungswert . . . . . . . . . . . . . . . .
8.13.1 Bei diskreten Zufallsgrössen . . . . . . . . . .
8.13.2 Bei reellen Zufallsgrössen . . . . . . . . . . . .
8.14 Gegenüberstellung: Diskrete und reelle Zufallsgrössen
3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
9 Stochastische Prozesse
9.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . .
9.2 Stationarität . . . . . . . . . . . . . . . . . . . . . . . . .
9.2.1 Strikt stationäre Prozesse . . . . . . . . . . . . .
9.2.2 Schwach stationäre Prozesse . . . . . . . . . . . .
9.3 Mittelwert eines stoch. Prozesses . . . . . . . . . . . . .
9.4 Auto- und Kreuzkorrelationsfunktion, mittlere Leistung
stationäre Prozesse . . . . . . . . . . . . . . . . . . . . .
9.5 Lineare Filterung eines schwach stationären Prozesses . .
9.5.1 Problemstellung . . . . . . . . . . . . . . . . . . .
9.5.2 Z-Transformation der Übertragungsfunktion . . .
9.6 Wiener-Khinchine-Beziehung . . . . . . . . . . . . . . . .
9.7 Weisses Rauschen . . . . . . . . . . . . . . . . . . . . . .
9.8 Whitening Filter . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. .
. .
. .
. .
. .
für
. .
. .
. .
. .
. .
. .
. .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
33
34
34
34
34
35
35
35
35
35
36
36
36
37
38
38
39
39
39
39
39
40
40
40
40
.
.
.
.
.
41
41
41
42
42
43
.
.
.
.
.
.
.
43
43
43
44
44
45
45
INHALTSVERZEICHNIS
4
10 Entscheidungs- und Schätztheorie
10.1 Grundproblem . . . . . . . . . . . . . . . . . . . . .
10.2 Entscheidungs- und Schätzregeln . . . . . . . . . .
10.3 Schätzregeln . . . . . . . . . . . . . . . . . . . . . .
10.3.1 Bayes’sche Schätzregel . . . . . . . . . . . .
10.3.2 LMMSE-Schätzung . . . . . . . . . . . . . .
10.3.3 Maximum-Likelihood-Schätzung . . . . . . .
10.4 Entscheidungsregeln . . . . . . . . . . . . . . . . .
10.4.1 Bayes’sche Entscheidungsregel . . . . . . . .
10.4.2 MAP-Entscheidungsregel . . . . . . . . . . .
10.4.3 Maximum-Likelihood-Entscheidungsregel . .
10.5 Entscheidungsgebiete und Fehlerwahrscheinlichkeit
.
.
.
.
.
.
.
.
.
.
.
45
45
45
46
46
46
47
47
47
47
48
48
11 Stochastische Filter
11.1 Wiener-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.2 LMMSE-Egalisation . . . . . . . . . . . . . . . . . . . . . . .
11.3 Adaptive Filter: LMS-Algorithmus . . . . . . . . . . . . . . .
48
48
49
50
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
12 Trellis Algorithmen und Diagramme
51
12.1 Trellis-Diagramme . . . . . . . . . . . . . . . . . . . . . . . . 51
12.2 Viterbi-Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . 51
12.2.1 Min-Summe-Version . . . . . . . . . . . . . . . . . . . 51
12.2.2 Max-Produkt-Version . . . . . . . . . . . . . . . . . . . 52
12.3 Wahrscheinlichkeitsmodelle mit den Trellis-Diagrammen . . . 53
12.3.1 ML-Entscheidungsregel für einen Pfad . . . . . . . . . 55
12.3.2 MAP-Entscheidungsregel für einen Pfad . . . . . . . . 55
12.3.3 Entscheidungsprobleme mit Hilfe des Viterbi-Algorithmus 56
A Matrizen
A.1 Spezielle Matrizen . . . . . . .
A.2 Transponieren . . . . . . . . .
A.3 Konjugiert komplexe Matrizen
A.4 Hermitesche Konjugation . . .
B Dezibel
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
57
57
57
57
57
58
C Ein Vergleich: Fourierreihen und zeitdiskrete Fouriertransformation
58
D Spezielle Grenzwerte
58
ABBILDUNGSVERZEICHNIS
5
Abbildungsverzeichnis
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Realisierung der Übertragungsfunktion H(z) [1] . . . . . . . .
Regelungsnormalform (Controller Canonical Form) der Übertragungsfunktion H(z) [1] . . . . . . . . . . . . . . . . . . . .
Beobachternormalform (Observer Canonical Form) der Übertragungsfunktion H(z) [1] . . . . . . . . . . . . . . . . . . . .
Umwandlung eines zeitdiskreten Signals in ein zeitkontinuierliches Signal [1] . . . . . . . . . . . . . . . . . . . . . . . . . .
Abbildung z = esT [1] . . . . . . . . . . . . . . . . . . . . . . .
Ein Übertragungskanal mit Rauschen [1] . . . . . . . . . . . .
Decision-Feedback Equalizer (DFE) [1] . . . . . . . . . . . . .
Mögliche DFE-Realisierung (ohne Entscheidungsglied) [1] . . .
Stochastische Prozesse [3] . . . . . . . . . . . . . . . . . . . .
Entscheidungs- und Schätzproblem [1] . . . . . . . . . . . . .
Egalisationsproblem [1] . . . . . . . . . . . . . . . . . . . . . .
Fixpunktiteration beim LMS-Algorithmus . . . . . . . . . . .
Beispiel eines Trellis-Diagramms [1] . . . . . . . . . . . . . . .
Beispiel zur Min-Summe-Version des Viterbi-Algorithmus [1] .
Beispiel zur Max-Produkt-Version des Viterbi-Algorithmus [1]
14
14
14
21
21
28
30
30
42
46
50
51
54
54
54
Tabellenverzeichnis
1
2
3
Alle Transformationen im Überblick (I) . . . . . . . . . . . . . 16
Alle Transformationen im Überblick (II) . . . . . . . . . . . . 16
Alle Transformationen im Überblick (III) . . . . . . . . . . . . 16
1 SIGNALE
1
1.1
6
Signale
Stabilität: Absolute Summierbarkeit von Signalen
Ein zeitdiskretes reelles oder komplexes Signal f[k] ist stabil, falls f[k] absolut
summierbar ist:
∞
X
|f [k]| < ∞
k=−∞
Ein zeitkontinuierliches reelles oder komplexes Signal f(t) ist stabil, falls f(t)
absolut integrierbar ist:
Z
∞
|f [t]| dt < ∞
−∞
1.2
Endliche Energie: Quadratische Summierbarkeit von
Signalen
Ein zeitdiskretes reelles oder komplexes Signal f[k] hat endliche Energie, falls
f[k] quadratisch summierbar ist:
∞
X
|f [k]|2 < ∞
k=−∞
Ein zeitkontinuierliches reelles oder komplexes Signal f(t) hat endliche Energie, falls f(t) quadratisch integrierbar ist:
Z ∞
|f [t]|2 dt < ∞
−∞
1.3
Beschränkte Signale
Ein zeitdiskretes reelles oder komplexes Signal f[k] heisst beschränkt, falls
gilt:
|f [k]| < b, ∀k ∈ R
Ein kontinuierliches reelles oder komplexes Signal f(t) heisst beschränkt, falls
gilt:
|f (t)| < b, ∀t ∈ R
1.4
Kausale Signale
Ein zeitkontinuierliches Signal f (t) ist kausal, falls f (t) = 0 für t < 0.
Ein zeitdiskretes Signal f [k] ist kausal, falls f [k] = 0 für k < 0.
1 SIGNALE
1.5
7
Signalklassen
Für die Definitionsmenge der zeitdiskreten Signale gilt:
• `1R [Z]: Menge der reellen absolut summierbaren Signale
• `2R [Z]: Menge der reellen quadratisch summierbaren Signale
• `∞
R [Z]: Menge der reellen beschränkten Signale
• `1C [Z]: Menge der komplexen absolut summierbaren Signale
• `2C [Z]: Menge der komplexen quadratisch summierbaren Signale
• `∞
C [Z]: Menge der komplexen beschränkten Signale
Für die Definitionsmenge der zeitkontinuierlichen Signale gilt:
• `1R (R): Menge der reellen absolut summierbaren Signale
• `2R (R): Menge der reellen quadratisch summierbaren Signale
• `∞
R (R): Menge der reellen beschränkten Signale
• `1C (R): Menge der komplexen absolut summierbaren Signale
• `2C (R): Menge der komplexen quadratisch summierbaren Signale
• `∞
C (R): Menge der komplexen beschränkten Signale
Allgemein gilt für reelle zeitdiskrete und zeitkontinuierliche Signale:
`1R ⊂ `2R ⊂ `∞
R
Allgemein gilt für komplexe zeitdiskrete und zeitkontinuierliche Signale:
`1C ⊂ `2C ⊂ `∞
C
1.6
Faltung
Für die Faltung zweier reeller oder komplexer zeitdiskreter Signale f[k] und
g[k] gilt:
X
X
f [n] ∗ g[n] = (f ∗ g)[n] =
f [k]g[n − k] =
f [n − k]g[k]
k∈Z
k∈Z
1 SIGNALE
8
Für die Faltung zweier reeller oder komplexer zeitkontinuierlicher Signale f(t)
und g(t) gilt:
Z −∞
Z ∞
f (t − τ )g(τ )dτ
f (τ )g(t − τ )dτ =
f (t) ∗ g(t) = (f ∗ g)(t) =
−∞
∞
Für die Faltung gelten zudem folgende Eigenschaften:
• Kommutativität: f ∗ g = g ∗ f
• Assoziativität: (f ∗ g) ∗ h = f ∗ (g ∗ h)
• Distributivität: f ∗ (g + h) = (f ∗ g) + (f ∗ h)
• Assoziativität der skalaren Multiplikation:
c · (f ∗ g) = (c · f ) ∗ g = f ∗ (c · g) mit c ∈ C
• Ableitungsregel: (f ∗ g)0 = f 0 ∗ g = f ∗ g 0
Das Faltungstheorem besagt:
• (f ∗ g)(t) = F (s) · G(s) bzw. (f ∗ g)(t) = F (jω) · G(jω)
• (f ∗ g)[n] = F (z) · G(z) bzw. (f ∗ g)[n] = F (ejΩ ) · G(ejΩ )
Für die Faltung einer Funktion f mit dem Dirac-Stoss δ oder dem Einheitssprung σ gilt:
• (f ∗ δ)(t) = f (t) bzw. (f ∗ δ)[n] = f [n]
Rt
P
• (f ∗ σ)(t) = −∞ f (τ )dτ bzw. (f ∗ σ)[n] = nk=−∞ f [k]
Weiter gilt der folgende Zusammenhang für h := f ∗ g:
• f und g sind rechtsseitig =⇒ h ist auch rechtsseitig
• f und g sind linksseitig =⇒ h ist auch linksseitig
• f und g sind kausal =⇒ h ist auch kausal
• f und g sind quadratisch summierbar =⇒ h ist auch quadratisch summierbar
• f ist beschränkt und g ist quadratisch summierbar =⇒ h ist beschränkt
• f ist beliebig und g ist von endlicher Dauer =⇒ h ist wohldefiniert
2 SYSTEME
2
2.1
9
Systeme
Systemeigenschaften
Gegeben sei das System S. Es gilt: S{f (t)} = g(t). Diese Eigenschaften gelten
sowohl für zeitkontinuierliche als auch für zeitdiskrete Systeme.
2.1.1
Linearität
Ein System ist linear, wenn das Superpositionsprinzip gilt:
S{α1 f1 (t)+α2 f2 (t)} = α1 S{f1 (t)}+α2 S{f2 (t)} = α1 g1 (t)+α2 g2 (t)
S
(
X
αk ∈ C
)
αk fk (t)
k
=
X
αk S{fk (t)} =
k
X
αk gk (t)
k
Eine direkte Konsequenz der Linearität ist: S{0} = 0.
2.1.2
Zeitinvarianz
Zeitliche Verzögerungen des Eingangssignals bewirken bei Zeitinvarianz eine
ebenso grosse zeitliche Verzögerung des Ausgangssignals. Es gilt also:
S{f (t − t0 )} = g(t − t0 )
2.1.3
BIBO-Stabilität (Bounded Input Bounded Output Stability)
Falls das Ausgangssignal bei jedem beliebigen beschränkten Eingangssignal
f (t) immer beschränkt bleibt, wird das System (BIBO-) stabil bezeichnet.
|f (t)| ≤ Bf ⇒ |g(t)| ≤ Bg
2.1.4
Kausalität
Ein System heisst kausal, wenn das Ausgangssignal g(t) in einem bestimmten
Zeitpunkt t0 ausschliesslich vom vergangenen Eingangssignal f (t) für t ≤ t0
abhängt. g(t) ist somit unabhängig vom Verlauf von f (t) für t ≥ t0 . Es gilt
also:
g(t) = S{f (t), t ≤ t0 }
Merke: Echtzeitrealisierungen (online) sind immer kausal. Nur dort wo Daten zwischengespeichert werden, sind akausale Systeme möglich (OfflineDatenverarbeitung).
2 SYSTEME
2.1.5
10
Realisierbarkeit
Systeme, die stabil als auch kausal sind, werden als realisierbar bezeichnet.
2.1.6
LTI-Systeme (Linear Time Invariant Systems)
Systeme, die linear als auch zeitinvariant sind, werden LTI-Systeme genannt.
LTI-Systeme besitzen immer eine Impuls- und eine Schrittantwort. Existiert
die Impuls- und Schrittantwort eines Systems, so ist das System ein LTISystem. Im anderen Fall ist das System kein LTI-System.
2.1.7
Gedächtnis
Bei gedächtnislosen Systemen hängt das Ausgangssignal nur vom momentanen Wert des Eingangssignals ab. Bei Systemen mit Gedächtnis beeinflusst
auch die Vorgeschichte des Eingangssignals das Ausgangssignal. Es gilt also:
• Gedächtnisloses System: g(t) = S{f (t)}
• System mit Gedächtnis: g(t) = S{f (t − n)} mit n > 0
2.1.8
Invertierbarkeit
Bei invertierbaren Systemen lässt sich vom Ausgangssignal auf das Eingangssignal zurückschliessen.
f (t) ⇔ g(t) mit f (t) 6= 0, ∀t S ist invertierbar!
2.2
2.2.1
Eigenschaften von LTI-Systemen
Kausalität
Ein LTI-System ist dann kausal, wenn seine Stossantwort h(t) ein kausales
Signal ist. Es gilt also:
h(t) = 0 für t < 0 bzw. h[k] = 0 für k < 0
Dies folgt direkt ausR der Faltung des Systems h(t) mit dem Eingang u(t):
+∞
y(t) = (h ∗ u)(t) = −∞ h(τ ) · u(t − τ )dτ ⇒ h(t) = 0 für t < 0
2.2.2
BIBO-Stabilität
Ein zeitdiskretes oder zeitkontinuierliches reelles oder komplexes LTI-System
ist geanu dann BIBO-stabil, wenn seine Stossantwort h[k] bzw. h(t) ein stabiles Signal (d.h. absolut summierbar bzw. integrierbar) ist.
3 DIE Z-TRANSFORMATION
3
11
Die Z-Transformation
3.1
Definition
Die zweiseitige Z-Transformation eines reellen oder komplexen zeitdiskreten
Signals f [k] lautet:
f [k] =⇒ F (z)
∞
X
F (z) :=
f [k]z −k
k=−∞
Für die Rücktransformation ergibt sich ein komplexes Linienintegral:
F (z) =⇒ f [k]
I
1
F (z)z k−1 dz
f [k] :=
2πj C
3.2
Eigenschaften
Die wichtigsten Eigenschaften der zweiseitigen Z-Transformation sind:
• f [k + k0 ] ⇐⇒ z k0 F (z)
• k · f [k] ⇐⇒ −z ·
dF (z)
dz
• f ∗ [k] ⇐⇒ F ∗ (z ∗ )
• f [−k] ⇐⇒ F (z −1 )
• f [k] + g[k] ⇐⇒ F (z) + G(z)
• c · f [k] ⇐⇒ c · F (z) mit c ∈ C
3.3
Anfangs- und Endwerttheorem für kausale Signale
Wenn f [k] ein kausales Signal ist, dann gilt:
lim f [k] = lim F (z)
k→0
|z|→∞
Wenn f [k] ein rationales kausales Signal ist, sodass limk→∞ f [k] existiert,
dann gilt:
lim f [k] = lim(z − 1)F (z)
f [k]→∞
z=1
4 KOMPLEXE ANALYSIS
3.4
12
Umkehrformel
Die Rücktransformation lautet:
1
f [k] :=
2πj
I
F (z)z k−1 dz
C
Dies ist ein geschlossenes komplexes Linienintegral. Für die Berechnung wählt
man einen beliebigen Weg im komplexen Gebiet: z.B. z = r ·ejΩ . Daraus folgt
dann:
Z 2π
1
F (rejΩ )rk ejΩk dΩ
f [k] :=
2π 0
Nun lässt sich das Integral nach den klassischen Regeln der mathematischen
Kunst berechnen.
4
4.1
Komplexe Analysis
Satz von Cauchy und Hadamard
Gegeben sei eine Potenzreihe C(x):
C(x) :=
∞
X
ck xk
x, ck ∈ C
k=0
Für den Konvergenzradius gilt dann:
−1
1
r = lim sup |ck | k
k→∞
Mehr Informationen zum ’Limes superior’ findet man im Anhang in Abschnitt D auf S.58. Es gilt nun:
Die Potenzreihe konvergiert absolut für |x| < r, und sie divergiert für |x| > r. Der Fall |x| = r wird bewusst offen gelassen. Hier
kann alles passieren.
Unter absoluter Konvergenz einer Reihe versteht man die Konvergenz
des Absolutbetrages der Glieder einer Folge.
4.2
Konvergenz von Laurent-Reihen
Gegeben sei die folgende Laurent-Reihe L(x):
L(x) =
∞
X
k=−∞
ck xk
x, ck ∈ C
5 NORMALFORMEN UND FALTUNGSALGORITHMEN
13
Man zerlegt diese Reihe wie folgt:
L(x) =
∞
X
c−k x−k +
k=1
∞
X
ck xk = L− (x) + L+ (x)
k=0
Für die Konvergenzradien gilt nun:
1
• Konvergenzradius von L− (x): r− = lim supk→∞ |ck | k
−1
1
• Konvergenzradius von L+ (x): r+ = lim supk→∞ |ck | k
Damit gilt für den Konvergenzbereich von |x|:
r− < |x| < r+
Daraus folgt:
Eine Laurent-Reihe konvergiert im Innern eines Kreisringes um
den Ursprung und divergiert ausserhalb dieses Kreisrings.
4.3
Analytische Funktionen
Eine Funktion f (z) ist analytisch, wenn gilt:
• Das Definitionsgebiet von f (z) ist eine zusammenhängende offene Teilmenge von C.
• Die Cauchy-Riemann’sche Differentialgleichung ist erfüllt:
∂f (x+jy)
= j ∂f (x+jy)
mit x, y ∈ R.
∂y
∂x
5
Normalformen und Faltungsalgorithmen
Eine beliebige Übertragungsfunktion habe die folgende Form:
H(z) =
a0 z n + a1 z n−1 + · · · + an
z n + b1 z n−1 + · · · + bn
Die Abbildungen 1, 2 und 3 auf S.14 zeigen drei Realisierungen der
Übertragungsfunktion H(z). Man beachte, dass die z−1- bzw. leeren Komponenten Speicherglieder darstellen. In der Praxis wird meist die Realisierung
in Abbildung 1 verwendet.
5 NORMALFORMEN UND FALTUNGSALGORITHMEN
14
Abbildung 1: Realisierung der Übertragungsfunktion H(z) [1]
Abbildung 2: Regelungsnormalform (Controller Canonical Form) der Übertragungsfunktion H(z) [1]
Abbildung 3: Beobachternormalform (Observer Canonical Form) der Übertragungsfunktion H(z) [1]
6 ZEITDISKRET UND KONTINUIERLICH
6
15
Zeitdiskret und kontinuierlich
6.1
Transformationen im Überblick
Die Tabellen 1, 2 und 3 auf S.16 geben einen Überblick über wichtige Eigenschaften folgender Transformationen:
• Fouriertransformation (FT)
• Laplacetransformation (LT)
• Zeitdiskrete Fouriertransformation
• Z-Transformation (ZT)
• Diskrete Fouriertransformation
Man beachte, dass hier die zweiseitige Form der Transformationen betrachtet
wird.
6.2
Das Spektrum eines Signals
Für das Spektrum eines zeitkontinuierlichen Signals f (t) gilt:
F (jω) = F (s)|s=jω
Für das Spektrum eines zeitdiskreten Signals f [k] gilt:
F (ejΩ ) = F (z)|z=ejΩ
6.3
Laplace- und Z-Transformation
Zwischen der Laplace- und der Z-Transformation gilt folgender fundamentale
Zusammenhang:
z = esT
Eine gute Approximation, um vom Z- in den Laplace-Bereich und umgekehrt
zu gelangen, stellt die bilineare Transformation dar. Sie lautet:
s=
2 z−1
·
T z+1
z=−
s + 2/T
s − 2/T
Damit gilt für die Transformation eines Systems H(s) vom s- in den zBereich:
G(z) = H(s)|s= 2 · z−1
T z+1
6 ZEITDISKRET UND KONTINUIERLICH
Transformation
Fouriertransformation (FT)
Laplacetransformation (LT)
Zeitdiskrete Fouriertransf.
Z-Transformation (ZT)
Diskrete Fouriertransf. (DFT)
Zeitachse
R
R
Z
Z
Z mod N
16
Frequenzachse
R
C
R mod 2π
C
Z mod N
AbbildungR
∞
F (jω) :=R −∞ f (t)e−jωt dt
∞
F (s) := −∞ f (t)e−st dt
P∞
−jΩn
F (ejΩ ) :=
P∞ n=−∞ f [n]e
F (z) := n=−∞ f [n]z −n
P −1
−j2πkn
N
F [n] := N
k=0 f [k]e
Tabelle 1: Alle Transformationen im Überblick (I)
Transformation
Fouriertransformation (FT)
Laplacetransformation (LT)
Zeitdiskrete Fouriertransf.
Z-Transformation (ZT)
Diskrete Fouriertransf. (DFT)
Beziehung
F (jω) = F (s)|s=jω
F (esT ) = F (z)|z=esT
F (ejΩ ) = F (z)|z=ejΩ
F [n] = F (ejΩ )|Ω= 2πn
N
Rücktransformation
R∞
1
f (t) := 2π
F (jω)ejωt dω
−∞
R
σ+j∞
1
f (t) := 2πj
F (s)est ds
σ−j∞
R
π
1
jΩ jΩk
)e dΩ
f [k] := 2π
H−π F (e k−1
1
f [k] := 2πj C F (z)z dz
P −1
j2πkn
N
f [k] := N1 N
n=0 F [n]e
Tabelle 2: Alle Transformationen im Überblick (II)
Transformation
Fouriertransformation (FT)
Laplacetransformation (LT)
Zeitdiskrete Fouriertransf.
Z-Transformation (ZT)
Stabilität
f (t) ist stabil, also absolut integierbar.
ROC(f ) enthält die imaginäre Achse.
f [k] ist stabil, also absolut summierbar.
ROC(f ) enthält den Einheitskreis.
Tabelle 3: Alle Transformationen im Überblick (III)
6 ZEITDISKRET UND KONTINUIERLICH
6.4
17
Zeitkont. und zeitdiskrete Fourierransformation
Zwischen der zeitkontinuierlichen und der zeitdiskreten Fouriertransformation gilt folgender fundamentale Zusammenhang:
Ω=ω·T
Mit Hilfe der bilinearen Transformation und z = ejΩ sowie s = jω gilt:
2
ωT
Ω
−1
ω = tan
Ω = 2 tan
T
2
2
Damit gilt für die Transformation eines Systems H(jω) vom jω- in den ejΩ Bereich:
G(ejΩ ) = H(jω)|ω= 2 tan Ω/2
T
6.5
Amplitudengang
Der Amplitudengang |H| einer Übertragungsfunktion H lässt sich immer
aus dem Pol-Nullstellen-Diagramm herauslesen. Es sei H(r) eine allgemeine
Übertragungsfunktion:
Qm
(r − zk )
mit
r = {z, s, ejΩ , jω}
H(r) = c · Qk=1
n
(r
−
p
)
i
i=1
pi sind die Polstellen und zk die Nullstellen der Übertragungsfunktion H(r).
Für den Amplitudengang gilt dann:
Qm
|r − zk |
|H(r)| = |c| · Qk=1
n
i=1 |r − pi |
6.6
Konvergenzgebiete
Konvergenzgebiet wird auf engl. Region of Convergence, kurz ROC, bezeichnet. Das Konvergenzgebiet eines Signals s wird mit ROC(s) bezeichnet.
Es seien f und g zwei beliebige Signale (kontinuierlich oder diskret).
Für das Konvergenzgebiet der Laplace- oder der Z-Transformation gilt:
• Addition: ROC(f + g) ⊇ ROC(f ) ∩ ROC(g)
• Multiplikation mit einem Skalar: ROC(af ) = ROC(f ) für a 6= 0
und a ∈ C
• Faltung: ROC(f ∗ g) ⊇ ROC(f ) ∩ ROC(g)
6 ZEITDISKRET UND KONTINUIERLICH
18
• Zeitverschiebung: h(t) = f (t − τ ) bzw. h[k] = f [k − m],
ROC(h) = ROC(f )
Für die Zeitumkehrung gilt:
• bei der Laplacetransformation: H(s) = F (−s),
ROC(f ) = {s ∈ C : σ1 < <{s} < σ2 } =⇒
ROC(h) = {s ∈ C : −σ2 < <{s} < −σ1 }.
• bei der Z-Transformation: H(z) = F (z −1 ),
ROC(f ) = {z ∈ C : r1 < |z| < r2 } =⇒
ROC(h) = {z ∈ C : 1/r2 < |z| < 1/r1 }.
6.7
Konvergenzbetrachtungen
6.7.1
Bei der Laplacetransformation
Man zerlegt die Laplacetransformation wie folgt:
Z +∞
Z 0
−st
F (s) =
f (t) · e dt +
f (t) · e−st dt
−∞
0
Damit nun das Laplaceintegral existiert, muss die Exponentialfunktion abklingen. Es muss nun für den Exponenten von e eine Bedingung formuliert
werden, sodass das Integral existiert bzw. abklingt. Dies ist nicht immer
möglich. Zudem muss die Funktion f (t) langsamer ansteigen als die Exponentialfunktion abfällt, was im allgemeinen Fall fast immer der Fall ist. Man
erhält also zwei Bedingungen für das Konvergenzgebiet:
R +∞
• ROC1 : 0 f (t) · e−b(s)t dt ⇒ b(s) > 0
R0
• ROC2 : −∞ f (t) · e−b(s)t dt ⇒ b(s) < 0
Die Schnittmenge der beiden Konvergenzgebiete ROC1 und ROC2 ergibt den
gesuchten Konvergenzbereich ROC = ROC1 ∩ ROC2 .
6.7.2
Bei der Z-Transformation
Die Z-Transformation ist im wesentlichen eine Laurent-Reihe (siehe Abschnitt 4.2 auf S.12!). Man zerlegt nun diese Reihe wie folgt:
F (z) =
∞
X
k=−∞
f [k]z
−k
=
∞
X
k=1
k
f [−k]z +
∞
X
k=0
f [k]z −k = F− (z) + F+ (z)
6 ZEITDISKRET UND KONTINUIERLICH
19
Man kann nun den Konvergenzradius (siehe Abschnitt 4.1 auf S.12!) von
F− (z) und F+ (z) berechnen und so den Konvergenzbereich von F (z) angeben. In der Praxis berechnet man nur in wenigen Fällen den Konvergenzradius. Man betrachtet die Summen F− (z) und F+ (z) als geometrische Reihen.
Für die Konvergenz einer geometrischen Reihe (im komplexen Raum) muss
gelten:
∞
X
1
|q| < 1
qk =
1
−
q
k=0
Die folgenden Beziehungen können dabei hilfreich sein:
P∞ a k
•
= 1−1 a mit | az | < 1
ak · σ[k] ⇐⇒ 1−1 a
k=0 z
z
• −
P∞
k=1
z k
a
=
1
1− az
z
mit | az | < 1
−ak · σ[−k − 1] ⇐⇒
1
1− az
Die komplexen geometrischen Reihen können wie reelle behandelt werden.
Insofern erweist sich die Kenntnis der Herleitung der geometrischen Summenformel als nützlich.
6.8
6.8.1
Stabilitätsbetrachtungen
Beliebige Signale
Für ein beliebiges zeitkontinuierliches Signal f (t) dessen Laplacetransformation F (s) rational ist, gilt:
f (t) ist stabil ⇐⇒ ROC(f ) enthält die imaginäre Achse
Für ein beliebiges zeitkdiskretes Signal f [k] dessen Z-Transformation
F (z) rational ist, gilt:
f [k] ist stabil ⇐⇒ ROC(f ) enthält den Einheitskreis
Siehe dazu auch Tabelle 3 auf S.16.
6.8.2
Rechtsseitige Signale
Ein rechtsseitiges Signal f (t) mit rationaler Laplacetransformation F (s) ist
genau dann stabil (absolut integrierbar), wenn gilt:
Alle Pole von F (s) sind in der linken Halbebene.
6 ZEITDISKRET UND KONTINUIERLICH
20
Ein rechtsseitiges Signal f [k] mit rationaler Z-Transformation F (z) ist
genau dann stabil (absolut summierbar), wenn gilt:
Alle Pole von F (z) sind im Innern des Einheitskreises.
6.8.3
Linksseitige Signale
Ein linksseitiges Signal f (t) mit rationaler Laplacetransformation F (s) ist
genau dann stabil (absolut integrierbar), wenn gilt:
Alle Pole von F (s) sind in der rechten Halbebene.
Ein linksseitiges Signal f [k] mit rationaler Z-Transformation F (z) ist
genau dann stabil (absolut summierbar), wenn gilt:
Alle Pole von F (z) sind ausserhalb des Einheitskreises.
6.9
Umwandlung zeitdiskreter in zeitkontinuierliche
Signale
Gegeben sei ein zeitdiskretes Signal x[k] und ein Halteglied h(t), das meist
wie folgt definiert ist:
1 0≤t<T
h(t) =
0 sonst
Für das zeitkontinuierliche Ausgangssignal y(t) gilt nun:
y(t) :=
∞
X
x[k]h(t − kT )
k=−∞
Man zerlegt nun das Signal y(t) wie folgt (siehe Abbildung 4 auf S.21!):
y(t) = x̃(t) ∗ h(t) ⇐⇒ Y (s) = X̃(s) · H(s)
P
sT
jωT
x̃(t) := ∞
)|s=jω
k=−∞ x[k]δ(t − kT ) ⇐⇒ X̃(s) = X(z)|z=esT = X(e ) = X(e
Das zeitdiskrete Signal wird dabei in ein quasi-zeitkontinuierliches Signal
aus lauter Dirac-Stössen umgewandelt. Daraus folgt die Erkenntnis:
Das Spektrum eines zeitkontinuierlichen Signals x̃(t) ist gleich
dem periodischen Spektrum X(ejΩ ) des zeitdiskreten Signals x[k]
mit Ω = ωT.
Die Abbildung z = esT ist in Abbildung 5 auf S.21 dargestellt.
6 ZEITDISKRET UND KONTINUIERLICH
21
Abbildung 4: Umwandlung eines zeitdiskreten Signals in ein zeitkontinuierliches Signal [1]
Abbildung 5: Abbildung z = esT [1]
6.10
Abtastung
Für die Abtastung eines Signals x(t) mit der Abtastperiode T (T ∈ R) gilt
allgemein:
xs [k] = T · x(kT − τ )
Oft setzt man τ = 0. Zur Vereinfachung der folgenden Berechnungen wird
der Ausdruck x(kT − τ ) mit T normiert.
Für die z-Transformierte des abgetasteten Signals gs = T g(kT ) gilt:
X
Gs (z) =
G(s)
s∈C:esT =z
Mit z = ρ · ejΩ folgt daraus:
X
jΩ
Gs (ρ · e ) =
n∈Z
G
ln(ρ) j(Ω + n2π)
+
T
T
Mit ρ = 1 und Ω = ω · T folgt daraus:
jωT
G̃(jω) = Gs (e
n2π
)=
G j ω+
T
n∈Z
X
6 ZEITDISKRET UND KONTINUIERLICH
22
Es gilt also:
Das Spektrum Gs (ejΩ ) eines abgetasteten Signals mit Ω = ωT
ist gleich der Summe aller um ganzzahlige Vielfache von 2π/T
verschobenen Kopien von G(jω).
Damit gilt für die Frequenz von zeitdiskreten Signalen:
• Ω = ωT = 2π ffs
•
Ω
2π
= fnorm =
f
fs
6.11
Nyquist-Shannon Abtasttheorem
6.11.1
Definition
Für verzerrungsfreie Rekonstruktion eines Signals muss gelten:
|fs | ≥ 2 · |fg |
Die Abtastfrequenz fs muss grösser gleich sein als zweimal die höchste im
Originalsignal vorkommende Frequenz fg . Man unterscheidet drei Arten von
Abtastung:
• kritische Abtastung: |fS | = 2|fg | oder |ωg | = π/T
Die kritische Abtastfrequenz fs wird auch als Nyquistrate bezeichnet.
• Überabtastung: |fS | > 2|fg | oder |ωg | < π/T
• Unterabtastung: |fS | < 2|fg | oder |ωg | > π/T
6.11.2
Anwendung
Das Abtasttheorem spielt bei allen zeitdiskreten Systemen eine wichtige Rolle. Ein kontinuierliches Eingangssignal u(t) wird am Vorfilter (Anti-AliasingFilter) g1 (t) bandbegrenzt und anschliessend mit der Periode T abgetastet.
Danach wird das Signal mit dem zeitdiskreten LTI-System h[k] gefaltet. Das
zeitdiskrete Signal muss nun wieder in ein kontinuierliches Signal umgewandelt werden. Dies erfolgt durch die Faltung mit dem Nachfilter (Halteglied)
g2 (t). Mathematisch bedeutet dies, dass das zeitdiskrete Signal zunächst mit
Hilfe einer Dirac-Folge in ein quasi-kontinuierliches Signal umgewandelt werden muss, damit eine Faltung mit dem zeitkontinuierlichen Nachfilter erfolgen kann. Das Nachfilter erfüllt zudem die wichtige Aufgabe, dass die unerwünschten Kopien des abgetasteten Spektrums entfernt werden.
6 ZEITDISKRET UND KONTINUIERLICH
23
Erfüllt nun das Vor- und das Nachfilter das Abtasttheorem, dann ist das
Gesamtsystem zeitinvariant und besitzt folgende Übertragungsfunktion:
Y (jω) = G1 (jω)H(ejωT )G2 (jω)U (jω)
Man beachte zudem, dass digitale Systeme eine zusätzliche Quantisierung
beinhalten. Der Ablauf sieht dann wie folgt aus:
1. Faltung mit dem Vorfilter g1 (t)
2. Abtastung mit Periode T
3. Faltung mit dem zeitdiskreten LTI-System h[k]
4. Faltung mit dem Nachfilter g2 (t)
5. Quantisierung
6. Digitalisierung
6.11.3
Dezimation, Interpolation und Umrechnung
der Abtastrate
• Erhöhung der Abtastrate um einen ganzzahligen Faktor (↑ n):
Die Erhöhung der Abtastrate nennt man Interpolation. Es sei g[k] ein
Signal mit der Abtastfrequenz fs . Die Abtastfrequenz wird nun um den
Faktor n erhöht: fs,int = fs · n, n ∈ N. Das neue Signal gint [k] erhält
man, indem man zwischen den Werten von g[k] (n − 1) Nullen einfügt.
Es gilt somit:
Gint (z) =
∞
X
gint [k]z −k·n =
∞
X
gint [k](z n )−k = G(z n )
k=−∞
k=−∞
Daraus folgt für das Spektrum:
Gint (ejΩ ) = G(ejnΩ )
• Verringerung der Abtastrate um einen ganzzahligen Faktor
(↓ m):
Das regelmässige Abtasten eines zeitdiskreten Signals nennt man Dezimation. Man beachte vorallem, dass bei der Dezimation Aliasing auftreten kann. Es gilt:
X
Gd (z) =
G(zl )
1
zl ∈Z:zl =z n
7 FILTERDESIGN
24
Mit z = ρ · ejΩ gilt:
n−1
X
jΩ
Gd (ρe ) =
1
G(ρ n e
j(Ω+m2π)
n
)
m=0
Mit ρ = 1 gilt für das Spektrum Gd (ejΩ ):
jΩ
Gd (e ) =
n−1
X
G(e
j(Ω+m2π)
n
)
m=0
• Wechsel der Abtastrate um einen rationalen Faktor:
Interpolation und Dezimation können kombiniert werden, um eine bestimmte Abtastfrequenz zu erreichen. Will man beispielsweise eine 1.5fache Abtastfrequenz (1.5fs ) erzielen, dann muss man das Signal zuerst
um den Faktor 3 interpolieren (3fs ) und anschliessend um den Faktor
2 dezimieren (1/2 · 3fs = 3/2fs ).
7
Filterdesign
Filter werden allgemein in zwei Kategorien eingeteilt:
• Analoge Filter: Analoge Filter bearbeiten ein analoge Signal. Je
nach Bauart unterscheidet man zwischen aktiven und passiven Filtern. Passive Filter bestehen aus Bauteilen, die keine zusätzliche Energie benötigen (z.B. Widerstände, Kapazitäten, Induktivitäten, usw.).
Aktive Filter bestehen hauptsächlich aus Operationsverstärkern, die
zusätzlich Energie für die aktive Verstärkung von Signalen benötigen.
• Digitale Filter: Digitale Filter bearbeiten ein digitales Signal. Das
analoge Signal wird mit Hilfe eines Analog-Digital-Wandler (A/DWandler) in ein digitales Signal gewandelt. Das Filter bearbeitet dann
das digitale Signal. Anschliessend wird das digitale Signal mit Hilfe
eines Digital-Analog-Wandlers (D/A-Wandler) wieder in ein analoges
Signal zurückgewandelt.
Die Prozessschritte eines A/D-Wandlers lauten:
1. Filterung des zeitkont. Signals mit einem Tiefpassfilter
2. Abtastung des zeitkont. Signals
3. Faltung mit einem Halteglied
7 FILTERDESIGN
25
4. Quantisierung
5. Digitalisierung
Die Prozessschritte eines D/A-Wandlers lauten:
1. Ditigaler Wert einem analogen Wert zuordnen
2. Faltung mit einem Tiefpassfilter
Digitale Filter lassen sich weiter wie folgt einteilen:
• FIR-Filter: Die Stossantwort eines zeitdiskreten LTI-Systems ist von
endlicher Dauer (Finite Impulse Response).
• IIR-Filter: Die Stossantwort eines zeitdiskreten LTI-Systems ist nicht
von endlicher Dauer (Infinite Impulse Response).
7.1
FIR-Filter
Für einen idealen Tiefpassfilter gilt:
sin(Ωc k)
1 |Ω| < Ωc
jΩ
⇐⇒ h[k] =
H(e ) =
0 Ωc ≤ |Ω| ≤ π
πk
Ein idealer zeitdiskreter Tiefpassfilter h[k] ist weder kausal noch stabil. Man
ist nun bemüht, den Filter stabil zu machen, indem man nur ein bestimmtes
Intervall von h[k] zulässt. Die Werte ausserhalb dieses Intervalls werden auf
null gesetzt. Das Zulassen eines bestimmten Intervalls entspricht einer sogenannten Fensterfunktion w[k]. Die Multiplitkation der Fensterfunktion mit
dem Filter h[k] ergibt das gewünschte Filter f [k]. Es gilt also:
f [k] = w[k] · h[k]
Die klassische Fensterfunktion ist wie folgt definiert (N ∈ N):
1 |k| ≤ N/2
w[k] =
0 |k| > N/2
Diese Fensterfunktion erweist sich aber als praktisch unbrauchbar, da das
Filter nur sehr langsam abklingt. Eine bessere Fensterfunktion ist das sogenannte Hanning-Fenster (auf engl. raised-cosine window ):
1
2πk
·
1
+
cos
|k| ≤ N/2
2
N +2
w[k] =
0
|k| > N/2
7 FILTERDESIGN
26
Durch eine zeitliche Verschiebung N/2, kann das System kausal gemacht
werden. Zudem wird man das Filter noch normieren. Für die Stossantwort
g[k] gilt dann:
h[k]w[k]
g[k + N/2] = P
n∈Z h[n]w[n]
7.2
7.2.1
IIR-Filter
Design
IIR-Filter werden oft in einem zweistufigen Verfahren entworfen:
1. Entwurf eines zeitkontinuierlichen Filters
2. Transformation des zeitkontinuierlichen Filters in ein zeitdiskretes Filter (z.B. mit der bilinearen Transformation)
IIR-Filter sind oft viel leistungsfähiger als FIR-Filter.
7.2.2
Butterworth-Filter
Ein zeitkontinuierliches Butterworth-Filter der Ordnung N mit den Polstellen pk ist wie folgt definiert:
H(s) := QN
1
k=1 (1
π
−
s
)
pk
pk := ωc · ej 2N (2k+N −1)
Für den Amplitudengang gilt:
|H(jω)|2 =
1+
1
2N
ω
ωc
√
Die Frequenz fc = ωc /2π wird wegen |H(jωc )| = 1/ 2 ≈ −3.01dB auch
−3dB-Frequenz bezeichnet.
7.2.3
Beziehung zwischen Hoch- und Tiefpassfilter
Es sei G(z) ein beliebiger Tiefpass. Aus G(z) lässt sich wie folgt ein Tiefpassfilter H(z) realisieren:
H(z) = G(−z)
Dies wird aus dem Spektrum (z = ejΩ ) von H(z) ersichtlich:
H(ejΩ ) = G(−ejΩ ) = G(ejπ ejΩ ) = G(ejΩ+jπ )
Der Tiefpass wurde also um π verschoben. Daraus resultiert ein Hochpass.
7 FILTERDESIGN
7.3
7.3.1
27
Inverse zeitdiskrete Filter
Definition
Es sei g[k] ein zeitdiskretes Signal und f [k] ein Filter. Das Filter f [k] ist dann
invers, wenn gilt:
G(z) · F (z) = 1 ⇐⇒ g[k] ∗ f [k] = δ[k]
Allgemein gilt:
F(z) = 1/G(z) ist ohne weitere Angaben kein eindeutiges Signal.
7.3.2
Berechnung
Die Berechnung von inversen Filtern erfolgt meistens mit Hilfe der Polynomdivision. Man beachte, dass die Polynomdivision eines Fitlers nicht eindeutig
ist:
• erster Möglichkeit: 1 : (a0 + a1 z + a2 z 2 + · · · + an z n ) =?
• zweite Möglichkeit: 1 : (an z n + an−1 z n−1 + an−2 z n−2 + · · · + a0 ) =?
Die beiden Polynomdivisionen führen auf unterschiedliche Resultate. Es ist
nun so, dass nur eine der Polynomdivisionen - wenn überhaupt - ein stabiles
Filter ergibt.
7.3.3
Regeln
Es gilt:
• Rechtsseitige Signale: Es gibt genau ein rechtsseitiges inverses Signal.
• Linksseitige Signale: Es gibt genau ein linksseitiges inverses Signal.
• Beidseitige Signale: Es gibt ein rechts- und ein linksseitiges inverses
Signal.
7.3.4
Grundsatz der inversen Filter
Für die Bildung eines inversen Filters gilt der Grundsatz:
Eine gute Inversion
Verzögerung.
eines
Signals
braucht
meistens
eine
7 FILTERDESIGN
28
Abbildung 6: Ein Übertragungskanal mit Rauschen [1]
7.4
7.4.1
Egalisation
Problemstellung
In der Nachrichtentechnik hat man das Problem, dass der Kanal zwischen
Sender und Empfänger mit Rauschen behaftet ist. Abbildung 6 auf S.28 zeigt
ein mathematisches Modell eines Übertragungskanals. Man ist nun bestrebt,
am Ausgangssignal x[k] wieder das Eingangssignal u[k] zu erhalten. Es soll
also in guter Näherung gelten: x[k] ≈ u[k]. Die Aufgabe den Filter g[k] so
anzupassen, dass am Ausgang wieder das Signal x[k] erscheint, nennt man
Entzerrung, Entfaltung (auf engl. deconvolution) oder Egalisation (auf engl.
equalization). Grundsätzlich unterscheidet man zwischen linearen und nichtlinearen Egalisationsverfahren.
7.4.2
Das klassische lineare Egalisationsverahren
Lässt man den Rauschterm w[k] einmal auf der Seite, so würde man vermutlich G(z)H(z) = 1 fordern. Es erweist sich aber als besser, nur die Approximation H(z)G(z) ≈ z −L zu betrachten. Viele beidseitige Signale besitzen
ein linksseitiges, stabiles und inverses Signal. Damit nun das inverse Filter
auch noch kausal ist, muss das linksseitige Signal abgeschnitten und zeitlich
verschoben werden. Dies bedeutet, dass eine zeitliche Verzögerung eingeführt
werden muss. Und genau dies bewirkt der Term z −L in der oberen Approximation. Das Vorgehen lässt sich in folgende Teilschritte gliedern:
1. Das inverse und stabile Filter G(z) wird mit Hilfe der Polynomdivision
gebildet, sofern ein solches Filter existiert.
2. Das Filter wird nun kausal gemacht. Ein linksseitiges Signal wird ab einer gewissen Stelle abgeschnitten und anschliessend zeitlich verschoben.
Ein rechtsseitiges Signal muss nur noch zeitlich verschoben werden.
Das folgende Beispiel soll dies verdeutlichen:
Gegeben sei das System H(z) = 1 + 2z −1 . Mit Hilfe der Polynomdivision
erhält man zwei mögliche inverse Signale:
7 FILTERDESIGN
29
• Rechtsseitiges inverses Signal: Gr (z) = 1 − 2z −1 + 4z −2 − 8z −3 + . . .
• Linksseitiges inverses Signal: Gl (z) = · · · −
1 4
z
16
+ 81 z 3 − 41 z 2 + 21 z
Nur das linksseitiges Signal Gl (z) ist stabil. Man schneidet nun z.B. L = 4
Stellen ab und verschiebt das Signal mit z −L . Man erhält dann:
G(z) = −
1
1
1
1
+ z −1 − z −2 + z −3
16 8
4
2
Oft verwendet man die folgende abkürzende Schreibweise:
G(z) = z −L Gl (z)
7.4.3
mod z
Decision-Feedback Equalizer (DFE), ein nicht-lineares Egalisationsverfahren
Decision-Feedback Equalizer ist ein Entzerrer mit Entscheidungsrückführung. Die Abbildung 7 auf S.30 zeigt den Aufbau eines derartigen Filters. Der DFE besitzt neben gewöhnlichen Filtern (Vorwärtsfilter
Gf (z) und Rückwärtsfilter Gb (z)) auch noch ein Entscheidungsglied.
Dieses Glied bewirkt, dass das Egalisationsverfahren nicht-linear ist. Die
Entscheidungsfunktion ist eine Rundungsfunktion, die jeweils auf den
nächsliegenden möglichen Eingangswert u[k] rundet. Die Idee besteht nun
darin, H(z) = H1 (z) + H2 (z) aufzuteilen und nur die Inversion von H1 (z)
zu betrachten. Abbildung 8 auf S.30 zeigt eine mögliche Realisierung jedoch
ohne Entscheidungsglied.
7 FILTERDESIGN
30
Abbildung 7: Decision-Feedback Equalizer (DFE) [1]
Abbildung 8: Mögliche DFE-Realisierung (ohne Entscheidungsglied) [1]
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
8
Grundbegriffe
theorie
8.1
der
31
Wahrscheinlichkeits-
Die Axiome von Kolmogorov
Ein Wahrscheinlichkeitssystem oder ein Wahrscheinlichkeitsraum ist ein
Tripel (Ω, ε, P ), bestehend aus einer Grundmenge (sample space) Ω, einer
Ereignismenge (events) ε und einer Abbildung P : ε → R. P wird meist
auch Wahrscheinlichkeitsmass (propability) genannt. Die Menge ε beinhaltet
alle Teilmengen der Menge Ω. Die Menge ε ist somit eine Potenzmenge der
Menge Ω (P(Ω) = ε) und erfüllt die Bedingungen einer Sigma-Algebra.
F ist eine Sigma-Algebra, falls gilt:
• Ω∈F
• A ∈ F ⇒ Ac ∈ F
• An ∈ F für n ≥ 1:
S∞
n=1
An ∈ F
Das Tripel (Ω, ε, P ) heisst Wahrscheinlichkeitsraum, falls gilt:
• Ω 6= ∅
• ε ist eine Sigma-Algebra.
• A ∈ ε mit 0 ≤ P (A) ≤ 1 → P (Ω) = 1
P∞
S
• Sigma-Additivität: P ( ∞
n=1 An ) =
n=1 P (An ), falls An ∩ Am = ∅ für
n 6= m
Aus der Definition des Wahrscheinlichkeitsraumes folgt:
• ∅∈ε
• A1 ∪ A 2 ∪ · · · ∪ A n ∈ ε → A1 ∩ A2 ∩ · · · ∩ An ∈ ε
• P (Ac ) = 1 − P (A)
• P (∅) = 0
Ein Ereignis ω = Ai mit Ai ∈ Ω und Ai ∩ Ak 6= ∅ für i 6= k wird Elementarereignis bezeichnet.
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
8.2
32
Zufallsgrössen
Oft bezeichnet man Zufallsgrössen auch Zufallsvariablen.
• Diskrete Zufallsgrössen: Eine diskrete Zufallsgrösse ist eine Funktion X : Ω → S mit einem endlichen oder abzählbar unendlichen Wertebereich S, sodass für jedes s ∈ S die Menge {ω ∈ Ω : X(ω) = s}
ein Ereignis ist. Für P ({ω ∈ Ω : X(ω) = s}) wird oft nur P (X = s)
geschrieben.
• Reelle Zufallsgrössen: Eine reelle Zufallsgrösse ist eine Funktion X :
Ω → S, sodass für jedes r ∈ R die Menge {ω ∈ Ω : X(ω) ≤ r} ein
Ereignis ist. Für P ({ω ∈ Ω : X(ω) ≤ r}) wird oft nur P (X ≤ r)
geschrieben.
• Reeller Zufallsvektor: Eine Zusfallsgrösse mit X = (X1 . . . X2 )T wird
Zufallsvektor bezeichnet. Es gilt also: Ω → Rn : ω 7→ (X1 . . . Xn )T .
• Komplexe Zufallsgrössen: Eine komplexe Zufallsgrösse setzt sich
aus zwei reellen Zufallsgrössen X und Y zusammen: Z = X + jY . Es
gilt also: Ω → C : ω 7→ X(ω) + jY (ω).
8.3
Funktionen von Zufallsgrössen
Zufallsgrössen sind oft Funktionen von anderen Zufallsgrössen. Für eine
Funktion g einer Zufallsgrösse X gilt dann:
Ω → R : ω 7→ g(X(ω))
8.4
Wahrscheinlichkeitsdichte und
Verteilungsfunktion
Die Verteilungsfunktion FX (x) einer Zufallsgrösse X ist wie folgt definiert:
FX (x) = P (X ≤ x)
x∈R
Für die Verteilungsfunktion FX (x) einer Zufallsgrösse X gilt:
• FX (x) ist monoton wachsend (nicht fallend)
• FX (x) ist rechsseitig stetig, d.h. limb→0 (x + b) = FX (x)
• limx→−∞ [FX (x)] = 0 und limx→∞ [FX (x)] = 1
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
33
Es gelten folgende Abkürzungen:
F (x − 0) =
lim [F (x − h)]
h>0,h→0
F (x + 0) =
lim [F (x + h)]
h>0,h→0
Für a, b ∈ R und a < b gilt weiter:
• P (a < X ≤ b) = F (b) − F (a)
• P (X = a) = F (a) − F (a − 0)
• P (a ≤ X ≤ b) = P (a < X ≤ b) + P (X = a)
P (a ≤ X ≤ b) = F (b) − F (a) + P (X = a) = F (b) − F (a − 0)
• P (a ≤ X < b) = P (a < X ≤ b) − P (X = b) + P (X = a)
P (a ≤ X < b) = F (b − 0) − F (a − 0)
• P (X > a) = 1 − P (X ≤ a) = 1 − F (a)
• P (X < a) = P (X ≤ a)−P (X = a) = F (a)−F (a)+F (a−0) = F (a−0)
Für die Dichtefunktion, auch Wahrscheinlichkeitsdichtefunktion genannt,
fX (x) gilt allgemein:
dFX (x)
fX (x) =
dx
Man beachte, dass die Dichtefunktion bei diskreten Zufallsgrössen zu
Dirac-Stössen führt, da eine Sprungfunktion abgeleitet wird: δ(t) = dσ(t)/dt.
Für die Dichtefunktion gilt:
R∞
P
• Normierungsbedinung: −∞ fX (x) = 1 bzw. ∞
i=−∞ P (X = i) = 1
Rx
P
• FX (x) = −∞ fX (t)dt bzw. FX (x) = xi=−∞ P (X = i)
8.5
Verbundwahrs. und Verbundverteilungsfunktion
Für die Verbundverteilungsfunktion FX1 ,...,Xn (x1 , . . . , xn ) von n Zufallsgrössen X1 , . . . , Xn gilt allgemein:
FX (x) = FX1 ,...,Xn (x1 , . . . , xn ) = P (X1 ≤ x1 , . . . , Xn ≤ xn )
!
n
\
FX (x) = P
{ω ∈ Ω : Xk ≤ xk }
k=1
Für die Verbunddichtefunktion, auch Verbundwahrscheinlichkeitsdichtefunktion genannt, gilt dann:
∂ n FX1 ,...,Xn (x1 , . . . , xn )
∂FX (x)
=
fX (x) = fX1 ,...,Xn (X1 , . . . , Xn ) =
∂x1 , . . . , xn
∂x
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
8.6
34
Randverteilungen und Randdichten
Für die Randdichte einer reellen Dichtefunktion fX (x) gilt:
Z ∞
Z ∞
...
fX (x)dx1 . . . dxk−1 dxk+1 . . . dxn
fXk (xk ) =
−∞
−∞
Für die Randverteilung einer reellen Zufallsgrösse gilt dann:
Z xk
fXk (t)dt
FXk (xk ) =
−∞
Für P (X = x) mit einer diskreten Zufallsgrösse X gilt:
P (Xk = xk ) =
∞
X
···
i1 =−∞
∞
X
P (X1 = i1 , . . . , Xk−1 = ik−1 , Xk = xk , . . . , Xn = in )
in =−∞
Für die Randverteilung einer diskreten Zufallsgrösse gilt dann:
FXk (xk ) = P (Xk ≤ xk ) =
xk
X
P (Xk = i)
i=−∞
8.7
8.7.1
Erwartungswert
Erwartungswert einer Zufallsgrösse
Für den Erwartungswert einer reellen Zufallsgrösse gilt:
Z ∞
Z ∞
g(x) · fX (x)dx
x · fX (x)dx
E[g(X)] :=
E[X] :=
−∞
−∞
Für den Erwartungswert einer diskreten Zufallsgrösse gilt:
E[X] :=
∞
X
i · P (X = i)
i=−∞
8.7.2
∞
X
E[g(X)] :=
g(i) · P (X = i)
i=−∞
Erwartungswert eines Zufallsvektors
Allgemein gilt:
E[X] = (E[X1 ], . . . , E[Xn ])T
E[g(X)] = (E[g(X1 )], . . . , E[g(Xn )])T
Für den Erwartungswert eines reellen Zufallsvektors gilt:
Z ∞
Z ∞
T
E[X] :=
x · fX (x)dx
E[g(X)] :=
g(xT ) · fX (x)dx
−∞
−∞
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
35
Für den Erwartungswert eines diskreten Zufallsvektors gilt:
E[X] :=
∞
X
i · P (X1 = i) + · · · +
i=−∞
E[g(X)] :=
∞
X
i · P (Xn = i)
i=−∞
∞
X
g(x1 = i) · P (X1 = i) + · · · +
i=−∞
8.7.3
∞
X
g(xn = i) · P (Xn = i)
i=−∞
Erwartungswert einer komplexen Zufallsgrösse
Mit der Zufallsgrösse Z = X + jY gilt:
E[Z] = E[X] + jE[Y ]
8.7.4
Wichtige Beziehungen
Es gilt:
• E[aX + bY ] = aE[X] + bE[Y ] für reelle, komplexe und diskrete Zufallsgrössen X und Y und a, b ∈ C
• E[a] = a mit a ∈ C
• E[Z] = E[Z] für eine komplexe Zufallsgrösse Z
• E[A · X] = A · E[X] mit dem reellen, komplexen oder diskreten Zufallsvektor X und einer beliebigen m × n-Matrix A
8.8
Varianz und Korrelation
Es sei X eine reelle oder diskrete Zufallsvariable. Z sei eine komplexe Zufallsvariable.
8.8.1
Moment einer Zufallsvariable
Das n-te Moment von X lautet:
Z ∞
n
E[X ] =
xn fX (x)dx
−∞
8.8.2
n
E[X ] =
∞
X
in P (X = i)
i=−∞
Definition
Für die Varianz gilt mit mX = E[X]:
V ar(X) := E[(X − mX )2 ] = E[X 2 ] − m2X
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
8.8.3
36
Varianz einer komplexen Zufallsvariable
Es gilt: Z = X + jY .
V ar(Z) = E[|Z − mZ |2 ] = E[|Z|2 ]−|mZ |2 = V ar(X)+V ar(Y )
8.8.4
mZ = E[Z]
Korrelation und Kovarianz
Der Erwartungswert E[XY ] wird Korrelation bezeichnet.
Für die Kovarianz gilt:
Cov(X, Y ) := E[(X−mX )(Y − mY )] = E[XY ]−mX mY
mX = E[X], mY = E[Y ]
Für den Korrelationskoeffizienten gilt:
Cov(X, Y )
ρ(X, Y ) = p
V ar(X)V ar(Y )
8.8.5
Varianz und Korrelation eines Zufallsvektors
Die Korrelationsmatrix RX lautet:
RX = E[X · XH ]
H
RX
= RX
Die Korrelationsmatrix RX ist positiv definit. Für einen komplexen oder
reellen Vektor x gilt also: xH RX x ≥ 0.
Für die Kovarianzmatrix VX gilt:
VX = E[(X − mX )(X − mX )H ]
mX = E[X]
VX = RX − mX mH
X
Für Y = AX + b mit einer reellen oder komplexen n × n-Matrix A und
einem reellen oder komplexen Spaltenvektor b gilt:
• RY = ARX AH + 2<{AmX bH } + bbH
• VY = AVX AH
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
8.9
37
Unabhängigkeit und Korrelation
Satz 1 Zwei Ereignisse A und B sind stochastisch unabhängig, falls gilt:
P (A ∩ B) = P (A) · P (B)
Daraus folgt:
Korollar 1 Zwei diskrete Zufallsvariablen X und Y sind unabhängig, falls
gilt:
P (X = x, Y = y) = P (X = x ∩ Y = y) = P (X = x) · P (Y = y)
Korollar 2 Zwei reelle Zufallsvariablen X und Y sind unabhängig, falls gilt:
P (X ≤ x, Y ≤ y) = P (X ≤ x∩Y ≤ y) = P (X ≤ x)·P (Y ≤ y) = F (x)·F (y)
Korollar 3 Mit den Korollaren 1 und 2 gilt:
• f (x, y) = f (x) · f (y)
• F (x, y) = F (x) · F (y)
Satz 2 Der Satz 1 lässt sich auch auf n Ereignisse bzw. n Zufallsvariablen
erweitern. Es gilt:
P (A1 ∩ A2 · · · ∩ An ) =
n
Y
P (Ai )
i=1
Satz 3 X und Y seien zwei beliebige unabhängige Zufallsvariablen.
E[X · Y] = E[X] · E[Y]
Satz 4 X und Y seien zwei beliebige Zufallsvariablen.
X und Y sind unabhängig. =⇒ X und Y sind unkorreliert.
Satz 5 X und Y seien zwei beliebige Zufallsvariablen.
X und Y sind unkorreliert. ⇐⇒ E[X · Y] = E[X] · E[Y]
Satz 6 X und Y seien zwei beliebige Zufallsvariablen. Falls X und Y unkorreliert sind, gilt:
E[XY ] = E[X]E[Y ]
h
i
X und Y sind unkorreliert. ⇐⇒ Kovarianz E (X − mX )(Y − mY ) = 0
X und Y sind orthogonal. ⇐⇒ Korrelation
Daraus folgt:
E[XY] = 0
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
38
Korollar 4 Es sei die Zufallsgrösse Z = X + Y gegeben.
Falls X und Y unkorreliert sind, gilt:
V ar(Z) = V ar(X) + V ar(Y )
Korollar 5 Es sei die Zufallsgrösse Z = X + Y gegeben.
Falls X und Y orthogonal sind, gilt:
E[|Z|2 ] = E[|X|2 ] + E[|Y |2 ]
Korollar 6 Für zwei beliebige Zufallsgrössen X und Y gilt:
|Cov(X, Y )|2 ≤ V ar(X) · V ar(Y )
Siehe auch Kapitel A auf Seite 57 im Anhang über spezielle Matrizen und
dessen Operationen.
8.10
Bedingte Wahrscheinlichkeit
Es seien A und B zwei Ereignisse mit A, B ∈ ε, die voneinander abhängen.
Die Wahrscheinlichkeit P , dass wenn das Ereignis B eingetreten ist auch das
Ereignis A eintritt, ist wie folgt definiert:
P (A|B) :=
P (A ∩ B)
P (B)
P (B) > 0
Man spricht in diesem Zusammenhang von bedingter Wahrscheinlichkeit.
8.11
Formel von Bayes
Für die Formel von Bayes betrachtet man die Zerlegung der Grundmenge
Ω = B1 + · · · + Bn mit Bi ∈ ε. Es gilt dann:
P (Bi |A) :=
P (A|Bi ) · P (Bi )
P (A|Bi ) · P (Bi )
= P∞
P (A)
j=1 P (A|Bj ) · P (Bj )
Dabei gilt:
• P (Bi ): a priori Wahrscheinlichkeit der Ursache Bi
• P (Bi |A): a posteriori Wahrscheinlichkeit der Ursache Bi
Zudem gilt folgende Kettenregel:
P ((A ∩ B) ∩ C) = P (A ∩ B)P (C|A ∩ B) = P (A)P (B|A)P (C|A ∩ B)
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
8.11.1
39
Bei diskreten Zufallsgrössen
Für diskrete Zufallsgrössen gilt:
=y)
P (X = x|Y = y) = P (X=x,Y
P (Y =y)
(Y =y|A)
P (A|Y = y) = P (A)P
P (Y =y)
p(x, y, z) = p(x)p(y|x)p(z|x, y) mit p(x) = P (X = x), . . .
8.11.2
Bei reellen Zufallsgrössen
Für reelle Zufallsgrössen gilt:
fX|Y (x|y) =
fX,Y (x,y)
fY (y)
P (A)fY |A (y)
=
fY (y)
P (A|Y = y)
f (x, y, z) = f (x)f (y|x)f (z|x, y)
Siehe auch Formelsammlung [5] S.168ff..
8.12
Totale Wahrscheinlichkeit
Für die Formel der totalen Wahrscheinlichkeit betrachtet man wieder die
Zerlegung der Grundmenge Ω = B1 + · · · + Bn mit Bi ∈ ε. Es gilt nun:
P (A) =
n
X
P (A|Bj ) · P (Bj )
j=1
8.12.1
Bei diskreten Zufallsgrössen
Für diskrete Zufallsgrössen gilt:
X
P [A] =
P (Y = y)P [A|Y = y]
y
8.12.2
Bei reellen Zufallsgrössen
Für reelle Zufallsgrössen gilt:
Z
∞
P (A) =
fY (y)P [A|Y = y]dy
−∞
Siehe auch Formelsammlung [5] S.168ff..
8 GRUNDBEGRIFFE DER WAHRSCHEINLICHKEITSTHEORIE
8.13
40
Totaler Erwartungswert
Aus der Formel der totalen Wahrscheinlichkeit folgt der Satz des totalen
Erwartungswerts:
n
X
E[A] =
P (Bj )E[A|Bj ]
j=1
8.13.1
Bei diskreten Zufallsgrössen
Für diskrete Zufallsgrössen gilt:
X
E[X] =
P (Y = y)E[X|Y = y]
y
8.13.2
Bei reellen Zufallsgrössen
Für reelle Zufallsgrössen gilt:
Z
∞
fY (y)E[X|Y = y]dy
E[X] =
−∞
8.14
Gegenüberstellung: Diskrete und reelle Zufallsgrössen
Für diskrete und reelle Zufallsgrössen gilt:
Diskrete Zufallsgrössen
P (A|Y = y) =
P [A] =
P (A)P (Y =y|A)
P (Y =y)
P
y P (Y = y)P [A|Y = y]
P (X = x|Y = y) =
P (X=x,Y =y)
P (Y =y)
p(x, y, z) = p(x)p(y|x)P (z|x, y)
E[X] =
P
y
Reelle Zufallsgrössen
P (A|Y = y) =
P (A) =
R∞
−∞
fX|Y (x|y) =
P (A)fY |A (y)
fY (y)
fY (y)P [A|Y = y]dy
fX,Y (x,y)
fY (y)
f (x, y, z) = f (x)f (y|x)f (z|x, y)
P (Y = y)E[X|Y = y] E[X] =
R∞
−∞
fY (y)E[X|Y = y]dy
9 STOCHASTISCHE PROZESSE
9
41
Stochastische Prozesse
9.1
Definition
Ist der Verlauf eines Experiments vom Zufall abhängig, so spricht man
von einem stochastischen Experiment. Bei derartigen Experimenten wird
man bemüht sein, möglichst viele Versuche, auch Samples genannt, durchzuführen, um das Verhalten eines Systems mit Hilfe von statistischen Methoden zu beschreiben. Die Menge aller Samples si , auch Sample Space oder
Ensemble genannt, dient der Beschreibung des Systems. Jedes Sample besteht somit aus einer Abfolge von Werten, die einem bestimmten Zeitpunkt
zugeordnet sind. Die Abfolge der Werte kann in diskreten Abständen oder
kontinuierlich verlaufen. Der Wert eines Samples si zum Zeitpunkt tk ist somit eine Zufallsvariable: X(tk , si ). Der Wert der Menge der Samples s zum
Zeitpunkt tk ist somit ein Zufallsvektor: X(tk , s). Der Sample Space, die
Menge aller Samples, beschreibt somit einen stochastischen Prozess (siehe
Abbilung 9 auf S.42).
Um den Sachverhalt zu vereinfachen, definiert man einen stochastischen Prozess als ein Sample si über ein entsprechendes Zeitintervall T (mit 0 ≤ t ≤ T ):
X(t, si ) . Die Notation kann dann wie folgt vereinfacht werden: X(t).
Im folgenden werden wir uns nur mit diskreten stochastischen Prozessen
auseinandersetzen. Für die Folge der Zufallsvariablen gilt dann: X[k] (mit
k ∈ Z). Die untersuchten Eigenschaften und Beziehungen lassen sich aber in
den meisten Fällen auf den kontinuierlichen Fall übertragen.[4]
9.2
Stationarität
Die Stationarität eines stochastischen Prozesses lässt sich in zwei Kategorien
einteilen:
• Stationärität im engeren Sinne: Die Zufallsgrössen des stochastischen Prozesses sind unabhängig von einer zeitlichen Verschiebung. Diese Eigenschaft ist im allgemeinen schwer zu beweisen.
• Stationarität im weiteren Sinne: Alle Momente eines stochastischen Prozesses sind unabhängig vom Betrachtungszeitpunkt. Diese
Eigenschaft ist im allgemeinen einfacher zu beweisen.
Ein Prozess wird i.i.d. (auf engl. independent and identically distributed )
genannt, wenn X[k] und X[n] für k 6= n unabhängig sind und die gleiche
Verteilung haben.
9 STOCHASTISCHE PROZESSE
42
Abbildung 9: Stochastische Prozesse [3]
9.2.1
Strikt stationäre Prozesse
Ein stochastischer Prozess ist dann strikt stationär, wenn es keine Rolle spielt,
in welchen Zeitintervallen der stochastische Prozess beobachtet wird. Das
Verhalten des Prozesses innerhalb beliebig gewählter Zeitintervalle ist gleich.
Vergleicht man also einen Prozess P mit demselben Prozess P aber um n
Zeiteinheiten verschoben, so gilt:
X[k], X[k +1], . . . , X[k +m] = X[k +n], X[k +1+n], . . . , X[k +m+n]
∀n
Dies bedeutet, dass die Verteilungsfunktionen der beiden stochastischen Prozesse identisch sein müssen. Es gilt also:
FX[k],...,X[k+m]] (x0 , . . . , xm ) = FX[k+1+n],...,X[k+m+n]] (x0 , . . . , xm )
Weiter gilt dann für die Dichtefunktionen:
fX[k],...,X[k+m]] (x0 , . . . , xm ) = fX[k+1+n],...,X[k+m+n]] (x0 , . . . , xm )
9.2.2
Schwach stationäre Prozesse
Ein stochastischer Prozess ist schwach stationär, wenn gilt:
9 STOCHASTISCHE PROZESSE
43
• E[X[k]] = E[X[k + 1]] = · · · = mX , ∀k
• E[X[k + n] · X[k]] = E[X[k + 1 + n] · X[k + 1]] = · · · = rX
für jedes n ∈ R, ∀k
Merke:
• Jeder stationäre Prozess ist auch ein schwach stationärer Prozess.
• Zwei schwach stationäre Prozesse X[k] und Y [k] sind gemeinsam
schwach stationär, wenn E[X[k + n] · Y [k]] für jedes n ∈ Z unabhängig
von k gilt.
9.3
Mittelwert eines stoch. Prozesses
Für den Mittelwert eines stoch. Prozesses gilt:
k∈Z
mX := E[X[k]]
9.4
Auto- und Kreuzkorrelationsfunktion, mittlere
Leistung für stationäre Prozesse
Für die Autokorrelationsfunktion gilt:
RX [n] := E[X[k + n] · X[k]]
k, n ∈ Z
Daraus folgt für die mittlere Leistung:
RX [0] := E[|X[k]|2 ]
k∈Z
Für die Kreuzkorrelationsfunktion gilt:
RXY [n] := E[X[k + n] · X[k]]
k, n ∈ Z
Für eine allgemeine Definition siehe [3] auf S.32ff..
9.5
9.5.1
Lineare Filterung eines schwach stationären Prozesses
Problemstellung
Gegeben sei ein deterministisches diskretes System h[k]. Das Eingangssignal
X[k] sowie das Ausgangssignal Y [k] seien diskrete stochastische Prozesse.
Die Übertragungsfunktion lautet:
Y [k] = (X ∗ h)[k] =
∞
X
i=−∞
X[k − i]h[i]
9 STOCHASTISCHE PROZESSE
44
Weiter gelten die folgenden Faltungsbeziehungen:
• RY X [k] = h[k] ∗ RX [k]
• RY [k] = h[−k] ∗ RY X [k]
• RY [k] = h[k] ∗ h[−k] ∗ RX [k]
Das Filter h̃[k] := h[−k] wird Matched Filter bezeichnet.
9.5.2
Z-Transformation der Übertragungsfunktion
Die Z-Transformierte der Autokorrelationsfunktion SX lautet:
SX (z) :=
∞
X
RX [n]z −n
n=−∞
Mit SX (z) bezeichnet man das Leistungsdichtespektrum. Man kann mit Betrachtungen im Z-Bereich zeigen, dass RX [k] stabil und wohldefiniert ist.
Für die Z-Transformation des Matched Filters h̃[k] gilt:
h̃[k] := h[−k] ⇐⇒ H̃(z) := H(z −1 )
Weiter gilt dann für die Übertragungsfunktion:
SY (z) = H(z) · H̃(z) · SX (z)
Mit z = ejΩ gilt für das Leistungsdichtespektrum SY (z):
2
SY (ejΩ ) = H(ejΩ )H(ejΩ )SX (ejΩ ) = H(ejΩ ) SX (ejΩ )
Weiter gilt zudem:
• RY X [k] = h[k] ∗ RX [k] ⇐⇒ SY X (z) = H(z)SX (z)
• RY [k] = h[−k] ∗ RY X [k] ⇐⇒ SY = H̃(z)SY X (z)
9.6
Wiener-Khinchine-Beziehung
Für das Leistungsdichtespektrum eines schwach stationären Prozesses X[k]
gilt:
Z π
1
2
E[|X[k]| ] = RX [0] =
SX (ejΩ )dΩ
2π −π
10 ENTSCHEIDUNGS- UND SCHÄTZTHEORIE
9.7
45
Weisses Rauschen
Weisses Rauschen ist ein stochastischer Prozess, der ein Leistungsdichtespektrum von SX (ejΩ ) = σ 2 aufweist. Daraus folgt mit der Wiener-KhinchineBeziehung (siehe Kapitel 9.6!):
• E[X[k]] = 0
• V ar[X[k]] = σ 2
• RX [k] = σ 2 δ[k]
9.8
Whitening Filter
Ein Filter g[k] ist ein Whitening-Filter für einen schwach stationären Prozess
Y [k], falls gilt:
• g[k] ist kausal und stabil
• Die Z-Transformation 1/G(z) existiert. Das System 1/G(z) ist kausal
und stabil.
• SY (z)G(z)G̃(z) = 1
10
10.1
Entscheidungs- und Schätztheorie
Grundproblem
Ein stochastisches System besitze einen inneren Zustand X, der von aussen
nicht beobachtbar ist. Gesucht ist nun eine möglichst optimale Schätzung X̂
anhand der Ausgänge Yi des Systems. Man sucht also eine Funktion h(.),
sodass X̂ = h(Y1 , . . . , Yn ) eine optimale Schätzung von X ergibt (X ≈ X̂).
Man betrachte auch die Abbildung 10 auf S.46.
10.2
Entscheidungs- und Schätzregeln
Ist die Zufallsgrösse X diskret, dann spricht man vom Entscheidungsproblem. Im anderen Fall, wenn also die Zufallsgrösse kontinuierlich ist, liegt ein
Schätzproblem vor.
10 ENTSCHEIDUNGS- UND SCHÄTZTHEORIE
46
Abbildung 10: Entscheidungs- und Schätzproblem [1]
10.3
Schätzregeln
Für Schätzungen und Entscheidungen werden die folgenden Ausdrücke oft
verwendet:
argminx {f (x)} = ∃a, ∀x : f (a) ≤ f (x)
argmaxx {f (x)} = ∃a, ∀x : f (a) ≥ f (x)
Für die konkrete Berechnung dieser Ausdrücke wird meistens das Extremwerttheorem der Differentialrechnung verwendet. (Die erste Ableitung wird
auf null gesetzt.)
10.3.1
Bayes’sche Schätzregel
Die Schätzregel lautet:
h(y) = argminx̂ {E[κ(x̂, X)|Y = y]}
mit
κ(x̂, x) = |x̂ − x|2
x̂ = h(y) = E[X|Y = y]
Dabei bezeichnet κ(x̂, x) die Kostenfunktion. Es können auch andere Kostenfunktionen verwendet werden.
Für den mittleren Schätzfehler gilt:
E |x̂ − X|2 |Y = y = E |X − E[X|Y = y]|2 |Y = y = V ar[X|Y = y]
10.3.2
LMMSE-Schätzung
LMMSE heisst auf engl. Linear Minimum Mean Squared Error. Die LMMSESchätzung basiert auf folgendem Ansatz:
X̂ =
n
X
k=1
hk Yk
10 ENTSCHEIDUNGS- UND SCHÄTZTHEORIE
47
X̂ ist genau dann eine LMMSE-Schätzung von X aus Yk für k = 1, . . . , n
wenn das Orthogonalitätsprinzip erfüllt ist:
h
i
E (X̂ − X)Yk = 0
Der Fehler einer Schätzung X̂ − X ist also immer orthogonal zu allen Beobachtungen Yk .
Für den mittleren quadratischen Fehler gilt:
2 h
i
2
2
E X̂ − X = E X(X − X̂) = E |X| − E X̂ 10.3.3
Maximum-Likelihood-Schätzung
Die Schätzregel lautet:
x̂ = h(y) = argmaxx {fY |X (y|x)}
10.4
Entscheidungsregeln
10.4.1
Bayes’sche Entscheidungsregel
Die Entscheidungsregel lautet:
h(y) = argminx̂ {E[κ(x̂, X)|Y = y]} = argminx̂
(
X
)
κ(x̂, x)P (X = x)fY |X (y|x)
x∈S
mit
κ(x̂, x) =
0 x̂ = x
1 x̂ =
6 x
x̂ = h(y) = E[X|Y = y]
Dabei bezeichnet κ(x̂, x) die Kostenfunktion und S der Wertebereich von X.
Es können auch andere Kostenfunktionen verwendet werden.
Für den Entscheidungsfehler für eine gegebene Beobachtung Y = y gilt mit
der oberen Kostenfunktion:
E[κ(x̂, X)|Y = y] = P (X 6= x̂|Y = y)
10.4.2
MAP-Entscheidungsregel
Die Maximum-A-Posteriori-Entscheidungsregel, kurz MAP-Entscheidungsregel genannt, minimiert die Fehlerwahrscheinlichkeit. Sie lautet:
x̂ = h(y) = argmaxx {P (X = x)fY |X (y|x)}
11 STOCHASTISCHE FILTER
10.4.3
48
Maximum-Likelihood-Entscheidungsregel
Die Entscheidungsregel lautet:
x̂ = h(y) = argmaxx {fY |X (y|x)}
10.5
Entscheidungsgebiete und Fehlerwahrscheinlichkeit
Das Gebiet Gy für das eine Entscheidung x̂i für gegebene Y = y eine grössere
Wahrscheinlichkeit hat als alle anderen Entscheidungen x̂k für gegebene Y =
y, wird Entscheidungsgebiet der Entscheidung x̂i genannt. Es gilt also:
Gy : P (X̂ = x̂i |Y = y) > P (X̂ = x̂k |Y = y)
∀k, k 6= i
P (X̂ = X) ist die Wahrscheinlichkeit einer korrekten Entscheidung. Für die
Wahrscheinlichkeit einer Fehlentscheidung gilt dann:
X
P (X̂ 6= X) = 1 − P (X̂ = X) = 1 −
P (X = x)P (X̂ = X|X = x)
x∈S
11
11.1
Stochastische Filter
Wiener-Filter
Das Wiener-Filter basiert auf der LMMSE-Schätzung. Ein Zustand X[k]
eines stochastischen Systems sei nicht beobachtbar. Anhand der Ausgänge
Y [k + L], . . . , Y [k − M ] des Systems soll der Zustand X[k] geschätzt werden. Die Schätzung
X̂ soll so gewählt werden, dass der mittlere quadratische
2
Fehler E X̂[k] − X[k] minimiert wird. Es gilt dann:
X̂[k] =
M
X
h[n]Y [k − n]
mit h[n] = 0 für n < −L ∧ n > M
n=−L
Ein Filter h[n] wird Wiener-Filter bezeichnet, wenn die Wiener-HopfGleichung erfüllt ist. Sie lautet:
M
X
n=−L
h[n]RY [j − n] = RXY [j]
j = −L · · · + M
11 STOCHASTISCHE FILTER
49
Für den mittleren quadratischen Fehler gilt:
M
2 X
E X̂ − X = RX [0] −
RXY [n]h[n]
n=−L
Man unterscheidet zudem folgende Typen von Wiener-Filtern:
• L < ∞, M < ∞: FIR-Wiener-Filter
• L = 0, M < ∞: kausales FIR-Wiener-Filter
• L → ∞, M → ∞: IIR-Wiener-Filter
Für L < ∞ und M < ∞ mit der Filterordnung N = M + L gilt für die
Wiener-Hopf-Gleichung in Matrixform:


 
RY [0]
RY [1]
RY [2]
...
RY [N ]
h[0 − L]
RXY [0 − L]
 R [1]




h[1
−
L]
RY [0]
RY [1]
. . . RY [N − 1]  
 Y
  RXY [1 − L]
·



=
.
..
..
..
..
..
..


 
.
.
.
.
...
.
h[N − L]
RXY [N − L]
RY [N ] RY [N − 1] RY [N − 2] . . .
RY [0]
Für L → ∞ und M → ∞ gilt:
H(z)SY (z) = SXY (z)
11.2
LMMSE-Egalisation
Auf S.28 in Kapitel 7.4 wurde das Egalisationsproblem ausführlich behandelt.
Abbildung 11 auf S.50 zeigt nun das Egalisationsproblem mit stochastischen
Prozessen, was in der Kommunikationstechnik häufig auftritt. Gegeben sei
ein Vorfilter h[k] und einen durch W [n] verrauschten Kanal. Das Filter g[n]
soll nun so konstruiert werden, sodass eine gute Schätzung X̂[n] für X[n]
herauskommt. Bei der LMMSE-Egalisation wird die LMMSE-Schätzregel
verwendet.
Die wichtigsten Resultate sind:
• RXY [n] = RXZ [n] ⇐⇒ SXY (z) = SXZ (z)
• RY [n] = RZ [n] + RW [n] ⇐⇒ SY (z) = SZ (z) + SW (z)
• G(z) =
SXY (z)
SY (z)
=
SX (z)H̃(z)
SX (z)H(z)H̃(z)+SW (z)
• H(z)G(z)|z=ejΩ =
SZ (ejΩ )
SZ (ejΩ )+SW (ejΩ )





11 STOCHASTISCHE FILTER
50
Abbildung 11: Egalisationsproblem [1]
11.3
Adaptive Filter: LMS-Algorithmus
Adaptive Filter sind Filter, die lernfähig sind. Sie besitzen zwei Betriebsmodi:
• Lernmodus: adaptierender Betriebszustand
• Betriebsmodus: eingefrorener Betriebszustand
Ein in der Praxis viel verwendeter Algorithmus für adaptive Filter ist der
Least Mean Square, kurz LMS. Die Grundidee des LMS-Algorithmus
besteht
2 in der Minimierung des mittleren quadratischen Fehlers E X̂[k] − X[k]
mit Hilfe einer Fixpunktiteration. Für den Schätzwert gilt:
X̂[k] =
N
X
hk [n]Y [k − n]
n=0
Für die Lernregel gilt mit Hilfe der Fixpunktiteration (siehe Abbildung 12
auf S.51):
2 h
i
∂
hk+1 [n] = hk [n]−β·
E X̂[k] − X[k] = hk [n]−β·E X̂[k] − X[k] Y [k − n]
∂hk [n]
Man beachte, dass im Gegensatz zum Wiener-Filter die Berechnung von
Auto- und Kreuzkorrelationen hier entfallen.
Für die Betriebsmodi gilt nun:
h
i
• im Lernmodus: hk+1 [n] = hk [n] − β · E X̂[k] − X[k] Y [k − n]
• im Betriebsmodus: hk+1 [n] = hk [n]
Der Schrittweitenparameter β wird zur Laufzeit nach bestimmten Regeln,
die hier nicht erläutert werden, festgelegt. Allgemein ist der Parameter β am
Anfang gross. Er nimmt mit zunehmender Laufzeit ab. Es sei hier noch angemerkt, dass dies nur ein einfacher LMS-Algorithmus darstellt. In der Praxis
werden auch modifizierte LMS-Algorithmen mit z.T. mehreren Parametern
eingesetzt. Zudem wird meist eine Entscheidungsrückführung wie bei der
Egalisation verwendet. Dadurch lässt sich der Schätzfehler weiter reduzieren.
12 TRELLIS ALGORITHMEN UND DIAGRAMME
51
Abbildung 12: Fixpunktiteration beim LMS-Algorithmus
12
12.1
Trellis Algorithmen und Diagramme
Trellis-Diagramme
Trellis-Diagramme (trellis engl., zu deutsch Spalier) sind gewichtete und gerichtete Graphen, sogenannte Flussgraphen. Jeder Zweig besitzt also eine
Richtung und eine Gewichtung. Dabei gilt zu beachten, dass der Fluss des
Graphen immer vom Anfang- zum Endknoten zeigt. Es gibt also keine Zweige, die diesem Fluss entgegengesetzt sind. Die Knoten werden kolonnenweise
angeordnet. Unter dem Begriff Zweigmetriken versteht man die Gewichtung
der Zweige. Anstelle von Zweigen wird oft auch der Begriff Kanten verwendet.
Die Abbildung 13 auf S.54 zeigt ein Trellis-Diagramm.
12.2
Viterbi-Algorithmus
12.2.1
Min-Summe-Version
Für die Beschreibung der Trellis-Diagramme werden folgende Begriffe
benötigt:
• Pfadmetrik zum Knoten s: Summe der Zweigmetriken vom Startknoten zum Knoten s
• Zustandsmetrik eines Knotens s: Pfadmetrik zum Knoten s
Der Grundgedanken bei der Min-Summe-Version besteht darin, die Summe
der Zweigmetriken und somit die Zustandsmetrik jedes Knotens zu minimieren. Für die Zustandsmetrik eines Knotens s mit der Gewichtungsfunktion
µ(.) gilt:
nX
o
µ(s) :=
min
µ(bi )
durchl. Zweige bi
12 TRELLIS ALGORITHMEN UND DIAGRAMME
52
Für den Algorithmus gilt nun:
1. Gehe zum Startknoten und initialisier dessen Zustandsmetrik mit 0.
2. Wähle einen Knoten der ersten Kolonne und lege die Zustandsmetrik
fest.
3. Bearbeite alle Knoten der ersten Kolonne nach demselben Verfahren.
4. Gehe dann zur zweiten Kolonne.
5. Wähle einen Knoten der zweiten Kolonne und wähle den Pfad mit der
geringsten Pfadmetrik (ausgehend vom Startknoten). Die benachbarten
Zweige, die eine höhere Pfadmetrik ergeben haben, werden mit einem
x markiert und scheiden aus. Die x-markierten Pfade sind verbotene
Pfade.
6. Bearbeite nun alle Knoten der zweiten Kolonne nach demselben Verfahren.
7. Bearbeite dann nach demselben Muster die weiteren Kolonnen bis der
Endknoten erreicht wurde.
8. Der Pfad mit der kleinsten Pfadmetrik ist der übrigbleibende Pfad, der
vom Start- zum Endknoten führt, ohne dass ein mit x-markierter Pfad
durchlaufen wird.
Zum besseren Verständnis betrachte man das Beispiel auf S.54.
12.2.2
Max-Produkt-Version
Für die Beschreibung der Trellis-Diagramme werden folgende Begriffe
benötigt:
• Pfadmetrik zum Knoten s: Produkt der Zweigmetriken vom Startknoten zum Knoten s
• Zustandsmetrik eines Knotens s: Pfadmetrik zum Knoten s
Der Grundgedanken bei der Max-Produkt-Version besteht darin, das Produkt der Zweigmetriken und somit die Zustandsmetrik jedes Knotens zu
maximieren. Für die Zustandsmetrik eines Knotens s mit der Gewichtungsfunktion µ(.) gilt:
nY
o
µ(s) :=
max
µ(bi )
durchl. Zweige bi
Für den Algorithmus gilt nun:
12 TRELLIS ALGORITHMEN UND DIAGRAMME
53
1. Gehe zum Startknoten und initialisier dessen Zustandsmetrik mit 1.
2. Wähle einen Knoten der ersten Kolonne und lege die Zustandsmetrik
fest.
3. Bearbeite alle Knoten der ersten Kolonne nach demselben Verfahren.
4. Gehe dann zur zweiten Kolonne.
5. Wähle einen Knoten der zweiten Kolonne und wähle den Pfad mit der
grössten Pfadmetrik (ausgehend vom Startknoten). Die benachbarten
Zweige, die eine kleinere Pfadmetrik ergeben haben, werden mit einem
x markiert und scheiden aus. Die x-markierten Pfade sind verbotene
Pfade.
6. Bearbeite nun alle Knoten der zweiten Kolonne nach demselben Verfahren.
7. Bearbeite dann nach demselben Muster die weiteren Kolonnen bis der
Endknoten erreicht wurde.
8. Der Pfad mit der grössten Pfadmetrik ist der übrigbleibende Pfad, der
vom Start- zum Endknoten führt, ohne dass ein mit x-markierter Pfad
durchlaufen wird.
Zum besseren Verständnis betrachte man das Beispiel auf S.54.
12.3
Wahrscheinlichkeitsmodelle
Diagrammen
mit
den
Trellis-
Die Knoten der Trellis-Diagramme sind die Zustände eines Systems. Die
Zweige oder Kanten beschreiben dann die Übergänge der Zustände. Jeder Übergang besitzt wiederum eine bestimmte Übergangswahrscheinlichkeit
oder bestimmte Kosten. Man kann sich somit ein Trellis-Diagramm als Abfolge der Zustände eines endlichen Automaten vorstellen mit dem Unterschied,
dass die Übergänge stochastisch oder mit Kosten behaftet sind. Jede Kolonne entspricht dem Zustandsset des Systems. Die Trellis-Diagramme erfüllen
zudem folgende Eigenschaften:
• Gleichverteilung: Alle Pfade sind gleichwahrscheinlich.
• Markov-Eigenschaft: Ein Zustand hängt nur jeweils vom vorhergehenden Zustand ab und nicht von allen Zuständen der Vergangenheit.
12 TRELLIS ALGORITHMEN UND DIAGRAMME
54
Abbildung 13: Beispiel eines Trellis-Diagramms [1]
Abbildung 14: Beispiel zur Min-Summe-Version des Viterbi-Algorithmus [1]
Abbildung 15: Beispiel zur Max-Produkt-Version des Viterbi-Algorithmus [1]
12 TRELLIS ALGORITHMEN UND DIAGRAMME
55
Es beschreibe nun W = (W1 , . . . , Wn ) ein zufälliger Pfad mit n Abschnitten im Trellis-Diagramm. W sei ein reeller Zufallsvektor, der einen strikt
stationären stochastischen Prozess beschreibt. Y sei ebenfalls ein reeller Zufallsvektor und sei eine Beobachtung dieses stochastischen Prozesses. Es gilt
dann:
n
Y
fY|W (y|w) =
fYk |Wk (yk |wk )
k=1
12.3.1
ML-Entscheidungsregel für einen Pfad
Die ML-Entscheidung für einen Pfad lautet:
(
ŵM L = argmaxw {fY|W (y|w)} = argmaxw
n
Y
)
fYk |Wk (yk |wk )
k=1
Diese Entscheidungsregel entspricht aber gerade der Max-Produkt-Version
des Viterbi-Algorithmus.
Mit Hilfe des Logarithmus (zur Basis 10) lässt sich folgende analoge Entscheidungsregel formulieren:
( n
)
X
− log(fYk |Wk (yk |wk ))
ŵM L = argminw {− log(fY|W (y|w))} = argminw
k=1
Diese Entscheidungsregel entspricht aber gerade der Min-Summe-Version des
Viterbi-Algorithmus.
12.3.2
MAP-Entscheidungsregel für einen Pfad
Die MAP-Entscheidung für einen Pfad lautet:
ŵM AP = argmaxw {P (W = w)fY|W (y|w)}
( n
)
Y
ŵM AP = argmaxw
P (Wk = wk )fYk |Wk (yk |wk )
k=1
Diese Entscheidungsregel entspricht aber gerade der Max-Produkt-Version
des Viterbi-Algorithmus.
Ist W gleichverteilt, dann geht die MAP-Entscheidungsregel in die MLEntscheidungsregel über:
ŵM AP = argmaxw {P (W = w)fY|W (y|w)} = argmaxw {fY|W (y|w)}
12 TRELLIS ALGORITHMEN UND DIAGRAMME
56
Mit Hilfe des Logarithmus (zur Basis 10) lässt sich folgende analoge Entscheidungsregel formulieren:
ŵM AP = argminw {− log(P (W = w)fY|W (y|w))}
( n
)
X
ŵM AP = argminw
− log(P (Wk = wk )fYk |Wk (yk |wk ))
k=1
Diese Entscheidungsregel entspricht aber gerade der Min-Summe-Version des
Viterbi-Algorithmus.
12.3.3
Entscheidungsprobleme mit Hilfe des Viterbi-Algorithmus
Mit Hilfe der ML- oder MAP-Entscheidungsregel erhält man aus der Beobachtung Y eine Entscheidung für W. Man probiert also von Y auf W
zu schliessen. Die Berechnung dieser Entscheidung erweist sich oft als sehr
kostspielig. Die Trellis-Diagramme kombiniert mit dem Viterbi-Algorithmus
liefern aber ein sehr nützliches Werkzeug, um die Berechnung der Entscheidung effizient durchzuführen. Zudem bietet der Algorithmus die Möglichkeit
einer effizienten technischen Realisierung des Problems.
Der folgende Ablauf zeigt ein Entscheidungsproblem mit Hilfe der TrellisDiagramme und des Viterbi-Algorithmus:
1. Zustände des Trellis-Diagramms festlegen.
2. Zustandsübergangswahrscheinlichkeiten oder Zweigkosten in das
Trellis-Diagramm einzeichnen.
3. Zustandsmetriken bestimmen.
4. Viterbi-Algorithmus anwenden. Dabei spielt keine Rolle, ob die MinSumme-Version oder die Max-Produkt-Version verwendet wird.
5. Der erhaltene Pfad ergibt eine optimale Entscheidung für den Prozess
W.
A MATRIZEN
A
Matrizen
A.1
Spezielle Matrizen
• symmetrische Matrix: A = AT
• schiefsymmetrische Matrix: A = −AT
• hermitesche Matrix: AH = AT
• hermitesch konjugierte Matrix: AH = A∗ T
• orthogonale Matrix: AT = A−1
• unitäre Matrix: AH = A−1
A.2
Transponieren
• (AT )T = A
• (A + B)T = AT + BT
• (AB)T = BT AT
A.3
Konjugiert komplexe Matrizen
• (A∗ )∗ = A
• (A + B)∗ = A∗ + B∗
• (AB)∗ = B∗ A∗
A.4
Hermitesche Konjugation
• (AH )H = A
• AH = (A∗ )T = (AT )∗
• (A + B)H = AH + BH
• (AB)H = BH AH
57
B DEZIBEL
B
58
Dezibel
Für die dimensionslose Verstärkung x in Dezibel (dB) gilt:
xdB = 10 · log10 (x)
Für die Leistungsverstärkung x in Dezibel (dB) gilt:
xdB = 20 · log10 (x)
C
Ein Vergleich: Fourierreihen und zeitdiskrete Fouriertransformation
Die komplexe Fourierreihe einer Funktion f(x) lautet:
g(x) =
∞
X
cn · e
2π
jnx
T
mit
n=−∞
1
cn =
T
Z
T
2π
g(x) · e− T
jnx
dx
0
Die Rücktransformation der zeitdiskreten Fouriertransformation lautet:
Z 2π
1
F (ejΩ ) · ejkΩ dΩ
f [k] =
2π 0
Ein Vergleich der Fourierreihe mit der Rücktransformation der zeitdiskreten
Fouriertransformation ergibt:
• T = 2π
• f [−k] ist die Fourierreihenentwicklung von F (ejΩ ), sofern f [k] stabil
ist.
D
Spezielle Grenzwerte
Es sei F : a1 , a2 , . . . eine Folge von reellen Zahlen.
• Limes superior: Es sei lim supi→∞ (ai ) = b. Die kleinste obere Grenze
b der Folge F wird als limes superior bezeichnet. Somit gilt:
limi→∞ (ai ) = lim sup(ai ) = lim inf (ak )
i→∞
i→∞
k≥i
LITERATUR
59
• Limes inferior: Es sei lim inf i→∞ (ai ) = b. Die grösste untere Grenze
b der Folge F wird als limes inferior bezeichnet. Somit gilt:
limi→∞ (ai ) = lim inf (ai ) = lim sup(ak )
i→∞
i→∞
k≥i
Falls der Grenzwert limi→∞ (ai ) = c existiert, so gilt:
lim sup ai = lim inf ai = lim ai = c
i→∞
i→∞
i→∞
Ein Beispiel soll dies veranschaulichen. Es sei ai = (−1)i . Somit gilt:
• lim supi→∞ (ai ) = 1
• lim inf i→∞ (ai ) = −1
• limi→∞ (ai ) existiert nicht.
Literatur
[1] Skript zur Vorlesung ’Stochastische Modelle und Signalverarbeitung’
von Prof. Dr. H.-A. Loeliger
[2] Formelsammlung ’Signal- und Systemtheorie I’ von Prof. Dr. H. Bölcskei
[3] ’Communication System’ (Fourth Edition) by Simon Haykin; published
at John Wiley and Sons, Inc.
[4] Wikipedia: Stochastische Prozesse
[5] ’Mathematik für Ingenieure’ von T. Vogel und R. Santschi (1.Auflage,
2004)
Index
Abtastung, 21
Änderung der Abtastrate, 23
Abtasttheorem, 22
Dezimation, 23
Interpolation, 23
Axiome von Kolmogorov, 31
LMS-Algorithmus, 50
Schwach stat. Prozesse, 43
Stochastische Filter, 48
Whitening Filter, 45
Wiener-Filter, 48
Formel von Bayes, 38
Fourierreihen, 58
Fouriertransfomation
Definition, 15
Bedingte Wahrscheinlichkeit, 38
beschränkte Signale, 6
Beschränkung, 6
bilineare Transformation, 15, 17
Grundmenge, 31
Dezibel, 58
Diskrete Fouriertransf.
Definition, 15
Integrierbarkeit, 6
Komplexe Analysis
Analytische Funktionen, 13
Cauchy-Hadamard, 12
Konvergenz, 12
Konvergenzradius, 12
Laurent-Reihen, 12
Korrelation, 35
endliche Energie, 6
Ereignis, 31
Ereignismenge, 31
Erwartungswert
Beziehungen, 35
Relationen, 35
Erwarungswert, 34
Laplacetransformation
Definition, 15
Konvergenz, 18
Konvergenzgebiete, 17
Stabilität, 19
Limes inferior, 58
Limes superior, 58
LTI-Systeme, 10
BIBO-Stabilität, 10
Kausalität, 10
Faltung, 7
Dirac-Stoss, 8
Eigenschaften, 8
Einheitssprung, 8
Faltungstheorem, 8
Faltungsalgorithmen, 13
Filter
Adaptive Filter, 50
Butterworth-Filter, 26
Egalisation, 28, 49
Entzerrung, 28
FIR-Filter, 25
Hoch- u. Tiefpass, 26
IIR-Filter, 26
Inverse zeitdiskrete Filter, 27
Matrizen, 57
Regeln, 57
Spezielle Matrizen, 57
Normalformen, 13
Potenzmenge, 31
60
INDEX
Randdichte, 34
Randverteilung, 34
Schätzregeln, 46
Bayes’sche Schätzregel, 46
Maximum-LikelihoodSchätzung, 46
Sigma-Algebra, 31
Signalklassen, 7
Stabilität, 6
Stoch. Prozesse
Mittelwert, 43
Stationarität, 41
Stoch. stat. Prozesse, 41
Autokorrelation, 43
Kreuzkorrelation, 43
mittlere Leistung, 43
Stochastische Prozesse, 41
Summierbarkeit, 6
Systemeigenschaften, 10
BIBO-Stabilität, 9
Gedächtnis, 10
Invertierbarkeit, 10
Kausalität, 9
Linearität, 9
LTI-Systeme, 10
Realisierbarkeit, 10
Zeitinvarianz, 9
Totale Wahrscheinlichkeit, 39
Trellis-Diagramme, 51
Entscheidungsprobleme, 56
MAP-Entscheidungsregel, 55
ML-Entscheidungsregel, 55
Wahrscheinlichkeitsmodelle,
53
Unabhängigkeit, 37
Varianz, 35
Verbunddichte, 33
Verbundverteilungsfunktion, 33
61
Verbundwahrscheinlichkeitsdichte,
33
Verteilungsfunktion, 32
Viterbi-Algorithmus, 51
Entscheidungsprobleme, 56
MAP-Entscheidungsregel, 55
Max-Produkt-Version, 52
Min-Summe-Version, 51
ML-Entscheidungsregel, 55
Wahrscheinlichkeitsdichte, 32
Wahrscheinlichkeitsraum, 31
Wahrscheinlichkeitssystem, 31
Weisses Rauschen, 45
Wiener-Hopf-Gleichung, 48
Wiener-Khinchine-Beziehung, 44
Z-Transformation, 11
Anfangswerttheorem, 11
Definition, 15
Eigenschaften, 11
Endwerttheorem, 11
Konvergenz, 18
Konvergenzgebiete, 17
Stabilität, 19
Zeitdiskrete Fouriertransf.
Definition, 15
Zufallsgrössen, 32
Zufallsvariable, 32