Kleine Formelsammlung zu Stochastische Prozesse
Werbung
Kleine Formelsammlung zu Stochastische Prozesse Florian Franzmann∗ Kompiliert am 4. September 2005 um 18:39 Uhr ∗ [email protected] 1 Index A sin-, 11 sinc-, 10 trigonometrische, 11 von Zufallsvariablen, 23 Wahrscheinlichkeitsdichte-, 24 Abbildung von Zufallsvariablen, 23 Additionstheoreme, 11 B Bernoulli, 20 Binomialkoeffizient, 12 G Covarianz, 34 Cramer-Rao-Schranke, 44 Geradengleichung allgemeine Form, 11 durch Punkt und Steigung, 10 durch zwei Punkte, 11 Parameterform, 11 D I C Dichte Eigenschaften, 24 Rand-, 24 E Ergodizität, 31 Erwartungswert, 31 bedingter, 34 F Filter Wiener, 45 nichtkausal, 45 Funktion charakteristische, 29 cos-, 11 Filterautokorrelations-, 37 Kohärenz-, 37 Korrelations-, 35 Auto-, 30, 35, 37 Kreuz-, 30, 35, 36 KovarianzAuto-, 30, 35 Kreuz-, 30, 35 kumulantenerzeugende, 29 Log-Likelihood, 43 momentenerzeugende, 29 rect-, 10 2 Integration, 12 partielle, 12 Substitutionsregel, 12 K Kombinatorik, 20 Komplexe Zahlen, 12 Korrelationskoeffizient, 34 Kovarianz, 34 Kreuzkorrelierte, 35, 36 L Leistungsdichtespektrum Auto-, 30, 36, 37 Kreuz-, 30, 36 M Median, 29 Mittelwert, 31 linearer, 32, 34 quadratischer, 33, 34 Moment, 32 zentrales, 32 zentrales Verbund-, 33 O Optimalfilterung, 45 Orthogonalität, 23 Index P Perzentil, 29 Prädiktion, 38, 39 Intervall-, 40 Punkt-, 40 Q Quadratische Gleichung Lösungsformel, 11 R Rauschen streng weißes, 38 weißes, 38 S Schätzer Bayes, 44 effizienter, 40 erwartungstreuer, 40 Intervall normalverteilte Zufallsvariable mit bekanntem mX, 43 normalverteilte Zufallsvariable mit unbekanntem mX, 43 konsistenter, 41 MAP, 44 Maximum-Likelihood, 43 Mittelwert arithmetischer, 41 bei bekannter Varianz, 41 bei unbekannter Varianz, 42 bei unbekannter Verteilung, 42 MMSE, 43 MSE, 43 Parameter Exponentialverteilung, 42 Poissonverteilung, 42 Wahrscheinlichkeit, 42 Varianz bei bekanntem Mittelwert, 41 bei unbekanntem Mittelwert, 41 Schätzung Intervall-, 39 Parameter-, 39 Bayes, 39 klassische, 39 Stationarität schwache, 30 strenge, 29 gemeinsame, 29 Zyklo-, 31 schwache, 31 Statistik hinreichende, 41 T Transformation DTFT, 13 Fourier, 13 zeitdiskret, 13–20 Laplace, 13 z, 13 U Unabhängigkeit statistische, 20, 23 Unkorreliertheit, 23 V Varianz, 33 Verbundmoment Zentrales, 33 Verteilung bedingte, 24 Binomial-, 25 Cauchy-, 27 χ-, 28 χ2-, 28 Eigenschaften, 24 Erlang-, 28 Exponential-, 28 Gamma-, 27 Γ -, 27 Gauß-, 26 geometrische, 25 Gleich-, 25 Laplace-, 27 3 Index Lognormal-, 27 Maxwell-, 28 Normal-, 26 gemeinsame, 26–27 Poisson-, 26 Rand-, 24 Rayleigh-, 28 W Wahrscheinlichkeit bedingte, 20 Verbund-, 23–24, 26–27 Weißes Rauschen, 38 Z Zahl komplexe, 12 Zufallsvariable Abbildung eindimensional, 23 mehrdimensional, 23 4 Abbildungsverzeichnis Abbildungsverzeichnis 1 2 3 Rechteck- und sinc-Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Korrelationsfunktionen und Leistungsdichtespektren . . . . . . . . . . . . 35 Typisches Szenario zur Wiener Filterung . . . . . . . . . . . . . . . . . . . 45 Tabellenverzeichnis 1 2 3 4 5 6 7 8 Korrespondenzen der zweiseitigen Laplace-Transformation Sätze der zweiseitigen Laplace-Transformation . . . . . . . Korrespondenzen der Fourier-Transformation . . . . . . . Sätze der Fourier-Transformation . . . . . . . . . . . . . . Korrespondenzen der zweiseitigen z-Transformation . . . . Sätze der zweiseitigen z-Transformation . . . . . . . . . . Korrespondenzen der DTFT . . . . . . . . . . . . . . . . . Sätze der DTFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 15 16 17 18 19 21 22 Inhaltsverzeichnis 1 Mathematische Grundlagen 10 1.1 Wichtige Funktionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.1.1 rect-Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.1.2 sinc-Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2 Geradengleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2.1 Gerade durch einen Punkt P(x0, y0) mit Steigung m . . . . . . . . 10 1.2.2 Gerade durch die Punkte P(x0, y0) und A(x1, y1) . . . . . . . . . . 11 1.2.3 Parameterform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.2.4 Allgemeine Form der Geradengleichung . . . . . . . . . . . . . . . 11 1.3 Lösungsformel für quadratische Gleichungen . . . . . . . . . . . . . . . . . 11 1.4 Additionstheoreme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.5 Integrationsregeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.5.1 Partielle Integration . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.5.2 Substitutionsregel . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.6 Komplexe Zahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.7 Binomialkoeffizient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.8 Transformationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.8.1 Laplace-Transformation . . . . . . . . . . . . . . . . . . . . . . . . 13 1.8.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.8.1.2 Inverse Laplace-Transformation . . . . . . . . . . . . . . 13 1.8.2 Fourier-Transformation . . . . . . . . . . . . . . . . . . . . . . . . 13 1.8.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.8.2.2 Inverse Fourier-Transformation . . . . . . . . . . . . . . . 13 1.8.2.3 Hinreichende Bedingung für die Existenz der Fourier-Transformierten 13 5 Inhaltsverzeichnis 1.8.3 1.8.4 z-Transformation . . . . . . . . . . . . . . . 1.8.3.1 Definition . . . . . . . . . . . . . . Zeitdiskrete Fouriertransformation (DTFT) 1.8.4.1 DTFT . . . . . . . . . . . . . . . . 1.8.4.2 IDTFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 13 13 13 20 2 Kombinatorik 20 3 Bedingte Wahrscheinlichkeit 20 4 Bernoulli-Experimente 20 5 Statistische Unabhängigkeit 23 5.1 Statistische Unabhängigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . 23 5.2 Unkorreliertheit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 5.3 Orthogonalität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 6 Abbildungen von Zufallsvariablen 23 6.1 Eindimensionaler Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 6.2 Mehrdimensionaler Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 7 Verteilung und Dichte 7.1 Eigenschaften einer Dichte . . . . . . . . . . . . . . . . . . . . . . 7.2 Eigenschaften einer Verteilung . . . . . . . . . . . . . . . . . . . . 7.3 Randdichte und Randverteilung . . . . . . . . . . . . . . . . . . . 7.3.1 Randdichte . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3.2 Randverteilung . . . . . . . . . . . . . . . . . . . . . . . . 7.4 Bedingte Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . 7.5 Spezielle Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . 7.5.1 Gleichverteilung . . . . . . . . . . . . . . . . . . . . . . . 7.5.1.1 Diskreter Fall . . . . . . . . . . . . . . . . . . . . 7.5.1.2 Kontinuierlicher Fall . . . . . . . . . . . . . . . . 7.5.2 Binomialverteilung (Bernoulli-Experiment) . . . . . . . . 7.5.3 Geometrische Verteilung . . . . . . . . . . . . . . . . . . . 7.5.4 Poisson-Verteilung . . . . . . . . . . . . . . . . . . . . . . 7.5.5 Normal-Verteilung (Gauß-Verteilung) N (mX, σX) . . . . . 7.5.5.1 Definition . . . . . . . . . . . . . . . . . . . . . . 7.5.5.2 Zwei gemeinsam normalverteilte Zufallsvariablen 7.5.5.3 N gemeinsam normalverteilte Zufallsvariablen . 7.5.6 Cauchy-Verteilung . . . . . . . . . . . . . . . . . . . . . . 7.5.7 Lognormal-Verteilung . . . . . . . . . . . . . . . . . . . . 7.5.8 Laplace-Verteilung . . . . . . . . . . . . . . . . . . . . . . 7.5.9 Γ -Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . 7.5.9.1 Erlang-Verteilung . . . . . . . . . . . . . . . . . 7.5.9.2 χ2-Verteilung . . . . . . . . . . . . . . . . . . . . 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 24 24 24 24 24 24 24 25 25 25 25 25 26 26 26 26 27 27 27 27 27 28 28 Inhaltsverzeichnis 7.5.9.3 χ-Verteilung . . . . . . . . . . . . . . . . 7.5.9.3.1 Rayleigh-Verteilung (für N = 2) 7.5.9.3.2 Maxwell-Verteilung (für N = 3) 7.5.9.4 Exponential-Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Perzentil und Median 28 28 28 28 29 9 Erzeugende Funktionen 29 9.1 Momentenerzeugende Funktion ΦX(s) . . . . . . . . . . . . . . . . . . . . 29 9.2 Charakteristische Funktion ΦX(jω) . . . . . . . . . . . . . . . . . . . . . . 29 9.3 Kumulantenerzeugende Funktion ΨX(s) . . . . . . . . . . . . . . . . . . . 29 10 Stationarität 10.1 Strenge Stationarität . . . . . . . . . . . . . . . . . . 10.2 Gemeinsame strenge Stationarität . . . . . . . . . . 10.3 Schwache Stationarität . . . . . . . . . . . . . . . . . 10.3.1 Eigenschaften (schwach) stationärer Prozesse 10.3.1.1 AKF und AKV . . . . . . . . . . . 10.3.1.2 KKF und KKV . . . . . . . . . . . 10.3.1.3 Auto- und Kreuz-LDS . . . . . . . . 10.3.1.3.1 Komplexer Fall . . . . . . . 10.3.1.3.2 Reeller Fall . . . . . . . . . 10.4 Zyklostationäre Prozesse . . . . . . . . . . . . . . . . 10.5 Schwach zyklostationäre Prozesse . . . . . . . . . . . 10.6 Ergodizität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 29 29 30 30 30 30 30 30 31 31 31 31 11 Mittelwerte 11.1 Erwartungswert . . . . . . . . . . 11.2 Momente n-ter Ordnung . . . . . 11.2.1 kontinuierlich . . . . . . . 11.2.2 diskret . . . . . . . . . . . 11.3 Zentrale Momente n-ter Ordnung 11.3.1 kontinuierlich . . . . . . . 11.3.2 diskret . . . . . . . . . . . 11.4 Wichtige Momente . . . . . . . . 11.4.1 Linearer Mittelwert . . . 11.4.1.1 kontinuierlich . . 11.4.1.2 diskret . . . . . 11.4.2 Quadratischer Mittelwert 11.4.2.1 kontinuierlich . . 11.4.2.2 diskret . . . . . 11.4.3 Varianz . . . . . . . . . . 11.4.3.1 kontinuierlich . . 11.4.3.2 diskret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 31 32 32 32 32 32 32 32 32 32 32 33 33 33 33 33 33 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Inhaltsverzeichnis 11.5 Zentrale Verbundmomente . . . . . 11.5.1 kontinuierlich . . . . . . . . 11.5.2 diskret . . . . . . . . . . . . 11.5.3 Kovarianz . . . . . . . . . . 11.5.3.1 kontinuierlich . . . 11.5.3.2 diskret . . . . . . 11.5.4 Korrelationskoeffizient . . . 11.5.5 Bedingte Erwartungswerte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 33 33 34 34 34 34 34 12 LTI-Systeme und schwach stationäre Prozesse 34 12.1 Mittelwerte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 12.1.1 Linearer Mittelwert . . . . . . . . . . . . . . . . . . . . . . . . . . 34 12.1.1.1 kontinuierlich . . . . . . . . . . . . . . . . . . . . . . . . . 34 12.1.1.2 diskret . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 12.1.2 Quadratischer Mittelwert . . . . . . . . . . . . . . . . . . . . . . . 34 12.1.2.1 kontinuierlich . . . . . . . . . . . . . . . . . . . . . . . . . 34 12.1.2.2 diskret . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 12.2 Korrelationsfunktionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 12.2.1 Autokorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 12.2.2 Autokovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 12.2.3 Kreuzkorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 12.2.4 Kreuzkovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 12.2.5 Eigenschaften von AKF, AKV, KKF und KKV . . . . . . . . . . . 35 12.2.6 Autoleistungsdichtespektrum . . . . . . . . . . . . . . . . . . . . . 36 12.2.6.1 kontinuierlich . . . . . . . . . . . . . . . . . . . . . . . . . 36 12.2.6.2 diskret . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 12.2.7 Kreuzleistungsdichtespektrum . . . . . . . . . . . . . . . . . . . . . 36 12.2.7.1 kontinuierlich . . . . . . . . . . . . . . . . . . . . . . . . . 36 12.2.7.2 diskret . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 12.2.8 Kreuzkorrelationsfunktion und Kreuzleistungsdichtespektrum zwischen Ein- und Ausga 12.2.8.1 kontinuierlich . . . . . . . . . . . . . . . . . . . . . . . . . 36 12.2.8.2 diskret . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 12.3 Autokorrelationsfunktion und Autoleistungsdichtespektrum am Ausgang . 37 12.3.1 kontinuierlich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 12.3.2 diskret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 12.4 Kohärenzfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 12.5 Weißes Rauschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 12.5.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 12.5.1.1 kontinuierlich . . . . . . . . . . . . . . . . . . . . . . . . . 38 12.5.1.2 diskret . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 12.5.2 Streng weißes Rauschen . . . . . . . . . . . . . . . . . . . . . . . . 38 8 Inhaltsverzeichnis 13 Schätztheorie 13.1 Prädiktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.1.1 Parameterschätzung . . . . . . . . . . . . . . . . . . . . . . 13.1.1.1 Klassische Parameterschätzung . . . . . . . . . . . 13.1.1.2 Bayes’sche Schätzung . . . . . . . . . . . . . . . . 13.1.2 Intervallschätzung . . . . . . . . . . . . . . . . . . . . . . . 13.2 Prädiktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.2.1 Punktprädiktion . . . . . . . . . . . . . . . . . . . . . . . . 13.2.2 Intervallprädiktion . . . . . . . . . . . . . . . . . . . . . . . 13.3 Gütekriterien für Parameterschätzer . . . . . . . . . . . . . . . . . 13.3.1 Erwartungstreuer Schätzer . . . . . . . . . . . . . . . . . . 13.3.2 Effizienter Schätzer . . . . . . . . . . . . . . . . . . . . . . . 13.3.3 Konsistenter Schätzer . . . . . . . . . . . . . . . . . . . . . 13.3.4 Hinreichende Statistik . . . . . . . . . . . . . . . . . . . . . 13.4 Mittelwertschätzer . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.4.1 Arithmetisches Mittel . . . . . . . . . . . . . . . . . . . . . 13.4.2 Varianzschätzer bei bekanntem Mittelwert . . . . . . . . . . 13.4.3 Varianzschätzer bei unbekanntem Mittelwert . . . . . . . . 13.4.4 Mittelwertschätzung bei bekannter Varianz . . . . . . . . . 13.4.5 Mittelwertschätzung bei unbekannter Varianz . . . . . . . . 13.4.6 Mittelwertschätzung bei unbekannter Verteilung . . . . . . 13.4.7 Parameterschätzung bei bestimmten Verteilungen . . . . . 13.4.7.1 Exponentialverteilung . . . . . . . . . . . . . . . . 13.4.7.2 Poissonverteilung . . . . . . . . . . . . . . . . . . 13.4.8 Wahrscheinlichkeitsschätzung . . . . . . . . . . . . . . . . . 13.4.9 Varianzschätzung bei normalverteilten Zufallsvariablen . . . 13.4.9.1 Varianzschätzung bei bekanntem Mittelwert mX . 13.4.9.2 Varianzschätzung bei unbekanntem Mittelwert mX 13.5 MMSE- und LSE-Schätzung . . . . . . . . . . . . . . . . . . . . . . 13.5.1 MMSE-Schätzung . . . . . . . . . . . . . . . . . . . . . . . 13.5.2 MSE-Schätzung . . . . . . . . . . . . . . . . . . . . . . . . . 13.5.3 Maximum-Likelihood-Schätzer . . . . . . . . . . . . . . . . 13.5.4 Log-Likelihood-Funktion . . . . . . . . . . . . . . . . . . . . 13.5.5 Bayes’sche Schätzung . . . . . . . . . . . . . . . . . . . . . 13.5.6 Maximum a posteriori-Schätzer (MAP) . . . . . . . . . . . 13.6 Cramer-Rao-Schranke . . . . . . . . . . . . . . . . . . . . . . . . . 14 Lineare Optimalfilterung 14.1 Wiener Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.1.1 Zeitkontinuierlich . . . . . . . . . . . . . . . . . . . . . . . . 14.1.1.1 Schwach stationäres weißes Rauschen am Eingang 14.1.1.2 Allgemeine nichtkausale Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 38 39 39 39 39 39 40 40 40 40 40 41 41 41 41 41 41 41 42 42 42 42 42 42 43 43 43 43 43 43 43 43 44 44 44 . . . . 45 45 45 45 45 9 1 Mathematische Grundlagen 1 1 − 2a 1 2a (a) rect(at) 1 a −2πa (b) 2πa 1 ω sinc( 2a ) |a| Abbildung 1: Rechteck- und sinc-Funktion 1 Mathematische Grundlagen 1.1 Wichtige Funktionen 1.1.1 rect-Funktion 1 rect(at) = 0 für |t| ≤ sonst 1 2a 1.1.2 sinc-Funktion sinc(ν) = sin ν ν 1 für ν 6= 0 für ν = 0 1.2 Geradengleichung 1.2.1 Gerade durch einen Punkt P(x0, y0) mit Steigung m y = m(x − x0) + y0 10 1.3 Lösungsformel für quadratische Gleichungen 1.2.2 Gerade durch die Punkte P(x0, y0) und A(x1, y1) y = y0 + y1 − y0 · (x − x0) mit x1 6= x0 x1 − x0 1.2.3 Parameterform x = x0 + t cos α y = y0 + t sin α mit t ∈ ]−∞, ∞[. 1.2.4 Allgemeine Form der Geradengleichung Ax + By + C = 0 1.3 Lösungsformel für quadratische Gleichungen ax2 + bx + c = 0 √ −b ± b2 − 4ac x1,2 = falls b2 − 4ac ≥ 0 2a p −b ± j −(b2 − 4ac) falls b2 − 4ac < 0 x1,2 = 2a 1.4 Additionstheoreme sin α · sin β = cos α · cos β = 1 (cos(α − β) − cos(α + β)) 2 1 (cos(α − β) + cos(α + β)) 2 sin2 α = cos2 α = 1 (1 − cos 2α) 2 1 (1 + cos 2α) 2 sin 2α = 2 sin α cos α = 1 − cos2 α cos 2α = cos2 α − sin2 α = 1 − sin2 α sin α = cos α = ejα − e−jα 2j jα e + e−jα 2j ejα = cos α + j sin α e−jα = cos α − j sin α 11 1 Mathematische Grundlagen 1.5 Integrationsregeln 1.5.1 Partielle Integration Z Z u(x)v ′ (x)dx = u(x)v(x) − u ′ (x)v(x)dx 1.5.2 Substitutionsregel x = u(t) bzw. t = v(x). u und v seien zueinander Umkehrfunktionen. Z Z f(x)dx = f(u(t))u ′ (t)dt bzw. Z Z f(u(t)) f(x)dx = dt v ′ (u(t)) 1.6 Komplexe Zahlen z = a + jb z = ρ(cos ϕ + j sin ϕ) arg z = ϕ + 2kπ (−π < ϕ ≤ +π ∧ k ∈ Z) a = ρ cos ϕ b = ρ sin ϕ p ρ = a2 + b2 a arccos ρ ϕ = − arccos a ρ unbestimmt b arctan a π + 2 ϕ = −π 2 b arctan a+π b arctan a −π für b ≥ 0 ∧ ρ > 0 für b < 0 ∧ ρ > 0 für ρ = 0 für für für für für a>0 a =0∧b >0 a =0∧b <0 a <0∧b ≥0 a <0∧b <0 z = ρ · ejϕ ejϕ = cos ϕ + j sin ϕ 1.7 Binomialkoeffizient n n n! = = k n−k k!(n − k)! 12 1.8 Transformationen 1.8 Transformationen 1.8.1 Laplace-Transformation 1.8.1.1 Definition L{x(t)} = X(s) = Z∞ x(t)e−stdt −∞ 1.8.1.2 Inverse Laplace-Transformation x(t) = L−1{X(s)} = 1 2π Z σ+j∞ X(s)estds σ−j∞ 1.8.2 Fourier-Transformation 1.8.2.1 Definition X(jω) = F{x(t)} = Z∞ −∞ x(t)e−jωtdt = L{x(t)} s=jω X(jω) = |X(jω)| · ejϕ(jω) 1.8.2.2 Inverse Fourier-Transformation Z 1 ∞ X(jω)ejωtdω x(t) = 2π −∞ 1.8.2.3 Hinreichende Bedingung für die Existenz der Fourier-Transformierten Z∞ |x(t)|dt < ∞ −∞ 1.8.3 z-Transformation 1.8.3.1 Definition Z {x[k]} = X(z) = ∞ X x[k]z−k k=−∞ 1.8.4 Zeitdiskrete Fouriertransformation (DTFT) 1.8.4.1 DTFT Die Zeitdiskrete Fouriertransformation ist gegeben durch X(ejΩ) = F∗ {x[k]} = ∞ X x[k]e−jΩk k=−∞ Sie entspricht der zweiseitigen z-Transformation für den Fall z = ejΩ, falls z = 1 ∈ Kb. 13 1 Mathematische Grundlagen Tabelle 1: Korrespondenzen der zweiseitigen Laplace-Transformation x(t) X(s) = L{x(t)} δ(t) 1 s∈C ε(t) 1 s Re{s} > 0 e−atε(t) 1 s+a Re{s} > Re{−a} −e−atε(−t) 1 s+a Re{s} < Re{−a} tε(t) tnε(t) te−atε(t) tne−atε(t) 14 Kb 1 s2 Re{s} > 0 n! sn+1 Re{s} > 0 1 (s+a)2 Re{s} > Re{−a} n! (s+a)n+1 Re{s} > Re{−a} sin(ω0t)ε(t) ω0 s2 +ω20 Re{s} > 0 cos(ω0t)ε(t) s s2 +ω20 Re{s} > 0 e−at cos(ω0t)ε(t) s+a (s+a)2 +ω20 Re{s} > Re{−a} e−at sin(ω0t)ε(t) ω0 (s+a)2 +ω20 Re{s} > Re{−a} t cos(ω0t)ε(t) s2 −ω20 (s2 +ω20 )2 Re{s} > 0 t sin(ω0t)ε(t) 2ω0 s (s2 +ω20 )2 Re{s} > 0 1.8 Transformationen Tabelle 2: Sätze der zweiseitigen Laplace-Transformation x(t) Linearität Ax1(t) + Bx2(t) X(s) = L{x(t)} Kb AX1(s) + BX2(s) Kb ⊇ Kb{X1} ∩ Kb{X2} Verschiebung x(t − τ) e−sτX(s) unverändert Modulation e−atx(t) X(s − a) um Re{a} nach rechts verschoben Multiplikation mit t“, ” Differentiation im Frequenzbereich tx(t) d X(s) − ds unverändert Differentiation im Zeitbereich d dt x(t) sX(s) Kb ⊇ Kb{X} x(τ)dτ 1 s X(s) Kb ⊇ Kb{X} ∩ {s : Re{s} > 0} Integration Achsenskalierung Rt −∞ x(at) 1 |a| X s a Kb mit Faktor a skalieren 15 1 Mathematische Grundlagen Tabelle 3: Korrespondenzen der Fourier-Transformation x(t) X(jω) = F{x(t)} δ(t) 1 1 δ̇(t) P∞ k=−∞ δ(t − kT ) = 1 T 1 T ⊥⊥⊥ ε(t) jω ⊥⊥⊥ ωT 2π πδ(ω) + ω 1 |a| sinc 2a sinc(at) π |a| rect sign(t) ejω0 t = 1 jω rect(at) 1 t ω 2a P∞ k=−∞ δ ω− −jπsign(ω) 2 jω 2πδ(ω − ω0) cos(ω0t) π[δ(ω + ω0) + δ(ω − ω0)] sin(ω0t) jπ[δ(ω + ω0) − δ(ω − ω0)] e−α|t|; α > 0 2 t2 e−a 16 2πδ(ω) 2α α2 +ω2 √ ω2 π − 4a 2 e a 2π T ·k 1.8 Transformationen Tabelle 4: Sätze der Fourier-Transformation x(t) Lineariät Ax1(t) + Bx2(t) Verschiebung x(t − τ) ejω0 tx(t) Modulation X(jω) = F{x(t)} AX1(jω) + BX2(jω) e−jωτX(jω) X(j(ω − ω0)) Differentiation im Frequenzbereich tx(t) − dX(jω) d(jω) Differentiation im Zeitbereich dx(t) dt jωX(jω) x(τ)dτ 1 jω X(jω) Integration Ähnlichkeit Rt −∞ x(at) Faltung x1(t) ∗ x2(t) Multiplikation x1(t) · x2(t) x1(t) x2(jt) Dualität x(−t) x∗ (t) x∗ (−t) Symmetrien Parsevalsches Theorem R∞ −∞ |x(t)|2dt + πX(0)δ(ω) jω 1 X a ; a ∈ R \ {0} |a| X1(jω) · X2(jω) 1 2π X1(jω) ∗ X2(jω) x2(jω) 2πx1(−ω) X(−jω) X∗ (−jω) X∗ (jω) R 1 ∞ 2π −∞ |X(jω)|2dω 17 1 Mathematische Grundlagen Tabelle 5: Korrespondenzen der zweiseitigen z-Transformation x[k] X(z) = Z{x[k]} Kb δ[k] 1 z∈C ε[k] z z−1 |z| > 1 akε[k] z z−a |z| > |a| (kausal) −akε[−k − 1] z z−a |z| < |a| (antikausal) kε[k] z (z−1)2 |z| > 1 kakε[k] az (z−a)2 |z| > |a| 1 k 1 a ln ε[k − 1] · 18 · ak−1 z z−a |z| > |a| sin(Ω0k)ε[k] zsin Ω0 z2 −2zcos Ω0 +1 |z| > 1 cos(Ω0k)ε[k] z(z−cos Ω0 ) z2 −2zcos Ω0 +1 |z| > 1 1.8 Transformationen Tabelle 6: Sätze der zweiseitigen z-Transformation Eigenschaft Lineariät Verschiebung Modulation x[k] ax1[k] + bx2[k] x[k − κ] akx[k] X(z) Kb aX1(z) + bX2(z) Kb ⊇ Kb{X1} ∩ Kb{X2} z−κX(z) Kb{x}; z = 0 und z → ∞ gesondert betrachten X z a Multiplikation mit k kx[k] −z dX(z) dz Zeitumkehr x[−k] X(z−1) Faltung x1[k] ∗ x2[k] Multiplikation x1[k] · x2[k] Kb = z az ∈ Kb{x} Kb{x}; z = 0 gesondert betrachten Kb = {zz−1 ∈ Kb{x}} X1(z) · X2(z) 1 2πj H X1(ζ)X2 Kb ⊇ Kb{x1} ∩ Kb{x2} z ζ 1 ζ dζ Grenzen der Konvergenzbereiche multiplizieren 19 4 Bernoulli-Experimente 1.8.4.2 IDTFT Die inverse DTFT braucht keinen Kb. Z 1 2π x[k] = F∗−1 X(ejΩ) = X(ejΩ)ejΩkdΩ 2π 0 2 Kombinatorik 1. N verschiedene Objekte kann man auf N! verschiedene Arten anordnen. N! 2. Für k ≤ N Objekte aus einer Menge von N Objekten gibt es (N−k)! verschiedene Anordnungen, wenn die k Objekte unterschieden werden oder ihre Reihenfolge beachtet wird. 3. Wenn Identität bzw. Reihenfolge nicht beachtet werden gibt es N k verschiedene Anordnungen. 3 Bedingte Wahrscheinlichkeit P(B|A) = P(B ∩ A) P(A) Bei statistischer Unabhängigkeit gilt P(A|B) = P(A) ∧ P(B|A) = P(B) 4 Bernoulli-Experimente Die Wahrscheinlichkeit, daß ein Ereignis bei einem bestimmten Versuch eintritt beträgt p · (1 − p)N−1 Die Wahrscheinlichkeit, daß ein Ereignis bei einem beliebigen Versuch eintritt beträgt N · p · (1 − p)N−1 Die Wahrscheinlichkeit, daß ein Ereignis bei genau k bestimmten Versuchen eintritt beträgt pk · (1 − p)N−k Die Wahrscheinlichkeit, daß ein Ereignis genau k mal bei beliebigen Versuchen eintritt beträgt N · pk · (1 − p)N−k k 20 Tabelle 7: Korrespondenzen der DTFT x[k] X(ejΩ) = F∗ {x[k]} δ[k] 1 ε[k] π ε[k]ejΩ0 k π 1 ejΩ0 k cos Ω0k ε[k] · cos Ω0k P∞ n=−∞ P∞ n=∞ P∞ µ=−∞ 2π π δ(Ω − 2πn) + 1 1−e−jΩ δ(Ω − Ω0 − 2πn) + Ω 2π δ P∞ n=−∞ P∞ n=−∞ π P∞ n=−∞ 2 1 1−e−j(Ω−Ω 0 ) −µ δ(Ω − Ω0 − 2πn) δ(Ω − Ω0 − 2πn) + δ(Ω + Ω0 − 2πn) δ(Ω − Ω0 − 2πn) + δ(Ω + Ω0 − 2πn) jΩ e −cos Ω0 + 2cos Ω−2cos Ω0 ε[k] · sin Ω0k π 2j P∞ n=−∞ δ(Ω − Ω0 − 2πn) − δ(Ω + Ω0 − 2πn) sin Ω0 + 2cos Ω−2cos Ω0 sin Ω0k 1 für 0 ≤ k ≤ N rect[k] = 0 sonst für k > 0 1 sign[k] = 0 für k = 0 −1 für k < 0 akε[k] −jπ P∞ e−jΩ n=−∞ N−1 2 1+e−jΩ 1−e−jΩ · δ(Ω − Ω0 − 2πn) − δ(Ω + Ω0 − 2πn) sin( NΩ 2 ) sin( Ω 2 ) 1 = −j tan(Ω/2) 1 1−ae−jΩ 21 4 Bernoulli-Experimente Tabelle 8: Sätze der DTFT Eigenschaft Linearität x[k] ax1[k] + bx2[k] Verschiebungssatz x[k − κ] Zeitumkehr x[−k] ejΩ0 kx[k] Modulationssatz X(ejΩ) = F∗ {x[k]} aX1(ejΩ) + bX2(ejΩ) e−jΩκX(ejΩ); κ ∈ Z X(e−jΩ) X(ej(Ω−Ω0 )); Ω0 ∈ R jΩ ) Differentiation kx[k] j dX(e dΩ Konjugation x∗ [k] X∗ (e−jΩ) Realteil Re{x[k]} xg[k] Imaginärteil Im{x[k]} xu[k] Faltungssatz x1[k] ∗ x2[k] Multiplikationssatz x1[k] · x2[k] Xg(ejΩ) Re{X(ejΩ)} Xu(ejΩ) jIm{X(ejΩ)} X1(ejΩ)X2(ejΩ) 1 2π = Parsevalsches Theorem 22 P∞ k=−∞ |x[k]|2 1 2π R 2π 0 Y(ejΩ)X(ej(Ω−η))dη 1 jΩ 2π X1(e ) ⊛ Rπ X2(ejΩ) jΩ −π |X(e )|dΩ 5 Statistische Unabhängigkeit 5.1 Statistische Unabhängigkeit fXY(x, y) = fX(x) · fY(y) 5.2 Unkorreliertheit E {XY} = E {X} · E {Y} Aus statistischer Unabhängigkeit folgt Unkorreliertheit – bei Gauß-Verteilung folgt aus Unkorreliertheit statistische Unabhängigkeit. Für unkorrelierte Zufallsprozesse gilt SXY(jω) = 2π · mX · m∗Y · δ(ω) ∞ X δ(Ω − 2πk) SXY(ejΩ) = 2π · mX · m∗Y · k=−∞ 5.3 Orthogonalität Zwei Zufallsvariablen X und Y heißen orthogonal, wenn E {XY} = 0. Aus Unkorreliertheit und E {X} = 0 ∪ E {Y} = 0 folgt Orthogonalität. Für orthogonale Zufallsprozesse gilt RXY = 0 ∧ SXY = 0 6 Abbildungen von Zufallsvariablen 6.1 Eindimensionaler Fall fY(y) = fX(x) · fX(x) |dx| = ′ dy |g (x)| 6.2 Mehrdimensionaler Fall fY (~y) = fX(g−1(~y)) |det J(g−1(~y))| = fX(~x) |det J(~x)| fUW(u, w) = mit J(~x) = fXY(x, y) | det J(x, y)| ∂g1 ∂x1 ··· ∂g1 ∂xK .. . .. .. . ∂gK ∂x1 ··· . ∂gK ∂xK 23 7 Verteilung und Dichte 7 Verteilung und Dichte 7.1 Eigenschaften einer Dichte fX(x) ≥ 0 ∧ Z∞ fX(x)dx = 1 −∞ 7.2 Eigenschaften einer Verteilung Eine Wahrscheinlichkeitsverteilung ist immer monoton steigend. Außerdem gilt 0 ≤ FX(x) ≤ 1 7.3 Randdichte und Randverteilung 7.3.1 Randdichte fX(x) = fY(y) = Z∞ fXY(x, η)dη Z−∞ ∞ fXY(ξ, y)dξ −∞ 7.3.2 Randverteilung FX(x) = FY(y) = Zx Z∞ −∞ Z−∞ y Z∞ fXY(ξ, η)dηdξ = Zx fXY(ξ, η)dξ, dη = −∞ −∞ −∞ Zy fX(ξ)dξ fY(η)dη −∞ 7.4 Bedingte Verteilungen FX|X>t(x) = P(X ≤ x|X > t) = fY (y|X = x) = fY|X(y) = 7.5 Spezielle Verteilungen Skript ab Seite 131. 24 P(X ≤ x ∩ X > t) P(X > t) fXY(x, y) fX(x) fXY(x,y) fX(x) 7.5 Spezielle Verteilungen 7.5.1 Gleichverteilung 7.5.1.1 Diskreter Fall fX(x) = N 1 X · δ(x − xi) N i=1 mX = σ2X = 7.5.1.2 Kontinuierlicher Fall fX(x) = N 1 X · xi N 1 · N 1 xmax −xmin 0 i=1 N X (xi − mX)2 i=1 für xmin ≤ x ≤ xmax sonst xmax + xmin 2 x3max − x3min (xmax + xmin )2 − 3(xmax − xmin ) 4 mX = σ2X = 7.5.2 Binomialverteilung (Bernoulli-Experiment) fX(x) = FX(x) = N X N k=0 N X k=0 k pk · (1 − p)N−k · δ(x − k) mit 0 < p < 1 N k p · (1 − p)N−k · ε(x − k) mit 0 < p < 1 k mX = N · p (2) mX σ2X = N · p(1 + Np − p) = N · p(1 − p) Die Binomialverteilung nähert sich für N · p · (1 − p) ≫ 1 der Normalverteilung an. 7.5.3 Geometrische Verteilung Beschreibt die Zahl der Fehlversuche bis zum ersten Treffer. ∞ X fX(x) = p · (1 − p)k · δ(x − k) mit 0 < p < 1 FX(x) = k=0 ∞ X k=0 p · (1 − p)k · ε(x − k) 25 7 Verteilung und Dichte ΦX(s) = mX = (2) = mX σ2X = p 1 − (1 − p) · es 1−p p (1 − p)(2 − p) p2 1−p p2 7.5.4 Poisson-Verteilung Wahrscheinlichkeit, daß bei einem wiederholten Bernoulli-Experiment k Ergebnisse im Intervall ∆ liegen. fX(x) = e−a · FX(x) = e−a · ∞ X ak k=0 ∞ X k=0 k! · δ(x − k) ak · ε(x − k) k! s −1) ΦX(s) = ea(e mX = a (2) mX = a + a2 σ2X = a Wobei a = λ∆. 7.5.5 Normal-Verteilung (Gauß-Verteilung) N (mX, σX) 7.5.5.1 Definition fX(x) = FX(x) = 1 2 2 · e−(x−mX ) /2σX 2π · σX 2 1 x − mX 2 mit erf(x) = √ R x e−ξ dξ · 1 + erf √ 2 π 2σX 0 √ 2 σ2 /2+sm X X ΦX(s) = es Nur bei normalverteilten Zufallsvariablen gilt: Xi unkorreliert ⇒ Xi statistisch unabhängig. 7.5.5.2 Zwei gemeinsam normalverteilte Zufallsvariablen fXY(x, y) = 2πσXσY 26 1 q „ 1 − c2XY ·e − 1 · 2(1−c 2 ) XY „ (x−m X ) 2 σ2 X −2cXY · (y−m Y ) 2 (x−m X )(y−m Y ) + σX σY σ2 Y «« 7.5 Spezielle Verteilungen 7.5.5.3 N gemeinsam normalverteilte Zufallsvariablen N Zufallsvariablen X1, . . . , XN werden als gemeinsam normalverteilt bezeichnet, wenn jede Linearkombination y = ~ eine normalverteilte Zufallsvariable erzeugt. a1X1 + · · · + aNYN = ~ aX 7.5.6 Cauchy-Verteilung fX(x) = π(b2 + b (x − a)2) x0,5 = a = mX 7.5.7 Lognormal-Verteilung 1 − fX(x) = √ ·e 2πσUx (ln x−m U ) 2 2σ 2 U · ε(x) 7.5.8 Laplace-Verteilung fX(x) = √ √ 1 · e− 2|x−mX |/σX 2σX ΦX(s) = 2 · esmX 2 − σ2Xs2 7.5.9 Γ -Verteilung λa · xa−1eλx ε(x) Γ (a) Z ∞ a a−1 −λξ λ ξ e dξ · ε(x) FX(x) = Γ (a) 0 fX(x) = Γ (x) = Z∞ 0 tx−1 · e−tdt x>0 = (x − 1)! ΦX(s) = mX = (2) mX = σ2X = λ λ−s a a λ a(a + 1) λ2 a λ2 27 7 Verteilung und Dichte 7.5.9.1 Erlang-Verteilung λnxn−1e−λx · ε(x) (n − 1)! fX(x) = 7.5.9.2 χ2-Verteilung Spezialfall der Γ -Verteilung für λ = xb/2−1e−x/2 · ε(x) 2b/2 · Γ (b/2) b 2 1 ΦX(s) = 1 − 2s fX(x) = 7.5.9.3 χ-Verteilung x2 2xN−1e− 2 fX(x) = N 2 2 Γ(N 2) · ε(x) 7.5.9.3.1 Rayleigh-Verteilung (für N = 2) p z = x 2 + y2 2 z −x2 2σ · e wobei z ≥ 0 σ2 r π mZ = ·σ 2 π 2 ·σ σ2Z = 2− 2 fZ(z) = 7.5.9.3.2 Maxwell-Verteilung (für N = 3) r 2 2 − x2 fX(x) = · x · e 2 · ε(x) π 7.5.9.4 Exponential-Verteilung 1 − e−λx · ε(x) fX(x) = λe−λx · ε(x) FX(x) = ΦX(s) = mX = (2) mX = σ2X = 28 λ λ−s 1 λ 2 λ2 1 λ2 1 2 und a = b2 , b ∈ N. 8 Perzentil und Median Das u-Perzentil einer Zufallsvariable X ist der kleinste Wert, für den gilt Z xU fX(ξ)dξ u = P(X ≤ xU) = FX(xU) = −∞ Das 0, 5-Perzentil wird auch Median genannt. 9 Erzeugende Funktionen 9.1 Momentenerzeugende Funktion ΦX(s) sX ΦX(s) = E e = Z∞ −∞ fX(x)esxdx = L {fX(−x)} (n) Das Moment n-ter Ordnung entspricht der n-ten Ableitung von ΦX (0) bei s = 0. 9.2 Charakteristische Funktion ΦX(jω) jωX ΦX(jω) = E e = Z∞ jωx fX(x)e dx = Z∞ −∞ −∞ fX(−x)e−jωxdx = F {fX(−x)} 9.3 Kumulantenerzeugende Funktion ΨX(s) ΨX(s) = ln ΦX(s) = ∞ (n) X ΨX (0) n s n! n=0 (n) (n) Kumulanten: λX = ΨX (0) 10 Stationarität 10.1 Strenge Stationarität Ein Prozeß heißt streng stationär, wenn gilt fX(t1 )···X(tN )(x1, . . . , xN) = fX(t1 +∆)···X(tN +∆)(x1, . . . , xN) ∀N ∈ N, ∆ ∈ R 10.2 Gemeinsame strenge Stationarität fX(t1 )···X(tM )Y(t1 )···Y(tN )(x1, . . . , xN, y1, . . . , yN) = fX(t1 +∆)···X(tN +∆)Y(t1 +∆)···Y(tN +∆)(x1, . . . , xN, y1, . . . , yN) ∀M, N ∈ N, ∆ ∈ R9 29 10 Stationarität 10.3 Schwache Stationarität mX(t) = mX RXX(t1, t2) = E {X(t1)X(t2)∗ } = RXX(t + τ, t) = E {X(t + τ)X∗ (t)} RXX(τ) mit τ := t1 − t2 Bei normalverteilten Prozessen gilt: Schwache Stationarität ⇒ Stationarität. 10.3.1 Eigenschaften (schwach) stationärer Prozesse 10.3.1.1 AKF und AKV RXX(−τ) = R∗XX(τ) CXX(−τ) = C∗XX(τ) RXX(τ) = E {X(t + τ)X∗ (t)} = E {X(t + τ + t0)X∗ (t)} = RXX(τ + t0) AKF und AKV haben ein Maximum in τ = 0. 10.3.1.2 KKF und KKV RXY(−τ) = R∗YX(τ) CXY(−τ) = C∗YX(τ) CXY(t1, t2) = RXY (t1, t2) − mX(t1)mY (t2) = RXY (t + τ, t) − mX(t + τ)m∗Y(t) RXY (τ) − mXm∗Y 10.3.1.3 Auto- und Kreuz-LDS Grundsätzlich gilt: SXX(jω) ≥ 0 10.3.1.3.1 Komplexer Fall SXX(jω) = S∗XX(jω) SXY(jω) = S∗XY(jω) 30 10.4 Zyklostationäre Prozesse 10.3.1.3.2 Reeller Fall SXX(jω) = SXX(−jω) SXY(jω) = SYX(−jω) 10.4 Zyklostationäre Prozesse fX···X(x1, . . . , xN, t1, . . . , tN) = fX···X(x1, . . . , xN, t1 + kT, . . . , tN + kT ) ∀k ∈ Z Die zeitlich gemittelte AKF eines zyklostationären Prozesses hat die gleichen Eigenschaften wie die AKF eines stationären Prozesses (siehe Abschnitt 10.3.1.1). 10.5 Schwach zyklostationäre Prozesse mX(t + kT ) = mX(t) RXX(t + τ + kT, t + kT ) = RXX(t + τ, t) 10.6 Ergodizität Ein Prozeß heißt ergodisch, wenn jeder zeitliche Mittelwert einer beliebigen Musterfunktion mit dem entsprechenden Scharmittelwert identisch ist. Nachweis: Aus mX konstant schwache Stationarität CXX(t0, t1) = CXX(τ) und 1 lim T→∞ 2T Z 2T −2T |τ| 1− 2T CXX(τ)dτ = 0 folgt Ergodizität. 11 Mittelwerte 11.1 Erwartungswert Erwartungswertoperator für eine Funktion g und eine reelle Zufallsvariable X(η): Z∞ g(x)fX(x)dx E {g(X)} = −∞ Z∞ Z ∞ ~ x)d~x g(~x)fX ··· E g(X) = ~ (~ −∞ −∞ 31 11 Mittelwerte Der Erwartungswertoperator ist linear: E {a1g1(X) + a2g2(X)} = a1E {g1(x)} + a2E {g2(x)} Das Signal-Störleistungs-Verhältnis berechnet sich aus den Mittelwerten zweiter Ordnung folgendermaßen: ! (2) mX SNR = 10 log 10 dB (2) mN 11.2 Momente n-ter Ordnung 11.2.1 kontinuierlich (n) mX n = E {X } = Z∞ xnfX(x)dx −∞ n ∈ N0 11.2.2 diskret (n) mX = E {Xn} = ∞ X i=0 xn i · P(xi) n ∈ N0 11.3 Zentrale Momente n-ter Ordnung 11.3.1 kontinuierlich Z∞ (1) n (n) (1) n x − mX fX(x)dx µX = E X − mX = −∞ n ∈ N0 11.3.2 diskret (n) µX = E ∞ X (1) n (1) n = · P(xi) X − mX x − mX i=−∞ 11.4 Wichtige Momente 11.4.1 Linearer Mittelwert 11.4.1.1 kontinuierlich (1) mX = mX = E {X} = 11.4.1.2 diskret (1) mX mX = E {X} = Z∞ X i 32 xfX(x)dx −∞ xi · P(xi) n ∈ N0 11.5 Zentrale Verbundmomente 11.4.2 Quadratischer Mittelwert 11.4.2.1 kontinuierlich Z∞ x2fX(x)dx = E X2 = −∞ Z 1 ∞ = SXX(jω)dω 2π −∞ (2) mX 1 = 2π (2) mX Z∞ −∞ SXX(jω)dω = RXX(0) = E |X(t)|2 11.4.2.2 diskret (2) mX = X i x2i · P(xi) 11.4.3 Varianz 11.4.3.1 kontinuierlich σ2X = (2) µX 2 = E (X − mX) = Z∞ (x − mX)2fX(x)dx −∞ σ2X = RXX(0) − m2X 11.4.3.2 diskret (2) σ2X = mX − m2X 11.5 Zentrale Verbundmomente 11.5.1 kontinuierlich (m,n) µXY = E {(X − mX)m(X − mY )n} Z∞ (x − mX)m(y − mY)nfXY(x, y)dxdy = −∞ 11.5.2 diskret (m,n) µXY = E {(X − mX)m(X − mY )n} XX = (xi − mX)m(yj − mY)n · P(xi ∩ yj) i j 33 12 LTI-Systeme und schwach stationäre Prozesse 11.5.3 Kovarianz 11.5.3.1 kontinuierlich (1,1) CXY = µXY = E {(X − mX)(Y − mY)} = E {XY} − E {X} E {Y} Z∞ Z∞ (x − mX)(y − mY)fXY (x, y)dxdy = −∞ −∞ 11.5.3.2 diskret (1,1) CXY = µXY = E {(X − mX)(Y − mY)} XX = (xi − mX)(yj − mY ) · P(xi ∩ yj) i j CXY = 0 ⇒ X und Y sind unkorreliert ⇒ E {XY} = E {X} E {Y} 11.5.4 Korrelationskoeffizient cXY = CXY σXσY 11.5.5 Bedingte Erwartungswerte Z∞ Z∞ ~ E g(X|A) = ··· g(~x)fX|A x)d~x ~ (~ −∞ −∞ 12 LTI-Systeme und schwach stationäre Prozesse 12.1 Mittelwerte 12.1.1 Linearer Mittelwert 12.1.1.1 kontinuierlich mY = mX · Z∞ −∞ h(t)dt = mX · H(0) 12.1.1.2 diskret mY = mX · H(1) 12.1.2 Quadratischer Mittelwert 12.1.2.1 kontinuierlich (2) mY 34 1 = RYY(0) = 2π Z∞ −∞ |H(jω)|2 · SXX(jω)dω 12.2 Korrelationsfunktionen RXX(τ) SXX(jω) h∗ (−τ) H∗ (jω) RXY(τ) SXY(jω) h(τ) H(jω) RYY(τ) SYY(jω) (a) Im Kontinuierlichen RXX[κ] h∗ [−κ] RXY[κ] SXX(ejΩ) H∗ (ejΩ) SXY(ejΩ) h[κ] H(ejΩ) RYY[κ] SYY(ejΩ) (b) Im Diskreten Abbildung 2: Korrelationsfunktionen und Leistungsdichtespektren 12.1.2.2 diskret (2) mY 1 = RYY [0] = 2π Z 2π 0 Z 1 2π jΩ 2 jΩ dΩ = | · SXX ejΩ dΩ SYY e |H e 2π 0 12.2 Korrelationsfunktionen 12.2.1 Autokorrelation RXX(t1, t2) = E {X(t1)X∗ (t2)} 12.2.2 Autokovarianz CXX(t1, t2) = E {[X(t1) − mX(t1)] · [X(t2) − mX(t2)]∗ } = RXX(t1, t2) − mX(t1)mX(t2)∗ 12.2.3 Kreuzkorrelation RXY(t1, t2) = E {X(t1)Y ∗ (t2)} 12.2.4 Kreuzkovarianz CXY(t1, t2) = E {[X(t1) − mX(t1)] · [Y(t2) − mY(t2)]∗ } = RXY(t1, t2) − mX(t1)mY(t2)∗ 12.2.5 Eigenschaften von AKF, AKV, KKF und KKV AKF und AKV sind gerade Funktionen: RXX(−τ) = R∗XX(τ) CXX(−τ) = C∗XX(τ) 35 12 LTI-Systeme und schwach stationäre Prozesse AKF und AKV eines periodischen Zufallsprozesses sind periodisch: RXX(τ) = RXX(τ + t0) Wegen CXX(τ) = RXX(τ) − |mX|2 folgt CXX(τ) = CXX(τ + t0). AKF und AKV haben ihr Maximum in τ = 0: RXX(0) ≥ |RXX(τ)| ∀τ 12.2.6 Autoleistungsdichtespektrum 12.2.6.1 kontinuierlich SXX(jω) = F {RXX(τ)} = Z∞ RXX(τ)e−jωτdτ −∞ 12.2.6.2 diskret jΩ SXX(e ) = F∗ {RXX[κ]} = ∞ X RXY[κ]e−jΩκ κ=−∞ 12.2.7 Kreuzleistungsdichtespektrum 12.2.7.1 kontinuierlich SXY(jω) = F {RXY(τ)} = Z∞ RXY(τ)e−jωτdτ −∞ 12.2.7.2 diskret jΩ SXY(e ) = F∗ {RXY[κ]} = ∞ X RXY[κ]e−jΩκ κ=−∞ 12.2.8 Kreuzkorrelationsfunktion und Kreuzleistungsdichtespektrum zwischen Einund Ausgang 12.2.8.1 kontinuierlich RXY (τ) = RXX(τ) ∗ h∗ (−τ) RYX(τ) = RXX(τ) ∗ h(τ) SXY(jω) = H∗ (jω) · SXX(jω) SYX(jω) = H(jω) · SXX(jω) 36 12.3 Autokorrelationsfunktion und Autoleistungsdichtespektrum am Ausgang 12.2.8.2 diskret RXY[κ] = RXX[κ] ∗ h∗ [−κ] RYX[κ] = RXX[κ] ∗ h[κ] SXY ejΩ = H∗ ejΩ · SXX ejΩ SYX ejΩ = H ejΩ · SXX ejΩ 12.3 Autokorrelationsfunktion und Autoleistungsdichtespektrum am Ausgang 12.3.1 kontinuierlich RYY(jω) = h(jω) ∗ RXY(jω) = h(jω) ∗ h∗ (−jω) ∗ RXX(jω) ρ(jω) ∗RXX(jω) | {z } = Filter-AKF SYY(jω) = H(jω) · SXY(jω) = H∗ (jω) · SYX(jω) = |H(jω)|2 · SXX(jω) 12.3.2 diskret RYY [κ] = h[κ] ∗ RXY[κ] = h[κ] ∗ h∗ [−κ] ∗ RXX[κ] = ρ[κ] |{z} ∗RXX[κ] Filter-AKF SYY ejΩ = H(jω) · SXY(jω) = H∗ (jω) · SYX(jω) = |H ejΩ |2 · SXX ejΩ 12.4 Kohärenzfunktion GXY(jω) = GXY(ejω) = p p CXY(jω) SXX(jω) · SYY(jω) SXY ejΩ SXX (ejΩ) · SYY (ejΩ) 37 13 Schätztheorie 12.5 Weißes Rauschen 12.5.1 Definition Ein Prozeß heißt genau dann weiß“, wenn gilt ” 12.5.1.1 kontinuierlich CXX(t1, t2) = RXX(t1, t2) − mX(t1) · m∗X(t2) = 0 ∀t1 6= t2 CXX(t1, t2) = RXX(t1, t2) = C0(t1)δ(t1 − t2) 12.5.1.2 diskret CXX[k1, k2] = RXX[k1, k2] = C0[k1]δ[k1 − k2] 12.5.2 Streng weißes Rauschen Ein weißer Rauschprozeß heißt streng weiß genau dann, wenn die Zufallsvariablen X(t1) und X(t2) statistisch unabhängig für beliebige t1 6= t2 sind. 13 Schätztheorie 13.1 Prädiktion Prädiktion macht Aussagen über nicht beobachtbare oder nicht beobachtete Ereignisse auf Basis eines Wahrscheinlichkeitsmodells. Zu prädizierende Signale werden als Musterfunktionen eines Zufallsprozesses angesehen. Wichtige Größen bei der Prädiktion: ~ oder Φ ~ • Parametervektor φ ~ Vektor von deterministischen aber unbekannten Parametern. – φ: ~ Zufällige Parameter. – Φ: ~ • Beobachtungsvektor ~x oder X – ~x: Vektor von tatsächlich beobachtbaren Werten. ~ Vektor von als Zufallsvariablen modellierten Beobachtungen. – X: ~ für die ein statistisches Modell bekannt ist durch ~x Ziel: Prädiktion von ~x oder X, ^ oder ~ ^ X. Voraussetzung: Kenntnis der Parameter des Wahrscheinlichkeitsmodells (z. B. Verbunddichte zwischen Parametern und Beobachtungen oder Erwartungswerte). 38 13.2 Prädiktion 13.1.1 Parameterschätzung Ein oder mehrere unbekannte Parameterwerte eines Wahrscheinlichkeitsmodells sollen geschätzt werden. Wichtige Variablen: ~ oder Φ. ~ • Parametervektor φ ~ • Beobachtungsvektor ~x oder X. ~ her. (z. B. bedingte • Unbekanntes System/Kanal: Stellt die Beziehung zwischen ~x/X Wahrscheinlichkeiten, Verbundwahrscheinlichkeiten, Funktion & Rauschterm). ~ Erzeugt Schätzwerte als Funktionen der Beobachtung. Entwurf heuri• Schätzer Θ: ~ stisch oder per Modell der Beobachtungen X. ~^ = Θ(~ ~^ = Θ( ~^ am Ausgang des Schätzers Θ ~ x), Φ ~ X): ~ Mustervektor φ ~ • Schätzwerte φ ~ ~ X), ~ wenn die Beob^ = Θ( abgeleitet aus Beobachtungen ~x oder Ausgangsvektor Φ achtungen als Zufallsvariablen betrachtet werden. ~ bzw. Φ ~ aus ~x bzw. X. ~ Ziel: Schätze φ Voraussetzung: Kenntnis der Beobachtung bzw. Struktur eines statistischen Modells der Beobachtung (der Parameter bei Bayes). 13.1.1.1 Klassische Parameterschätzung Parameter φ werden als Konstanten angesehen. Schätzung ausschließlich auf Basis von tatsächlichen Beobachtungen. ~ aufge13.1.1.2 Bayes’sche Schätzung Parameter werden als echte Zufallsvariablen Φ faßt, Schätzung einer Realisierung mittels eines Wahrscheinlichkeitsmodells ⇒ Prädiktion von Parametern. 13.1.2 Intervallschätzung ~ zwei Konstanten c1, c2 als Schranken Es werden für eine zu schätzende Zufallsvariable X der Wahrscheinlichkeitsverteilung bestimmt, so daß ~ ≤ c2) = P(c1 < X γ |{z} Konfidenzmaß =1− δ |{z} Konfidenzniveau ∆c = c2 − c1 Vertrauensintervall 13.2 Prädiktion Schätzung des Wertes einer Zufallsvariable. 39 13 Schätztheorie 13.2.1 Punktprädiktion Genau ein Wert einer (noch) nicht beobachteten Zufallsvariable soll möglichst gut vorhergesagt werden. Optimierungskriterium ist z. B. der mittlere quadratische Fehler (MQF) ⇒ Optimierungsziel ist der minimale quadratische Fehler (MMSE). Kostenfunktion ist J(^ x) = E (X − x ^)2 = min 13.2.2 Intervallprädiktion Für ein bestimmtes Konfidenzmaß γ soll ein möglichst kleines Vertrauensintervall ∆c festgelegt werden. Je nach Beschaffenheit der Wahrscheinlichkeitsdichtefunktion 1. Fall – Ein Maximum und und gerade Symmetrie: fX(c1) = fX(c2) mit c1 ≤ mX ≤ c2 c1 = xδ/2 ∧ c2 = x1−δ/2 2. Fall – Ein Maximum: Startlösung nach Fall 1. Anschließend c1 und c2 so entlang der x-Achse verschieben, daß die Wahrscheinlichkeits erhöht wird. Dann ∆c so weit verkleinern, daß P(c1 < X ≤ c2) = γ gilt. 3. Fall – Mehrere Maxima: Lösung nach Fall 2, allerdings müssen alle Verschiebungen abgesucht werden. 13.3 Gütekriterien für Parameterschätzer 13.3.1 Erwartungstreuer Schätzer ^ −φ ^ −φ =E Φ ^ bias = E Φ φ ^ bias = 0. Ein asymptotisch erwartungstreuer Ein erwartungstreuer Schätzer erfüllt φ ^ bias = 0. Schätzer erfüllt limN→∞ φ 13.3.2 Effizienter Schätzer Ein erwartungstreuer Schätzer ist effizient genau dann, wenn die Kovarianzmatrix CΦ ^Φ ^ =E minimal T ^ −E Φ ^ ^ −E Φ ^ Φ Φ = min CΦ CΦ ^ Φ,effizient ^ ^Φ ^ ^ φ ist, wobei als Norm der größte Eigenwert dienen kann. 40 13.4 Mittelwertschätzer 13.3.3 Konsistenter Schätzer Ein erwartungstreuer Schätzer ist konsistent, wenn er bezüglich der Wahrscheinlichkeit konvergiert ^ − φ ≥ ε = 0 lim P Φ N→∞ wofür lim CΦ ^Φ ^ =0 N→∞ hinreichend ist. Beispiele ab Seite 334. 13.3.4 Hinreichende Statistik ~ X ~ heißt hinreichende Statistik für die Schätzung des Parametervektors Ein Schätzer Θ ~^ = Θ ~ wenn Φ ~ X ~ alle Informationen über φ ~ enthält, die in X ~ enthalten sind, d. h. φ, fX|Φ hängt nicht von φ ab. ^ ~x, φ, φ fXΦ ^ ^ = ~x, φ, φ ~ (~x) ^ =Θ f^ φ Φ 13.4 Mittelwertschätzer 13.4.1 Arithmetisches Mittel N X ^ = mX = 1 · xi φ N i=1 13.4.2 Varianzschätzer bei bekanntem Mittelwert N X ^ =Σ ^ 2X = 1 (Xi − mX)2 Φ N i=1 13.4.3 Varianzschätzer bei unbekanntem Mittelwert Σ^2X = N 1 X ^X 2 Xi − M N−1 i=1 13.4.4 Mittelwertschätzung bei bekannter Varianz Z. B. für den Fall, daß N zu klein ist um mit dem zentralen Grenzwertsatz zu argumentieren. 1. Nimm N Beobachtungen xi der Zufallsvariablen X und bilde das arithmetische Mittel. 41 13 Schätztheorie 2. Bestimme für das gewünschte Konfidenzmaß γ = 1−δ das Perzentil zu für u = 1− δ2 für die normierte Gauß-Verteilung. 3. Bestimme die Intervallgrenzen durch Entnormierung δ σX m ^ X ± z1 − · √ 2 N 13.4.5 Mittelwertschätzung bei unbekannter Varianz N σ ^ 2X 1 X (xi − m ^ X)2 = N−1 i=1 σ2X σ ^ 2X. Anschließend kann nach dem in Abschnitt 13.4.4 aufgezeigten = Für große N gilt Schema verfahren werden. 13.4.6 Mittelwertschätzung bei unbekannter Verteilung Z. B. für den Fall, daß N zu klein ist um mit dem zentralen Grenzwertsatz zu argumentieren. σ σ X X ^ X+ √ ^ X− √ < mX < M P M >1−δ Nδ Nδ 13.4.7 Parameterschätzung bei bestimmten Verteilungen ^X>0 13.4.7.1 Exponentialverteilung Für M δ 1 + z1 − 1 − z1 − √2 N <λ< P ^X ^X M M δ √2 N =1−δ =γ 13.4.7.2 Poissonverteilung ^ X + z2 a1,2 = M δ 2 1− 2N v 2 u u z21− δ u 2 ^ X+ ^2 ± tM −M X 2N 13.4.8 Wahrscheinlichkeitsschätzung ^ X − p < z δ · P M 1− 2 ^ X+ M p1,2 = z2 2N ± r r p(1 − p) N ^ X· M z2 N 1+ ! =1−δ=γ 2 ^ X + z2 · 1−M 2N z2 2N Für N > 100 gilt ^ X±z· p1,2 = M 42 s ^ X · (1 − M ^ X) M N 13.5 MMSE- und LSE-Schätzung 13.4.9 Varianzschätzung bei normalverteilten Zufallsvariablen 13.4.9.1 Varianzschätzung bei bekanntem Mittelwert mX ^2 ^2 NΣ NΣ 2 X X < < σ X χ21− δ (N) χ2δ (N) 2 2 13.4.9.2 Varianzschätzung bei unbekanntem Mittelwert mX ^2 ^2 (N − 1)Σ (N − 1)Σ 2 X X < σ < X χ21− δ (N − 1) χ2δ (N−1) 2 2 13.5 MMSE- und LSE-Schätzung ~ so, daß eine quadratische AbweiZiel: Schätze einenVektor determinierter Parameter φ ~ ~ φ ^ von einer beobachtbaren Zufallsvariable Y minimiert wird. chung Y^ = g X, 13.5.1 MMSE-Schätzung ~^ einer Funktion g so, daß die Zufallsvariable Y^ = g X, ~ φ ^ Bestimme die Parameter φ den mittleren quadratischen Fehler minimiert (Minimum Mean Square Error). ~ φ ~ φ ^ =φ ^ MMSE = argmin ^ E Y − g X, ^ ΘMMSE Y, X, φ 13.5.2 MSE-Schätzung N ~^ = argmin X Y − g X , Φ ~^ ~^ ~ ~ Y, X, Φ Φ = Θ MSE MSE i i ~^ Φ i=1 13.5.3 Maximum-Likelihood-Schätzer ~ und ein parametrisches Modell der WahrscheinlichGegeben: Ein Beobachtungsvektor X keitsdichtefunktion fX|Φ (~ u|~v) (Likelihood-Funktion). Ziel: Finde den Maximum-Likelihood-Schätzer ~ φ = argmax~vf ~ ~ (~x,~v) ^ ML = ΘML X, Φ X|Φ 13.5.4 Log-Likelihood-Funktion ~ φ = argmax~ log f ~ (~x|~v) ^ ML = ΘML X, Φ v X|φ ~ unabhängig sind: günstig, wenn die N Elemente Xi des Beobachtungsvektors X u|~v) = log log fX|φ ~ (~ N Y i=1 fXi |φ (xi|~v) = N X log fXi |φ (xi|~v) i=1 43 13 Schätztheorie Um die Log-Likelihood-Funktion bezüglich der K Elemente vk des Parametervektors ~v zu maximieren, setzt man die partiellen Ableitungen zu 0 und löst ein System mit K Gleichungen: N N i=1 i=1 X ∂ ∂ X log fXi |φ (xi|~v) = 0 ∀k = 1, . . . , K log fXi |φ (xi,~v) = ∂vk ∂~vk 13.5.5 Bayes’sche Schätzung ~ Bayes (~x) = argmin ^ R φ|~ ^ Bayes = Θ ^x φ φ Z = argminφ C ^ V Z C = argminφ ^ V ^ φ,~v fΦ| v|~x) d~v ~ X ~ (~ ^ φ,~v fX| x|~v) fΦ v) d~v ~Φ ~ (~ ~ (~ 13.5.6 Maximum a posteriori-Schätzer (MAP) ^x ^ MAP = argmax ^ f ~ ~ φ|~ φ φ Φ|X = argmax~vfX| x|~v) · fΦ v) ~Φ ~ (~ ~ (~ In logarithmischer Darstellung ~^ = argmax log f (~ x ,~ v ) + log f (~ v ) Φ ~Φ ~ ~ ~v X| Φ 13.6 Cramer-Rao-Schranke ~ und ^ gegeben X Untere Schranke für die Varianz eines geschätzten Parametervektors Φ ~v. σ2Φ ^i ≥ E (1 + ^ bias,i 2 ∂φ ∂vi ) ∂ln fX| x|~v) ~ Φ ~ (~ ∂vi Für zufällige Parameter σ2Φ ^ ≥ i 44 E 1+ ^ bias,i ∂φ ∂vi ∂ln fX| x,~v) ~ Φ ~ (~ ∂vi 2 + 2 ∂ln fΦ v) ~ (~ ∂vi g(t) D(η, t) U(η, t) X(η, t) Y(η, t) + E(η, t) + h(t) N(η, t) Abbildung 3: Typisches Szenario zur Wiener Filterung 14 Lineare Optimalfilterung 14.1 Wiener Filter 14.1.1 Zeitkontinuierlich 14.1.1.1 Schwach stationäres weißes Rauschen am Eingang hopt (τ) = 1 · RDX(τ) R0 14.1.1.2 Allgemeine nichtkausale Filter SDX(jω) SXX(jω) Hopt (jω) = Restfehler E mit E2min (t) 1 = 2π Z∞ SEE(jω) = SDD(jω) − SEE(jω)dω −∞ SDX(jω) · SXD(jω) SXX(jω) Für D(t) = g(t) ∗ U(t) und X(t) = U(t) + N(t) gilt Hopt (jω) = G(jω) · SUU(jω) + SUN(jω) SUU(jω) + SUN(jω) + SNU(jω) + SNN(jω) Falls U(t) und N(t) orthogonal sind gilt Hopt (jω) = G(jω) · SUU(jω) SUU(jω) + SNN(jω) 45 14 Lineare Optimalfilterung SEE(jω) = |G(jω)|2 · 46 SUU(jω) · SNN(jω) − SUU(jω) · SNU(jω) SUU(jω) + SUN(jω) + SNU(jω) + SNN(jω)
