Formelsammlung Statistik

Formelsammlung Statistik
Enrico Jörns
18. Juli 2010
Inhaltsverzeichnis
1 Grundlagen der Wahrscheinlichkeitstheorie
1.1 Mengen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Kombinatorik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Wahrscheinlichkeitstheorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 Zufallsvariablen
2.1 Eine Zufallsvariable, Kennwerte .
2.2 Charakteristische Funktion . . .
2.3 Bedingte Wahrscheinlichkeit . . .
2.4 Zwei Zufallsvariablen, Kennwerte
2.5 Komplexe Zufallsvariable . . . .
2.6 n Zufallsvariablen . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
3
5
6
6
9
10
11
12
13
3 Spezielle Wahrscheinlichkeitsdichtefunktionen
14
4 Funktionen von Zufallsvariablen
4.1 Transformation einer Zufallsvariable über eine Kennlinie . . . . . . . . . . . . .
4.2 Funktion einer Zufallsvariablen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Funktionen zweier Zufallsvariablen . . . . . . . . . . . . . . . . . . . . . . . . . .
17
17
18
18
5 Zufallsprozesse
5.1 Leistung und Energie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2 Spezielle Zufallsprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3 Transformation von Zufallsprozessen . . . . . . . . . . . . . . . . . . . . . . . . .
20
25
26
28
A Anhang
A.1 Integralrechennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.2 Fourier-Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.3 Faltung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
30
30
30
Sachregister
31
2
1 Grundlagen der Wahrscheinlichkeitstheorie
1.1 Mengen
Distributivgesetz
A ∩ (B ∪ C) = (A ∩ B) ∪ (A ∩ C)
de Morgansches Gesetz
A∪B =A∩B
A∩B =A∪B
1.2 Kombinatorik
n-Tupel
• (geordnete) Zusammenstellung von n Objekten
• feste Reihenfolge
• Elemente können mehrfach vorkommen
Permutation
ohne Wiederholung:
• Anordnung“
”
• Vertauschen von Elementen fester Menge
• n-Elemente → p(n) = n! mögliche Permutationen
• bijektive Abbildung
mit Wiederholung:
• Elemente können mehrfach vorkommen
• n-Tupel mit k verschiedenen Elementen
• Auftreten mit Häufigkeiten n1 , n2 , . . . , nk
• Anzahl Möglichkeiten:
p(n; n1 , n2 , . . . , nk ) =
3
n!
n1 !n2 ! . . . nk !
Variation
ohne Wiederholung:
• Bildung eines k-Tupels aus n-elementiger Menge (k ≤ n), bzw.
• Ziehung von k Elementen aus n Elementen (ohne Zurücklegen)
• Anzahl Möglichkeiten:
v(n, k) =
n!
(n − k)!
mit Wiederholung:
• Bildung eines k-Tupels aus n-elementiger Menge
• Elemente mehrfach verwendbar (mit Zurücklegen)
• Anzahl Möglichkeiten:
v ∗ (n, k) = nk
Kombination
ohne Wiederholung:
• keine Beachtung der Reihenfolge!
• k-elementige Teilmenge aus n-elementiger Menge
• Lotto
• Anzahl Möglichkeiten:
c(n, k) =
n
n!
=
k
k!(n − k)!
mit Wiederholung:
• Anzahl Möglichkeiten:
c∗ (n, k) =
4
n+k−1
k
1.3 Wahrscheinlichkeitstheorie
Bedingte Wahrscheinlichkeit
Wahrscheinlichkeit des Ereignisses A unter der Bedingung, dass das Ereignis B aufgetreten ist
P (A|B) =
P (A ∩ B)
P (B)
• P (A|B) ≥ 0
• P (H|B) = 1
• P (A1 ∪ A2 |B) = P (A1 |B) + P (A2 |B), wenn A1 und A2 disjunkt
• A ∪ B = ∅ ⇒ P (A|B) =
P (A ∩ B)
=0
P (B)
Bayes-Theorem
(für P (A) > 0 bzw. P (B) > 0)
P (B|A) =
P (A|B) · P (B)
P (A)
P (A|B) =
P (B|A) · P (A)
P (B)
Statistische Unabhängigkeit
Zwei Variablen: Eintreteten von Ereignis A hat keinen Einfluss auf Eintreten von Ereignis B
A und B heißen statistisch unabhänig, wenn gilt:
P (A ∩ B) = P (A) · P (B)
Allgemein: n Ereignisse A1 , . . . , An heißen statistisch unabhängig, wenn für alle Gruppen von
Ereignissen statistische Unabhängigkeit vorliegt und:
P (A1 ∩ · · · ∩ An ) = P (A1 ) · · · · · P (An )
Totale Wahrscheinlichkeit
• n disjunkte Ereignisse A1 , . . . , An
• Ereignis B ⊂ A1 ∪ · · · ∪ A2
P (B) =
n
X
P (B|Ai ) · P (Ai )
i=1
5
2 Zufallsvariablen
2.1 Eine Zufallsvariable, Kennwerte
Wahrscheinlichkeits-Verteilungsfunktion
Allgemein: Wahrscheinlichkeit mit der die Zufallsvariable einen Wert kleiner oder gleich x annimmt (kumulativ )
F : R → [0 : 1]
Fx (x) = P ({η | x(η) ≤ x})
• monoton wachsend
• Fx (−∞) = 0, Fx (∞) = 1
Für wertdiskrete Zufallsvariable:
bis zu Wert x
Summe Einzelwahrscheinlichkeiten e. diskr. Zufallsvariable
Fx (x) =
X
i|x(ηi )≤x
Fx (x) =
N
X
pi · s(x − xi )
i=1
mit xi = x(ηi ), pi = P (ηi ), N = Anzahl d. Elementarereignisse
Für wertkontinuierliche Zufallsvariablen
Integral über die Dichtefunktion
Z
Fx (x) =
P (η) dη
η|(x(η)≤x)
Zx
=
fx (u) du
−∞
Wahrscheinlichkeits-Dichtefunktion
Allgemein: Ableitung der Wahrscheinlichkeits-Verteilungsfunktion
fx (x) =
• fx (−∞) = fx (+∞) = 0
• fx (x) ≥ 0
•
R∞
fx (x) dx = 1
−∞
6
dFx (x)
dx
P (X1 ≤ x ≤ x2 ) :
Zx2
P (X1 ≤ x ≤ x2 ) =
fx (x) dx
x1
= Fx (x2 ) − Fx (x1 )
Diskret:
d
Fx (x)
dx
N
d X
=
pi · s(x − xi )
dx
fx (x) =
i=1
=
N
X
pi · δ(x − xi )
i=1
Sprung-Funktion
(Heaviside-Funktion)
(
0
s(x) =
1
für x ≤ 0
sonst
Dirac’sche Delta-Funktion
Ableitung der Sprung-Funktion
(
∞ für x = 0
δ(x) =
0
sonst
mit
R∞
δ(x) dx = 1
−∞
Erwartungswert
Mittelwert der Ergebnisse
Z∞
x · fx (x) dx
E{x(η)} =
−∞
Linearität:
E{ax(η) + by(η)} = aE{x(η)} + bE{y(η)}
Diskret:
E{x(η)} =
N
X
i=1
7
xi p i
von Funktion von Zufallsvariablen
Z∞
g(x) · fx (x) dx
E{g(x(η))} =
−∞
E{g(x(η))} =
6 g{E(x(η))}
Moment (n-tes)
(n)
mx
Z∞
n
= E{x (η)} =
xn · fx (x) dx
−∞
Spezialfälle
n=1: linearer Mittelwert:
(1)
mx = E{x(η)}
n=2: quadratischer Mittelwert:
(2)
mx = E{x2 (η)}
zentrales Moment (n-tes)
Moment in Bezug auf den Mittelwert
(n)
(1)
µx = E{(x(η) − mx )n }
Spezialfall n = 2:
Varianz
Varianz
Zentriertes Moment 2. Ordnung.
Quadrat der Standardabweichung σ.
Streuungsmaß
(2)
(1)
σx2 = µx = E{(x(η) − mx )2 }
(1) 2
σx2 = m(2)
x − (mx )
Für Y = b0 + b1 X1 + b2 X2 gilt:
VarY = b21 VarX1 +b22 VarX2 +2b1 b2 · CovX1 X2
Standardabweichung
Quadratwurzel der Varianz. Streuungsmaß
Gleiche Einheit wie Messwerte
p
p
σx := Var(x) = E ((x − E (x))2 ) ,
8
2.2 Charakteristische Funktion
Allgemein:
Fourier-Transformierte der Wahrscheinlichkeitsdichte
φx (ω) = E{e
+jωx
Z∞
}=
fx (x) · e+jωx
−∞
• reell für symmetrische Wahrscheinlichkeitsdichten
• φx (0) = 1, |φx(ω)| ≤ 1
Diskret:
φx (ω) =
N
X
pi · e+jωxi
i=1
Rücktransformation:
1
fz (z) =
2π
+∞
Z
φz (ω)e−jωz dω
−∞
Faltungssatz
Z∞
f (s) · g(t − s) ds
(f ∗ g)(t) =
−∞
Wahrscheinlichkeits-Dichtefunktion 2er statistich unabhängiger Zufallsvariablen
fz (z) der Summe Z = X + Y erhält man durch Faltung von fx (x) und fy (y)
fz (z) = fx (x) ∗ fy (y)
bzw. ihre charakteristische Funktion durch Multiplikation der zugeh. charakteristischen Funktionen
φz (ω) = φx (ω)φy (ω)
Moment-Berechnung
mit Hilfe der charakt. Fkt.
dn φx (ω) (n)
= j n mx
dω n ω=0
9
2.3 Bedingte Wahrscheinlichkeit
Bedingte Wahrscheinlichkeitsverteilung
Fx|A (x|A) = P {x ≤ x|A} =
P {(x ≤ x) ∩ A}
P {A}
• Eigenschaften wie normale Verteilung
• Fx|A (∞|A) = 1, Fx|A (−∞|A) = 0
• P (x1 < x ≤ x2 |A)
= Fx|A (x2 |A) − Fx|A (x1 |A)
Bedingte Wahrscheinlichkeitsdichte
Ableitung der bedingten Wahrscheinlichkeitsverteilung
fx|A (x|A) =
fx (x|y) =
dFx|A (x|A)
dx
fxy (x, y)
fy (y)
• Eigenschaften wie normale Dichte
• fx|A (x|A) ≥ 0
•
R∞
fx|A (x|A) dx = 1
−∞
10
2.4 Zwei Zufallsvariablen, Kennwerte
Gemeinsame Wahrscheinlichkeitsverteilung
Wahrscheinlichkeitsverteilung für 2 Zufallsvariablen
Fxy (x, y) = P ({η | x(η) ≤ x} ∩ {η | y(η) ≤ y})
Zx Zy
fxy (u, v) du dv
Fxy (x, y) =
−∞ −∞
Eigenschaften
• Fxy (−∞, −∞) = Fxy (x, −∞)
= Fxy (−∞, y) = 0
• Fxy (x, +∞) = Fx (x),
Fxy (+∞, x) = Fy (y),
• Fxy (+∞, +∞) = 1
Gemeinsame Wahrscheinlichkeitsdichte
Ableitung der gemeinsamen Wahrscheinlichkeitsverteilung
fxy (x, y) =
d2 Fxy (x, y)
dx dy
Z∞ Z∞
fxy (u, v) du dv = 1
−∞−∞
Randdichte
Dichte einer Zufallsvariable einer gemeinsamer Wahrscheinlichkeitsdichte durch Vernachlässigung
der anderen Zufallsvariablen (Integrieren über die zu vernachlässigende Variable).
dF x(x)
fx (x) =
=
dx
Z∞
fxy (x, y) dy
−∞
Statistische Unabhängigkeit
Zwei Zufallsvariablen x und y sind statistisch unabhängig, wenn gilt:
fxy (x, y) = fx (x) · fy (y)
11
Gemeinsames Moment
(k,m)
mxy
= E{xk ym }
Z∞ Z∞
=
xk y m fxy (x, y) dx dy
−∞ −∞
Gemeinsames zentrales Moment
(k,m)
µxy
(1)
(1)
= E{(x − mx )k (y − my )m }
Z∞ Z∞
(1)
(1)
=
(x − mx )k (y − my )m
−∞ −∞
· fxy (x, y) dx dy
Kovarianz
(1,1)
(1)
(1)
µxy = E{(x − mx )(y − my )}
(1,1)
(1)
(1)
= mxy − mx · my
Unkorrelierte Zufallsvariablen
E{x · y} = E{x} · E{y}
Orthogonale Zufallsvariablen
E{x · y} = 0
Korrelationskoeffizient
Entsteht aus Kovarianz durch Normierung
(1)
(1,1)
ρxy =
(1)
E{(x − mx )(y − my )}
µxy
=q
σx σy
(1)
(1)
E{(x − mx )2 (y − my )2 }
Wertebereich: −1 ≤ ρxy ≤ 1
2.5 Komplexe Zufallsvariable
Komplexe Zufallsvariable
Funktion zweier reeller Zufallsvariablen
z = x + jy
Linearer Mittelwert
(1)
mz = E{z} = E{x} + jE{y}
12
Quadratischer Mittelwert
(2)
mz = E{|z|2 } = E{z · z∗ } = E{x2 + y2 }
Varianz
(1)
σz2 = E{|z − mz |2 } = σx2 + σy2
2.6 n Zufallsvariablen
Gemeinsame Wahrscheinlichkeitsverteilung/
Wahrscheinlichkeitsdichte
Fx1 ,x2 ,...,xN (x1 , x2 , . . . , xN )
= P ({x1 ≤ x1 } ∩ {x2 ≤ x2 } ∩ · · · ∩ {xN ≤ xN })
fx1 ,x2 ,...,xN (x1 , x2 , . . . , xN )
=
dN Fx1 ,x2 ,...,xN (x1 , x2 , . . . , xN )
dx1 dx2 dx3 . . . dxN
statistische Unabhängigkeit
fx1 ,x2 ,...,xN (x1 , x2 , . . . , xN )
= fx 1 (x1 ) · fx 2 (x2 ) · · · · · fx N (xN )·
Fx1 ,x2 ,...,xN (x1 , x2 , . . . , xN )
= Fx1 (x1 ) · Fx2 (x2 ) · · · · · FxN (xN )·
Zentraler Grenzwertsatz
Die (normierte und zentrierte) Summe einer großen Zahl von unabhängigen, identisch verteilten
Zufallsvariablen ist annähernd (standard)normalverteilt
Annahmen:
E{x2i } = σi2
E{xi } = 0,
Gauß-Dichte
(normiert)
Dichtefunktion der Normal-/Gauß-Verteilung
x2
1
lim fx (x) = √ e− 2
N →∞
2π
13
3 Spezielle Wahrscheinlichkeitsdichtefunktionen
Gauß-/Normalverteilung
Wahrscheinlichkeitsdichtefunktion Eine Zufallsvariable x folgt einer Normalverteilung mit
(1)
den Parametern mx und σx , falls für die Wahrscheinlichkeitsdichtefunktion gilt:
fx (x) =
1 x−µ
σ
·e 2
!2
−
1
√
σx 2π
Wahrscheinlichkeitsverteilung
Fx (x) =
1
√
Zx
σx 2π
1 u−µ
−
σ
e 2
!2
du.
−∞
statistische Unabhängigkeit Für zwei Gauß-verteilte Zufallsvariablen x und y folg aus deren
Unkorreliertheit aus deren statistische Unabhängigkeit
Linearkombination Eine Linearkombination Gauß-verteilter Zufallsvariablen ist Gauß-verteilt.
xi Gauß verteilte Variable
⇒
y=
n
X
ci xi
ebenfalls Gauß-verteilt
i=1
(statistische Unabhängigkeit ist nicht notwendig!)
Gaußsches Fehlerintegral
Integral von −∞ bis z über die Normalverteilung
Zz
1 2
1
Φ(z) = √
e− 2 t dt
2π
−∞
z
1
=
1 + erf √
2
2
(Gaußverteilung mit µ = 0 und σ = 1)
Werte müssen in Tabelle nachgeschlagen werden!
Fehlerfunktion
2
erf(x) = √
π
Zx
2
e−t dt = 2Φ
0
−1 ≤ erf(x) ≤ 1
14
√
2x − 1
Korrelation
Beschreibt die Beziehung zwischen statistischen Variablen ohne zwingend
Ursache-Wirkungs-Beziehungen darzustellen (nicht kausal)
Kovarianzmatrix
Matrix aller paarweisen Kovarianzen der Elemente eines Zufallsvektors
(1)
(1)
CXX = E{(X − MX )(X − Mx )T }


Cov(X1 , X1 ) · · · Cov(X1 , Xn )


..
..
..


.
.
.
Cov(Xn , X1 ) · · ·
Cov(Xn , Xn )
Binomialverteilung
n k
P (x = k) =
p (1 − p)n−k
k
Kennwerte:
(1)
• µ = mx = np
• σx2 = np(1 − p)
Hypergeometrische Verteilung
Die hypergeometrische Verteilung ist abhängig von drei Parametern:
• der Anzahl N der Elemente einer Grundgesamtheit.
• der Anzahl M ≤ N der Elemente mit einer bestimmten Eigenschaft in dieser Grundmenge
(die Anzahl möglicher Erfolge).
• der Anzahl n ≤ N der Elemente in einer Stichprobe.
Die Verteilung gibt Auskunft darüber, wie wahrscheinlich es ist, dass sich k Elemente mit der
zu prüfenden Eigenschaft in der Stichprobe befinden
M
N −M
k
n−k
h(k|N ; M ; n) := P (X = k) =
N
n
Exponentialverteilung
Dichtefunktion:
(
λe−λx
fx (x) =
0
für x ≥ 0
sonst
Der Parameter λ besitzt den Charakter einer Ausfallrate und 1/λ den einer Lebensdauer
15
Verteilungsfunktion:
F (x) =
x
R

 fλ (t) dt = 1 − e−λx


x≥0



0
x<0
0
Erwartungswert
E(X) =
16
1
λ
4 Funktionen von Zufallsvariablen
4.1 Transformation einer Zufallsvariable über eine Kennlinie
Die Zufallsvariable x wird über die zeitinvariante Kennlinie y = g(x) auf die Zufallsvariable y
abgebildet
• Transformation der Wahrscheinlichkeitsverteilung fx (x) auf fy (y)
• Transformation der Wahrscheinlichkeitsdichte Fx (x) auf Fy (y)
Abbildungsbereich der Zufallsvariablen Transformierte Zufallsvariable kann nur Werte im
Bereich des Maximums (ymax ) und Minimums (ymin ) der Kennlinie annehmen Daraus folgt:
fy (y) = 0 für y ≤ ymin und y ≥ ymax
Der Verlauf von y = g(x) ist darüber hinaus nur für x mit fx (x) 6= 0 interessant!
Konstante Abschnitte in der Kennlinie ⇒ diskrete Anteile in fy (y) Ist die Kennlinie im
Bereich [xa , xb ] konstant, so werden sämtliche x-Werte in diesem Bereich auf den Wert y = c
abgebildet.
Die Wahrscheinlichkeitsdichte fy (y) besitzt also bei y = c eine Delta-Funktion mit dem Gewicht
Rxb
P (x ∈ [xa, xb]) = fx (x) dx
xa
Streng monoton wachsende Kennlinien-Funktion Dann gilt:
Fy (g(x)) = Fx (x)
(, da aus x2 > x1 folgt, dass g(x2 ) > g(x1 ))
Transformation der Wahrscheinlichkeitsdichte
n
X
fx (x0i )
fy (y0 ) =
|g 0 (x0i )|
i=1
17
4.2 Funktion einer Zufallsvariablen
Eigenschaften
Erwartungswert:
Z∞
g(x) · fx (x) dx
E{g(x)} =
−∞
Erwartungswertbildung und nichtlineare Operation i.A. nicht vertauschbar
(E{g(x)} =
6 g(E{x}))
Statistische Unabhängigkeit:
z = g(x) und w = h(y)
Wenn x und y statistisch unabhängig sind, dann sind es auch
4.3 Funktionen zweier Zufallsvariablen
Grundlegendes
• x, y: zwei Zufallsvariablen
• fxy (x, y): gemeinsame Wahrscheinlichkeitsdichte
• z = g(x, y): (Kennlinien-/)Transformations-Funtkion
• Dz : Gebiet der Werte von {z ≤ z}
• ∆Dz : Randgebiet der Werte von {z ≤ z ≤ z + dz}
Transformation der Wahrscheinlichkeitsverteilung
z = g(x, y)
Fz (z) = P {z ≤ z} = P {x, y ∈ Dz }
ZZ
=
fxy (x, y) dx dy
Dz
Dz = Gebiet, in dem g(x, y) < z ist.
Transformation der Wahrscheinlichkeitsdichte
z = g(x, y)
fz (z) dz = P {z ≤ z ≤ z + dz}
ZZ
=
fxy (x, y) dx dy
∆Dz
∆Dz = Gebiet, in dem z < g(x, y) < z + dz ist.
18
Trafo-Sonderfall: z = g(x, y) = x + y
Verteilung:
z−y
Z∞ Z
fyy (x, y) dx dy
Fz (z) =
−∞ −∞
Dichte:
d
fz (z) =
Fz (z) =
dz
Z∞
fxy (z − y, y) dy
−∞
Trafo-Sonderfall: Summe statistisch unabhängiger Zufallsvariablen Bei unabhängigen
Zufallsvariablen ergibt sich die Dichte fz (z) durch Faltung von fx (x) und fy (y). Aus
fxy = fx (x) · fy (y) folgt:
fz (z) = fx (x) ∗ fy (y)
19
5 Zufallsprozesse
Reeller Zufallsprozess
Eindeutige Abbildung der Ergebnismenge (H) eines Zufallsexperiments auf die Menge der
reellwertigen Funktionen
• zeitabhängig (stochastich)
• Wiederholtes Auftreten von gleichem Ereignis η führt zu identischen Ergebnissen (über
die Zeit)!
Komplexer Zufallsprozess
z(η, t) = x(η, t) + jy(η, t)
Klassifizierung von Zufallsprozessen
Amplitude:
• kontinuierlich
• diskret
Zeit:
• kontinuierlich: Tx = {t | − ∞ < t < ∞}
• diskret: Tx = {t | t = iT, i ∈ Z}
Musterfunktion
Realisierung des Zufallsprozesses
x(η = ηi , t) = xi (t)
Einfluss der Parameter in x(η, t)
n0 fest
n variabel
t0 fest
Variable
Zufallsvar.
t variabel
Musterfunktion
Zufallsprozess
Wahrscheinlichkeitsverteilung eines Zufallsprozesses
Fx (x, t) = P ({η | x(η, t) ≤ x})
(zeitabhängig)
20
Wahrscheinlichkeitsdichte eines Zufallsprozesses
fx (x, t) =
d
Fx (x, t)
dx
(zeitabhängig)
Gemeinsame Wahrscheinlichkeitsverteilung/-dichte eines Zufallsprozesses
(an festen Zeitpunkten t1 , t2 ) Rechnung etc. wie bei normalen Gemeinsamen!
Fxx (x1 , x2 , t1 , t2 )
= P ({η | x(η, t1 ) ≤ x1 } ∩ {η | x(η, t2 ) ≤ x2 })
fxx (x1 , x2 , t1 , t2 )
=
d2
Fxx (x1 , x2 , t1 , t2 )
dx1 dx2
Gemeinsame Wahrscheinlichkeitsverteilung/-dichte zweier Zufallsprozesses
(an festen Zeitpunkten t1 , t2 ) Rechnung etc. wie bei normalen Gemeinsamen!
Fxx (x, y, t1 , t2 )
= P ({η | x(η, t1 ) ≤ x} ∩ {η | x(η, t2 )} ≤ y)
fxx (x, y, t1 , t2 )
=
d2
Fxx (x, y, t1 , t2 )
dx dy
Statistisch unabhängige Zufallsprozesse
Zwei Zufallsprozesse x(η, t) und y(η, t) sind statistisch unabhängig, wenn sie für beliebige
Zeitpunke jeweils zueinander statistisch unabhängig sind. Aus der Unabhängigkeit folgt wieder:
fxx (x, y, t1 , t2 ) = fx (x, t1 ) · fy (y, t2 )
Fxx (x, y, t1 , t2 ) = Fx (x, t1 ) · Fy (y, t2 )
Scharmittelwert
Mittelwert über alle Ergebnisse η (alle Musterfunktionen) bei festem Parameter t
E{x(η, t) = f (t)}
Zeitmittelwert
Mittelwert über die Zeit t bei festem Ergebnis η (einzelne Musterfunktion)
x(η, t) = f (η)
21
Scharmittelwerte
Linearer-/Quadratischer Mittelwert, Varianz
(1)
mx
Z∞
= E{x(η, t)} =
xn · fx (x, t) dx
−∞
(2)
mx
Z∞
2
= E{x (η, t)} =
xn · fx (x, t) dx
−∞
(1)
σx2 (t) = E{(x(η, t) − mx (t))2 }
Z∞
(1)
=
(x − mx (t))2 · fx (x, t) dx)
−∞
Autokorrelationsfunktion
Definition:
Rxx (τ ) = E{x(η, t) · x(η, t + τ )}
reell: Korrelation einer Funktion mit sich selbst (Zeitpunkt t1 ,t2 )
Rxx = E{x(η, t1 ) · x(η, t2 )}
Z∞ Z∞
x1 · x2 · fxx (x1 , x2 , t1 , t2 ) dx1 dx2
=
−∞−∞
(1,1)
Rxx = mxx
• Symmetrie: Rxx (t1 , t2 ) = Rxx (t2 , t1 )
(2)
• zweites Moment: Rxx (t, t) = mx (t)
komplex:
Rzz = E{z(η, t1 ) · x∗ (η, t2 )}
zweites Moment:
(2)
mz (t) = E{|z(η, t)|2 } = E{z(η, t) · z∗ (η, t)}
Mittelwertfreiheit
Mittelwert der Werte ist 0.
N
1 X
xi = 0
N
i=1
22
Autovarianzfunktion
Kovarianz zwischen 2 Realisierungen eines Zufallsprozesses (Zeitpunkt t1 ,t2 )
Cxx (t1 , t2 )
(1)
(1)
= E{[x(η, t1 ) − mx (t1 )] · [x(η, t2 ) − mx (t2 )]}
Z∞ Z∞
(1)
(1)
=
[x1 − mx (t1 )] · [x2 − mx (t2 )]
−∞−∞
· fxx (x1 , x2 , t1 , t2 ) dx1 dx2
Kreuzkorrelationsfunktion
reell: Korrelation zweier Zufallsprozesse x, y zu unterschiedlichen Zeitpunkten t1 , t2
Rxy (t1 , t2 ) = E{x(η, t1 ) · y(η, t1 )}
(1,1)
Rxy = mxy
• Symmetrie: Rxy (t2 , t1 ) = Ryx (t1 , t2 )
komplex:
Rxy (t1 , t2 ) = E{x(η, t1 ) · y∗ (η, t2 )}
Kreuz(ko)varianz(funktion)
Kovarianz zu verschiedenen Zeitpunkten t1 , t2
Cxy (t1 , t2 )
(1)
(1)
= E{[x(η, t1 ) − mx (t1 )] · [x(η, t2 ) − mx (t2 )]}
Unkorrelierte Zufallsprozesse
Zwei Zufallsprozesse x(η, t) und y(η, t) sind unkorreliert, wenn für alle t1 und t2 gilt:
E{x(η, t1 ) · y(η, t2 )} = E{x(η, t1 )} · E{y(η, t2 )}
Orthogonale Zufallsprozesse
Zwei Zufallsprozesse x(η, t) und y(η, t) sind orthogonal, wenn für alle t1 und t2 gilt:
E{x(η, t1 ) · y(η, t2 )} = 0
statistisch unabhängige Zufallsprozesse
Statistisch unabhängige Zufallsprozesse sind unkorreliert
Stationärer Zufallsprozess
Ein Zufallsprozess x(η, t) heißt stationär, wenn seine statistischen Eigenschaften invariant
gegenüber der Zeit sind.
23
strenge Stationärität: Momente beliebig hoher Ordnung bzw. die Wahrscheinlichkeitsdichten
selbst sind invariant gegenüber zeitlichen Verschiebungen Sehr schwer einzuhaltende Bedingung,
die nur von wenigen physikalischen Prozessen erfüllt wird.
schwache Stationärität: Nur Erwartungswerte 1. und 2. Ordnung sind invariant gegenüber
zeitlichen Verschiebungen
(1)
• E{x(η, t)} = mx 6= f (t)
(2)
• E{x2 (η, t)} = mx 6= f (t)
• E{x(η, t) · x(η, t + τ )} = Rxx (τ ) 6= f (t)
• E{x(η, t) · y(η, t + τ )} = Rxy (τ ) 6= f (t)
Verbunden stationäre Zufallsprozesse
Zwei Zufallsprozesse x(η, t) und y(η, t) heißen verbunden stationär, wenn beide stationär und
ihre gemeinsamen statistischen Eigenschaften invariant gegenüber Verschiebungen der Zeit sind.
Auswirkungen auf Dichte, gemeinsame Dichte
fx (x, t) = fx (x, t + t0 ) = fx (x)
fxx (x1 , x2 , t1 , t2 ) = fxx (x1 , x2 , t1 + t0 , t2 + t0 )
= fxx (x1 , x2 , t2 − t1 )
fxy (x, y, t1 , t2 ) = fxy (x, y, t1 + t0 , t2 + t0 )
= fxy (x, y, t2 − t1 )
Ergodizität
Ein Zufallsprozess x(η, t) heißt ergodisch, wenn die Zeitmittelwerte der einzelnen
Musterfunktionen mit den entsprechenden Scharmittelwerten übereinstimmen Ein ergodischer
Prozess ist stets stationär.
24
5.1 Leistung und Energie
Leistungsdichtespektrum
Fourier-Transformierte der Autokorrelationsfunktion eines stationären Zufallsprozesses.
Energie eines Signals in einem infinitesimal kleinen Frequenzband
Z∞
Sxx (ω) =
Rxx (τ )e−jωτ dτ
−∞
gerade, reelle, nicht-negative Funktion
Rücktransformation:
1
Rxx (τ ) =
2π
Z∞
Sxx (ω)ejωτ dω
−∞
Kreuzleistungsdichtespektrum
Fourier-Transormierte der Kreuzkorrelationsfunktion zweier gemeinsam stationärer
Zufallsprozesse
Z∞
Sxy (ω) =
Rxy (τ )e−jωτ dτ
−∞
Im Allgemeinen weder reell noch gerade!
Rücktransformation:
1
Rxy (τ ) =
2π
Z∞
Sxy (ω)ejωτ dω
−∞
Mittlere Leistung eines stochasitschen Signals
Die Leistung eines stochastischen Signals erhält man, wenn man das Leistungsdichtespektrum
von −∞ bis +∞ integriert
(2)
mx
1
= Rxx (0) =
2π
Z∞
−∞
25
Sxx (ω) dω
5.2 Spezielle Zufallsprozesse
Weißes Rauschen
Physikalisches Rauschen mit konstanter Amplitude im Leistungsdichtespektrum S(ω) = H
• Sxx (ω) = S0
• Rxx (τ ) = S0 λ(t) (kein Abhängigkeit zwischen 2 Zeitpunkten)
(1)
• Mittelwert mx = 0
(2)
• Energie undendlich mx = Rxx → ∞
bei Zeitdiskreten Zufallsprozessen
• Sxx (ω) = S0
(
S0
• Rxx (m) =
0
fürm = 0
sonst
(1)
• mx = 0
(2)
• mx = Rxx = S0
Gauß-Prozess
Zufallsprozess, bei dem alle ein- oder mehrdimensionalen Dichten Gauß-Dichten sind.
• werden volllständig durch 1. und 2. Momente beschrieben
• bleibt nach Trafo durch lineares System Gauß-Prozess
• schwache und starke Stationärität sind äquivalent
Weißer Gauß-Prozess
Zufallsprozess mit sowohl spektralen Eigenschaften eines weißen Rauschens als auch eine
Gauß-verteilte Wahrscheinlichkeitsdichte
Random-Walk-Prozess
Zu den Abtastzeitpunkten nT (n = 1, 2, 3, ...) wird gleichwahr- scheinlich und stat. unabhängig
ein Schritt der Länge s nach oben oder unten getan.
Prozess x(η, t) startet mit x(0T ) = 0 und gibt die momentane Position an.
Wiener Prozess
Grenzfall des Random-Walk-Prozesses für n → ∞ (T → 0), Integral des weißen Rauschens
w(t) = lim x(t)
t→0
• E{w}(t) = 0
• E{w2 }(t) = 0
• Rww = α min(t1 , t2 )
26
mit
s2 = αT
Poisson-Punkte
Markieren Zeitpunkte ti auf der kontinuierlichen Zeitachse
• Wahrscheinlichkeit, dass ein Zeitpunkt im Intervall t . . . t + dt auftritt: λ · dt
• Anzahl von Zeitpunkten in nicht überlappenden Zeitintervallen ist statistisch unabhängig
voneinander
Poisson-Verteilung
Wahrscheinlichkeit im Intervall {t1 . . . t1 + t} n(t1 , t2 ) Punkte(/Ereignisse) vorzufinden
P (n) = e−n ·
(λt)n
nn
= e−λt ·
n!
n!
mit n = λt, λ = mittlere Dichte der Punkte (bzw. Ankunftsrate)
P
• E{n} = ∞
n=0 nP (n) = n = λt
P
2
2
• E{n2 } = ∞
n=0 n P (n) = λt + (λt)
Abstände zwischen 2 Punkten
Wahrscheinlichkeitsverteilung/-dichte, Erwartungswert
F∆t (∆t) = P (∆t < t) = 1 − e−λ∆t
f∆t (∆t) =
d
F∆t (∆t) = λe−λ∆t
d∆t
Z∞
∆t · f∆ t(∆t) d∆t =
E{∆t} =
1
λ
0
Poisson-Prozess
x(t) = Anzahl von Ereignissen im Zeitintervall {0...t}
(
∞
n(0, t) fürt ≤ 0 X
x(t) =
=
s(t − ti )
0
fürt < 0
i=0
Das zeitliche Eintreffen eines bestimmten Ergeignisses erfolgt statistisch
(Ereignisse müssen unabhängig sein)
27
5.3 Transformation von Zufallsprozessen
Transformation durch nichtlineares gedächtnisloses zeitinvariantes System
y(t) kann jeweils direkt durch Trafo-Funktion g(x(t)) ersetzt werden
• y(t) = g(x(t))
• E{y(t)} = E{g(x(t))}
• E{y2 (t)} = E{[g(x(t))]2 }
• E{y(t1 ) · y(t2 )} = E{g(x(t1 ) · g(x(t2 ))}
Transformation durch lineare gedächtnisbehaftete zeitinvariante Systeme
Berechnung durch Faltung von y(t) mit Trafo-Funktion h(t)
y(t) = x(t) ∗ h(t) = h(t) ∗ x(t)
Z∞
Z∞
x(t − u)h(u) du =
=
−∞
x(u)h(t − u) du
−∞
Mittelwert
bei zumindest schwach stationärem Eingangsprozess Produkt aus Mittelwert der
Ausgangsfkt. und Stammfkt. der Trafo-Funktion
(1)
my = E{y(t)}
Z∞
(1)
h(u) du
= mx ·
−∞
=
(1)
mx
· H(ω = 0)
Kreuzkorrelation zwischen Eingang und Ausgang
bei zumindest schwach stationärem Eingangsprozess x(t)
Rxy (τ ) = Rxx (τ ) ∗ h(τ )
= E{x(t) · y(t + τ )}
Z∞
=
Rxx (τ − u)h(u) du
−∞
Autokorrelation am Ausgang
bei zumindest schwach stationärem Eingangsprozess x(t)
Ryy (τ ) = Rxx (τ ) ∗ h(τ ) ∗ h(−τ )
Z∞ Z∞
Rxx (τ − u − v)h(−u)h(v) du dv
=
−∞−∞
28
(Kreuz-)Leistungsdichtespektrum
Leistungsdichtespektrum
Syy (ω) = Sxx (ω) · |H(ω)|2
Kreuzleistungsdichtespektrum
Sxy (ω) = Sxx (ω) · H(ω)
Syx (ω) = Sxx (ω) · H ∗ (ω)
29
A Anhang
A.1 Integralrechennung
Partielle Integration
Z
b
0
f (x) · g (x) dx = [f (x) ·
g(x)]ba
Z
−
b
f 0 (x) · g(x) dx
a
a
Stammfunktionen
Funktion
Stammfunktion
1
x
ln|x|
A.2 Fourier-Transformation
Rechenregeln
F(f + αg) = F(f ) + αF(g)
A.3 Faltung
f ∗g =g∗f
f ∗ (g + h) = (f ∗ g) + (f ∗ h)
f ∗ (g ∗ h) = (f ∗ g) ∗ h = f ∗ g ∗ h
30
Sachregister
Gauß-Dichte, 13
Gauß-Prozess, 26
weißer, 26
Gauß-Verteilung, siehe Normalverteilung
Gaußsches Fehlerintegral, 14
??, 11
Autokorrelationsfunktion
Fourier-Transformation, 25
komplex, 22
reell, 22
Transformation, 28
Autovarianzfunktion, 23
Heaviside-Funktion, 7
Hypergeometrische Verteilung, 15
Bayes-Theorem, 5
Bedingte Wahrscheinlichkeit, 5
Binomialverteilung, 15
Integralrechnung, 30
Integration
partielle, 30
Charakteristische Funktion
allgemein, 9
diskret, 9
Moment, 9
Rücktransformation, 9
Kombination
mit Wiederholung, 4
ohne Wiederholung, 4
Korrelation, 15
Korrelationskoeffizient, 12
Kovarianz, 12
Kovarianzmatrix, 15
Kreuzkorrelation, 28
Kreuzkorrelationsfunktion
Fourier-Transformation, 25
komplex, 23
reell, 23
Kreuzkovarianzfunktion, 23
Kreuzleistungsdichtespektrum, 25
Rücktransformation, 25
Transformation, 29
de Morgan, Gesetz von, 3
Dichtefunktion, siehe
Wahrscheinlichkeitsdichte
Dirac’sche Delta-Funktion, 7
Distributivgesetz, 3
Ergodizität, 24
Erwartungswert, 7
diskret, 7
Funktion von Zufallsvariablen, 8
gemeinsamer, 12
unkorrelierte Zufallsvariablen, 12
Exponentialverteilung, 15
Dichtefunktion, 15
Erwartungswert, 16
Verteilungsfunktion, 16
Leistung, 25
mittlere, 25
Leistungsdichtespektrum, 25
Rücktransformation, 25
Transformation, 29
Faltung, 30
Faltungssatz, 9
Fehlerfunktion, 14
Fehlerintegral, Gaußsches, 14
Funktion
Zufallsvariable, 17
Mittelwert
linearer, 8
quadratischer, 8
Transformation, 28
Mittelwertfreiheit, 22
31
ohne Wiederholung, 4
Verteilungsfunktion, siehe
Wahrscheinlichkeitsverteilung
Moment, 8
gemeinsames, 12
zentrales, 8
gemeinsames, 12
Musterfunktion, 20
Wahrscheinlichkeit
bedingte, 5
Wahrscheinlichkeit, totale, 5
Wahrscheinlichkeitsdichte
2 unabhängige Zufallsvariablen, 9
allgemein, 6
bedingte, 10
diskret, 7
Fourier-transformiert, 9
gemeinsame, 11
Wahrscheinlichkeitsverteilung
allgemein, 6
bedingte, 10
diskret, 6
gemeinsame, 11
wertkontinuierlich, 6
Weißes Rauschen, 26
Zeitdiskrete Zufallsprozesse, 26
Wiener Prozess, 26
Wiener-Kintchine-Theorem, siehe
Leistungsdichtespektrum
Normalverteilung, 14
Dichtefunktion, 14
Linearkombination, 14
Statistische Unabhängigkeit, 14
Verteilung, 14
partielle Integration, 30
Permutation
mit Wiederholung, 3
ohne Wiederholung, 3
Poisson
-Prozess, 27
-Punkte, 27
-Verteilung, 27
Prozess, siehe Zufallsprozess
Randdichte, 11
Random-Walk-Prozess, 26
Rauschen, weißes, siehe Weißes Rauschen
Scharmittelwert, 21
Sprung-Funktion, 7
Standardabweichung, 8
Stationärität, 23
schwache, 24
strenge, 24
Statistische Unabhängigkeit, 5
allgemein, 5
zwei Variablen, 5
Zeitmittelwert, 21
Zentrales Moment, siehe Moment
Zufallsprozess
komplex, 20
orthogonal, 23
reell, 20
stationär, 23
statistisch unabhängig, 23
Transformation, 28
unkorreliert, 23
verbunden stationär, 24
Zufallsvariable
komplex, 12
Linearer Mittelwert, 12
Quadratischer Mittelwert, 13
Varianz, 13
Zufallsvariablen
orthogonale, 12
unkorrelierte, 12
Totale Wahrscheinlichkeit, 5
Transformation
Dichte, 17, 18
Kennlinie, 17
Verteilung, 18
Zufallsprozesse, 28
Zufallsvariable, 17
Tupel, 3
Unabhängigkeit, statistische, 5
Varianz, 8
Variation
mit Wiederholung, 4
32