Stochastische Signale

Stochastische Signale
2.1.1
Formelsammlung
Version 2012-02-09 (Sebastian Krösche),
Originalversion 2011-07-02 (Tobias Grabmeier)
Teil I
Wahrscheinlichkeitstheorie
1
Bi , i ∈ I sei eine Zerlegung von Ω, dann gilt für alle A ∈ F mit
P (A) > 0 das Gesetz der totalen Wahrscheinlichkeit
X
P (A) =
P (A | Bi )P (Bi )
i∈I
und der Satz von Bayes
Wahrscheinlichkeitsräume
P (Bj | A) = P
Ein Wahrscheinlichkeitsraum besteht aus einem Tripel
(Ω, F, P ).
1.1
2.1.2
Multiplikationssatz
2.2
Stochastische Unabhängigkeit
Zwei Ereignisse A und B sind dann von einander unabhängig,
wenn gilt:
P (A ∩ B) = P (A)P (B)
Ereignisalgebra F
Das Mengensystem F ⊆ P(Ω) (Potenzmenge von Ω) wird als Ergebnisalgebra bezeichnet, wenn es folgende Bedigungen erfüllt:
i) Ω ∈ F
Sk
i=1
Dann gilt auch:
P (B | A) = P (B)
Eine Familie von Ereignissen Ai , i ∈ I heißt stochastisch unabhängig, wenn für jede endliche Teilmenge ∅ 6= J ⊂ I gilt:
\
Y
P(
Ai ) =
P (Ai )
ii) A ∈ F ⇒ Ac ∈ F
iii) A1 , . . . , Ak ∈ F ⇒
Ai ∈ F
i∈I
Daraus folgt weiterhin:
i) ∅ ∈ F
3
ii) Ai \Aj ∈ F
Tk
iii)
i=1 Ai ∈ F
i) Ω ∈ F
i=1
Ai ∈ F
Das Tupel (Ω, F) heißt Messraum oder Messbarer Raum.
1.3
Zufallsvariablen
Sei (Ω, F, P ) ein Wahrscheinlichkeitsraum, (Ω0 , F0 ) ein Messraum,
dann heißt X : Ω → Ω0 Zufallsvariable, wenn für jedes A0 ∈ F0 ein
A ∈ F existiert, so dass A = {ω ∈ Ω | X(ω) ∈ A0 } ∈ F.
a) Sei (Ω, F, P ) ein Wahrscheinlichkeitsraum und (R, B) ein
Messraum, dann heißt X : Ω → R Reelle Zufallsvariable,
wenn {ω ∈ Ω | X(ω) ≤ x} = {X ≤ x} ∈ F ∀ x ∈ R.
ii) A ∈ F ⇒ Ac ∈ F
S∞
i∈I
Zufallsvariablen und Wahrscheinlichkeitsverteilung
3.1
Das Mengensystem F wird als σ-Algebra bezeichnet, wenn es
folgende Bedigungen erfüllt:
iii) A1 , A2 , · · · ∈ F ⇒
P (A | Bj )P (Bj )
i∈I P (A | Bi )P (Bi )
P (A ∩ B) = P (A | B)P (B) = P (B | A)P (A)
Ergebnismenge Ω
Die nichtleere Menge Ω aller relevanten Ergebnisse eines Experiments heißt Ergebnismenge.
1.2
Gesetz der totalen Wahrscheinlichkeit und Satz von
Bayes
Wahrscheinlichkeitsmaß P
Die Funktion P : F → [0, 1], das Wahrscheinlichkeitsmaß, ordnet jedem Ereignis A ∈ F ein Maß P (A), die Wahrscheinlichkeit
von A zu. Sie erfüllt folgende Axiome:
i) P (A) ≥ 0
ii) P (Ω) = 1
S
P∞
iii) P ( ∞
i=1 Ai ) =
i=1 P (Ai ), wenn Ai ∩ Aj = ∅, ∀i 6= j
Weitere Eigenschaften von P :
b) Sei (Ω, F, P ) ein Wahrscheinlichkeitsraum und (Rn , Bn ), n ∈
~ : Ω → Rn , n ∈ N
N ein Messraum, dann heißt X
~ =
Mehrdimensionale (reelle) Zufallsvariable, wenn X
[X1 , . . . , Xn ]T ein n-dimensionaler Vektor mit den reellen Zufallsvariablen, Xi : Ω → R, i ∈ {1, . . . , n}, die alle auf demselben Ergenisraum Ω definiert sind.
c) Sei (Ω, F, P ) ein Wahrscheinlichkeitsraum und (C, B2 ) ein
Messraum, dann heißt X : Ω → C Komplexe Zufallsvariable, wenn Re(X) und Im(X) reelle Zufallsvariablen sind.
d) Zufallsvariablen X : Ω → Ω0 , die Ω auf endliche oder
abzählbare Mengen Ω0 abbilden, heißten Diskrete Zufallsvariablen.
i) P (Ac ) = 1 − P (A)
3.2
ii) P (∅) = 0
Sei (Ω, F, P ) ein Wahrscheinlichkeitsraum, (Ω0 , F0 ) ein
Messraum,X : Ω → Ω0 eine Zufallsvariable, dann heißt das Bildmaß PX (A0 ) , P ({ω ∈ Ω | X(ω) ∈ A0 }) = P ({X ∈ A0 }) ∀ A0 ∈ F0
die Verteilung von X.
iii) P (A\B) = P (A ∩ B c ) = P (A) − P (A ∩ B)
iv) P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
v) A ⊂ B ⇒ P (A) ≤ P (B)
S
P
vi) P ( ki=1 Ai ) ≤ ki=1 P (Ai )
2
3.2.1
Bedingte Wahrscheinlichkeit und Unabhängigkeit
Verteilung einer Zufallsvariable
Kumulative Verteilungsfunktion (KVF)
Sei X eine reelle Zufallsvariable, dann heißt die Funktion
FX (x) = P ({X ≤ x})
2.1
Bedingte Wahrscheinlichkeit
Ist P (A) > 0 für ein A ∈ F, ist die Bedingte Wahrscheinlichkeit für B unter der Bedigung A definiert als:
Kumulative Verteilungsfunktion (KVF) von X. Sie hat folgende Eigenschaften:
i) FX (x) ist monoten wachsend.
P (B | A) , PA (B) =
P (A ∩ B)
P (A)
Es gilt:
ii) FX (x) ist rechsseitig stetig, d.h. ∀ h > 0 gilt limh→0 FX (x +
h) = FX (x), ∀ x ∈ R
iii) limx→−∞ FX (x) = 0, limx→∞ FX (x) = 1
i) P (A | A) = 1
iv) P ({a < X ≤ b}) = FX (b) − FX (a)
ii) P (B | A) = cA ∗ P (B), cA ≤ 1, für B ⊆ A ∈ F
v) P ({X > c}) = 1 − FX (c)
3.2.2
Zähldichte
3.3.4
Sei X : Ω → Ω0 ⊂ R eine reelle diskrete Zufallsvariable, dann heißt
die Funktion pX : R → [0, 1] mit
pX (x) = P ({X = x})
Zähldichte von X Der Zusammenhang zwischen Zähldichte und
KVF lautet
X
FX (x) =
pX (ξ)
FX1 ,...,Xm (x1 , . . . , xm )
= limxm+1 ,...,xn →∞ FX1 ,...,Xn (x1 , . . . , xn )
ξ∈Ω0 :ξ≤x
3.2.3
, FX1 ,...,Xn (x1 , . . . , xm , ∞, . . . , ∞)
Wahrscheinlichkeitsdichtefunktion (WDF)
X heißt stetig, wenn ihre KVF FX dargestellt werden kann als
Z x
fX (ξ)dξ
FX (x) =
−∞
fX : R → [0, ∞[ heißt Wahrscheinlichkeitsdichtefunktion
(WDF) von X. Sie hat folgende Eigenschaften:
Für eine Marginaliserung auf eine einzige Zufallsvariable gilt:
a) Eine durch Marginalisierung auf eine einzige Zufallsvariable
entstehende KVF wird auch als Randverteilung bezeichnet. Die Randverteilung der Zufallsvariable X1 ergibt sich
zu
FX1 (x1 ) = limx2 ,...,xn →∞ FX1 ,...,Xn (x1 , . . . , xn )
dFX (x)
,
dx
i) fX (x) =
wenn FX (x) stetig und bis auf endlich viele
Stellen differenzierbar
R
ii) P ({X ∈ A0 }) = A0 fX (x)dx
Rx
iii) P ({X = x}) = x fX (ξ)dξ = 0
R∞
fX (ξ)dξ = 1
iv) P (Ω0 ) = −∞
3.3
3.3.1
Randverteilungen
Gegeben sei die gemeinsame KVF FX1 ,...,Xn der n-dimensionalen
~ n ) = [X1 , . . . , Xn ]T . Für m < n und die
reellen Zufallsvariable X(
~ m ) = [X1 , . . . , Xm ]T geht die
m-dimensionale Zufallsvariable X(
gemeinsame KVF FX1 ,...,Xm durch Marginalisierung wie folgt
aus FX1 ,...,Xn hervor:
, FX1 ,...,Xn (x1 , ∞, . . . , ∞)
b) Für n diskrete Zufallsvariablen ergibt sich die zur Randverteilung der Zufallsvariable X1 gehörende Zähldichte pX1 aus
der Verbund-Zähldichte wie folgt
X
pX1 ,...,Xn (x1 , . . . , xn )
pX1 (x1 ) =
x2 ,...,xn
Mehrdimensionale Verteilungen
Gemeinsame Kumulative Verteilungsfunktion
~ = [X1 , . . . , Xn ]T eine n-dimensionale reelle Zufallsvariable
Sei X
auf dem Wahrscheinlichkeitsraum (Ω, F, P ), dann heißt FX1 ,...,Xn :
Rn → [0, 1] mit
~ ≤~
FX1 ,...,Xn (x1 , . . . , xn ) = F~X (~
x) = P ({X
x})
, P ({X1 ≤ x1 , . . . , Xn ≤ xn })
~
die Gemeinsame Kumulative Verteilungsfunktion von X.
Sie hat folgende Eigenschaften:
c) Für n gemeinsam stetig Zufallsvariablen ergibt sich die zur
Randverteilung der Zufallsvariable X1 gehörende Wahrscheinlichkeitsdichtefunktion fX1 , die auch als Randdichte bezeichnet wird, wie folgt aus fX1 ,...,Xn :
Z ∞
Z ∞
fX1 (x1 ) =
...
fX1 ,...,Xn (x1 , . . . , xn )dxn . . . dx2
−∞
3.4
−∞
Unabhängigkeit von Zufallsvariablen
X1 , . . . , Xn reelle Zufallsvariablen sind genau dann stochastisch
unabhängig wenn für jedes ~
x = [x1 , . . . , xn ]T ∈ Rn gilt:
i) FX1 ,...,Xn ist in jeder Koordinate monoton wachsend.
ii) FX1 ,...,Xn ist im folgenden Sinn rechtsseitig stetig:
∀ h > 0 gilt limh→0 FX1 ,...,Xn (x1 + h, . . . , xn + h) =
FX1 ,...,Xn (x1 , . . . , xn ), ∀ (x1 , . . . , xn ) ∈ Rn
iii) Für jedes 1 ≤ u ≤ n gilt:
limxi →−∞ FX1 ,...,Xn (x1 , . . . , xn ) = 0
limxi →∞ FX1 ,...,Xn (x1 , . . . , xn ) = 1
3.3.2
P ({X1 ≤ x1 , . . . , Xn ≤ xn }) =
n
Y
Analog folgt die stochastische Unabhängigkeit
a) für reelle Zufallsvariablen aus
FX1 ,...,Xn (x1 , . . . , xn ) =
FXi (xi )
b) für reelle und diskrete Zufallsvariablen aus
pX1 ,...,Xn (x1 , . . . , xn ) =
n
Y
pXi (xi )
i=1
~ =~
pX1 ,...,Xn (x1 , . . . , xn ) = p~X (~
x) = P ({X
x})
, P ({X1 = x1 , . . . , Xn = xn })
n
Y
i=1
Verbund-Zähldichte
~ = [X1 , . . . , Xn ]T eine n-dimensionale reelle diskrete ZufallsSei X
variable auf dem Wahrscheinlichkeitsraum (Ω, F, P ), dann heißt
pX1 ,...,Xn : Rn → [0, 1] mit
P ({Xi ≤ xi })
i=1
c) für reelle und stetige Zufallsvariablen au
~
die Verbund-Zähldichte von X.
fX1 ,...,Xn (x1 , . . . , xn ) =
n
Y
fXi (xi )
i=1
3.3.3
Verbund-Wahrscheinlichkeitsdichtefunktion
X1 , . . . , Xn heißen gemeinsam stetig, wenn ihre Gemeinsame Kumulative Verteilungsfunktion FX1 ,...,Xn dargestellt werden
kann als
FX1 ,...,Xn (x1 , . . . , xn )
Z
x1
=
Z
xn
...
−∞
−∞
fX1 ,...,Xn (ξ1 , . . . , ξn )dξn . . . dξ1
3.5
3.5.1
Bedingte Zufallsvariablen
Bedingte Kumulative Verteilungsfunktion
Die Funktion FX : R → [0, 1] mit
FX|A (x | A) = PA ({X ≤ x}) = P ({X ≤ x} | A)
heißt Bedingte Kumulative Verteilungsfunktion
Zufallsvariablen X unter der Bedigung A.
der
Rn
fX1 ,...,Xn
:
→
[0, ∞[
heißt
Verbund~ Es gilt
Wahrscheinlichkeitsdichtefunktion von X.
∂ n FX1 ,...,Xn (x1 , . . . , xn )
fX1 ,...,Xn (x1 , . . . , xn ) =
∂x1 . . . ∂xn
wenn FX1 ,...,Xn (x1 , . . . , xn ) in jeder Komponente stetig und bis
auf endlich viele Stellen differenzierbar ist.
Seien X und Y gemeinsam verteilte reelle Zufallsvariablen, dann
heißt die Funktion FX|Y : R → [0, 1] mit
FX|Y (x | y) = P ({X ≤ x} | {Y = y})
die Bedingte Kumulative Verteilungsfunktion der Zufallsvariablen X unter der Bedingung {Y = y}.
3.5.2
5.1.4
Bedingte Zähldichte
Seien X und Y gemeinsam verteilte reelle diskrete Zufallsvariablen.
Für ein gegebenes y mit pY (y) > 0 heißt die Funktion pX|Y : R →
[0, 1] mit
pX,Y (x, y)
pX|Y (x | y) =
pY (y)
Poisson-Verteilung
pX (k) = lim Bn, λ (k) = E−λ
n→∞
n
λk
, k ∈ N0
k!
Ergibt sich als asymptotischer Grenzfall aus der Binomialverteilung, wenn n → ∞ und p → 0, sodass np → λ.
die Bedingte Zähldichte der Zufallsvariablen X unter der Bedingung {Y = y}.
5.1.5
3.5.3
Besitzt die Eigenschaft der Gedächtnislosigkeit, d.h.
Bedingte Wahrscheinlichkeitsdichtefunktion
Seien X und Y gemeinsam verteilte reelle diskrete Zufallsvariablen.
Für ein gegebenes y mit fY (y) > 0 heißt die Funktion fX|Y : R →
[0, ∞[ mit
fX|Y (x | y) =
dFX|Y (x | y)
dx
=
fX,Y (x, y)
fY (y)
pX (k) = (1 − p)k−1 p, k ∈ N
P ({X > n + k} | {X > n}) = P ({X > k}), n, k ∈ N0
5.2
5.2.1
5.2.2
1
b−a
wenn x ∈ [a, b]
0
sonst
Exponentialverteilung
fX (x) = λE−λx , x ≥ 0
Sei X : Ω → R eine reelle Zufallsvariable und g : R → R eine
reellwertige deterministische Funktion. Dann ist auch Y = g(X)
eine reellwertige Zufallsvariable, die gegeben ist durch Y(ω) =
g(X(ω)).
Besitzt die Eigenschaft der Gedächtnislosigkeit, d.h.
P ({X > x + ξ} | {X > ξ}) = P ({X > x}), x, ξ ≥ 0
5.2.3
Normalverteilung
Transformation von Zufallsvariablen (univariater Fall)
Die allgemeine Transformationsvorschrift zur Bestimmung der
WDF fY der Zufallsvariablen Y = g(X) aus der gegebenen WDF
fX der Zufallsvariablen X für differenzierbare und streng monotone
Funktionen g lautet
#−1
"
dy
fY (y) = fX (g −1 (y)) (x)
dx
x=g −1 (y)
fX (x) = √
fZ=X+Y (z) = (fX ∗ fY )(z)
(x−µ)2
2σ 2
,x ∈ R
x2
1
fX (x) = φ(x) = √ E− 2
2π
Z
x
FX (x) = Φ(x) =
y − g(xi ) = 0, i ∈ {1, . . . , N }
Seien X und Y stochastisch unabhängige stetige Zufallsvariablen
und fX und fY ihre WDF, dann gilt für ihre Summe Z = X + Y
−
Für den Spezialfall X ∼ N (0, 1) spricht man von Standardnormalverteilung, für WDF und KVF gilt
"
#−1
dy
fX (xi ) (x)
fY (y) =
dx
x=xi
i=1
Summe unabhängiger Zufallsvariablen
2πσ 2
E
X ∼ N (µ, σ 2 )
N
X
4.2
1
µ ∈ R bezeichnet den Erwartungswert E[X], σ 2 > 0 die Varianz
V ar[X]. Für eine mit dem Erwartungswert µ und der Varianz σ 2
normalverteilte Zufallsvariable X schreibt man auch
dx
= fX (g −1 (y)) (y)
dy
Für die Transformation von Zufallsvariablen mit beliebigen differenzierbaren Funktionen g gilt
5
Gleichverteilung
(
Funktionen von Zufallsvariablen
4.1
Stetige Verteilungen
fX (x) =
die Bedingte Wahrscheinlichkeitsdichtefunktion der Zufallsvariablen X unter der Bedingung {Y = y}.
4
Geometrische Gleichverteilung
φ(ξ)dξ
−∞
Sie hat folgende Eigenschaften:
i) Y ∼ N (µ, σ 2 ) ⇒ X =
1
(Y
σ
− µ) ∼ N (0, 1)
ii) X ∼ N (0, 1) ⇒ Y = σX + µ ∼ N (µ, σ 2 )
5.2.4
Multivariate Normalverteilung
Stochastische Standardmodelle
fX1 ,...,Xn (x1 , . . . , xn )
5.1
5.1.1
Diskrete Verteilungen
1
1
= √ np
exp(− (~
x−µ
~ )T C−1 (~
x−µ
~ ))
2
2π
det(C)
Diskrete Gleichverteilung
pX (ω) =
1
,ω ∈ Ω
|Ω|
, wobei µ
~ den Erwartungswertvektor

 
µ1
X1
 . 
 . 
~
µ
~ =  .  = E  .  = E[X]
.
.
µn
Xn

5.1.2
Bernoulli-Verteilung


p
pX (k) = 1 − p


0
wenn k = 1
wenn k = 0
sonst
und C die Kovarianzmatrix
~ −µ
~ −µ
C = E[(X
~ )(X
~ )T ] = CT
5.1.3
Binomialverteilung
(
pX (k) = Bn,p (k) =
n k
p (1
k
0
− p)n−k
wenn k ∈ {0, . . . , n}
sonst
bezeichnet. Analog zum univariaten Fall schreibt man auch
~ ∼ N (~
X
µ, C)T
6
Erwartungswert und Varianz
6.1
Erwartungswert diskreter reeller Zufallsvariablen
viii) SindP
Xi , i ∈ {1, P
. . . , n} paarweise unkorreliert, so gilt
n
Var[ n
i=1 X] =
i=1 Var[Xi ]
ix) Sind E[X2 ] < ∞, E[Y2 ] < ∞, dann heißt
X : Ω → Ω ⊂ R sei reelle, diskrete Zufallsvariable, dann heißt
E[X] =
X
xP ({X = x}) =
X
cX,Y
Cov[X, Y]
p
ρX,Y = p
=
σX σY
Var[X] Var[Y]
xpX (x)
x∈Ω0
x∈Ω0
Korrelationskoeffizient von X und Y.
Erwartungswert von X. Sei g : R → R eine reellwertige Fkt.
dann gilt für Y = f (X)
X
E[g(X)] =
g(x)pX (x)
x∈Ω0
6.2
6.6
Multivariate reelle Zufallsvariablen
~ Y
~ reeller Zufallsvektor, dann heißt
Sei X,
Erwartungswert stetiger Zufallsvariablen
 

E[X1 ]
X1
.   . 
n
~ = E
E[X]
 ..  =  ..  ∈ R
E[Xn ]
Xn

X : Ω → R sei stetige Zufallsvariable, dann heißt
Z
∞
xfX (x)dx
E[X] =
−∞
Erwartungswert von X. Sei g : R → R eine reellwertige Fkt.
dann gilt für Y = f (X)
Z
~
der Erwartungswertvektor von X,
~ Y]
~ = E[(X
~ − E[X])(~
~ y − E[Y])
~ T]
Cov[X,


Cov[X1 , Y1 ] . . . Cov[X1 , Ym ]


..
..
n×m
..
=
∈R
.
.
.
Cov[Xn , Y1 ] . . . Cov[Xn , Ym ]
∞
E[g(X)] =
g(x)fX (x)dx
−∞
6.3
Eigenschaften des Erwartungswerts
Seien X, Y reelle Zufallsvariablen, α, β ∈ R
~ und Y,
~ kurz CX,Y ,
die Kovarianzmatrix von X
i) E[αX + βY] = αE[X] + βE[Y]

ii) X ≤ Y ⇒ E[X] ≤ E[Y]
~Y
~T] = 
E[X

iii) Sind X und Y stochastisch unabhängig, so gilt:
E[XY] = E[X]E[Y] (Die Umkehrung gilt nicht zwigend!)
iv) Für den Fall, dass X R: Ω → R+ nur nichtnegative Werte
annimmt, gilt: E[X] = 0∞ P (X > t)dt
...
..
.
...

E[X1 Ym ]

..
n×m
∈R
.
E[Xn Ym ]
~ und Y,
~ kurz RX,Y ,
die Korrelationsmatrix von X
v) Für den Fall, dass X : ΩP→ Ω0 ⊂ R+ nur nichtnegative Werte
annimmt, gilt: E[X] = ∞
0 P (X > t)
6.4
E[X1 Y1 ]
..
.
E[Xn Y1 ]
~ und Y
~ heißen unkorreliert, wenn gilt
i) X
~ Y]
~ = 0 ⇔ E[X
~Y
~ T ] = E[X]E[
~ Y
~T]
Cov[X,
Varianz und Kovarianz reeller Zufallsvariablen
~ und Y
~ heißen orthogonal, wenn gilt
ii) X
~Y
~T] = 0
E[X
X : Ω → R sei reelle Zufallsvariable, dann heißt
Var[X] = E (X − E[X])2
= E[X2 ] − E[X]2
7
Erzeugende und charakteristische Funktionen
die Varianz von X.
7.1
X : Ω → R, Y : Ω → R seien reelle Zufallsvariablen, dann heißt
Sei X : Ω 7→ N0 diskrete, nichtnegative Zufallsvariable, dann heißt
Wahrscheinlichkeitserzeugende Funktion
Cov[X, Y] = E [(X − E[X])(Y − E[Y])]
= E[XY] − E[X]E[Y]
GX (z) = E[z X ] =
∞
X
pX (k)z k ,
|z| ≤ 1
k=0
= Cov[Y, X]
die Kovarianz von X und Y.
wahrscheinlichkeitserzeugende Funktion von X bzw. der
Zähldichte pX (k).
6.5
Eigenschaften:
Eigenschaften von Varianz und Kovarianz
Seien X, Y, U, V reelle Zufallsvariablen, α, β, γ, δ ∈ R
i) P ({X = n}) =
i) Var[X] = Cov[X, X]
ii) Cov[αX + β, γY + δ] = αγCov[X, Y]
iii) Cov[X + U, Y + V]
= Cov[X, Y] + Cov[X, V] + Cov[U, Y] + Cov[U, V]
α2 Var[X]
iv) Var[αX + β] =
P
Pn
P
v) Var[ n
i=1 X] =
i=1 Var[Xi ] +
i6=j Cov[Xi , Xj ]
vi) X und Y heißen unkorreliert, wenn
Cov[X, Y] = 0 ⇔ E[XY] = E[X]E[Y]
vii) X und Y heißen orthogonal, wenn
E[XY] = 0
1
n!
h
i
d
ii) E[X] = dz
GX (z)
dn
G (z)
dz n X
z=0
i
,
∀n ∈ N0
h
iii) Var[X] =
h
z=1
d2
G (z)
dz 2 X
z=1
i
− E[X]2 + E[X]
Sind Xi : Ω 7→ N0 , i ∈ {1, . . . , n} stochastisch
P unabhängige
diskrete nichtnegative Zufallsvariablen und Z = n
i=1 Xi , so gilt:
GZ (z) =
n
Y
i=1
GXi (z)
7.2
Momenterzeugende Funktionen
8.1
Sei X : Ω 7→ R eine reelle Zufallsvariable. Dann heißt
MX (s) = E[esX ]
=
Sn = Xn (ωn ) + Xn−1 (ωn−1 ) + · · · + X1 (ω1 ),
{s ∈ R | E[esX ] < ∞}
∞
X
sk
E[Xk ]
k!
k=0
s ∈ (−a, a)
Ensemble und Pfad
Seien Xi , i ∈ {1, . . . , n} reelle Zufallsvariablen und
n∈N
eine nichtdeterministische Zufallsfolge. Dann kann (Sn : n ∈ N)
dargestellt werden in der
i) Ensemble-Darstellung (Sn : Ωn × Ωn−1 × · · · × Ω1 7→ R):
die momenterzeugende Funktion von X.
(ωn , ωn−1 , . . . ω1 ) 7→ sn (ωn , ωn−1 , . . . ω1 ),
n∈N
Eigenschaften:
i)
E[Xn ]
=
h
dn
MX (s)
dsn
s=0
i
ii) Pfad-Darstellung (Sn = (Sn , Sn−1 , . . . , S1 ) : Ω(n) 7→ Rn ):
∀n ∈ N0
ωn 7→ sn (ωn ) = (sn (ωn ), sn−1 (ωn ), . . . , s1 (ωn )),
Sind Xi : Ω 7→ N0 , i ∈ {1, . . . ,P
n} stochastisch unabhängige
reelle Zufallsvariablen und Z = n
i=1 Xi , so gilt:
MZ (s) =
n
Y
i=1
7.3
mit Ω(n) = Ωn × Ωn−1 × · · · × Ω1
8.2
MXi (s)
Verteilungen und Momente von Zufallsfolgen
Reelle Zufallsfolge (Xi : i ∈ N) als Folge reeller Zufallsvariablen
eindeutig beschrieben durch Menge aller gemeinsamen kumulativen Verteilungsfunktionen
Charakteristische Funktion
FXi 1 ,...,Xi n (xi1 , . . . , xin ) = P ({Xi1 ≤ xi1 , . . . , Xin ≤ xin })
Sei X : Ω 7→ R eine reelle Zufallsvariable. Dann heißt
ϕX (ω) = E[e
jωX
]
Für den Erwartungswert und die Varianz (als Spezialfall der
Kovarianz) des n-ten Element der reellen Zufallsfolge (Xn : n ∈ N)
gilt:
die charakteristische Funktion von X.
µX (n) = E[Xn ]
Eigenschaften:
σX2 (n) = Var[Xn ] = E[X2n ] − E[Xn ]2
i) E[Xn ] =
1
jn
h
Für die Autokorrelations- sowie die Autokovarianzfolge gilt:
dn
ϕ (ω)
dω n X
ω=0
i
∀n ∈ N0
rX (k, l) = E[Xk Xl ]
cX (k, l) = Cov[Xk , Xl ] = rX (k, l) − µX (k)µX (l)
Sind Xi : Ω 7→ N0 , i ∈ {1, . . . ,P
n} stochastisch unabhängige
reelle Zufallsvariablen und Z = n
i=1 Xi , so gilt:
8.3
ϕZ (ω) =
n
Y
ϕXi (ω)
i=1
7.4
Der zentrale Grenzwertsatz
n
X
(Xi − µ)
Zn =
√
σ n
i=1
Random Walk
Mathematische Modellierung des Vorgangs, dass Teilchen bei jedem Schritt (Schrittweite δ) mit Wahrscheinlichkeit p bzw. 1 − p
Schritt nach rechts oder links macht (Richtung der einzelnen
Schritte unabhängig voneinander).
Betrachtung von
Seien Xi , i ∈ 1, . . . , n stochastisch unabhängige und identisch verteilte reelle Zufallsvariablen, sowie E[Xi ] = µ und Var[Xi ] = σ 2 <
∞. Dann konvergiert die Verteilung der standardisierten Summe
Sn =
n
X
Xi mit P ({Xi = +δ}) = p, P ({Xi = −δ}) = 1 − p
i=1
Dann gilt
E[Xi ] = δp − δ(1 − p) = (2p − 1)δ
Var[Xi ] = E[X2i ] − E[Xi ]2 = 4p(1 − p)δ 2
" n
#
n
X
X
E[Sn ] = E
Xi =
E[Xi ] = n(2p − 1)δ
(E[Zn ] = 0 und Var[Zn ] = 1) für n → ∞ gegen die Standardnormalverteilung. Daraus folgt, dass:
i=1
" n
X
lim P({Zn ≤ z}) = Φ(z)
n→∞
Var[Sn ] = Var
i=1
Teil II
Stochastische Prozesse
8
#
i=1
n
X
Xi =
Var[Xi ] = 4np(1 − p)δ 2
(1)
i=1
Symmetrischer Random Walk liegt vor, wenn E[Sn ] = 0 und
Var[Sn ] = nδ 2 . Dies gilt für p = 12 .
8.4
Reelle Zufallsfolgen
Eine Folge (Xn : n ∈ N) von Zufallsvariablen ist gegebenen durch
Wahrscheinlichkeitsraum (Ω, F, P), Messraum (Ω0 , F0 ) und messbare Abbildungen Xn : Ω 7→ Ω0 , n ∈ N. Für reelle Zufallsfolgen
gilt (Ω0 , F0 ) = (R, B). Damit ist
Xn : Ω 7→ R,
n∈N
n∈N
eine Folge von reellen Zufallsvariablen.
Stationarität von Zufallsfolgen
Folgenelemente sind invariant gegenüber Verschiebung der Indizes. Für Praxis viel wichtiger ist Stationarität im weiteren
Sinne (WSS, wide sense stationary):
µX (i) = µX (i + k)
rX (i1 , i2 ) = rX (i1 − i2 ) = rX (i1 + k, i2 + k)
∀i, k ∈ N
∀i1 , i2 , k ∈ N
Jede stationäre Folge ist auch im weiteren Sinne stationär, die
Umkehrung gilt nicht!
8.5
Konvergenz reeller Zufallsfolgen
8.8
Das starke Gesetz der großen Zahlen
Sei (Xi : i ∈ N) eine Folge reeller, paarweise unkorrelierter Zufallsvariablen mit beschränkter Varianz, d.h. es sei v =
maxi∈N Var[Xi ] < ∞. Dann gilt:
Konzepte von Konvergenz (in absteigender Stärke):
i) Fast sichere (almost surely) Konvergenz:
n
1X
a.s.
(Xi − E[Xi ]) → 0
n i=1
a.s.
P ({ω : lim Xn (ω) = X(ω)}) = 1, Xn → X
n→∞
ii) Konvergenz in Wahrscheinlichkeit (in probability):
9
Markowketten und bedingte Unabhängigkeit
p.
∀ > 0, Xn → X
lim P ({ω : |Xn (ω) − X(ω)| > }) = 0
n→∞
iii) Konvergenz im quadratischen Mittel (in the mean square
sense):
9.1
Bedingte Unabhängigkeit
Sind drei Ereignisse A, B, C auf einem Wahrscheinlichkeitsraum
(Ω, F, P ) mit P (B) > 0 gegeben. A und C heißen dann bedingt
unabhängig gegeben B, wenn
m.s.
E[X2n ] < ∞ und lim E[(Xn (ω) − X(ω))2 ] = 0, Xn → X
P (A ∩ C | B) = P (A | B)P (C | B)
n→∞
für P (B ∩C) > 0 sind A und C bedingt unabhängig gegeben
B, wenn
P (A | B ∩ C) = P (A | B)
iv) Konvergenz in Verteilung (in distribution):
d.
lim FXn (x) = FX (x), Xn → X
n→∞
Sind drei gemeinsam verteilte, reelle diskrete/stetige Zufallsvariablen X, Y, Z gegeben. Man bezeichnet X und Z als bedingt
unabhängig gegeben Y, falls für alle(x, y, z) ∈ Ω0 /R3 mit
pY,X (y, x) > 0/fY,X (y, x) > 0 gilt:
Nützliche Folgerungen:
p.
a.s.
a) Xn → X ⇒ Xn → X
p.
m.s.
b) Xn → X ⇒ Xn → X
p.
m.s.
c) P ({Xn ≤ Y}) = 1 ∀n, E[Y2 ] < ∞, Xn → X ⇒ Xn → X
p.
a.s./p./m.s.
e) Xn
→
X und Xn
→
(Eindeutigkeit des Grenzwerts!)
d.
Y ⇒ P ({X = Y}) = 1
d.
f) Xn → X und Xn → Y ⇒ X und Y haben gleiche Verteilung.
8.6
9.2
(2)
stetig:
fZ|Y,X (z | y, x) = fZ|Y (z | y)
(3)
Markow-Ungleichung: Sei X : Ω 7→ R eine reelle Zufallsvariable mit E[|X|] < ∞ und a > 0 eine reellwertige Konstante.
Dann gilt:
E[|X|]
P ({|X| ≥ a}) ≤
a
Tschebyschow-Ungleichung: Sei X : Ω 7→ R eine reelle Zufallsvariable mit endlicher Varianz und a eine positive reellwertige
Konstante. Dann gilt:
P ({|X − E[X]| ≥ a}) ≤
Var[X]
a2
Das schwache Gesetz der großen Zahlen
Sei (Xi : i ∈ N) eine Folge reeller, paarweise unkorrelierter Zufallsvariablen mit beschränkter Varianz, d.h. es sei v =
maxi∈N Var[Xi ] < ∞. Dann gilt:
n
1X
p.
(Xi − E[Xi ]) → 0
n i=1
Für stochastisch unabhängige und identisch verteilte Folgenelemente mit E[Xi ] = E[X] und Var[Xi ] = Var[X] < ∞ gilt insbesondere:
n
1X
p.
Xi → E[X]
n i=1
Markowketten
Eine Zufallsfolge (Xn : n ∈ N) mit den Zustandsraum X heißt
Markowkette, falls ∀ ni ∈ N, i ∈ 1, . . . k mit n1 < · · · < nk gilt:
(Xn1 , Xn2 , . . . Xnk−2 ) → Xnk−1 → Xnk
Markow- und Tschebyschow-Ungleichung
Geben in allgemeinerer bzw. speziellerer Form obere Schranke
für Wahrscheinlichkeit, dass nichtnegative Zufallsvariable Wert
größer als positive Konstante annimmt, an.
8.7
pZ|Y,X (z | y, x) = pZ|Y (z | y)
Die Kurzschreibweise hierfür lautet: X → Y → Z
d.
d) Xn → X ⇒ Xn → X
a.s./p./m.s.
diskret:
Schreibt man dies nach (2) oder (3) um, so nennt man die resultierende Gleichung Markoweigenschaft einer Zufallsfolge
9.2.1
Zustandsübergänge
Sei (Xn : n ∈ N) eine Zufallsfolge mit Zustandsraum X. Dann ist
die Zustandsübergangswahrscheinlichkeit:
pXn |Xn−1 (xn | xn−1 )
und die Zustandsübergangsdichte:
fXn |Xn−1 (xn | xn−1 )
sowie
die
m-Schritt-Übergangswahrscheinlichkeit/Übergangsdichte:
pXn+m |Xn (xn+m | xn )
fXn+m |Xn (xn+m | xn )
Eine
Markowkette
heißt
homogen,
wenn
die
Übergangswahrscheinlichkeiten bzw. -dichten ∀(xn , xn+1 ) ∈ X2
mit pXn (xn ) > 0/fXn (xn ) > 0 unabhängig vom Index n sind:
pXn+1 |Xn (xn+1 | xn ) = pXn+1+k |Xn+k (xn+1 | xn )
n ∈ N, n + k ∈ N
fXn+1 |Xn (xn+1 | xn ) = fXn+1+k |Xn+k (xn+1 | xn )
n ∈ N, n + k ∈ N
Häufige kompakte Schreibweise für homogene Markowketten:
pij , pXn+1 |Xn (ξi | ξj )
n ∈ N, ξi , ξj ∈ X
9.2.2
10.3.1
Markowketten mit endlichem Zustandsraum
Endlicher Zustandsrausraum: X enthält endlich viele Elemente:
X = {x1 , x2 , . . . xN } N ∈ N
Eigenschaften des Wiener-Prozesses
Sei (Wt : t ∈ R+ ) mit σ > 0 ein Wiener-Prozess, dann gilt:
a) P ({W0 = 0}) = 1 (Wiener-Prozess startet stets im Koordinatenursprung)
Darstellung einer Markowkette mit N -elementigem X als N komponentiger Vektor:


pXn (x1 )
 pXn (x2 ) 


p
~n , 
 ∈ [0, 1]N
..


.
pXn (xN )
d) Wt (ω) ist stetige Musterfunktion mit Wahrscheinlichkeit 1
mit [~
pn ]i = pXn (xi )
f) Autokorrelationsfunktion
Übergangsmatrix:

p11

Π =  ..
.
pN 1
b) (Wt : t ∈ R+ ) hat unabhängige Inkremente
c) Wt − Ws ∼ N (0, σ 2 (t − s)) ∀0 ≤ s ≤ t
e) Erwartungswertfunktion
µW (t) = E[Wt ] = E[Wt − W0 ] = 0
rW (s, t) = cW (s, t) = σ 2 min{s, t}
···
..
.
p1N

Zählprozess (Addition von 1 nach zufälligem Zeitintervall)
mit exponentialverteilten Wartezeiten, also sind hier Abstände
zwischen Inkrementen Zufallsvariablen.
pN N
Spaltensumme muss immer 1 ergeben!
p
~n+1 = Π~
pn
p
~n+m = Πm p
~n
Poisson-Prozess (Nt : t ∈ R+ )
10.4
∈ [0, 1]N ×N


n, m ∈ N
Konstruktion
n, m ∈ N
Nt =
Beispiel: Skript S. 135
∞
X
u(t − Ti ),
Ti =
i=1
Darstellung von Markowketten für endliche Zustandsräume
und konstante Übergangswahrscheinlichkeiten mit Hilfe von
Übergangsgraphen mit:
i
X
Xj
j=1
Wahrscheinlichkeitsdichtefunktion
fTi (t) =
λi
ti−1 e−λt ,
(i − 1)!
t≥0
i) Zuständen als Knoten
ii) Übergangen mit Wahrscheinlichkeit pji > 0 als gerichteten
Kanten von si nach sj
10
P ({Nt = n}) =
Zufallsprozesse
Reeller Zufallsprozess: Xt : Ω 7→ R, t ∈ R ⇒ Zufallsfolge ist
ein diskreter Zufallsprozess
10.1
Wahrscheinlichkeit, dass bis zum Zeitpunkt t genau n
zufällige Inkrementierungen stattgefunden haben
10.4.1
n ∈ N, t ∈ R+
Eigenschaften des Poisson-Prozesses
a) Erwartungswertfunktion
µN (t) = E[Nt ] = E[Nt − N0 ] = λt
Ensemble und Musterfunktion
Möglichkeiten der Interpretation eines Zufallsprozesses:
b) Autokorrelationsfunktion
a) als Ensemble einer nicht abzählbaren Menge von Zufallsvariablen Xt mit t ∈ R
b) Schar von Musterfunktionen Xt (ω) : R 7→ R, t 7→ Xt (ω)
als deterministische Funktion von t mit einem gegebenen Ereignis ω ∈ Ω
10.2
(λt)n −λt
e
n!
Verteilungen und Momente von Zufallsprozessen
rN (s, t) = λ min{s, t} + λ2 st
c) Autokovarianzfolge
cN (s, t) = rN (s, t) − µN (s)µN (t) = λ min{s, t}
d) Musterfunktion des ∼ ist Zählfunktion (f (0) = 0, f monoton
steigend ⇒ Nt2 ≥ Nt1 gilt immer!)
a) Erwartungswertfunktion
10.5
µX (t) = E[Xt ]
Eigenschaften eines einzelnen Zufallsprozesses
b) Autokorrelationsfunktion
i) Stationarität eines ZP
rX (s, t) = E[Xs Xt ]
c) Autokovarianzfunktion
cX (s, t) = Cov(Xs , Xt ) = rX (s, t) − µX (s)µX (t)
10.3
Addition/Subtraktion eines zufälligen Wertes je infinitesimalem
Zeitintervall
Der Zufallsprozess (St : t ∈ R+ ) mit St ∼ N (0, σ 2 t) heißt
Wiener-Prozess.
[E[St ]]t=nT = E[Sn ] = 0
t
T
δ 2 mit δ =
FXt1 ,...,Xtn (x1 , . . . xn ) = FXt +s ,...,Xtn +s (x1 , . . . xn )
1
T
T
∀ x1 , . . . , xn
∈ Rn , t1 , . . . , tn
∈ Rn , s ∈ R, n ∈ R
ii) Stationarität im weiteren Sinne (WSS)
Wiener-Prozess (ist kein Zählprozess!)
[Var[St ]]t=nT = Var[Sn ] = nδ 2 =
Klassifikation reeller Zufallsprozesse
√
σ2 T
Die Varianz der Normalverteilung ist hier also zeitabhängig:
1
s2
fSt (s) = √
exp − 2
, t ∈ R+
2σ t
2πσ 2 t
µX (t) = µX (t + s)
rX (t1 , t2 ) = rX (t1 + s, t2 + s)
∀t, s ∈ R
∀t1 , t2 , s ∈ R
Stationarität ⇒ Stationarität im weiteren Sinne (Umkehrung gilt nicht!). Ist ein ZP nicht WSS, kann er auch nicht
stationär sein!
iii) Zyklische WSS Für periodische µX (t) und rX (t1 , t2 ) mit
T > 0 gilt:
µX (t) = µX (t + T )
rX (t1 , t2 ) = rX (t1 + T, t2 + T )
aus WSS ⇒ zyklische WSS
∀t ∈ R
∀t1 , t2 ∈ R
Eigenschaften von zwei Zufallsprozessen
Seien (Xt : t ∈ R) und (Yt : t ∈ R) zwei ZP auf demselben
Wahrscheinlichkeitsraum
Äquivalente Beschreibung eines LTI-Systems durch die Impulsantwort möglich:
Z
∞
a(t, τ )x(τ ) dτ
y(t) = (Ax)(t) =
−∞
i) Gemeinsame Stationarität
Xt und Yt sind zwei reelle jeweils selbst stationäre ZP und
ihre gemeinsamen Verteilungen verschiebungsinvariant (siehe Formel (11.18) auf S.156)
LTI
∞
Z
Z
∞
a(t − τ )x(τ ) dτ =
=
a(τ )x(t − τ ) dτ
−∞
−∞
= (a ∗ x)(t)
ii) Kreuzkorrelationsfunktion
Im Frequenzraum gilt dann folglich:
rX,Y (s, t) = E[Xs Xt ] = rY,X (t, s)
Y (f ) = A(f )X(f )
iii) Kreuzkovarianzfunktion
11.2
cX,Y (s, t) = rX,Y (s, t) − µX (s)µY (t) = cY,X (t, s)
iv) Gemeinsame Stationarität im weiteren Sinne
Xt und Yt sind zwei reelle jeweils selbst im weiteren Sinne
stationäre ZP und es gilt
rX,Y (t1 , t2 ) = rX,Y (t1 + s, t2 + s)
Z
Ys =
LTI
∀t1 , t2 , s ∈ R
v) Stochastische Unabhängigkeit
Siehe Formel (11.22) auf S. 157
Erwartungswert- und Korrelationsfunktionen
Ausgang eines mit dem Zufallsprozess Xt beaufschlagten linearen
Systems ist wieder ein Zufallsprozess:
∞
a(s, t)Xt dt
−∞
Z ∞
Z
cX,Y (s, t) = 0 ⇔ rX,Y (s, t) = µX (s)µY (t)
∀s, t ∈ R
i) Erwartungswertfunktion
∞
Z
µY = µX
vii) Stochastische Orthogonalität
10.6
a(t)Xs−t dt
−∞
−∞
Bei Filterung eines WSS Zufallsprozesses Xt mit einem LTISystem sind Xt und der gefilterte Zufallsprozess Yt gemeinsam
WSS. Dann gilt:
vi) Stochastische Unkorreliertheit
rX,Y (s, t) = 0
∞
a(s − t)Xt dt =
=
a(t) dt
−∞
∀s, t ∈ R
ii) Kreuzkorrelationsfunktion
Eigenschaften der Auto- und Kreuzkorrelationsfunktion von gemeinsam WSS Zufallsprozessen
rY,X (τ ) = (a ∗ rX )(τ )
mit ã(τ ) = a(−τ )
iii) Autokorrelationsfunktion
rX (τ ) ≤ rX (0)
p
|rX,Y (τ )| ≤ rX (0)rY (0)
rY (τ ) = (ã ∗ a ∗ rX )(τ )
rX (τ ) = rX (−τ ) (AKF gerade, achsensymm.)
T
a RX a ≥ 0
[RX ]k,l = rX (tk − tl )
10.7
∀tk , tl ∈ R, a ∈ Rn
Leistungsdichtespektrum reeller WSS Zufallsprozesse
SY,X (f )
ii) Kreuzkorrelationsfunktion
SX (f ) = SX∗ (f )
∀f ∈ R
SX (f ) = SX (−f )
∀f ∈ R
SX (f ) df = rX (0) = σX2 + µ2X
−∞
SX (f ) ≥ 0
11.1
SY (f )
SY (f ) = |A(f )|2 SX (f )
Eigenschaften
11
rY
i) Autokorrelationsfunktion
rX (τ ) e−j2πf τ dτ
−∞
Z∞
Leistungsdichtespektrum ist die Fourier-Transformierte der entsprechenden Korrelationsfunktion, folglich gilt:
Leistungsdichtespektrum der
Wiener-Chintschin-Theorem
Z∞
Leistungsdichtespektren
rY,X
∼ existiert nur für WSS Zufallsprozesse!
SX (f ) =
11.3
mit ã(τ ) = a(−τ )
∀f ∈ R
Zufallsprozesse und lineare Systeme
Lineare zeitinvariante Systeme
Ein linearer Operator A : X 7→ Y mit y = Ax erfüllt folgende
Bedingungen:
A(αx) = αAx
A(x1 + x2 ) = Ax1 + Ax2
∀α ∈ R, x ∈ X
∀x1 , x2 ∈ X
SY,X (f ) = A(f )SX (f )
SX,Y (f ) = A∗ (f )SX (f )