Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Zufallsexperimente, Zufallsvariable und
Stochastische Prozesse
Kurzzusammenfassung
Information Technology · University of Ulm
1
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Zufallsexperimente
Ein Zufallsexperiment oder Zufallsversuch ist ein Experiment, dessen Durchführung zufallsabhängige
(ungewisse) Resultate liefert und das sich im Prinzip unter gleichen Bedingungen (zumindest gedanklich)
beliebig oft wiederholen lässt. Die möglichen Resultate eines Zufallsversuchs heißen auch Ergebnisse,
Ausgänge oder Resultate. Beispiel: Werfen eines (fairen) Würfels.
Ein mögliches Resultat eines Zufallsexperiments heißt Ergebnis und wird im Folgenden mit ω bezeichnet. Die möglichen Ergebnisse des Experiments “Würfel” sind die Augenzahlen ω1 =“1”, ω2 =“2”, . . .,
ω6 =“6”.
Die Menge aller Versuchsausgänge wird Merkmalraum oder Ergebnisraum genannt und mit Ω={ω} bezeichnet. Für den Würfel ist der Ergebnisraum die Menge aller möglichen Augenzahlen,
Ω = {“1”,“2”,. . .,“6”}.
Jede Zusammenfassung von Ergebnissen stellt ein Ereignis dar.
Ereignisse z. B.
A = ω1
A = {ω1 , ω3}
A = {ω1 , ω3, ω5}
A = {ω4 , ω5, ω6}
Information Technology · University of Ulm
Beim Würfelbeispiel sind mögliche
Ereignis “Augenzahl 1”
Ereignis “Augenzahl ist 1 oder 3”
Ereignis “Augenzahl ist ungerade”
Ereignis “Augenzahl ist größer als 3”
2
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Sind die Ergebnisse eines Zufallsexperiments diskret wie z. B. beim Würfel, so stellen die Ergebnisse selbst
Ereignisse dar, die sog. Elementarereignisse. Wenn es k Elementarereignissen ωi gibt, so lassen sich daraus
2k verschiedene Ereignisse Aj bilden (ein Ereignis kann ein Elementareregnis enthalten oder nicht ⇒ 2k
Möglichkeiten).
Die Ergebnisse eines Zufallsexperiments können andererseits auch kontinuierlich sein (kontinuierlicher
Merkmalraum), z. B. die Abtastung eines wertkontinuierlichen Signals. Ein mögliches Ergebnis ist beispielsweise die Zahl 3.1436. . .. Das Intervall [3,4] stellt im Gegensatz dazu ein Ereignis dar. Genau den Wert
3.1436. . . wird man praktisch nie messen (die Wahrscheinlichkeit, exakt diesen Wert zu messen, ist gleich
null, wie im nächsten Kapitel deutlich wird); die Wahrscheinlichkeit für das Ereignis [3,4], d. h. das der
Abtastwert eine Zahl zwischen 3 und 4 ist, ist dagegen i. a. von null verschieden. Das ist der Grund,
warum zwischen den Begriffen “Ergebnis” und “Ereignis” sorgfältig unterschieden wird.
Ein Ereignis das nie auftreten kann, wird “unmögliches Ereignis” ∅ genannt. Die Wahrscheinlichkeit des
unmöglichen Ereignisses ist null, Prob{∅}=0.
Der Merkmalraum Ω (die Menge aller möglichen Ergebnisse) stellt das “sichere Ereignis” dar, d. h. das
Ereignis das immer auftritt. Die Wahrscheinlichkeit des sicheren Ereignisses ist gleich eins, Prob{Ω}=1.
Als komplementäres Ereignis AC wird das Ereignis “A tritt nicht auf” bezeichnet. Es ist also
AC = {ωi |ωi ∈
/ A}.
Information Technology · University of Ulm
3
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Aus zwei Ereignissen A und B lassen sich andere Ereignisse C durch folgende Verknüpfungen gewinnen:
Vereinigung: C = A ∪ B = {ωi | ωi ∈ A oder ωi ∈ B} = ”Ereignis A oder Ereignis B (oder beide)
treten auf”.
Würfelbeispiel:
“Augenzahl ungerade” ∪ “Augenzahl>3” = {ω1, ω3, ω5} ∪ {ω4, ω5, ω6 } =
{ω1, ω3 , ω4, ω5, ω6 }.
Durchschnitt: C = A ∩ B = AB = {ωi | ωi ∈ A und ωi ∈ B} = “Ereignis A und Ereignis B treten
gleichzeitig auf”.
Würfelbeispiel: “Augenzahl ungerade” ∩ “Augenzahl>3” = {ω1, ω3 , ω5} ∩ {ω4, ω5 , ω6} = {ω5}.
Differenz: C = A \ B = {ωi | ωi ∈ A und ωi ∈
/ B} = “Ereignis A tritt auf und Ereignis B
tritt nicht auf”.
Würfelbeispiel: “Augenzahl ungerade” \ “Augenzahl>3” = {ω1, ω3 , ω5} \ {ω4, ω5 , ω6} = {ω1, ω3}.
Zwei Ereignisse heißen disjunkt (unvereinbar, unverträglich), wenn sie nie gleichzeitig auftreten können,
d. h. AB = ∅. Elementarereignisse sind immer disjunkt. Weiter gilt für die Implikation A ⊂ B (A
entspricht einer Teilmenge von B) ωi ∈ A ⇒ ωi ∈ B.
Würfelbeispiel: {ω2, ω6 } ⊂“Augenzahl gerade”.
Information Technology · University of Ulm
4
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Ein sehr nützliches Hilfsmittel zur Illustration ist das so genannte Venn-Diagramm, in welchem Ereignisse
durch Flächen dargestellt werden:
Ω
Ω
A
B
Ω
A
Ω
A∪B
A
C
B
A
AB
∅
Ω
Ω
B
A\B
Ω
B
B
A
AB=∅
A⊂B
Es gilt (vgl. Venn-Diagramm) ΩC = ∅, ∅C = Ω, AC = Ω \ A, (AC )C = A, A \ B = AB C ,
A ∪ A = AA = A, A ∪ AC = Ω, AAC = ∅, A ∪ Ω = Ω, AΩ = A, A ∪ ∅ = A, A∅ = ∅.
Weiter gelten folgende Kommutativ-, Assoziativ- und Distributivgesetze: A ∪ B = B ∪ A, AB = BA,
A ∪ (B ∪ C) = (A ∪ B) ∪ C, A(BC) = (AB)C, A ∪ (BC) = (A ∪ B)(A ∪ C), A(B ∪ C) = AB ∪ AC,
A(B \ C) = AB \ AC, sowie die
De Morganschen Regeln (A ∪ B)C = AC B C , (AB)C = AC ∪ B C .
Information Technology · University of Ulm
5
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Die Wahrscheinlichkeit Prob{A} eines Ereignisses A ist axiomatisch definiert, wobei folgende Eigenschaften (Axiome) gefordert werden (Kolmogoroff, 1933):
Axiom 1:
Axiom 2:
Axiom 3:
0 ≤ Prob{A} ≤ 1
Prob{Ω} = 1
AB = ∅ ⇒ Prob{A ∪ B} = Prob{A} + Prob{B}
Aus den Axiomen folgen weitere Eigenschaften der Wahrscheinlichkeit
Prob{∅} = 0
A ⊂ B ⇒ Prob{A} ≤ Prob{B}
Prob{AC } = 1 − Prob{A}
Prob{A} = Prob{AB} + Prob{AB C }
Prob{A ∪ B} = Prob{A} + Prob{B} − Prob{AB} ≤ Prob{A} + Prob{B}
Prob{A \ B} = Prob{A} − Prob{AB}
Information Technology · University of Ulm
6
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Läßt sich ein Ereignis A als Vereinigung von paarweise disjunkten Ereignissen Ai darstellen,
A = A1 ∪ A2 ∪ . . . ∪ AK =
K
[
Ai mit AiAj = ∅ für i 6= j ,
i=1
dann gilt für die Wahrscheinlichkeit von A
Prob{A} =
K
X
Prob{Ai}.
i=1
Die bedingte Wahrscheinlichkeit Prob{A|B} eines Ereignisses A unter der Bedingung B (das heißt
unter der Bedingung daß das Ereignis B bereits eingetreten ist), ist definiert als
Prob{A|B} =
Prob{AB}
Prob{B}
wobei Prob{B} 6= 0.
Aus dieser Definition ergeben sich unmittelbar die folgenden Regeln:
AB = ∅ (A,B disjunkt) ⇒ Prob{AB} = 0 ⇒ Prob{A|B} = 0
A ⊂ B ⇒ Prob{AB} = Prob{A} ⇒ Prob{A|B} = Prob{A}/Prob{B} ⇒ Prob{A|B} ≥ Prob{A}
B ⊂ A ⇒ Prob{AB} = Prob{B} ⇒ Prob{A|B} = 1
Prob{A|A} = 1, Prob{A|Ω} = Prob{A}, Prob{Ω|B} = 1, Prob{∅|B} = 0.
Information Technology · University of Ulm
7
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Bayes Theorem: Aus der Definition für die bedingte Wahrscheinlichkeit folgt für die Verbundwahrscheinlichkeit der Ereignisse A und B
(1) Prob{AB} = Prob{A|B}Prob{B} = Prob{B|A}Prob{A}.
Daraus ergibt sich das für Berechnungen wichtige Bayessche Theorem
(2) Prob{B|A} = Prob{A|B}
Prob{B}
,
Prob{A}
(Prob{A} =
6 0).
Zwei Ereignisse A und B heißen statistisch unabängig, wenn Prob{A|B} = Prob{A} gilt. Für die
Verbundwahrscheinlichkeit folgt daraus
Prob{AB} = Prob{A}Prob{B}.
Gl.1 läßt sich auch auf K Ereignisse A1 , A2, . . . , AK verallgemeinern (Kettenregel):
Prob{A1A2 . . . AK } = Prob{AK |(AK−1 AK−2 . . . A1 )} . . . Prob{A3|(A2A1 )}Prob{A2|A1}Prob{A1}.
K Ereignisse A1 , A2, . . . , AK heißen statistisch unabhängig, wenn Prob{Ai1Ai2 . . . Ain |Aj1Aj2 . . . Ajm } =
Prob{Ai1Ai2 . . . Ain } für beliebige verschiedene Gruppen Ai1 , Ai2, . . . , Ain und Aj1, Aj2, . . . , Ajm, die
kein Ereignis gemeinsam haben, gilt. Notwendig und hinreichend ist hier
Prob{A1A2 . . . AK } = Prob{A1}Prob{A2} . . . Prob{AK }.
Information Technology · University of Ulm
8
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Läßt sich das Ereignis A als Vereinigung von K disjunkten Ereignissen Ai darstellen, dann gilt
Prob{A|B} =
K
X
Prob{Ai |B} with A =
K
[
Ai , Ai Aj = ∅ for i 6= j.
i=1
i=1
Durch Anwendung des Bayesschen Theorems gilt umgekehrt
K
X
1
Prob{B|A} =
Prob{B|Ai}Prob{Ai} =
Prob{A} i=1
K
P
Prob{B|Ai}Prob{Ai }
i=1
K
P
.
Prob{Ai}
i=1
Gilt nun speziell A = Ω, d. h.
Ai = Ω, ergibt sich der Satz von der vollständigen Wahrschein-
i=1
lichkeit
Prob{B} =
K
S
K
X
Prob{B|Ai }Prob{Ai },
i=1
Information Technology · University of Ulm
bzw. Prob{B} =
K
X
Prob{BAi}.
i=1
9
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Zufallsvariable
Wenn man den Ergebnissen ω eines Zufallsexperiments durch eine Abbildung x = x(ω) eine reelle Zahl
zuordnet, erhält man eine zufällige Zahl x, die Zufallsvariable genannt wird.
❒ Ergebnisse des Zufallserxperiments werden auf Punkte der Zahlengerade abgebildet.
❒ Den Ereignissen des Zufallsexperiments entsprechen dann Vereinigungen von Intervallen bzw. isolierter
Punkte der Zahlengerade, z. B.
A = {ω|a ≤ x(ω) < b}
B = {ω|x(ω) = c}
C = A ∪ B = {ω|(a ≤ x(ω) < b) oder (x(ω) = c)}
Disjunkte Ereignisse werden durch disjunkte (nicht überlappende) Intervalle der Zahlengerade repräsentiert.
Information Technology · University of Ulm
10
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Eine Zufallsvariable wird somit aus einem Zufallsexperiment mit Ergebnissen ω und einer Abbildung
x = x(ω) gebildet. Streng genommen ist daher eine Zufallsvariable keine Variable, sondern eine Funktion
(Abbildung) über dem Merkmalraum Ω . In vielen Fällen liefern die Ergebnisse eines Zufallsexperiments
schon automatisch eine reelle Zahl (z. B. Würfel); hier wird die Abbildung x = x(ω) inhärent mitgeliefert.
In anderen Anwendungen muss diese Abbildung explizit definiert werden. Aus dem Zufallsexperiment “Werfen einer Münze” mit den Ergebnissen ω1=“Kopf” und ω2=“Zahl” kann z. B. durch die völlig willkürliche
Festlegung x(ω1) = −1 und x(ω2) = +1 eine Zufallsvariable x gemacht werden.
Verteilungsfunktion und Verteilungsdichtefunktion
Bei einer Zufallsvariablen x entspricht jedem Intervall der Zahlengerade ein Ereignis A des zugrundeliegenden Zufallsexperiments. Die Wahrscheinlichkeit eines Intervalls ist daher durch die Wahrscheinlichkeit des
Ereignisses A gegeben. Man schreibt z. B.
Prob{A} = Prob{a ≤ x < b} für A = {ω|a ≤ x(ω) < b}.
Im weiteren wird auf das theoretisch zugrundeliegende Ereignis A nicht mehr Bezug genommen, sondern
nur noch von Wahrscheinlichkeiten von Intervallen gesprochen. Die Berechnung der Wahrscheinlichkeit
eines Intervalles erfolgt mit Hilfe der Verteilungsfunktion (cumulative distribution function) (CDF)
oder der Verteilungsdichtefunktion (probability density function) (PDF).
Information Technology · University of Ulm
11
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Die CDF einer Zufallsvariablen x, Px(ξ), ist definiert als die Wahrscheinlichkeit des Intervalles
−∞ < x ≤ ξ, d. h. die Wahrscheinlichkeit dafür, daß die Zufallsvariable einen Wert kleiner oder gleich ξ annimmt,
(3) Px(ξ) = Prob{x ≤ ξ}.
Die PDF einer Zufallsvariablen x, px(ξ), ist die erste Ableitung der CDF
(4) px(ξ) =
d
Prob{ξ < x ≤ ξ + ∆ξ}
Px(ξ) = lim
.
∆ξ→0
dξ
∆ξ
Die CDF kann durch Integration der PDF berechnet werden,
Px(ξ) =
Zξ
px(α)dα.
−∞
Eigenschaften der CDF:
Px(ξ) ≥ 0;
Px(−∞) = 0;
Px(∞) = 1;
ξa < ξb ⇒ Px(ξa ) ≤ Px(ξb );
Eigenschaften der PDF:
px(ξ) ≥ 0;
px(−∞) = px(∞) = 0;
Z∞
px(ξ)dξ = 1;
−∞
Information Technology · University of Ulm
12
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Eine Zufallsvariable x, die nur diskrete Werte xi mit Wahrscheinlichkeiten Prob{xi} = Prob{x = xi}
annimmt, heißt diskrete Zufallsvariable. Die CDF und PDF einer diskreten Zufallsvariable sind gegeben
durch
X
X
X
Px(ξ) =
Prob{xi}ǫ(ξ − xi ) =
Prob{xi}δ(ξ − xi),
Prob{xi}, px(ξ) =
i
i
(xi ≤ξ)
wobei ǫ(ξ) und δ(ξ) die Sprungfunktion und die Dirac-Funktion darstellen.
Die CDF ist eine Treppenfunktion mit Sprüngen an den Stellen xi (Sprunghöhe Prob{xi}); die PDF
besteht aus Dirac-Impulsen an den Stellen xi mit Gewichten Prob{xi};
Px(ξ)
px(ξ)
1
6
1
1
6
ξ
0 1 2
3 4 5 6
ξ
0 1 2 3
4 5 6
CDF und PDF einer diskreten Zufallsvariable (Würfel)
Information Technology · University of Ulm
13
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Eine Zufallsvariable, deren CDF stetig ist, wird kontinuierlich genannt. Im Falle einer kontinuierlichen
Zufallsvariable x ist die Wahrscheinlichkeit eines isolierten Punktes x0 stets null:
Prob{x = x0} = lim Prob{x0 − ε < x ≤ x0 + ε} = lim [Px(x0 + ε) − Px(x0 − ε)]
ε→0
ε→0
= Px(x0) − Px(x0) = 0.
Die Wahrscheinlichkeit eines Intervalles der Zufallsvariable x, Prob{a < x ≤ b}, kann gemäß
(a < x ≤ b) = (x ≤ b) \ (x ≤ a) durch die CDF bzw. PDF berechnet werden:
Prob{a < x ≤ b} = Px(b) − Px(a) =
Zb
px(ξ)dξ.
a
Mehrdimensionale Zufallsvariable: Werden bei einem zusammengesetzten Zufallsexperiment mit
Ergebnissen (ω1 ω2) mittels Abbildungen x1 = x(ω1), x2 = x(ω2) den Ergebnissen ω1 und ω2 der einzelnen
Zufallesexperimente reelle Zahlen x1 und x2 zugeordnet, erhält man eine zweidimensionale Zufallsvariable
(x1, x2). Die Verbund-Verteilungsfunktion Px1,x2 (ξ1, ξ2) ist definiert als die Wahrscheinlichkeit des zusammengesetzten Ereignisses {(ω1ω2)|(x1(ω1) ≤ ξ1), (x2(ω2 ) ≤ ξ2)}, d. h.
Px1,x2 (ξ1, ξ2 ) = Prob{x1 ≤ ξ1 ∩ (x2 ≤ ξ2 )}.
Information Technology · University of Ulm
14
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
x2
ξ2
11111
00000
00000
11111
00000
11111
00000
11111
00000ξ1
11111
00000
11111
00000
11111
00000
11111
x1
Illustration: (Verbund-) CDF einer zweidimensionalen Zufallsvariable entspricht der Wahrscheinlichkeit der schraffierten
Fläche
Die (Verbund-) PDF px1,x2 (ξ1, ξ2) erhält man durch Ableitung der (Verbund-) Verteilungsdichte
px1,x2 (ξ1, ξ2 ) =
∂ ∂
Px ,x (ξ1, ξ2),
∂ξ1 ∂ξ2 1 2
Px1,x2 (ξ1, ξ2) =
Zξ1 Zξ2
px1,x2 (α1, α2 )dα1dα2.
−∞ −∞
px1,x2 (ξ1, ξ2 ) wird auch als Verbund-Verteilungsdichte der Zufallsvariablen x1 und x2 bezeichnet. Die
Wahrscheinlichkeit des Ereignisses (a1 < x1 ≤ b1) ∩ (a2 < x2 ≤ b2) kann mit Hilfe der (Verbund-) CDF
bzw. der (Verbund-) PDF berechnet werden:
Prob{(a1 < x1 ≤ b1) ∩ (a2 < x2 ≤ b2)} = Px1,x2 (b1, b2) − Px1,x2 (a1, b2) − Px1,x2 (b1, a2) + Px1,x2 (a1, a2)
Zb1 Zb2
px1,x2 (α1 , α2)dα1dα2.
=
a1 a2
Information Technology · University of Ulm
15
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Eigenschaften der (Verbund-) CDF:
Px1,x2 (ξ1, ξ2 ) ≥ 0
Px1,x2 (−∞, ξ2) = Px1,x2 (ξ1, −∞) = 0
Px1,x2 (ξ1, ∞) = Px1 (ξ1)
Px1,x2 (∞, ∞) = 1
Px1,x2 (∞, ξ2) = Px2 (ξ2)
Eigenschaften der (Verbund-) PDF:
px1,x2 (ξ1, ξ2 ) ≥ 0
px1,x2 (±∞, ξ2) = px1,x2 (ξ1, ±∞) = 0
Z+∞
px1,x2 (ξ1, ξ2)dξ2 = px1 (ξ1)
−∞
Z+∞ Z+∞
Z+∞
px1,x2 (ξ1, ξ2)dξ1 = px2 (ξ2)
−∞
px1,x2 (ξ1, ξ2 )dξ1dξ2 = 1.
−∞ −∞
Die eindimensionalen PDFs (die sog. Randdichten) px1 (ξ1) und px2 (ξ2) lassen sich durch Integration
nach der jeweils wegfallenden Variablen aus der zweidimensionalen PDF px1,x2 (ξ1, ξ2) berechnen.
Information Technology · University of Ulm
16
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Definition Beschreibung zweidimensionaler Zufallsvariable (x1, x2) lassen sich auf den allgemeinen Fall
N -dimensionaler Zufallsvariable (x1, x2, . . . , xN ) erweitern. CDF und PDF sind dann N -dimensionale
Funktionen,
Px1,x2,...,xN (ξ1 , ξ2, . . . , ξN ) bzw. px1,x2,...,xN (ξ1, ξ2, . . . , ξN ).
Bedingte Verteilungsdichte: Analog zum Begriff der bedingten Wahrscheinlichkeit gibt es den Begriff
der bedingten PDF. Diese ist definiert als
px1|x2 (ξ1|ξ2) =
px1,x2 (ξ1, ξ2)
.
px2 (ξ2)
Die bedingte Wahrscheinlichkeit Prob{a < x1 ≤ b|x2 = ξ2} läßt sich dadurch als Integral über die
bedingte PDF anschreiben
Prob{a < x1 ≤ b|x2 = ξ2} =
Zb
px1|x2 (ξ1|ξ2)dξ1.
a
Die bedingte PDF erfüllt alle Eigenschaften herkömmlicher PDFs,
px1|x2 (ξ1|ξ2) ≥ 0,
px1|x2 (±∞|ξ2) = 0,
Z+∞
px1|x2 (ξ1|ξ2)dξ1 = 1.
−∞
Information Technology · University of Ulm
17
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Analog zu den bedingten Wahrscheinlichkeiten gelten außerdem folgende Beziehungen:
px1,x2 (ξ1, ξ2 ) = px1|x2 (ξ1|ξ2)px2 (ξ2 ) = px2|x1 (ξ2|ξ1)px1 (ξ1),
px (ξ2)
px2|x1 (ξ2|ξ1) = px1|x2 (ξ1|ξ2) 2
(Bayes Theorem),
px1 (ξ1)
Z+∞
px1|x2 (ξ1|ξ2)px2 (ξ2 )dξ2 (Satz der vollständigen Wahrscheinlichkeit).
px1 (ξ1 ) =
−∞
Statistische Unabhängigkeit: Zwei Zufallsvariable heißen statistisch unabhängig, wenn die bedingte
PDF der einen Zufallsvariable gleich der “unbedingten” PDF ist und daher nicht von der Bedindung bzw.
der anderen Zufallsvariable abhängt,
px1|x2 (ξ1|ξ2) = px1 (ξ1),
px2|x1 (ξ2|ξ1) = px2 (ξ2).
Die Verbung-PDF zweier statistisch unabhängiger Zufallsvariablen ist gleich dem Produkt der beiden
einzelnen PDFs:
px1,x2 (ξ1, ξ2 ) = px1 (ξ1)px2 (ξ2).
Information Technology · University of Ulm
18
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
!! Im allgemeinen reichen die einzelnen PDFs px1 (ξ1) und px2 (ξ2) nicht aus, um zwei Zufallsvariable
vollständig zu beschreiben, da sie nichts über die statistischen Bindungen zwischen den Zufallsvariablen
aussagen. Diese statistische Bindungen werden durch die bedingten PDFs beschrieben. Eine vollständige
Beschreibung zweier Zufallsvariable erfolgt durch die Verbund-PDF px1,x2 (ξ1, ξ2) aus der man alle anderen
PDFs berechnen kann. Nur im Spezialfall zweier statistisch unabhängiger Zufallsvariablen liefern die
einzelnen PDFs px1 (ξ1) und px2 (ξ2) eine komplette Beschreibung.
Erwartungswerte, schwache Beschreibung einer Zufallsvariable
Eine Zufallsvariable x ist durch ihre PDF px(ξ) vollständig (streng) beschrieben. Diese Beschreibung
ist jedoch manchmal zu unhandlich, bzw. ist die PDF nicht immer verfügbar. Eine zweckmäßige (aber
unvollständige) Charakterisierung einer Zufallsvariable ist durch die Momente erster und zweiter Ordnung
der PDF gegeben:
Mittelwert: Der (lineare) Mittelwert (bzw. Erwartungswert) mx einer Zufallsvariable x ist definiert
als das Moment erster Ordnung der PDF px(ξ),
Z+∞
∼∼
ξpx(ξ)dξ.
mx = x =
−∞
Information Technology · University of Ulm
19
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
∼
· ist der “Erwartungswertoperator”, der seinem Argument (hier der Zufallsvariablen x) einen Wert zuweist.
Der berechnete Erwartungswert ist keine zufällige Zahl mehr, sondern eine determinierte Größe.
Für eine diskrete Zufallsvariable x, die die Werte xi mit Wahrscheinlichkeiten Prob{xi} = Prob{x = xi}
annimmt, erhält man für den Mittelwert
Z∞ X
Z+∞
X
∼∼
ξ
Prob{xi}δ(ξ − xi )dξ =
xiProb{xi}.
ξpx(ξ)dξ =
mx = x =
−∞
−∞
i
i
Für eine determinierte Zahl, d.h. eine Zufallsvariable x, die bei jeder Versuchsdurchführung die selbe Zahl
x annimmt, ist die PDF eine Dirac-frmiger Impuls an der Stelle x, px(ξ) = δ(ξ − x); Der Mittelwert ergibt
sich dann zu
∼∼
∼∼
mx = x = x = x ;
Der Erwartungswert einer determinierten Zahl ist also die Zahl selbst.
∼
Der Erwartungswertoperator · hat zwei für die Praxis wichtige Eigenschaften:
∼
1. Der Erwartungswertoperator · ist ein linearer Operator, d. h.
∼∼∼∼∼∼∼∼∼∼∼∼∼∼
ax + by
∼∼
∼∼
= ax + b y (a,b determiniert).
Information Technology · University of Ulm
20
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
2. Der Erwartungswert der transformierten Zufallsvariable y=g(x) läßt sich mit Hilfe der PDF der ursprünglichen Zufallsvariable x berechnen,
Z+∞
g(ξ)px(ξ)dξ.
g(x) =
∼∼∼∼∼∼∼
−∞
Die Funktion g(x) = xn führ auf das Moment n-ter Ordnung der Zufallsvariable x,
∼∼∼∼
xn =
Z∞
ξ n px(ξ)dξ.
−∞
Mit n=1 erhält man den linearen Mittelwert mx; n=2 ergibt den quadratischen Mittelwert ρ2x
∼∼∼
ρ2x = x2 =
Z∞
ξ 2px(ξ)dξ.
−∞
Die Varianz σx2 ist definiert als die mittlere quadratische Abweichung der Zufallsvariable x von ihrem
linearen Mittelwert
Z∞
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
σx2 = (x − mx)2 =
(ξ − mx)2px(ξ)dξ.
−∞
Information Technology · University of Ulm
21
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Die Varianz ist ein Maß für die Breite der PDF, die Quadratwurzel der Varianz wird auch Standardabweichung bzw. Streuung genannt.
Varianz, quadratischer Mittelwert und Mittelwert hängen zusammen über
∼∼2
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
∼∼∼
2
2
2
2
2
σx = ρx − mx resp.
(x − mx)
=x − x .
Mittelwert mx und Varianz σx2 ergeben zusammen die schwache Beschreibung der Zufallsvariable x. Im
Gegensatz zur vollständigen (strengen) Beschreibung mittels der PDF ist die schwache Beschreibung i. a.
unvollständig (es gibt unendlich viele verschieden Zufallsvariable mit dem gleichen Mittelwert und der
gleichen Varianz). Eine Ausnahme stellen Gaussverteilte Zufallsvariable dar.
Information Technology · University of Ulm
22
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Korrelation und Kovarianz. Im Falle zweier Zufallsvariablen x1 und x2 mit Verbund PDF px1,x2 (ξ1, ξ2)
sagen die Mittelwerte mx1 , mx2 und die Varianzen σx21 , σx22 der einzelnen Zufallsvariablen nichts über die
statistischen Bindungen zwischen ihnen aus. Deshalb wird zusätzlich die Korrelation
∼∼∼∼∼∼∼
ϕx1,x2 = x1x2 =
Z∞ Z∞
ξ1ξ2 px1,x2 (ξ1, ξ2)dξ1dξ2
−∞ −∞
und die Kovarianz
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
µx1,x2 =
(x1 − mx1 )(x2 − mx2 )
=
Z∞ Z∞
(ξ1 − mx1 )(ξ2 − mx2 )px1,x2 (ξ1, ξ2)dξ1dξ2
−∞ −∞
definiert.
Kovarianz, Korrelation und die Mittelwerte sind verknüpft über
µx1,x2 = ϕx1,x2 − mx1 mx2 .
Ist zumindest eine der beiden Zufallsvariable mittelwertfrei, dann sind Korrelation und Kovarianz identisch.
Information Technology · University of Ulm
23
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Korrelation und Kovarianz werden insbesondere zur Berechnung von quadr. Mittelwert und Varianz einer
Linearkombination z = ax + by von Zufallsvariablen benötigt:
ρ2z = a2ρ2x + b2ρ2y + 2abϕx,y,
σz2 = a2σx2 + b2σy2 + 2abµx,y.
Zwei Zufallsvariable heißen unkorreliert, wenn
µx1,x2 = 0 bzw. ϕx1,x2 = mx1 mx2 bzw..
∼∼∼∼∼∼∼
∼∼∼∼∼∼
x1x2 = x1 x2 .
Unkorreliertheit bedeutet also verschwindende Kovarianz, nicht verschwindende Korrelation. Sind zwei
Zufallsvariable statistisch unabhängig, so folgt aus px1,x2 (ξ1, ξ2) = px1 (ξ1)px2 (ξ2) das sie auch unkorreliert
sind. Umgekehrt folgt aus der Unkorreliertheit nicht automatisch die statistische Unabhängigkeit.
Zwei Zufallsvariable mit verschwindender Korrelation
ϕx1,x2 = 0
∼∼∼∼∼∼∼
werden orthogonal genannt (durch x1x2 kann ein inneres Produkt zwischen den Zufallsvariablen erklärt
werden).
Information Technology · University of Ulm
24
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Stochastische Prozesse
Bei einer Zufallsvariable x wurde jedem Ergebnis eines zugrundeliegenden Zufallsexperiments eine relle
Zahl über eine Abbildung x = x(ω) zugeordnet.
Ein Zufallssignal bzw. einen stochastische Prozess x(t) kann man sich analog generieren: Jedem Versuchsausgang (Ergebnis) ω eines Zufallsexperiments wird ein Signal x(t). über eine Abbildung x(t) = x(t, ω)
zugeordnet. Die Menge aller möglichen Signale x(t) wird Schar bzw. Ensemble genannt. Die einzelnen
Signale der Schar heißen Realisierungen bzw. Musterfunktionen
Information Technology · University of Ulm
25
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Der Abtastwert x(t0) eines stochastischen Prozesses x(t) zum Zeitpunkt t0 stellt eine Zufallsvariable dar,
x(t0; ω) = x0(ω). Zu jedem Zeitpunkt ti erhält man i. a. eine andere Zufallsvariable xi. Man kann sich
also den stochastischen Prozess x(t) auch als Abfolge von (zeitlich geordneten) Zufallsvariablen vorstellen.
Zwischen diesen Zufallsvariablen bestehen i. a. statistische Abhängigkeiten.
Es gibt also zwei Interpretationen eines stochastischen Prozesses:
1. als Schar von Signalen (den Realisierungen), aus der ein Signal zufällig in Abhängigkeit eines Zufallsexperiments ausgewählt wird oder
2. als Menge von (zeitlich geordneten) Zufallsvariablen.
Information Technology · University of Ulm
26
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Strenge Beschreibung eines stochastischen Prozesses
Der Abtastwert x(t0) eines stochastischen Prozesses x(t) zum Zeitpunkt t0 ist eine Zufallsvariable
(1)
x0 = x(t0). Jedem Zeitpunkt t entspricht somit eine Zufallsvariable xt , deren PDF px (ξ; t) Verteilungsdichtefunktion 1.Ordnung genannt wird (welche i. a. zeitabhängig ist). Diese PDF ist aber keine
vollständige Beschreibung des stochastischen Prozesses, da sie nichts über die statistischen Bindungen
zwischen den einzelnen Zeitpunkten (bzw. zwischen den den einzelnen Zeitpunkten zugeordneten Zufallsvariablen xti ) aussagt.
Die Abtastwerte eines stochastischen Prozesses zu N Zeitpunkten t1, t2, . . . , tN stellen N Zufallsvariablen x1 = x(t1), x2 = x(t2), . . . , xN = x(tN ) dar, die durch die N-dimensionale VerbundVerteilungsdichtefunktion
(N)
p(N)
x1 ,x2 ,...,xN (ξ1 , ξ2 , . . . , ξN ) = px (ξ1 , ξ2 , . . . , ξN ; t1 , t2 , . . . , tN )
beschrieben werden. Diese N-dimensionale Verbund PDF wird auch als Verteilungsdichtefunktion N-ter
Ordnung des stochastischen Prozesses x(t) bezeichnet. Ein stochastischer Prozess ist vollständig (streng)
beschrieben, wenn die PDF N-ter Ordnung für beliebige Ordnung N und beliebige Wahl der Abtastzeitpunkte t1, t2, . . . , tN bekannt ist.
Information Technology · University of Ulm
27
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Schwache Beschreibung eines stochastischen Prozesses, Erwartungswerte
Das Konzept der schwachen Beschreibung von Zufallsvariablen kann direkt auf stochastische Prozesses
angewendet werden. Der lineare (Schar-) Mittelwert mx(t) eines stochastischen Prozesses x(t) wird
definiert als der lineare Mittelwert der dem Zeitpunkt t zugeordneten Zufallsvariable xt = x(t),
∼∼∼∼∼∼∼
mx(t) = x(t) =
Z∞
ξp(1)
x (ξ; t)dξ.
−∞
Der (Schar-) Mittelwert ist i. a. eine zeitabhängige Größe. Analog wird der quadratische Mittelwert ρ2x (t)
des stochastischen Prozesses definiert als
Z∞
∼∼∼∼∼∼∼∼∼∼∼∼
ρ2x (t) = (x(t))2 =
ξ 2p(1)
x (ξ; t)dξ,
−∞
und die Varianz σx2 (t) als
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
σx2 (t) =
[x(t) − mx(t)]2
=
Z∞
[ξ − mx(t)]2 p(1)
x (ξ; t)dξ.
−∞
Die Mittelung erfolgt dabei immer in Scharrichtung und nicht über die Zeit. Man spricht deshalb von
Scharmittelwerten.
Information Technology · University of Ulm
28
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
(2)
Zwei Zeitpunkte des stochastischen Prozesses werden durch die PDF 2-ter Ordnung px (ξ1, ξ2; t1, t2)
streng beschrieben. Die Autokorrelationsfunktion (AKF) ϕx,x (t1, t2) eines stochastischen Prozesses
ist definiert als die Korrelation zwischen den den beiden Zeitpunkten t1 und t2 zugeordneten Zufallsvariablen,
Z∞ Z∞
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
ξ1 ξ2p(2)
ϕx,x (t1, t2) = x(t1)x(t2) =
x (ξ1 , ξ2 ; t1 , t2 )dξ1 dξ2 .
−∞ −∞
Die AKF ist eine Funktion der beiden Zeitpunkte t1 und t2.
Die Autokovarianzfunktion µx,x(t1, t2) eines stochastischen Prozesses ist definiert als
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
µx,x(t1, t2) =
=
[x(t1) − mx(t1)] [x(t2) − mx(t2)]
Z∞ Z∞
[ξ1 − mx (t1)] [ξ2 − mx(t2)] p(2)
x (ξ1 , ξ2 ; t1 , t2 )dξ1 dξ2 .
−∞ −∞
Die unvollständige Charakterisierung eines stochastischen Prozesses durch den Mittelwert mx (t) und die
AKF ϕx,x (t1, t2) heißt die schwache Beschreibung des stochastischen Prozesses (es gibt wie bei den
Zufallsvariablen i. a. unendlich viele stochastische Prozesse, die den gleichen Mittelwert und die gleiche
AKF besitzen).
Information Technology · University of Ulm
29
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Stationarität
Ein stationärer stochastischer Prozess ist ein Prozess, dessen statistische Eigenschaften invariant gegen
eine beliebige zeitliche Verschiebung des stochastischen Prozesses sind.
(N)
Ein stochastischer Prozess heißt streng stationär, wenn seine PDF px (ξ1, . . . , ξN ; t1, . . . , tN ) (für
beliebiges N) invariant gegen eine beliebige Zeitverschiebung T ist,
(N)
p(N)
x (ξ1 , . . . , ξN ; t1 + T, . . . , tN + T ) = px (ξ1 , . . . , ξN ; t1 , . . . , tN ).
D. h. das die PDF N-ter Ordnung nicht mehr von den absoluten Zeitpunkten t1, . . . , tN abhängt, son(1)
dern nur noch von den zeitlichen Differenzen ti − tj (i, j = 1, . . . , N ). Die PDF 1.Ordnung px (ξ; t)
insbesondere ist überhaupt nicht mehr vom betrachteten Zeitpunkt t abhängig, und die PDF 2.Ordnung
(2)
px (ξ1 , ξ2; t1, t2) wird nur noch durch die Differenz t2 − t1 bestimmt,
(1)
p(2)
x (ξ1 , ξ2 ; t1 , t2 ) = px (ξ1 , ξ2 ; τ ).
(1)
p(1)
x (ξ; t) = px (ξ),
Daraus folgt für die Elemente der schwachen Beschreibung eines stochastischen Prozesses
❒ mx (t) = mx ,
ρ2x(t) = ρ2x,
σx2 (t) = σx2 ,
❒ ϕx,x (t1, t2 ) = ϕx,x (t2 − t1) = ϕx,x (τ ),
µx,x(t1, t2) = µx,x(t2 − t1) = µx,x (τ ).
Der lineare (Schar-) Mittelwert, der quadratische (Schar-) Mittelwert und die Varianz sind zeitunabhängig
und die Autokorrelation und Autokovarianz sind Funktionen der Zeitdifferenz τ = t2 − t1.
Information Technology · University of Ulm
30
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Ein stochastischer Prozess heißt schwach stationär wenn die Elemente der schwachen Beschreibung die
vorhergenannten Eigenschaften besitzen (d. h. dass ein streng stationärer Prozess auch immer schwach
stationär ist, aber schwache Stationarität impliziert noch nicht die strenge Stationarität)
Mittelung im Zeitbereich, Ergodizität
Bis jetzt wurden alle Erwartungswerte wie
∼∼∼∼∼∼∼
der (lineare) Mittelwert
mx = x(t) =
Z∞
ξ p(1)
x (ξ) dξ
−∞
oder
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
ϕx,x (τ ) =
die AKF
x(t + τ )x(t)
=
Z∞ Z∞
ξ1 ξ2 p(2)
x (ξ1 , ξ2 ; τ ) dξ1 dξ2
−∞ −∞
(1)
(2)
mittels der PDF px (ξ) bzw. der PDF px (ξ1, ξ2; τ ) berechnet. D. h. dass alle Erwartungswerte durch
eine Mittelung über alle Realisierungen des stochastischen Prozesses gewonnen werden. Die berechneten
Werte werden deshalb auch Scharmittelwerte genannt.
Information Technology · University of Ulm
31
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
In der Praxis kann jedoch i. a. nur eine einzige Realisierung x(t) des SP x(t) beobachtet, bzw. gemessen
werden. Es stellt sich daher die Frage, ob man die Scharmittelwerte durch entsprechende Zeitmittelwerte,
die aus einer einzigen Realisierung gewonnen werden, ersetzen kann. Die Zeitmittelwerte für eine gegebene
Realisierung x(t) des SP x(t) (bzw. für ein determiniertes Signal x(t)) sind wie folgt definiert:
EmpirischerMittelwert :
mx;T =
ZT /2
1
T
x(t) dt
−T /2
Emp.mittlereLeistung :
ρ2x;T =
1
T
ZT /2
x2(t) dt
−T /2
Emp.Varianz :
2
σx;T
=
1
T
ZT /2
[x(t) − mx,T ]2 dt
−T /2
Emp.AKF :
ϕx,x;T (τ ) =
1
T
ZT /2
x(t + τ )x(t) dt
−T /2
Information Technology · University of Ulm
32
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
µx;T (τ ) =
Emp.Autokovarianz :
1
T
ZT /2
[x(t + τ ) − mx,T ][x(t) − mx,T ] dt
−T /2
Emp.Leistungsdichtespektr :
Φx;T (f ) = F {ϕx,T (τ )}
Diese Größen heißen empirisch, weil sie aus einer einzigen beobachteten Realisierung berechnet werden
können. Die obigen Definitionen tragen dem Umstand Rechnung, daß in der Praxis die Realisierung
x(t) nur in einem endlichen Zeitintervall (-T/2,T/2) beobachtet wird, bzw. die Integration nur in einem
endlichen Zeitraum durchgeführt werden kann. Für theoretische Betrachtungen benötigt man auch Zeitmittelwerte, die durch Integration über die gesamte Zeitachse gebildet werden; diese erhält man durch den
Grenzübergang T → ∞. Z. B. gilt dann
1
T →∞ T
mx;∞ = lim mx;T = lim
T →∞
ZT /2
x(t) dt
−T /2
1
T →∞ T
2
2
σx;∞
= lim σx;T
= lim
T →∞
ZT /2
[x(t) − mx;T ] dt
−T /2
usw..
Information Technology · University of Ulm
33
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Dualität von Schar- und Zeitmittelwerten: Mit den empirischen Größen kann eine Theorie schwach
stationärer Prozesse gebildet werden, die völlig strukturgleich der auf der Wahrscheinlichkeits-basierenden
Theorie ist. Aus der ”probabilistischen” Theorie (die auf dem Wahrscheinlichkeitsbegriff basiert und daher
Scharmittelwerte verwendet) läßt sich also eine duale Theorie bilden, wenn man die Scharmittelwerte durch
die entsprechenden Zeitmittelwerte ersetzt. Das bedeutet insbesondere, daß die Beziehungen zwischen
den Zeitmittelwerten mit den Beziehungen zwischen den entsprechenden Scharmittelwerten vollkommen
übereinstimmen. Insbesondere gilt z. B. auch im Fall der Zeitmittelwerte für beliebige Mittelungsdauer T
ρ2x;T = ϕx;T (0),
ϕx;T (−τ ) = ϕx;T (τ )
2
σx;T
= µx,T (0),
2
σx;T
= ρ2x;T − m2x;T ,
Für unendliche Mittelungsdauer T → ∞ gilt weiter
µx;∞ = ϕx;∞ − m2x;∞
Φx;∞ (f ) ≥ 0
und auch die Eingangs-Ausgangs-Beziehungen für LTI-Systeme können übertragen werden: für
y(t) = (x ∗ h)(t) erhält man
my;∞ = mh · mx;∞ = H(0) · mx;∞
ϕy;∞ = (ϕh ∗ ϕx;∞ )(t),
Information Technology · University of Ulm
Φy;∞(f ) = |H(f )|2 · Φx;∞ (f ).
34
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Empirische Wahrscheinlichkeiten: Die Dualität von Schar- und Zeitmittelwerten läßt sich auch mathematisch charakterisieren. Alle Zeitmittelwerte können formal als Erwartungswerte (Scharmittelwerte)
geschrieben werden, wenn man auf geeignete Weise ”empirische Verteilungsdichtefunktionen” einführt.
Zunächst kann man für eine gegebene Realisierung x(t) die empirische Verteilungsfunktion 1.Ordnung,
(1)
Px;T (ξ), als die ”empirische Wahrscheinlichkeit” des ”Ereignisses” x(t) ≤ ξ im Zeitintervall (-T/2,T/2)
definieren:
(1)
Px;T (ξ) = PT [x(t) ≤ ξ] =
Summe der Längen der Zeitintervalle in (-T/2,T/2), auf denen x(t) ≤ ξ
=
T=gesamte zeitliche Länge von (-T/2,T/2)
Mit der Indikatorfunktion (ǫ(ξ) ist die Sprungfunktion)
1, x(t) ≤ ξ
ǫ (ξ − x(t)) =
0, x(t) > ξ
(1)
des ”Ereignisses” x(t) ≤ ξ läßt sich die empirische Verteilungsfunktion Px;T (ξ) anschreiben als
(1)
Px;T (ξ) =
1
T
ZT /2
ǫ (ξ − x(t)) dt.
−T /2
Information Technology · University of Ulm
35
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Indikatorfunktion des ”Ereignisses” x(t) ≤ ξ
Die empirische Verteilungsdichtefunktion 1.Ordnung ist dann wie gewohnt als Ableitung der empirischen Verteilungsfunktion 1.Ordnung definiert:
(1)
px;T (ξ) =
d (1)
P (ξ)
dξ x;T
.
Die empirische Verteilungsdichtefunktion 1.Ordnung kann somit ausgedrückt werden als


T
/2
Z
ZT /2 1
d
1
d


(1)
ǫ (ξ − x(t)) dt =
ǫ (ξ − x(t)) dt =
px;T (ξ) =

dξ T
T
dξ
−T /2
=
1
T
ZT /2
−T /2
δ (ξ − x(t)) dt;
−T /2
Information Technology · University of Ulm
36
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
ihre Eigenschaften stimmen mit denen einer ”echten” Verteilungsdichtefunktion überein:
Z∞
(1)
px;T (ξ) ≥ 0,
(1)
px;T (ξ) dξ = 1,
(1)
px;T (±∞) = 0.
−∞
Analog zur empirischen Verteilungsdichtefunktion 1.Ordnung können auch empirische Verteilungsdichtefunktionen höherer Ordnung definiert werden, insbesondere die empirische Verteilungsdichtefunktion
2.Ordnung:
(2)
px;T (ξ1, ξ2; τ ) =
1
T
ZT /2
δ (ξ1 − x(t + τ )) δ (ξ2 − x(t)) dt.
−T /2
Mit den empirischen Verteilungsdichtefunktionen ist nun formal der Anschluß an die probabilistische Theorie stationärer Stochastischer Prozesse hergestellt worden. Unter Verwendung der Verteilungsdichtefunktionen 1. und 2. Ordnung lassen sich insbesondere alle Zeitmittelwerte formal als ”Scharmittelwerte”
anschreiben.
Information Technology · University of Ulm
37
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Für den empirischen Mittelwerte gilt z. B.:


ZT /2
ZT /2 Z∞
1
1
 ξ δ (ξ − x(t)) dξ  dt =
mx;T =
x(t) dt =
T
T
−T /2
−T /2 −∞


T
/2
∞
Z
Z∞
Z
1

(1)
ξ
=
ξ px;T (ξ) dξ,
δ (ξ − x(t)) dt dξ =
T
−∞
−∞
−T /2
und für die empirische Autokorrelationsfunktion erhält man auf analoge Weise
ϕx;T (τ ) =
1
T
ZT /2
x(t + τ )x(t) dt =
−T /2
Z∞ Z∞
(2)
ξ1 ξ2 px;T (ξ1, ξ2; τ ) dξ1 dξ2.
−∞ −∞
Zeitmittelwerte als Zufallsgrößen: Die oben definierten Zeitmittelwerte werden aus einer einzigen
Realisierung x(t) des Stochastischen Prozesses x(t) berechnet. Für verschiedene Realisierungen werden
sich daher i. a. unterschiedliche Zeitmittelwerte ergeben. Da die Realisierungen zufällig ausgewählt werden,
sind also auch die Zeitmittelwerte zufällig. Z. B. ist dann das empirische Mittel selbst eine Zufallsvariable:
mx;T =
1
T
ZT /2
x(t) dt.
−T /2
Information Technology · University of Ulm
38
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Durch Auswählen einer bestimmten Realisierung x(t) von x(t) erhält man eine entsprechende Realisierung
mx;T von mx;T . Ebenso sind die empirischen Verteilungsdichtefunktionen zufällig. Diese als Zufallsgrößen
aufgefaßten Zeitmittelwerte haben (ebenso wie jede andere Zufallsgröße) bestimmte statistische Eigenschaften.
Für (zumindest) schwach stationäre Stochastische Prozesse gilt für beliebige Mittelungsdauer T:
∼∼∼∼∼∼∼∼∼∼∼∼∼∼
∼∼∼∼∼∼∼∼∼
mx;T = mx,
ϕx;T (τ )
∼∼∼∼∼∼∼∼∼∼∼∼∼∼
= ϕx(τ ),
Φx;T (f ) = Φx(f ),
usw.
Für streng stationäre Stochastische Prozesse gilt weiter auch:
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
∼∼∼∼∼∼∼∼∼∼∼∼∼
(1)
px;T (ξ)
= p(1)
x (ξ),
(2)
px;T (ξ1, ξ2; τ )
= p(2)
x (ξ1 , ξ2 ; τ ),
usw.
Die Erwartungswerte der ”zufälligen Zeitmittelwerte” stimmen also mit den Scharmittelwerten überein;
ebenso sind die Erwartungswerte der empirischen Verteilungsdichtefunktionen beliebiger Ordnung gleich den tatsächlichen Verteilungsdichtefunktionen des Stochastischen Prozesses. Im statistischen Mittel ergeben die Zeitmittelwerte (empirische Verteilungsdichtefunktionen) somit die Scharmittelwerte
(Verteilungsdichtefunktionen). Für eine einzelne Realisierung kann man jedoch daraus noch nicht schließen.
Information Technology · University of Ulm
39
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Ergodizität: Von einem ergodischen Prozeß spricht man dann, wenn für unendliche Mittelungsdauer
T → ∞ die Zeitmittelwerte bzw. empirischen Verteilungsdichtefunktionen selbst und nicht bloß ihre Erwartungswerte mit den entsprechenden Scharmittelwerten bzw. Verteilungsdichtefunktionen im folgenden
Sinn übereinstimmen:
Man nennt einen streng stationären Stochastischen Prozeß streng ergodisch, wenn für fast jede Realisierung x(t) gilt:
(1)
(1)
p(1)
x;∞ (ξ) = lim px;T (ξ) = px (ξ),
T →∞
(2)
(2)
p(2)
x;∞ (ξ1 , ξ2 ; τ ) = lim px;T (ξ1 , ξ2 ; τ ) = px (ξ1 , ξ2 ; τ ),
T →∞
usw.
Aus der strengen Ergodizität folgt insbesondere auch die Gleichheit von Zeitmittelwerten und Scharmittelwerten für beliebige Realisierungen x(t),
mx;∞ = lim mx;T = mx,
T →∞
ϕx;∞ (τ ) = lim ϕx;T (τ ) = ϕx (τ ),
T →∞
usw.,
die als schwache Ergodizität bezeichnet wird. Aus der strengen Ergodizität folgt somit die schwache
Ergodizität; der Umkehrschluß ist i. a. nicht zulässig.
Information Technology · University of Ulm
40
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Die strenge bzw. schwache Ergodizität bedeutet also, daß die empirischen Verteilungsdichtefunktionen
bzw. Zeitmittelwerte von beliebigen Realisierungen x1(t), x2(t), . . . gleich sind und somit die als Zufallsgrößen aufgefaßten empirischen Verteilungsdichtefunktionen bzw. Zeitmittelwerte determiniert sind,
d. h.
(1)
(1)
p(1)
x;∞ (ξ) = lim px;T (ξ) = px (ξ),
T →∞
(2)
(1)
p(2)
x;∞ (ξ1 , ξ2 ; τ ) = lim px;T (ξ1 , ξ2 ; τ ) = px (ξ1 , ξ2 ; τ ),
T →∞
usw.
bzw.
mx;∞ = lim mx;T = mx,
T →∞
ϕx;∞ (τ ) = lim ϕx;T (τ ) = ϕx(τ )
T →∞
usw.
Eine notwendige und hinreichende Bedingung für die strenge Ergodizität ist somit, daß die Varianz der auf
(-T/2,T/2) gebildeten empirischen Verteilungsdichtefunktionen für T → ∞ gegen Null geht,
o
o
n
n
(2)
(1)
usw.
lim var px;T (ξ1, ξ2; τ ) = 0,
lim var px;T (ξ) = 0,
T →∞
T →∞
Ebenso erhält man als notwendige und hinreichende Bedingung für die schwache Ergodizität:
lim var {mx;T } = 0,
T →∞
Information Technology · University of Ulm
lim var {ϕx;T (τ )} = 0,
T →∞
usw.
41
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Die Eigenschaft der Ergodizität ist in der Praxis von sehr großer Bedeutung, da sie es erlaubt, statistische
Kenngrößen von Stochastischen Prozessen aus einer einzigen, beliebigen Realisierung zu bestimmen. Die
Überprüfung der Ergodizität ist allerdings nicht trivial, da dazu Kenntnis über die statistischen Eigenschaften des SP (also der gesamten Schar) notwendig ist und sich nicht mit einer einzigen Realisierung
durchführen läßt. In der Praxis ist man daher oft gezwungen, die Eigenschaft der Ergodizität einfach zu
postulieren.
Der Begriff der strengen bzw. schwachen Ergodizität ist nur für streng bzw. schwach stationäre Stochastische Prozesse sinnvoll, denn bei der Zeitmittelung fällt jegliche Zeitabhängigkeit weg - ein Zeitmittelwert
kann nie einem zeitabhängigen Scharmittelwert eines instationären Prozesses gleich sein.
Literaturverzeichnis:
[1] Weinrichter H., Hlawatsch F.: Stochastische Grundlagen nachrichtentechnischer Signale., Springer
Verlag, ISBN 3-211-82-303-4, 1991
Information Technology · University of Ulm
42