Grundlagen der Nachrichtentechnik 2 Communications 2

Grundlagen der
Nachrichtentechnik 2
Communications 2
Prof. Dr.-Ing. Andreas Czylwik
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 1
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
Organisatorisches
„
„
„
„
Vorlesung 2 SWS
Übung 2 SWS Betreuer: Dipl.-Ing. Thorsten Kempka
Folienkopien sind verfügbar
Prüfung: schriftlich
„ Neue Forschungsthemen im Fachgebiet
Nachrichtentechnische Systeme
„ Studien- und Diplomarbeiten
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 2
Fachgebiet
N T S
Nachrichtentechnische Systeme
1
Nachrichtentechnik 2
Literatur
„ Literatur zur Vorlesung:
z A. Papoulis: Probability, random variables, and stochastic
processes, McGraw-Hill
z E. Hänsler: Statistische Signale, Springer-Verlag
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 3
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
Inhalt
1
2
3
4
5
6
7
8
Einführung
Wahrscheinlichkeit
Zufallsvariablen
Funktionen einer Zufallsvariablen
Zwei Zufallsvariablen, Folgen von Zufallsvariablen
Zufallsprozesse
Transformation von Zufallsprozessen durch Systeme
Schätz- und Detektionstheorie
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 4
Fachgebiet
N T S
Nachrichtentechnische Systeme
2
Nachrichtentechnik 2
1 Einführung
„ Deterministische ⇔ statistische Ansätze
„ Anwendung statistischer Ansätze
z
z
z
z
z
z
Modellierung von Rauschen
Modellierung von Nachrichtensignalen
Optimierung von Sende- und Empfangsverfahren
Detektions- und Entscheidungsverfahren
Schätzung gestörter Parameter
Beobachtung von Börsenkursen
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 5
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
1 Einführung
„ Beispiele zufälliger Größen
z
z
z
z
z
z
z
z
thermisches Rauschen
Schrotrauschen
Rauschen von Verstärkern
Audio- und Videosignale
Datensignale
Funkkanal
Eintreffen von Anrufen in einer Vermittlungsstelle
Einfahrt von Fahrzeugen auf eine Autobahn
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 6
Fachgebiet
N T S
Nachrichtentechnische Systeme
3
Nachrichtentechnik 2
2 Wahrscheinlichkeit
„ Ereignisse können als Mengen aufgefasst werden.
„ Rechenregeln der Mengenlehre
z Vereinigung: A ∪ B
„ Assoziativgesetz: (A ∪ B) ∪ C = A ∪ (B ∪ C) = A ∪ B ∪ C
„ Kommutativgesetz: A ∪ B = B ∪ A
„ leere Menge, Teilmenge: A ∪ ∅ = A , A ∪ B = A wenn B ⊂ A
z Schnitt: A ∩ B
„ Assoziativgesetz: (A ∩ B) ∩ C = A ∩ (B ∩ C) = A ∩ B ∩ C
„ Kommutativgesetz: A ∩ B = B ∩ A
„ disjunkte Mengen A, B : A ∩ B = ∅
„ leere Menge, Teilmenge: A ∩ ∅ = ∅ , A ∩ B = B wenn B ⊂ A
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 7
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Distributivgesetz: A ∩ (B ∪ C) = (A ∩ B) ∪ (A ∩ C)
z Gleichheit: A = B, wenn A ⊂ B und B ⊂ A
z Komplement: ∅ = H , H = ∅, A = A, A ∪ A = H ,
B⊂ A ⇒
A∩ A = ∅
A⊂ B
A=B ⇒ A=B
z de Morgansches Gesetz:
A∪ B = A∩ B
A∩ B = A∪ B
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 8
Fachgebiet
N T S
Nachrichtentechnische Systeme
4
Nachrichtentechnik 2
2 Wahrscheinlichkeit
„ Grundbegriffe
Definition 2.1: Wahrscheinlichkeitsraum
„ Wahrscheinlichkeitsraum = (H, A, P)
„ H = Ergebnismenge = Menge aller Elementarereignisse
„ A = Ereignisfeld = Menge von Ereignissen (Teilmengen von H)
„ P = Wahrscheinlichkeitsmaß
Definition 2.2: Ergebnismenge H = {η1, η2, η3, ...}
„ Ergebnismenge H = Menge aller möglichen Ergebnisse η eines
Zufallsexperiments
„ Nach einem Zufallsexperiment gibt es genau ein Ergebnis =
Elementarereignis
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 9
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Ergebnisse (Elementarereignisse) sind disjunkt; d.h. sie können
nicht gleichzeitig auftreten.
z Formelzeichen in der Literatur: häufig Ω statt H und ω statt η
z Beispiel 2.1: Würfeln
„ Elementarereignisse ηi sind die Seiten i = 1 ... 6 des Würfels:
H = {η1, η2, η3, η4, η5, η6}
z Beispiel 2.2: Werfen einer Roulette-Kugel
„ Elementarereignisse ηi sind die Zahlen i = 0 ... 36:
H = {η0, η1, ..., η36}
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 10
Fachgebiet
N T S
Nachrichtentechnische Systeme
5
Nachrichtentechnik 2
2 Wahrscheinlichkeit
Definition 2.3: Ereignisfeld A
„ Ereignisfeld = Menge von beliebig ausgewählten Teilmengen
der Ergebnismenge H mit den Eigenschaften:
H ∈A ,
aus
A ∈ A folgt
A∈ A ,
aus
A1, A2 , K ∈ A folgt
U Ai ∈ A .
z Ein Zufallsexperiment hat genau ein Ergebnis, kann aber mehrere
Ereignisse zur Folge haben.
z Zwei Ereignisse, die kein Elementarereignis gemeinsam haben,
sind disjunkt (unvereinbar).
z Maximal mögliche Anzahl von Ereignissen im Ereignisfeld
bei N Elementarereignissen (Potenzmenge): Nmax = 2N
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 11
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Beispiel 2.1 Fortsetzung: Würfeln, H = {η1, η2, η3, η4, η5, η6}
„ mögliche Ereignisfelder:
A1 = {∅, {η1, η3, η5}, {η2, η4, η6}, H}
A2 = {∅, {η1}, {η2}, { η1, η2}, {η2, η3, η4, η5, η6},
{η1, η3, η4, η5, η6} {η3, η4, η5, η6}, H}
z Beispiel 2.3: A = Potenzmenge (alle möglichen Teilmengen) von
H = {η1, η2, η3}
„ unmögliches Ereignis: ∅
einelementige Ereignisse: {η1}, {η2}, {η3}
zweielementige Ereignisse: {η1, η2}, { η2, η3}, {η1, η3}
sicheres Ereignis: H = {η1, η2, η3}
N N
„ Gesamtzahl von Ereignissen:
(2.1)
N max = 2 N = ∑  
k =0  k 
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 12
Fachgebiet
N T S
Nachrichtentechnische Systeme
6
Nachrichtentechnik 2
2 Wahrscheinlichkeit
Definition 2.4: Wahrscheinlichkeit P, axiomatische Definition nach
Kolmogoroff
„ Axiome:
1. P(A) ≥ 0
2. P(H) = 1
3. P(A ∪ B) = P(A) + P(B), wenn A und B disjunkt sind
„ Die Wahrscheinlichkeit ist eine 1. nichtnegative, 2. normierte
und 3. additive Funktion über dem Ereignisfeld.
z Eigenschaften:
„ Wertebereich:
0≤P≤1
„ unmögliches Ereignis: P(∅) = 0
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
(2.2)
(2.3)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 13
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
„ nicht disjunkte Ereignisse A und B:
A ∪ B = A ∪ ( A ∩ B)
H
A
B
B = ( A ∩ B) ∪ ( A ∩ B)
⇒
P( A ∪ B) = P( A) + P( A ∩ B)
P( B) = P( A ∩ B) + P( A ∩ B)
⇒
P( A ∪ B) = P( A) + P( B) − P( A ∩ B)
(2.4)
Definition 2.5: Verbundwahrscheinlichkeit
P(A ∩ B) = Verbundwahrscheinlichkeit = Wahrscheinlichkeit,
dass beide Ereignisse A und B gleichzeitig auftreten
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 14
Fachgebiet
N T S
Nachrichtentechnische Systeme
7
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Klassischer Definitionsversuch der Wahrscheinlichkeit
„ Ergebnismenge H mit N gleichwahrscheinlichen Ergebnissen
„ Ereignis A, das NA Ergebnisse enthält:
N
Anzahl günstiger Ergebnisse
P( A) = A =
(2.5)
N Anzahl aller möglichen Ergebnisse
„ konzeptionelles Problem: gleichwahrscheinlich ist nicht
definiert
Definition 2.6: Relative Häufigkeit
„ n-maliges Ausführen des Zufallsexperiments
„ Ereignis A tritt nA mal auf
n
Anzahl der Ereignisse A
~
P ( A) = A =
n Anzahl aller Zufallsexperimente
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 15
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Relative Häufigkeit ist Schätzwert für die Wahrscheinlichkeit
z Definitionsversuch der Wahrscheinlichkeit als Grenzwert der
relativen Häufigkeit:
n
Anzahl der Ereignisse A
~
P( A) = lim P ( A) = A =
n Anzahl aller Zufallsexperimente
n →∞
(2.6)
„ Beweis für die Konvergenz ist nicht möglich
Definition 2.7: Bedingte Wahrscheinlichkeit P(A | B)
„ P(A | B) = bedingte Wahrscheinlichkeit = Wahrscheinlichkeit
des Ereignisses A unter der Bedingung, dass das Ereignis B
aufgetreten ist (P(B) > 0)
P( A ∩ B)
P( A | B) =
P( B)
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 16
Fachgebiet
N T S
Nachrichtentechnische Systeme
8
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Eigenschaften der bedingten Wahrscheinlichkeit:
„ P(A | B) ≥ 0
(2.7)
„ P(H | B) = 1
(2.8)
„ P(A1 ∪ A2 | B) = P(A1|B) + P(A2|B), wenn A1 und A2 disjunkt
(2.9)
sind
z ausgewählte Mengensituationen:
„A∩B=∅
P( A | B) =
A
P( A ∩ B)
=0
P( B)
B
H
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 17
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
„A⊂B
⇒ A∩B=A
P( A | B) =
B
P( A ∩ B ) P( A)
=
≥ P( A)
P( B)
P( B)
A
H
„B⊂A
⇒ A∩B=B
A
P( A ∩ B) P( B)
P( A | B) =
=
=1
P( B)
P( B)
B
H
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 18
Fachgebiet
N T S
Nachrichtentechnische Systeme
9
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Beispiel 2.4: Würfeln, H = {η1, η2, η3, η4, η5, η6}
„ Ereignisse:
H
„ A = Ergebnis ist gerade
η1
„ B = Ergebnis ist ungerade
C
„ C = Ergebnis ist Primzahl
η2
P(ηi ) = 16
η3
η5
B
η4
η6
A
P( A) = P( B) = P(C ) = 3 ⋅ 16 = 12
P( A ∩ C ) = 16
P(C | A) =
P( B ∩ C ) = 13
P( A ∩ C ) 1
=
P ( A)
3
P(C | B) =
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
P( B ∩ C ) 2
=
P( B)
3
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 19
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Beispiel 2.5: Ziehen von zwei Kugeln aus einer Kiste mit drei
weißen Kugeln w1, w2, w3 und zwei roten Kugeln r1, r2
„ gesucht: Wahrscheinlichkeit, dass zuerst eine weiße und als
zweites eine rote Kugel gezogen wird (Ereignis A)
„ Ergebnismenge = Menge aller geordneten Paare:
H = {w1w2, w1w3, w1r1, w1r2, w2w1, w2w3, w2r1, ...}
„ die Elementarereignisse sind gleichwahrscheinlich
„ Abzählen liefert:
N
6
3
=
P ( A) = A =
N 20 10
A
UNIVERSITÄT
DUISBURG
ESSEN
w1w2
w1w3
w1r1
w1r2
Prof. Dr.-Ing. Andreas Czylwik
w2w1
w2w3
w2r1
w2r2
w3w1
w3w2
w3r1
w3r2
r1w1
r1w2
r1w3
r1 r2
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 20
Fachgebiet
r2w1
r2w2
r2w3
r2 r1
H
N T S
Nachrichtentechnische Systeme
10
Nachrichtentechnik 2
2 Wahrscheinlichkeit
„ Lösungsansatz mit bedingten Wahrscheinlichkeiten:
z
z
z
Wahrscheinlichkeit, dass zuerst eine weiße Kugel gezogen
wird (Ereignis W1):
3
P (W1) =
5
Wahrscheinlichkeit, dass die als zweites gezogene Kugel
rot ist (Ereignis R2) − unter der Bedingung, dass die zuerst
gezogene Kugel weiß ist:
2 1
P ( R2 | W1) = =
4 2
Wahrscheinlichkeit, dass die erste Kugel weiß und die
zweite rot ist (Ereignis W1 ∩ R2):
1 3 3
P (W1 ∩ R2 ) = P ( R2 | W1) ⋅ P (W1) = ⋅ =
2 5 10
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 21
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Bedingte Wahrscheinlichkeiten:
P( A ∩ B)
P( A | B) =
P( B)
P( A ∩ B)
P( B | A) =
P( A)
⇒ P ( A ∩ B) = P( A | B) ⋅ P( B) = P( B | A) ⋅ P ( A)
(2.10)
(2.11)
(2.12)
z Bayes-Theorem ( für P(A) > 0 bzw. P(B) > 0)
P( A | B) ⋅ P( B)
P ( A)
P ( B | A) ⋅ P ( A)
P( A | B) =
P( B)
P ( B | A) =
UNIVERSITÄT
DUISBURG
ESSEN
bzw.
Prof. Dr.-Ing. Andreas Czylwik
(2.13)
(2.14)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 22
Fachgebiet
N T S
Nachrichtentechnische Systeme
11
Nachrichtentechnik 2
2 Wahrscheinlichkeit
Definition 2.8: Statistische Unabhängigkeit
„ Zwei Ereignisse A, B heißen statistisch unabhängig, wenn gilt:
P(A ∩ B) = P(A) ⋅ P(B).
(2.15)
z Folgerung für statistisch unabhängige Ereignisse
„ P(A | B) = P(A),
P(B | A) = P(B)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 23
Fachgebiet
Nachrichtentechnische Systeme
(2.16)
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Beispiel 2.6: Zweimaliges Ziehen einer von drei Kugeln (1 − 2 − 3)
Die Kugel wird nach dem ersten Ziehen zurückgelegt.
„ Ereignis A = {erste Zahl = 1}
A
„ Ereignis B = {zweite Zahl = 3}
11 12 13
„ jedes Elementarereignis ist
21 22 23
gleichwahrscheinlich:
B
P(11) = P(12) = P(13) = ... = 1/9
31
32
33
„ P(A) = 3 ⋅ 1/9 = 1/3
H
„ P(B) = 3 ⋅ 1/9 = 1/3
„ P(A ∩ B) = P(13) = 1/9 = P(A) ⋅ P(B)
„ ⇒ Die Ereignisse A und B sind statistisch unabhängig.
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 24
Fachgebiet
N T S
Nachrichtentechnische Systeme
12
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Beispiel 2.7: Zweimaliges Ziehen einer von drei Kugeln (1 − 2 − 3)
Die Kugel wird nach dem ersten Ziehen nicht zurückgelegt.
„ Ereignis A = {erste Zahl = 1}
A
„ Ereignis B = {zweite Zahl = 3}
12
13
„ jedes Elementarereignis ist
B
21
23
gleichwahrscheinlich:
P(12) = P(13) = P(21) = ... = 1/6
31
32
„ P(A) = 2 ⋅ 1/6 = 1/3
„ P(B) = 2 ⋅ 1/6 = 1/3
„ P(A ∩ B) = P(13) = 1/6 ≠ P(A) ⋅ P(B)
„ ⇒ Die Ereignisse A und B sind statistisch abhängig.
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 25
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
Definition 2.9: Statistische Unabhängigkeit
„ Drei Ereignisse A, B, C heißen statistisch unabhängig, wenn
gilt:
z Alle Paare von Ereignissen sind statistisch unabhängig
P(A ∩ B) = P(A) ⋅ P(B),
(2.17)
P(A ∩ C) = P(A) ⋅ P(C),
(2.18)
P(B ∩ C) = P(B) ⋅ P(C)
(2.19)
z und
P(A ∩ B ∩ C) = P(A) ⋅ P(B) ⋅ P(C).
(2.20)
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 26
Fachgebiet
N T S
Nachrichtentechnische Systeme
13
Nachrichtentechnik 2
2 Wahrscheinlichkeit
Definition 2.10: Statistische Unabhängigkeit, Verallgemeinerung
„ n Ereignisse A1, A2, ..., An heißen statistisch unabhängig,
wenn für alle Gruppen von k Ereignissen statistische
Unabhängigkeit vorliegt (k < n) und :
(2.21)
P(A1 ∩ A2 ∩ ... ∩ An) = P(A1) ⋅ P(A2) ⋅ ... ⋅ P(An).
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 27
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Beispiel 2.8: Statistische Unabhängigkeit
„ gegeben: 3 Ereignisse A, B, C mit P(A) = P(B) = P(C) = p
und 0 < p < 1.
„ Für die Schnittmengen gilt:
A
A ∩ B = A ∩ C = B ∩ C =A ∩ B ∩ C .
„ Frage: Gibt es einen Wert p, für den
die Ereignisse unabhängig voneinander
sind?
B
C
„ Antwort: Nein, da
P(A ∩ B) = P(A ∩ C) = P(B ∩ C) = p2 = P(A ∩ B ∩ C ) = p3
gelten müsste.
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 28
Fachgebiet
N T S
Nachrichtentechnische Systeme
14
Nachrichtentechnik 2
2 Wahrscheinlichkeit
Satz von der totalen Wahrscheinlichkeit
„ gegeben:
n disjunkte Ereignisse A1, A2, ..., An
d.h. Ai ∩ Aj = ∅ für i ≠ j
ein Ereignis B ⊂ A1 ∪ A2 ∪ ... ∪ An = H
n
P ( B ) = ∑ P ( B | Ai ) ⋅ P ( Ai )
(2.22)
i =1
A1
A2
A3 A4
A5
A6
B
A10
A7
A9
A8
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 29
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
2 Wahrscheinlichkeit
z Beweis des Satzes von der totalen Wahrscheinlichkeit
„ mit Def. 2.7:
n
n
i =1
i =1
P ( B ) = ∑ P ( B | Ai ) ⋅ P ( Ai ) = ∑ P ( B ∩ Ai )
„ Ai sind disjunkt, daher sind auch B ∩ Ai disjunkt, 3. Axiom der
Wahrscheinlichkeit direkt anwendbar:
P ( B ) = P[( B ∩ A1) ∪ ( B ∩ A2 ) ∪ ... ∪ ( B ∩ An )]
„ Distributivgesetz:
P( B) = P[ B ∩ ( A1 ∪ A2 ∪ ... ∪ An )]
qed.
= P( B ∩ H ) = P( B)
„ Anschauliche Deutung: P(B) ist Summe aller Wahrscheinlichkeiten der Schnittmengen von B mit den Ereignissen Ai
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 30
Fachgebiet
N T S
Nachrichtentechnische Systeme
15
Nachrichtentechnik 2
3 Zufallsvariablen
Definition 3.1: Reelle Zufallsvariable x(η)
„ Gegeben sei ein Wahrscheinlichkeitsraum (H, A, P).
„ Eine Zufallsvariable x(η) ist eine eindeutige Abbildung der
Ergebnismenge H eines Zufallsexperiments auf die Menge der
reellen Zahlen R.
„ Eigenschaften der Abbildung:
1. {η | x(η) ≤ x} ∈ A für jedes x ∈ R
2. P({η | x(η) = −∞}) = P({η | x(η) = +∞}) = 0
„ x(η = ηi) = xi heißt Realisierung der Zufallsvariablen.
ηi → x(ηi)
Αi → x(Αi)
„ mögliche Abbildungen:
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 31
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z Beispiel der Definition einer Zufallsvariablen x(η)
Zufallsexperiment
η1
η2
η3
x(η1) x(η2)
UNIVERSITÄT
DUISBURG
ESSEN
x(η3)
η5
η4
x(η4)
Prof. Dr.-Ing. Andreas Czylwik
η7
η6
x(η5)
x(η6)
x(η7)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 32
Fachgebiet
x∈R
N T S
Nachrichtentechnische Systeme
16
Nachrichtentechnik 2
3 Zufallsvariablen
Definition 3.2: Wahrscheinlichkeitsverteilungsfunktion Fx(x)
„ kurz: Wahrscheinlichkeitsverteilung, Verteilung
Fx(x) = P({η | x(η) ≤ x})
z Eigenschaften: 1.
2.
3.
4.
Fx(−∞) = 0,
Fx(+∞) = 1,
Fx(x) wächst monoton mit x,
0 ≤ Fx(x) ≤ 1.
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
(3.1)
(3.2)
(3.3)
(3.4)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 33
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z Beispiel 3.1: diskrete Zufallsvariable
i
x(ηi)
P(ηi)
1
–0,4
2
0,2
3
1,1
4
2
5
2,7
6
3,5
7
5
0,04
0,1
0,1
0,22
0,32
0,14
0,08
Fx(x)
1
0,8
0,6
0,4
0,2
−1
UNIVERSITÄT
DUISBURG
ESSEN
0
1
2
Prof. Dr.-Ing. Andreas Czylwik
3
4
5
x
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 34
Fachgebiet
N T S
Nachrichtentechnische Systeme
17
Nachrichtentechnik 2
3 Zufallsvariablen
z Wahrscheinlichkeitsverteilungsfunktion für wertdiskrete
Zufallsvariablen:
Fx ( x) = P ( x (η ) ≤ x) =
∑
i| x (ηi ) ≤ x
P (ηi )
N
N
i =1
i =1
(3.5)
Fx ( x) = ∑ P (ηi ) ⋅ s( x − x (ηi )) = ∑ pi ⋅ s( x − xi ))
mit x(ηi) = xi , P(ηi) = pi ,
N = Anzahl der Elementarereignisse
und der Sprungfunktion s(x):
1 für x ≥ 0
s( x ) = 
0 sonst
s(x)
1
(3.7)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
(3.6)
x
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 35
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z wertkontinuierliche Zufallsvariablen: Ergebnismenge H hat
unendlich viele Elementarereignisse ηi
z Wahrscheinlichkeitsverteilungsfunktion für wertkontinuierliche
Zufallsvariablen:
Fx ( x) = P ( x (η ) ≤ x ) =
∫
P (η ) dη
(3.8)
η | x (η ) ≤ x
z Beispiel 3.2: gleichverteilte wertkontinuierliche Zufallsvariable
„ Wertebereich: x1 ... x2
Fx(x)
0
für x < x1
1
 x − x1
Fx ( x) = 
für x1 ≤ x < x2 (3.9)
 x2 − x1
x2
x1
für x ≥ x2
1
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 36
Fachgebiet
x
N T S
Nachrichtentechnische Systeme
18
Nachrichtentechnik 2
3 Zufallsvariablen
Definition 3.2: Wahrscheinlichkeitsdichtefunktion fx(x)
„ kurz: Wahrscheinlichkeitsdichte
f x ( x) =
dFx ( x)
dx
(3.10)
z Zusammenhang mit der Wahrscheinlichkeitsverteilung:
Fx ( x ) =
x
∫ f x (u ) d u
(3.11)
−∞
(3.12)
z Eigenschaften: 1. fx(−∞) = fx(+∞) = 0,
2. fx(x) ≥ 0,
3. ∞
∫ f x ( x ) dx = 1
(3.13)
(3.14)
−∞
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 37
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z Wahrscheinlichkeitsdichtefunktion für wertdiskrete
Zufallsvariablen:
f x ( x) =
N
dFx ( x) d N
=
pi ⋅ s( x − xi ) = ∑ pi ⋅ δ( x − xi )
∑
dx
dx i =1
i =1
(3.15)
z Zuhilfenahme verallgemeinerter Funktionen notwendig
z Dirac'sche Delta-Funktion δ(x):
∞ für x = 0
δ( x) = 
0 sonst
mit
(3.16)
δ(x)
1
∞
∫ δ ( x ) dx = 1
(3.17)
x
−∞
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 38
Fachgebiet
N T S
Nachrichtentechnische Systeme
19
Nachrichtentechnik 2
3 Zufallsvariablen
„ Realisierungsmöglichkeiten der δ-Funktion:
δ( x) = lim R∆x ( x)
∆x →0
R∆x(x)
[
1
⋅ s( x + ∆2x ) − s( x − ∆2x )
∆x →0 ∆x
(3.18)
= lim
]
1
∆x
− ∆2x ∆2x
x
Glockenkurve:
δ( x) = lim G∆x ( x )
∆x → 0
1
π ∆x
1
∆x
⋅ 2
∆x →0 π x + ∆x 2
= lim
G∆x(x)
(3.19)
−∆x ∆x
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 39
Fachgebiet
Nachrichtentechnische Systeme
x
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z Ausblendeigenschaft
f(x) ⋅ δ(x−x0) = f(x0) ⋅ δ(x−x0)
∞
∫ f ( x) ⋅ δ( x − x0 ) dx =
−∞
f ( x0 )
(3.20)
f(x0)
(3.21)
x0
x
z Zusammenhang zwischen Sprungfunktion und δ-Funktion:
δ( x) =
s( x ) =
ds( x )
dx
(3.22)
x
∫ δ(u ) du
(3.23)
−∞
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 40
Fachgebiet
N T S
Nachrichtentechnische Systeme
20
Nachrichtentechnik 2
3 Zufallsvariablen
z Beispiel 3.1 Fortsetzung: Wahrscheinlichkeitsdichte einer
wertdiskreten Zufallsvariablen:
fx(x)
0,3
0,2
0,1
−1
0
1
2
3
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
4
5
x
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 41
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z Beispiel 3.2 Fortsetzung: Wahrscheinlichkeitsdichte einer
gleichverteilten wertkontinuierlichen Zufallsvariablen
„ Wertebereich: x1 ... x2
 1

f x ( x) =  x2 − x1
 0
x1 ≤ x ≤ x2
für
(3.24)
sonst
fx(x)
1
x2 − x1
x1
UNIVERSITÄT
DUISBURG
ESSEN
x2
x
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 42
Fachgebiet
N T S
Nachrichtentechnische Systeme
21
Nachrichtentechnik 2
3 Zufallsvariablen
z Wahrscheinlichkeit, dass eine Zufallsvariable in einem
bestimmten Wertebereich liegt:
P( x1 ≤ x ≤ x2 ) =
x2
∫ f x ( x) dx = Fx ( x2 ) − Fx ( x1)
(3.25)
x1
fx(x)
Fx(x)
1
Fx(x2)
Fx(x1)
x1
x2
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
x1
x
DUISBURG
ESSEN
x2
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 43
Fachgebiet
Nachrichtentechnische Systeme
x
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z Näherung für kleine Differenzen: x1 = x , x2 = x + ∆x :
P ( x ≤ x ≤ x + ∆x ) ≅ f x ( x ) ⋅ ∆x
(3.26)
z relative Häufigkeit als Schätzwert für die Wahrscheinlichkeitsdichte einer Zufallsvariablen x :
„ Anzahl der Zufallsexperimente: n
„ Anzahl der Realisierungen, die in das Intervall x ... x + ∆x
fallen: ∆nx
∆n
f x ( x ) ⋅ ∆x ≅ x
(3.27)
n
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 44
Fachgebiet
N T S
Nachrichtentechnische Systeme
22
Nachrichtentechnik 2
3 Zufallsvariablen
Definition 3.3: Erwartungswert E{x(η)}
„ statistischer Mittelwert über eine Schar von Realisierungen
= Scharmittelwert = Ensemblemittelwert (engl. expectation)
E{ x (η )} =
∞
∫ x ⋅ f x ( x ) dx
(3.28)
−∞
z alternative Bezeichnungen: E{x(η)} = E{x} = E(x(η)) = ⟨x(η)⟩
z wertdiskrete Zufallsvariablen x :
E{ x (η )} =
∞
∞
−∞
− ∞ i =1
i =1
N
DUISBURG
ESSEN
(3.29)
N
∫ x ⋅ f x ( x) dx = ∫ x ⋅∑ pi ⋅ δ( x − xi ) dx = ∑ xi ⋅ pi
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
N
f x ( x ) = ∑ pi ⋅ δ( x − xi )
i =1
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 45
Fachgebiet
Nachrichtentechnische Systeme
(3.30)
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z Beispiel 3.1 Fortsetzung: Erwartungswert einer wertdiskreten
Zufallsvariablen:
N
E{ x (η )} = ∑ xi ⋅ pi
i =1
= −0,4 ⋅ 0,04 + 0,2 ⋅ 0,1 + 1,1 ⋅ 0,1 + 2 ⋅ 0,22 + 2,7 ⋅ 0,32 + 3,5 ⋅ 0,14
+ 5 ⋅ 0,08 = 2,308
z Beispiel 3.2 Fortsetzung: Erwartungswert einer gleichverteilten
wertkontinuierlichen Zufallsvariablen:
x2
∞
1
1  x22 x12 
E{ x (η )} = ∫ x ⋅ f x ( x ) dx = ∫ x ⋅
dx =
 − 
2 
x2 − x1
x2 − x1  2
x1
−∞
x +x
= 1 2
2
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
(3.31)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 46
Fachgebiet
N T S
Nachrichtentechnische Systeme
23
Nachrichtentechnik 2
3 Zufallsvariablen
z Linearität des Erwartungswerts:
E{a x(η) + b y(η)} = a E{x(η)} + b E{y(η)}
(3.32)
z Die Reihenfolge linearer Operationen (Erwartungswertbildung,
Summation, Integration) ist vertauschbar
z Erwartungswert von Funktionen von Zufallsvariablen:
∞
E{g ( x (η ))} =
∫ g ( x ) ⋅ f x ( x ) dx
(3.33)
−∞
z Die Reihenfolge nichtlinearer Operationen und der Erwartungswertbildung ist im Allgemeinen nicht vertauschbar:
E{g(x(η))} ≠ g(E{x(η)})
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 47
Fachgebiet
Nachrichtentechnische Systeme
(3.34)
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
Definition 3.4: n-tes Moment mx(n)
m(xn) = E{ x n (η )} =
z n=1 ⇒
∞
∫x
−∞
n
⋅ f x ( x) dx
linearer Mittelwert : mx(1) = E{x(η)}
z n = 2 ⇒ quadratischer Mittelwert : mx(2) = E{x2(η)}
(3.35)
(3.36)
(3.37)
Definition 3.5: n-tes zentrales Moment µx(n)
µ (xn) = E{( x (η ) − m(x1) ) n }
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
(3.38)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 48
Fachgebiet
N T S
Nachrichtentechnische Systeme
24
Nachrichtentechnik 2
3 Zufallsvariablen
Definition 3.6: Varianz σx2
σ x2 = µ (x2) = E{( x (η ) − mx(1) ) 2}
(3.39)
σx heißt Standardabweichung
z Die Varianz bzw. die Standardabweichung sind ein Maß für die
Streuung einer Zufallsvariablen um den Mittelwert
σ x2 = E{( x (η ) − m(x1) ) 2 }
= E{ x 2 (η ) − 2m(x1) x (η ) + (m(x1) ) 2}
= E{ x 2 (η )} − 2m(x1) E{ x (η )} + (m(x1) ) 2
= m(x2) − (m(x1) ) 2
(3.40)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 49
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
N
z wertdiskrete Zufallsvariablen x : f x ( x ) = ∑ pi ⋅ δ( x − xi )
E{ x n (η )} =
∞
∫x
−∞
n
⋅ f x ( x ) dx =
∞
N
−∞
i =1
i =1
(3.41)
N
n
n
∫ x ⋅∑ pi ⋅ δ( x − xi ) dx = ∑ xi ⋅ pi
i =1
(3.42)
z Beispiel 3.1 Fortsetzung: Quadratischer Mittelwert einer
wertdiskreten Zufallsvariablen:
N
mx( 2) = E{ x 2 (η )} = ∑ xi2 ⋅ pi
i =1
2
= ( −0,4) ⋅ 0,04 + 0,2 2 ⋅ 0,1 + 1,12 ⋅ 0,1 + 2 2 ⋅ 0,22 + 2,7 2 ⋅ 0,32
+ 3,52 ⋅ 0,14 + 52 ⋅ 0,08 = 7,0592
σ x2 = mx( 2) − (mx(1) ) 2 = 7,059 − 2,3082 = 1,732 ,
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
σ x = 1,316
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 50
Fachgebiet
N T S
Nachrichtentechnische Systeme
25
Nachrichtentechnik 2
3 Zufallsvariablen
z Beispiel 3.2 Fortsetzung: Quadratischer Mittelwert und Varianz
einer gleichverteilten wertkontinuierlichen Zufallsvariablen:
m(x2) = E{ x 2 (η )} =
=
∞
x2
−∞
x1
2
∫ x ⋅ f x ( x) dx =
∫
x2 ⋅
1
dx
x2 − x1
1  x23 x13  1 2
2
 −  = ( x1 + x1x2 + x2 )
3  3
x2 − x1  3
(3.43)
σ x2 = mx( 2) − (mx(1) ) 2
2
1
1
x +x 
= ( x12 + x1x2 + x22 ) −  1 2  = ( x2 − x1 ) 2
3
 2  12
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
(3.44)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 51
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
z Erzeugende Funktionen
Definition 3.7: Momenterzeugende Funktion ψx (s) = zweiseitige
Laplace-Transformierte der Wahrscheinlichkeitsdichte (negative
Frequenzachse)
∞
ψ x ( s ) = E{e + s x } = ∫ f x ( x) ⋅ e + s x dx
(3.45)
−∞
„ Entwicklung der Exponentialfunktion in Potenzreihe:
∞ (s x )n
ψ x ( s ) = E{e + s x } = E{ ∑
n =0
n!
} = 1+
∞ s n E{ x n }
∑
n =1
n!
„ n-malige Differentiation nach s an der Stelle s = 0 :
d nψ x ( s )
ds n
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
∞ s n m( n)
x
= 1+
∑
n =1
= m (xn)
n!
(3.46)
(3.47)
s =0
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 52
Fachgebiet
N T S
Nachrichtentechnische Systeme
26
Nachrichtentechnik 2
3 Zufallsvariablen
Definition 3.8: Charakteristische Funktion φx (ω) = FourierTransformierte der Wahrscheinlichkeitsdichte (negative
Frequenzachse)
φ x (ω ) = E{e + jω x } =
∞
∫ f x ( x) ⋅ e
+ jω x
(3.48)
dx
−∞
N
„ Beispiel: diskrete Zufallsvariablen: f x ( x ) = ∑ pi ⋅ δ( x − xi )
φ x (ω ) =
=
∞
∫
−∞
∞ N
N
− ∞ i =1
i =1
+ jω x
dx = ∑ pi ⋅ e + jω xi
∫ ∑ pi ⋅ δ( x − xi ) ⋅ e
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
i =1
f x ( x ) ⋅ e + jω x d x
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 53
Fachgebiet
Nachrichtentechnische Systeme
(3.49)
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
„ Eigenschaften der charakteristischen Funktion:
z
z
Die charakteristische Funktion ist reell, wenn die
Wahrscheinlichkeitsdichte symmetrisch ist.
Abschätzung:
φ x (ω ) ≤
∞
∫
−∞
f x ( x ) ⋅ e + jω x dx =
∞
∫ f x ( x) dx = 1
(3.50)
−∞
φ x (0) = 1
(3.51)
„ Rücktransformation:
f x ( x) =
UNIVERSITÄT
DUISBURG
ESSEN
∞
1
φ x (ω ) ⋅ e − jω x dω
2 π −∫∞
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 54
Fachgebiet
(3.52)
N T S
Nachrichtentechnische Systeme
27
Nachrichtentechnik 2
3 Zufallsvariablen
„ Entwicklung der Exponentialfunktion in eine Potenzreihe:
∞
( jω x ) n
}
n!
n =0
φ x (ω ) = E{e + jω x } = E{ ∑
=1+
∞
∞ ( jω ) n m ( n )
( jω ) n E{ x n }
x
=1+ ∑
n
!
n
!
n =1
n =1
∑
(3.53)
„ n-malige Differentiation nach ω an der Stelle ω = 0 :
d nφ x (ω )
dω n
= jn m(xn )
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
(3.54)
ω =0
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 55
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
„ Beispiel 3.3: gleichverteilte mittelwertfreie Zufallsvariable
z
Wahrscheinlichkeitsdichte:
∆x
∆x
1
für −
≤x≤

f x ( x) =  ∆x
2
2
 0 sonst
z
(3.55)
charakteristische Funktion:
φ x (ω ) =
=
∞
∫ f x ( x) ⋅ e
+ jω x
dx =
−∞
∆x / 2
∆x / 2
1 + jω x
⋅e
dx
∆x
− ∆x / 2
∫
ω ∆x
( )
sin
1  1 + jω x 
ω ∆x
⋅e
= ω ∆x2 = si 2


∆x  j ω
 − ∆x / 2
(3.56)
2
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 56
Fachgebiet
N T S
Nachrichtentechnische Systeme
28
Nachrichtentechnik 2
3 Zufallsvariablen
„ Wahrscheinlichkeitsdichte und charakteristische Funktion
fx(x)
1
∆x
1
φx (ω)
(3.42)
− ∆2x
x
∆x
2
ω
2π
∆x
„ quadratischer Mittelwert mit Hilfe der charakteristischen
Funktion:
m(x2) = −
d 2φ x (ω )
dω 2
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
(3.57)
ω =0
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 57
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
„ Beispiel 3.3 Fortsetzung:
m(x2) = −
d2
d2
dx 2
 ω ∆x 
= − 2 si( x ) ⋅ 2
si

 2 
dω
dx
dω ω = 0
ω =0
2
2
d2
2
2 x cos x + ( x 2 − 2) sin x
 ∆x 
 ∆x 
(
)
⋅
=
⋅ 
si
x


2
3
 2 
 2 
dx
x
x =0
x =0
2
x 4 − K  + ( x 2 − 2 ) x − x 3 + x 5 − K 
2 x1 − x2 + 24
2



6 120
 ∆x 




⋅ 
=
3
 2 
x
=−
x =0
3
5
x − x +K
= 3 103
x
UNIVERSITÄT
DUISBURG
ESSEN
2
x =0
2
1  ∆x 
∆x 2
 ∆x 
⋅  = ⋅  =
3  2 
12
 2 
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 58
Fachgebiet
(3.58)
N T S
Nachrichtentechnische Systeme
29
Nachrichtentechnik 2
3 Zufallsvariablen
Definition 3.9: Bedingte Wahrscheinlichkeitsverteilung Fx|A(x | A)
Fx| A ( x | A) = P{ x ≤ x | A} =
P{( x ≤ x) ∩ A}
P{ A}
(3.59)
„ Eigenschaften der bedingten Wahrscheinlichkeitsverteilung:
Fx|A(∞ | A) = 1
Fx|A(−∞ | A) = 0
P(x1 < x ≤ x2 | A) = Fx|A(x2 | A) − Fx|A(x1 | A)
(3.60)
(3.61)
(3.62)
Definition 3.10: Bedingte Wahrscheinlichkeitsdichte fx|A(x | A)
dFx| A ( x | A)
f x| A ( x | A) =
(3.63)
dx
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 59
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
3 Zufallsvariablen
„ Eigenschaften der bedingten Wahrscheinlichkeitsdichte:
fx|A(x | A) ≥ 0
(3.64)
∞
∫ f x| A ( x | A) dx = 1
(3.65)
−∞
„ Beispiel 3.4: A = {a < x ≤ b}, fx(x) sei gegeben
Fx|a < x ≤b ( x | a < x ≤ b) =
P{( x ≤ x) ∩ (a < x ≤ b)}
P{a < x ≤ b}
(3.66)

0
für x ≤ a
 Fx ( x) − Fx (a )
für a < x ≤ b (3.67)
=
 Fx (b) − Fx ( a )

1
für x > b
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 60
Fachgebiet
N T S
Nachrichtentechnische Systeme
30
Nachrichtentechnik 2
3 Zufallsvariablen
z
bedingte Wahrscheinlichkeitsdichte:
f x|a < x ≤b ( x | a < x ≤ b) =
dFx|a < x ≤b ( x | a < x ≤ b)
dx
(3.68)

0
für x ≤ a

f x ( x)
=
für a < x ≤ b (3.69)
 Fx (b) − Fx (a )
0
für x > b

fx|a < x ≤ b(x|a < x ≤ b)
fx(x)
a
b
x
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 61
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ Transformation einer Zufallsvariablen über eine Kennlinie
y = g(x)
x(η)
y = g(x)
(4.1)
y(η)
z Beispiele für Kennlinien:
Gleichrichter, Begrenzer, Quadrierer, Logarithmierer
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 62
Fachgebiet
N T S
Nachrichtentechnische Systeme
31
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ Transformation der Wahrscheinlichkeitsverteilung
z gegeben: Fx(x), gesucht: Fy(y)
y
z Beispiel einer Kennlinie
ymax
y1
„ Eigenschaften von Fy(y):
y2
Fy(y) = 1 für y ≥ ymax
x2a
Fy(y) = 0 für y ≤ ymin
x2b x2c x1
ymin
x
Fy(y1) = P(y ≤ y1) = P(x ≤ x1) = Fx(x1)
Fy(y2) = P(x ≤ x2a) + P(x2b ≤ x ≤ x2c) = Fx(x2a) + Fx(x2c) − Fx(x2b)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 63
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
z Sonderfälle einer Kennlinie:
„ Beispiel 4.1: stückweise konstante Kennlinie
Fx(x)
y = g(x)
Fy(y)
−c
c
x
−c
c
x
 x + c für x < −c

g ( x) =  0
für − c ≤ x ≤ c
 x − c für x > c

UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
y
(4.2)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 64
Fachgebiet
N T S
Nachrichtentechnische Systeme
32
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
z
Diskontinuität:
lim F y (ε ) − F y ( −ε ) = Fx (c ) − Fx ( −c )
(4.3)
ε →0
Fy(y) = P(y ≤ y) = P( x ≤ y + c) = Fx(y + c) für y ≥ 0 (4.4)
Fy(y) = P(y ≤ y) = P( x ≤ y − c) = Fx(y − c) für y < 0 (4.5)
„ Beispiel 4.2: Kennlinie mit Sprüngen (harter Entscheider)
Fx(x)
1
y = g(x)
1
Fy(y)
1
x
−1
x
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
−1
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 65
Fachgebiet
Nachrichtentechnische Systeme
1
y
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ Sonderfall: streng monoton wachsende Funktion
aus x2 > x1 folgt g(x2) > g(x1)
Fy(g(x)) = Fx(x)
(4.6)
z Erzeugung von Zufallsvariablen mit vorgegebener Wahrscheinlichkeitsverteilung durch Transformation einer gleichverteilten
Zufallsvariablen an einer nichtlinearen (streng monoton
wachsenden) Kennlinie
„ Ausgangsverteilung: Gleichverteilung in 0 ≤ x < 1
0 für x < 0

Fx ( x) =  x für 0 ≤ x < 1
1 für x ≥ 1

UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
(4.7)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 66
Fachgebiet
N T S
Nachrichtentechnische Systeme
33
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ gewünschte Verteilung: Fy(y)
Fy(y) = Fy(g(x)) = Fx(x) = x ⇒
„ Beispiel 4.3:
1 −y
f y ( y) = e
(4.9)
2
z
 1 y
e

Fy ( y ) =  2
1
1 − e − y
 2
für
y<0
für
y≥0
Bereich −∞ < y < 0:
1 g
Fy ( g ) = x ⇒
e =x
⇒ g = ln(2 x)
2
korrespondierender Wertebereich für x : 0 < x < 1/2
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
g(x) = Fy−1(x) für 0 ≤ x ≤ 1
(4.8)
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 67
Fachgebiet
Nachrichtentechnische Systeme
(4.10)
(4.11)
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
z
Bereich 0 < y < ∞:
1
Fy ( g ) = x ⇒ 1 − e − g = x ⇒
2
 1 
g = ln

 2 − 2x 
(4.12)
korrespondierender Wertebereich für x : 1/2 < x < 1
„ vollständige Kennlinie
1

für 0 < x ≤
 ln ( 2 x)
2
g ( x) = 
1
 1 
ln 
< x <1
 für
2
  2 − 2x 
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 68
Fachgebiet
(4.13)
N T S
Nachrichtentechnische Systeme
34
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
fy(y)
1
Fx(x)
y
1
x
1
x
y = g(x)
Fy(y)
1
2
y
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
1
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 69
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
Allgemeine Beziehung für die Wahrscheinlichkeitsverteilung:
„ Definition des Intervalls I(y):
I(y) = {x | g(x) ≤ y}
Fy(y) = P(y ≤ y) = P(x ∈ I(y))
(4.14)
(4.15)
y = g(x)
ymax
I(y)
y
xa
UNIVERSITÄT
DUISBURG
ESSEN
xb xc
ymin
Prof. Dr.-Ing. Andreas Czylwik
x
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 70
Fachgebiet
N T S
Nachrichtentechnische Systeme
35
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ Transformation der Wahrscheinlichkeitsdichte
z Ableitung der Wahrscheinlichkeitsverteilung:
dF y ( y )
f y ( y) =
(4.16)
dy
z direkte Berechnung durch Transformation über die Kennlinie y = g(x)
„ gegeben: fx(x), gesucht: fy(y)
„ Voraussetzung: fx(x) enthält keine diskreten Anteile (δ-Funktionen)
„ eventuell vorhandene diskrete Anteile müssen separat transformiert
werden:
N
fˆx ( x) = ∑ pi ⋅ δ( x − xi )
N
fˆy ( y ) = ∑ pi ⋅ δ( y − g ( xi ))
i =1
(4.17)
⇒
i =1
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 71
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
z Berechnung der Wahrscheinlichkeitsdichte fy(y) an der Stelle y = y0 :
„ im Allgemeinen mehrere Lösungen der Kennlinie:
y0 = g(x0i)
(4.18)
„ Wahrscheinlichkeit, dass y0 ≤ y ≤ y0 + dy :
n
P ( y0 ≤ y ≤ y0 + dy ) = ∑ P( x ∈ {x0i K x0i + dx0i })
i =1
n
f y ( y0 ) ⋅ dy = ∑ f x ( x0i ) ⋅ dx0i
i =1
mit
UNIVERSITÄT
DUISBURG
ESSEN
dy dy
=
= g ′( x0i )
dx0i dx x = x0i
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 72
Fachgebiet
(4.19)
(4.20)
(4.21)
N T S
Nachrichtentechnische Systeme
36
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
y
y
dy
y0
x
dx0a
fx(x)
x0a
fy(y)
dx0b
n
f x ( x0i )
′
i =1 g ( x0i )
dx0c
x0b
x0c
f y ( y0 ) = ∑
x
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
(4.22)
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 73
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
z stückweise konstante Kennlinie g(x) ⇒ diskrete Anteile in fy(y)
z Beispiel 4.4: Amplitudenverteilung einer sinusförmigen Funktion
„ Wahrscheinlichkeitsdichte des Winkels ϕ :
1
fϕ (ϕ ) =  2 π
0
für − π ≤ ϕ ≤ π
sonst
(4.23)
„ nichtlineare Funktion:
y = g (ϕ ) = cos(ϕ )
(4.24)
„ Wahrscheinlichkeitsdichte der Cosinus-Funktion:
fϕ (ϕi )
dg
(ϕ )
i
dϕ i
f y ( y) = ∑
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
(4.25)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 74
Fachgebiet
N T S
Nachrichtentechnische Systeme
37
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ Transformation
y
y = cos(ϕ)
an einer
CosinusKennlinie
1
fy(y)
ϕ
−1
fϕ(ϕ)
π ϕ
−π
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 75
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ Ableitung der Nichtlinearität:
dg (ϕ )
= − sin(ϕ )
dϕ
(4.26)
„ Ersetzen von ϕ durch y :
sin 2 (ϕ ) + cos 2 (ϕ ) = 1
⇒ sin(ϕ ) = 1 − cos 2 (ϕ ) = 1 − y 2
(4.27)
„ Wahrscheinlichkeitsdichte der Cosinus-Funktion
f y ( y) = 2 ⋅
UNIVERSITÄT
DUISBURG
ESSEN
1
2π
1− y
2
=
1
π 1 − y2
Prof. Dr.-Ing. Andreas Czylwik
für − 1 < y < 1
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 76
Fachgebiet
(4.28)
N T S
Nachrichtentechnische Systeme
38
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ Wahrscheinlichkeitsverteilung der Cosinus-Funktion
Fy ( y ) =
y
∫
f y (u ) d u =
−∞
y
∫
−1
1
π 1− u
2
[
du = 1π [arcsin u ]−y1 = 1π arcsin y + π2
]
(4.29)
0
für y ≤ −1

1 1
Fy ( y ) =  2 + π arcsin y für − 1 < y < 1

1
für y ≥ 1
Fy(y)
1
(4.30)
−1
1
y
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 77
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
4 Funktionen einer Zufallsvariablen
„ Erwartungswert
z Erwartungswert einer Funktion einer Zufallsvariablen
E{g ( x )} =
∞
∫ g ( x ) ⋅ f x ( x ) dx
(4.31)
−∞
z Erwartungswertbildung und nichtlineare Operation sind im
Allgemeinen nicht vertauschbar
E{g ( x )} ≠ g (E{ x})
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 78
Fachgebiet
(4.32)
N T S
Nachrichtentechnische Systeme
39
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
„ Gemeinsame Wahrscheinlichkeitsdichte und
Wahrscheinlichkeitsverteilung
z Definition mehrerer Zufallsvariablen über einer Ergebnismenge
y(η1,η2) y(η3,η5,η7)
η1
η2
η8
η3
η4
x(η1,η3,η8)
x(η2)
y(η4,η6,η8)
η5
η7
η6
x(η4,η5) x(η6,η7)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
y∈R
Zufallsexperiment
x∈R
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 79
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
Definition 5.1: Gemeinsame Wahrscheinlichkeitsverteilung Fxy(x,y)
Fxy(x,y) = P({η | x(η) ≤ x}∩{η | y(η) ≤ y})
z Eigenschaften: 1. Fxy(−∞,−∞) = 0,
UNIVERSITÄT
DUISBURG
ESSEN
(5.1)
2. Fxy(x,−∞) = 0,
(5.2)
3. Fxy(−∞,y) = 0,
(5.3)
4. Fxy(x,+∞) = Fx(x),
(5.4)
5. Fxy(+∞,y) = Fy(y),
(5.5)
6. Fxy(+∞,+∞) = 1.
(5.6)
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 80
Fachgebiet
N T S
Nachrichtentechnische Systeme
40
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
z Spezielle Ereignisse:
P({x ≤ x}∩{ y ≤ y}) = P(x, y ∈ D1) = Fxy(x,y)
(5.7)
(5.8)
(5.9)
P({x ≤ x}∩{y1 ≤ y ≤ y2}) = P(x, y ∈ D2) = Fxy(x,y2) − Fxy(x,y1)
P({x1 ≤ x ≤ x2}∩{ y ≤ y}) = P(x, y ∈ D3) = Fxy(x2,y) − Fxy(x1,y)
P({x1 ≤ x ≤ x2}∩{y1 ≤ y ≤ y2}) = P(x, y ∈ D4)
= Fxy(x2,y2) − Fxy(x1,y2) − Fxy(x2,y1) + Fxy(x1,y1) (5.10)
y2
y
y2
y
D2
D1
y1
x
x
x1
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
D4
D3
y1
x2
x1
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 81
Fachgebiet
Nachrichtentechnische Systeme
x2
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
Definition 5.2: Gemeinsame Wahrscheinlichkeitsdichte fxy(x,y)
f xy ( x, y ) =
d 2 Fxy ( x, y )
d x dy
z Wahrscheinlichkeitsverteilung:
Fxy ( x, y ) =
z Randdichte − Gl.(5.4):
x
y
∫ ∫ f xy (u, v) du dv
Fx ( x ) = Fxy ( x, ∞ ) =
x ∞
∫ ∫ f xy (u, v) du dv
DUISBURG
ESSEN
(5.12)
−∞ −∞
d Fx ( x ) ∞
f x ( x) =
= ∫ f xy ( x, y ) dy
dx
−∞
UNIVERSITÄT
(5.11)
−∞ −∞
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 82
Fachgebiet
(5.13)
N T S
Nachrichtentechnische Systeme
41
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
z Analog: Randdichte von y :
f y ( y) =
∞
∫ f xy ( x, y ) dx
(5.14)
−∞
Definition 5.3: Statistische Unabhängigkeit von Zufallsvariablen:
Zwei Zufallsvariablen x und y sind statistisch unabhängig, wenn
gilt:
fxy(x,y) = fx(x) ⋅ fy(y)
(5.15)
z Gemeinsame Wahrscheinlichkeitsverteilung statistisch
unabhängiger Zufallsvariablen:
Fxy(x,y) = Fx(x) ⋅ Fy(y)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
(5.16)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 83
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
Satz 5.1: Wenn x und y statistisch unabhängig sind, dann sind es
auch z = g(x) und w = h(y).
z Beispiel 5.1: Paar von
Zufallsvaribalen x und y,
das in dem Bereich
{−∆x ≤ x ≤ ∆x} ∩
{−∆y ≤ y ≤ ∆y}
gleichverteilt ist
fxy(x,y)
y
∆y
x
−∆x
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
∆x
−∆y
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 84
Fachgebiet
N T S
Nachrichtentechnische Systeme
42
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
„ Gemeinsame Wahrscheinlichkeitsdichte:
 1
f xy ( x, y ) =  4 ∆x ∆y
 0
für {− ∆x ≤ x ≤ ∆x} ∩ {− ∆y ≤ y ≤ ∆y}
sonst
(5.17)
„ Randdichten:
f x ( x) =
f y ( y) =
∞
 1
−∞
∞

für − ∆x ≤ x ≤ ∆x
sonst
 1
für − ∆y ≤ y ≤ ∆y
−∞

sonst
∫ f xy ( x, y ) dy =  20∆x
∫ f xy ( x, y ) dx =  20∆y
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
(5.18)
(5.19)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 85
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
fx(x)
−∆x
fy(y)
∆x
x
−∆y
∆y
y
„ Die statistische Unabhängigkeit ist erfüllt: fxy(x,y) = fx(x) ⋅
fy(y)
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 86
Fachgebiet
N T S
Nachrichtentechnische Systeme
43
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
z Beispiel 5.2: Paar von Zufallsvaribalen x und y, das in dem
Bereich {0 ≤ x ≤ ∆x,} ∩ {0 ≤ y ≤ ∆y} ∩ {x/∆x + y/∆y ≤ 1}
gleichverteilt ist
fxy(x,y)
y
∆y
x/∆x + y/∆y = 1
∆x
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
x
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 87
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
„ gemeinsame Wahrscheinlichkeitsdichte:
 2
f xy ( x, y ) =  ∆x ∆y
 0
y
für {0 ≤ x ≤ ∆x} ∩ {0 ≤ y ≤ ∆y} ∩ { ∆xx + ∆y ≤ 1}
sonst
(5.20)
„ Randdichten:
∆y 1− x 
  ∆x 
2
2 
x 

f x ( x ) = ∫ f xy ( x, y ) dy = 
∫ ∆x∆y dy = ∆x 1 − ∆x 
0

−∞

0
∆x1− y 
  ∆y 
∞
2
2 
y 

f y ( y ) = ∫ f xy ( x, y ) dx = 
∫ ∆x∆y dx = ∆y 1 − ∆y 



0
−∞

0

∞
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
für 0 ≤ x ≤ ∆x
sonst (5.21)
für 0 ≤ y ≤ ∆y
sonst (5.22)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 88
Fachgebiet
N T S
Nachrichtentechnische Systeme
44
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
fx(x)
fy(y)
∆x
∆y
x
y
„ Die statistische Unabhängigkeit ist nicht erfüllt:
fxy(x,y) ≠ fx(x) ⋅ fy(y)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
DUISBURG
ESSEN
S. 89
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
Definition 5.4: Gemeinsames Moment m(xyk , m )
m(xyk , m) = E{ x k y m } =
∞ ∞
∫ ∫x
−∞ −∞
k m
y f xy ( x, y )dxdy
(5.23)
Definition 5.5: Gemeinsames zentrales Moment µ ( k , m)
xy
µ (xyk , m ) = E{( x − m(x1) ) k ( y − m (y1) ) m }
=
∞ ∞
−∞ −∞
UNIVERSITÄT
DUISBURG
ESSEN
(1) k
∫ ∫ ( x − mx
) ( y − m(y1) ) m f xy ( x, y ) dx dy
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 90
Fachgebiet
(5.24)
N T S
Nachrichtentechnische Systeme
45
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
1,1)
µ (xy
Definition 5.6: Kovarianz
1,1)
µ (xy
= E{( x − m (x1) ) ⋅ ( y − m(y1) )}
=
∞ ∞
(1)
∫ ∫ ( x − mx
−∞ −∞
) ⋅ ( y − m(y1) ) ⋅ f xy ( x, y ) dx dy
(5.25)
Definition 5.7: Unkorrelierte Zufallsvariablen
(5.26)
E{x ⋅ y} = E{x} ⋅ E{y}
Definition 5.8: Orthogonale Zufallsvariablen
E{x ⋅ y} = 0
(5.27)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 91
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
Satz 5.2: Statistisch unabhängige Zufallsvariablen sind unkorreliert.
z Beweis:
E{ x ⋅ y} =
=
=
UNIVERSITÄT
DUISBURG
ESSEN
∞ ∞
∫ ∫ x ⋅ y ⋅ f xy ( x, y ) dx dy
−∞ −∞
∞ ∞
∫ ∫ x ⋅ y ⋅ f x ( x ) ⋅ f y ( y ) dx dy
−∞ −∞
∞
∞
−∞
−∞
∫ x ⋅ f x ( x) dx ⋅ ∫ y ⋅ f y ( y ) dy = E{ x} ⋅ E{ y}
Prof. Dr.-Ing. Andreas Czylwik
„
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 92
Fachgebiet
(5.28)
N T S
Nachrichtentechnische Systeme
46
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
Definition 5.9: Der Korrelationskoeffizient ρxy
ρ xy =
(1,1)
µ xy
E{( x − m(x1) ) ⋅ ( y − m(y1) )}
=
σ xσ y
E{( x − m (x1) ) 2 } ⋅ E{( y − m(y1) ) 2}
(5.29)
„ Wertebereich des Korrelationskoeffizienten:
−1 ≤ ρxy ≤ 1
Beweis:

(1) 2 
 x − m(x1) y − m y  
±
E
≥0

σy  
 σ x



⇒ 1 ± 2ρxy + 1 ≥ 0 ⇒ |ρxy| ≤ 1
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
(5.30)
DUISBURG
ESSEN
(5.31)
(5.32)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 93
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
„ Sonderfall: x und y sind unkorreliert
ρ xy =
E{( x − m (x1) ) ⋅ ( y − m(y1) )}
σ xσ y
=
E{ x ⋅ y} − m(x1) m(y1)
σ xσ y
=0
y=a⋅x
„ Sonderfall: x und y sind linear abhängig:
my(1) = E{y} = E{a ⋅ x} = a ⋅ mx(1)
σy = E{(y − my
2
ρ xy =
=
UNIVERSITÄT
DUISBURG
ESSEN
(1))2}
σ xσ y
a ⋅ σ x2
| a | ⋅σ x2
=
(5.34)
= E{(a⋅x − a⋅mx
E{( x − m (x1) ) ⋅ ( y − m(y1) )}
(1))2}
=
=
a2
⋅ σx
2
(5.35)
E{( x − m(x1) ) ⋅ (a ⋅ x − a ⋅ m(x1) )}
σ x⋅| a |σ x
a
= sgn( a ) ( = ±1)
|a|
Prof. Dr.-Ing. Andreas Czylwik
(5.33)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 94
Fachgebiet
(5.36)
N T S
Nachrichtentechnische Systeme
47
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
Definition 5.10: Komplexe Zufallsvariable z als Funktion zweier
reeller Zufallsvariablen x und y
(5.37)
z=x+jy
z linearer Mittelwert:
mz(1) = E{z} = E{x} + j E{y} = mx(1) + j my(1)
(5.38)
z quadratischer Mittelwert:
mz(2) = E{|z|2} = E{z⋅z*} = E{x2 + y2} = mx(2) + my(2)
(5.39)
z Varianz:
σz2 = E{|z − mz(1)|2} = E{(x − mx(1))2 + (y − my(1))2} = σx2 + σy2
(5.40)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 95
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
„ Funktionen zweier Zufallsvariablen
z Wahrscheinlichkeitsverteilung
„ gegeben seien zwei Zufallsvariablen x und y mit der
gemeinsamen Wahrscheinlichkeitsdichte fxy(x,y) und eine
Funktion g mit z = g(x, y)
y z = g(x,y)
„ gesucht ist die Wahrscheinlichkeitsdichte fz(z)
„ Definition eines Gebietes
Dz
Dz, in dem g(x,y) < z ist.
„ Ereignis, dass z ≤ z :
{z ≤ z} = {g(x,y) ≤ z} = {x,y ∈ Dz}
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
∆Dz
Dz
x
z+dz = g(x,y)
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 96
Fachgebiet
N T S
Nachrichtentechnische Systeme
48
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
„ Wahrscheinlichkeitsverteilung Fz(z) :
Fz ( z ) = P{z ≤ z} = P{ x , y ∈ Dz } =
∫∫ f xy ( x, y ) dx dy
(5.41)
Dz
z Wahrscheinlichkeitsdichte
„ Definition eines Gebietes ∆Dz, in dem z < g(x,y) < z + dz ist.
„ Ereignis, dass z < z ≤ z + dz :
{z < z ≤ z + dz} = {x,y ∈ ∆Dz}
„ Wahrscheinlichkeitsdichte fz(z) :
f z ( z ) dz = P{z < z ≤ z + dz} =
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
∫∫ f xy ( x, y ) dx dy
(5.42)
∆D z
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 97
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
z Summe zweier Zufallsvariablen: z = x + y
„ Wahrscheinlichkeitsy
verteilung:
Fz ( z ) =
∫ ∫ f xy ( x, y ) dx dy
−∞ −∞
∆Dz
(5.43)
y
„ Wahrscheinlichkeitsdichte:
f z ( z) =
=
dFz ( z )
dz
DUISBURG
ESSEN
Dz
∞
z + dz = x + y
dy
x
x
x + dz
∫ f xy ( z − y, y ) dy
−∞
UNIVERSITÄT
z=x+y
∞ z− y
(5.44)
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 98
Fachgebiet
N T S
Nachrichtentechnische Systeme
49
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
„ Direkte Berechnung der Wahrscheinlichkeitsdichte:
f z ( z ) dz =
∫∫
∆D z
=
f xy ( x, y ) dx dy =
y = ∞ x = z − y + dz
∫
y = −∞
∫ f xy ( x, y ) dx dy
x= z − y
y =∞
∫ f xy ( z − y, y ) dz dy
y = −∞
(5.45)
„ Sonderfall: statistisch unabhängige Zufallsvariablen:
fxy(x,y) = fx(x) ⋅ fy(y)
f z ( z) =
∞
∞
−∞
−∞
∫ f x ( z − y ) f y ( y ) dy = ∫ f x ( x ) f y ( z − x ) dx =
f x ( z) ∗ f y ( z)
(5.46)
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
DUISBURG
ESSEN
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 99
Fachgebiet
Nachrichtentechnische Systeme
N T S
Nachrichtentechnik 2
5 Zwei Zufallsvariablen, Folgen von Zufallsvar.
„ Beispiel: Summe zweier gleichverteilter statistisch
unabhängiger Zufallsvariablen z = x + y
fx(x)
0,5
fy(y)
0,25
2
4
6
8x
2
4
6
8z
2
4
6
8y
fz(z)
0,25
UNIVERSITÄT
DUISBURG
ESSEN
Prof. Dr.-Ing. Andreas Czylwik
Grundlagen der Nachrichtentechnik 2
WS 2003/2004
S. 100
Fachgebiet
N T S
Nachrichtentechnische Systeme
50