Informationstheorie

Formeln und Notizen
Informationstheorie
Florian Franzmann∗
7. April 2009, 23:53 Uhr
Abbildungsverzeichnis
1.
Trigonometrische Funktionen . . . . . . . . . . . . . . . . . . . . . . . . . 20
Tabellenverzeichnis
1.
2.
3.
4.
5.
6.
7.
Notation in der Informationstheorie . . . . . . . . . . . .
Notation der Codierung . . . . . . . . . . . . . . . . . . .
Teile von Einheiten . . . . . . . . . . . . . . . . . . . . . .
Vielfache von Einheiten . . . . . . . . . . . . . . . . . . .
Trigonometrische Funktionen – Funktionswerte besonderer
Potenzen der imaginären Einheit . . . . . . . . . . . . . .
Bekannte Reihen . . . . . . . . . . . . . . . . . . . . . . .
. . . . .
. . . . .
. . . . .
. . . . .
Winkel
. . . . .
. . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
9
17
18
20
25
26
.
.
.
.
.
.
.
4
4
5
5
5
5
5
6
Inhaltsverzeichnis
1. Informationstheorie
1.1. Eigenschaften von Informationsquellen . . .
1.2. Informationsmaß . . . . . . . . . . . . . . .
1.2.1. Forderungen an ein Informationsmaß
1.2.2. Informationsmaß nach Hartley . . .
1.2.3. Informationsmaß nach Shannon . . .
1.2.4. Informationsgewinn . . . . . . . . .
1.3. Entropie . . . . . . . . . . . . . . . . . . . .
∗
[email protected]
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Inhaltsverzeichnis
1.4.
1.5.
1.6.
1.7.
1.3.1. Entropie einer Informationsquelle . . . . . . . . . . . . . . . . . . .
1.3.2. Schranken der Entropie einer diskreten, gedächtnislosen Quelle . .
1.3.3. Maximum der Entropie . . . . . . . . . . . . . . . . . . . . . . . .
1.3.4. Binäre Entropiefunktion . . . . . . . . . . . . . . . . . . . . . . . .
Gekoppelte Informationsquellen . . . . . . . . . . . . . . . . . . . . . . . .
1.4.1. Verbundentropie . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.2. Bedingte Entropie . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.3. Satz über die Beobachtung . . . . . . . . . . . . . . . . . . . . . .
1.4.4. Kettenregel der Verbundentropie . . . . . . . . . . . . . . . . . . .
1.4.5. Obere Grenze der Verbundentropie . . . . . . . . . . . . . . . . . .
1.4.6. Individuelle wechselseitige Information . . . . . . . . . . . . . . . .
1.4.7. Mittlere wechselseitige Information . . . . . . . . . . . . . . . . . .
1.4.8. Eigenschaften der mittleren wechselseitigen Information . . . . . .
1.4.9. Bedingte mittlere wechselseitige Information . . . . . . . . . . . .
1.4.10. Kettenregel der wechselseitigen Information . . . . . . . . . . . . .
1.4.11. Data Processing Theorem . . . . . . . . . . . . . . . . . . . . . . .
Diskrete gedächtnisbehaftete Quelle . . . . . . . . . . . . . . . . . . . . .
1.5.1. Stationarität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.2. Entropie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.3. Gedächtnis vermindert Entropie . . . . . . . . . . . . . . . . . . .
Codierung für diskrete Informationsquellen . . . . . . . . . . . . . . . . .
1.6.1. Eindeutige Decodierbarkeit . . . . . . . . . . . . . . . . . . . . . .
1.6.2. Vollständiger Baum . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.3. Präfixfreier Code . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.4. Kraft’sche Ungleichung . . . . . . . . . . . . . . . . . . . . . . . .
1.6.5. Satz von McMillan . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.6. Quellencodierungstheorem für Codes mit variabler Wortlänge . . .
1.6.6.1. Optimale Wortlänge eines Codes . . . . . . . . . . . . . .
1.6.6.2. Codierung nach Shannon und Fano . . . . . . . . . . . .
1.6.6.3. Quellencodierungstheorem . . . . . . . . . . . . . . . . .
1.6.7. Redundanz eines Codes mit variabler Länge . . . . . . . . . . . . .
1.6.7.1. Mittlere Redundanz eines Quellencodes . . . . . . . . . .
1.6.8. Optimale Quellencodierung mit variabler Wortlänge . . . . . . . .
1.6.8.1. Pfadlängenlemma nach Massey . . . . . . . . . . . . . . .
1.6.8.2. Satz über unbenutzte Endknoten . . . . . . . . . . . . . .
1.6.8.3. Konstruktion binärer Codes nach Huffman . . . . . . . .
1.6.8.4. Konstruktion mehrstufiger Codes nach Huffman . . . . .
1.6.9. Blockcodierung für D. M. S. mit Codewörtern variabler Länge . .
1.6.9.1. Tunstall-Codierung . . . . . . . . . . . . . . . . . . . . .
1.6.9.2. Quellencodierungstheorem für Quellenwörter variabler Länge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.9.3. Universelle Quellencodierung nach Lempel und Ziv . . . .
1.6.9.4. Runlength-Limited-Codierung für Binärsequenzen . . . .
Blockcodierung für Quellenwörter mit fester Länge . . . . . . . . . . . . .
2
6
6
6
6
6
6
6
7
7
7
7
7
8
8
8
8
8
8
8
9
9
9
10
10
10
10
10
10
11
11
11
11
11
11
11
12
12
12
12
13
13
14
14
Inhaltsverzeichnis
1.7.1.
1.7.2.
1.7.3.
1.7.4.
1.7.5.
1.7.6.
1.7.7.
Unvollständige Codierung . . . . . . . . . . . . . . . . . . . . . .
ε-typische Sequenzen . . . . . . . . . . . . . . . . . . . . . . . . .
Satz über die Wahrscheinlichkeit ε-typischer Sequenzen . . . . .
Codierversagen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Wahrscheinlichkeit eines Codeversagens . . . . . . . . . . . . . .
Zahl typischer Symbolsequenzen . . . . . . . . . . . . . . . . . .
Quellencodierungstheorem für Quellen- und Codewörter mit festen
Wortlängen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.8. Übertragungskanäle . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.8.1. Gedächtnisloser Kanal (D. M. C.) . . . . . . . . . . . . . . . . . .
1.8.2. Zeitinvarianter Kanal . . . . . . . . . . . . . . . . . . . . . . . .
1.8.3. Rückwirkungsfreier Kanal . . . . . . . . . . . . . . . . . . . . . .
1.8.4. Signalstörleistungsverhältnis . . . . . . . . . . . . . . . . . . . . .
1.8.5. Kanalkapazität . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.8.6. Symmetrische diskrete gedächtnislose Kanäle . . . . . . . . . . .
1.8.6.1. Gleichmäßig streuende Kanäle . . . . . . . . . . . . . .
1.8.6.2. Satz über die Streuentropie . . . . . . . . . . . . . . . .
1.8.6.3. Kapazität . . . . . . . . . . . . . . . . . . . . . . . . . .
A. Mathematische Grundlagen
A.1. Frequenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.1.1. Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.1.2. Kreisfrequenz . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.1.3. Normierte Kreisfrequenz . . . . . . . . . . . . . . . . . . . . .
A.1.4. Die z-Ebene . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.2. Lösungsformel für quadratische Gleichungen . . . . . . . . . . . . . .
A.3. Geradengleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.3.1. Gerade durch einen Punkt P (x0 , y0 ) mit Steigung m . . . . .
A.3.2. Gerade durch die Punkte P (x0 , y0 ) und A(x1 , y1 ) . . . . . . .
A.3.3. Parameterform . . . . . . . . . . . . . . . . . . . . . . . . . .
A.3.4. Allgemeine Form der Geradengleichung . . . . . . . . . . . .
A.4. Additionstheoreme . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.5. Rechenregeln des Logarithmus . . . . . . . . . . . . . . . . . . . . .
A.6. Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.6.1. Regeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.6.1.1. Quotientenregel . . . . . . . . . . . . . . . . . . . .
A.6.1.2. Kettenregel . . . . . . . . . . . . . . . . . . . . . . .
A.6.1.3. Produktregel . . . . . . . . . . . . . . . . . . . . . .
A.6.1.4. Logarithmische Differentiation . . . . . . . . . . . .
A.6.1.5. Differentiation eines parameterabhängigen Integrals
A.6.1.6. l’Hospital’sche Regel . . . . . . . . . . . . . . . . . .
A.6.2. Operatoren . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.6.2.1. Laplace-Operator ∆ . . . . . . . . . . . . . . . . . .
A.6.2.2. Divergenz-Operator div . . . . . . . . . . . . . . . .
3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
14
14
14
14
14
15
.
.
.
.
.
.
.
.
.
.
.
15
15
15
15
15
16
16
16
16
16
16
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
16
16
16
19
19
19
19
19
19
19
19
19
21
21
21
21
21
21
21
22
22
22
22
22
22
1. Informationstheorie
Tabelle 1: Notation in der Informationstheorie
Symbol
P (A)
H = {ηi |i = 1, . . . , Mx }
ηi
Mx = |H|
Bedeutung
Wahrscheinlichkeit des Ereignisses A ∈ H
Menge aller Elementarereignisse
Die einzelnen Elementarereignisse
Mächtigkeit von H
A.6.2.3. Gradient-Operator ∇ . . . . . . .
A.6.2.4. Rotations-Operator . . . . . . . .
A.6.2.5. Jacobi-Matrix (Funktionalmatrix)
A.6.2.6. Hesse-Matrix . . . . . . . . . . . .
A.6.2.7. Zusammengesetzte Operationen .
A.7. Integrationsregeln . . . . . . . . . . . . . . . . . . .
A.7.1. Partielle Integration . . . . . . . . . . . . .
A.7.2. Substitutionsregel . . . . . . . . . . . . . .
A.7.3. Logarithmische Integration . . . . . . . . .
A.7.4. Integration der Umkehrfunktion . . . . . .
A.8. Komplexe Zahlen . . . . . . . . . . . . . . . . . . .
A.8.1. Komplexe Wurzel . . . . . . . . . . . . . . .
A.9. Binomialkoeffizient . . . . . . . . . . . . . . . . . .
A.9.1. Reihen . . . . . . . . . . . . . . . . . . . . .
A.10.Abschätzung mittels Union-Bound . . . . . . . . .
A.11.Bessel-Funktion erster Art . . . . . . . . . . . . . .
A.11.1. Definition . . . . . . . . . . . . . . . . . . .
A.11.2. Eigenschaften . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
22
23
23
24
24
24
24
24
24
24
25
25
26
26
27
27
27
27
1. Informationstheorie
1.1. Eigenschaften von Informationsquellen
diskret
Die Quelle gibt zu diskreten Zeitpunkten k ∈ Z Symbole X [k] aus
einem bekannten Symbolvorrat mit endlicher Mächtigkeit Mx ab.
Die a-priori-Wahrscheinlichkeiten
P (X[k] = xi )
i = 1(1)Mx
können dabei bekannt oder unbekannt sein.
4
(1)
1. Informationstheorie
gedächtnislos (DMS) Die a-priori-Wahrscheinlichkeiten der sind weder Funktion zuvor
noch nachfolgend abgegebenen Symbole, die Symbole sind also
statistisch unanbhängig und es gilt
N
Y
P (X[1] = x1 , . . . , X[N ] = xiN ) =
P (X[n] = xin )
(2)
n=1
zeitinvariant
Die a-priori-Wahrscheinlichkeiten sind zu allen Zeitpunkten gleich
(i. i. d-Sequenz):
P (X[k] = xi ) =: pi
∀k ∈ Z
(3)
Aus Zeitinvarianz folgt automatisch Gedächtnislosigkeit.
1.2. Informationsmaß
1.2.1. Forderungen an ein Informationsmaß
1. I(xi ) ∈ R ∧ I(xi ) ≥ 0
2. I(xi ) = f (P (X[k] = xi ))
3. Für gedächtnislose Quellen soll gelten
!
I(xi1 , . . . , xiN ) =
N
X
I(xin )
(4)
n=1
f
N
Y
!
P (X[n] = xin )
=
N
X
f (P (X[n] = xin ))
(5)
n=1
n=1
1.2.2. Informationsmaß nach Hartley
IH = logb (Mx )
(6)
Es berücksichtigt die Wahrscheinlichkeit der einzelnen Symbole nicht, genügt also der
in 2 aufgestellten Forderung nicht.
1.2.3. Informationsmaß nach Shannon
IS (xi ) = − logb (P (X[k] = xi )) [bit]
|{z}
(7)
für b = 2
Maß für die Unsicherheit des Auftretens eines Quellensymbols.
1.2.4. Informationsgewinn
Reduktion der Unsicherheit des Ausgangs eines Zufallsexperiments durch Beobachtung.
5
1. Informationstheorie
1.3. Entropie
1.3.1. Entropie einer Informationsquelle
H(X) = E {IS (X)}
=−
Mx
X
(8)
pi ld(pi )
i=1
bit
Symbol
(9)
1.3.2. Schranken der Entropie einer diskreten, gedächtnislosen Quelle
0 ≤ H(X) ≤ ld(Mx )
(10)
1.3.3. Maximum der Entropie
Die Entropie einer D. M. S. wird durch gleichverteilte Symbole maximiert.
1.3.4. Binäre Entropiefunktion
e2 (x) = −xld(x) − (1 − x)ld(1 − x)
(11)
1.4. Gekoppelte Informationsquellen
1.4.1. Verbundentropie
Mittlerer Informationsgewinn durch Beobachtung beider Quellen:
H(XY ) := −
My
Mx X
X
P (X = xi ∩ Y = yi ) ld (P (X = xi ∩ Y = yi ))
i=1 j=1
bit
Symbolpaar
(12)
1.4.2. Bedingte Entropie
Mittlerer Informationsgewinn durch Beobachtung des Symbols X, wenn das Symbol
Y = yi bereits bekannt ist:
H(X|Y ) :=
My
X
P (Y = yi ) · H(X|yi )
(13)
j=1
=−
My
Mx X
X
P (X = xi ∩ Y = yi ) ld (P (X = xi |Y = yi ))
(14)
P (X = xi ∩ Y = yi ) · ld(P (Y = yj |X = xi ))
(15)
i=1 j=1
Analog gilt
H(Y |X) = −
My
Mx X
X
i=1 j=1
6
1. Informationstheorie
1.4.3. Satz über die Beobachtung
Eine zusätzliche Beobachtung kann im Mittel die Unsicherheit nie vergrößern, d. h.
H(X) ≥ H(X|Y )
(16)
wobei Gleichheit gilt, wenn X und Y statistisch unabhängig sind, also
P (X ∩ Y ) = P (X) · P (Y )
(17)
1.4.4. Kettenregel der Verbundentropie
H(XY ) = H(X) + H(Y |X) = H(Y ) + H(X|Y )
(18)
Die Unsicherheit bezüglich beider Zufallsvariablen ist im Mittel gleich der Summe der
Unsicherheiten bezüglich der einen Zufallsvariable und der anderen Zufallsvariable unter
der Bedingung, daß die erste bereits bekannt ist.
1.4.5. Obere Grenze der Verbundentropie
Die Verbundentropie ist im Mittel nicht größer als die Summe der Entropien der Einzelquellen
H(XY ) ≥ H(X) + H(Y )
(19)
Gleichheit gilt bei statistisch unabhängigen Quellen.
1.4.6. Individuelle wechselseitige Information
P (X = xi |Y = yi )
= IM (yi , xi )
IM (xi , yi ) := ld
P (X = xi )
(20)
1.4.7. Mittlere wechselseitige Information
Wird manchmal auch als Transinformation bezeichnet.
I(X; Y ) = E {IM (X; Y )}
=
My
Mx X
X
(21)
P (X = xi ; Y = yi ) · ld
i=1 j=1
P (X = xi |Y = yi )
P (X = xi )
(22)
= H(X) − H(X|Y )
| {z } | {z }
a priori
I(Y ; X) =
My
Mx X
X
(23)
a posteriori
P (X = xi ; Y = yi ) · ld
i=1 j=1
P (Y = yi |X = xi )
P (Y = yi )
(24)
= H(Y ) − H(Y |X)
(25)
I(X; Y ) = H(X) + H(Y ) − H(XY )
(26)
7
1. Informationstheorie
1.4.8. Eigenschaften der mittleren wechselseitigen Information
Die mittlere wechselseitige Information ist nicht negativ
I(X; Y ) ≥ 0
(27)
und nur dann 0, wenn X und Y statistisch unabhängig sind.
1.4.9. Bedingte mittlere wechselseitige Information
I(X; Y |Z) := H(X|Z) − H(X|Y Z)
(28)
= H(Y |Z) − H(Y |XZ)
(29)
1.4.10. Kettenregel der wechselseitigen Information
I((X1 , X2 ); Y ) = I(X1 ; Y ) + I(X2 ; Y |X1 )
(30)
Der Informationsgewinn durch die Beobachtung von Y in Bezug auf (X1 , X2 ) ist gleich
dem Informationsgewinn aufeinanderfolgender Beobachtungen.
1.4.11. Data Processing Theorem
Durch Verarbeitung von Information kann nie Information dazugewonnen werden.
I(X; Z) ≤ I(X; Y )
(31)
I(X; Z) ≤ I(Y ; Z)
(32)
1.5. Diskrete gedächtnisbehaftete Quelle
1.5.1. Stationarität
Eine gedächtnisbehaftete Quelle wir als stationär bezeichnet, wenn die Wahrscheinlichkeiten für Wörter von Quellensymbolen der Länge L ∈ N für alle Zeitpunkte gleich
sind:
P (X[k + 1], X[k + 2], . . . , X[k + L])
= P (X[1], X[2], . . . , X[L])
∀k ∈ Z ∧ ∀L ∈ N
1.5.2. Entropie
~
Der mittlere Informationsgehalt je Symbol für als unabhängig angenommene Blöcke X
der Länge L:
HL (X) := −
Mx
Mx X
Mx
X
1 X
···
P (X1 = xi1 , X2 = xi2 , . . . , XL = xiL )
L
|{z}
i1 =1 i2 =1
(33)
iL =1
1
· ld(P (X1 = xi1 , X2 = xi2 , . . . , XL = xiL ))
1
:= H(X1 , X2 , . . . , XL )
L
8
(34)
(35)
1. Informationstheorie
Tabelle 2: Notation der Codierung
Symbol
C = {c1 , c2 , . . . , cMc }
Mc = |C|
C
K = |C| ≤ |C|N
X L 7→ C
Bedeutung
Codesymbolvorrat
Codesymbolumfang
Menge der vereinbarten Codewörter – Code
Anzahl der vereinbarten Codewörter
Codierung
Die Entropie einer stationären, gedächtnisbehafteten, diskreten Quelle ist die bedingte
Entropie des aktuellen Symbols bei Kenntnis aller vorangegangenen Symbole:
bit
H(hXi) = lim HL (X)
(36)
L→∞
Symbol
= lim H(XL |X1 X2 . . . XL−1 )
(37)
L→∞
= lim H(X1 X2 . . . HL ) − H(X1 X2 . . . XL−1 )
L→∞
(38)
1.5.3. Gedächtnis vermindert Entropie
Durch statistische Abhängigkeit innerhalb der von einer stationären Quelle abgegebenen
Symbolsequenz kann die Entropie nur abnehmen:
HL+1 (X) ≤ HL (X) ∀L ∈ N
(39)
Gleichheit gilt nur für Gedächtnislose Quellen.
1.6. Codierung für diskrete Informationsquellen
1.6.1. Eindeutige Decodierbarkeit
Eine Codierung ist eindeutig decodierbar, wenn für alle möglichen unterschiedlichen Sequenzen von Quellensymbolen die zugeordneten Sequenzen von Codesymbolen ebenfalls
verschieden sind.
1
Länge der Quellensymbolblöcke
9
1. Informationstheorie
1.6.2. Vollständiger Baum
Ein bis zur Tiefe n vollständiger M -wertiger Baum besitzt bei den Tiefen k = 1(1)n
jeweils M k Knoten.
1.6.3. Präfixfreier Code
Bei einem präfixfreien Code C mit variabler Wortlänge werden die K = |C| Codewörter
nur durch Pfade von der Wurzel zu Endknoten (bei unterschiedlichen Tiefen) repräsentiert. Zwischenknoten sind dagegen keine Codewörter zugeordnet.
1.6.4. Kraft’sche Ungleichung
Ein präfixfreier Code C existiert über einem M -wertigen Alphabet mit Wortlängen
n1 , . . . , nK genau dann, wenn folgende Ungleichung erfüllt ist:
K
X
1
≤1
M ni
(40)
i=1
1.6.5. Satz von McMillan
Jeder eindeutig decodierbare Code mit K Wörtern und variabler Wortlänge über einem
M -wertigen Alphabet erfüllt die Kraft’sche Ungleichung.
Präfixfreie Codes sind optimal decodierbare Codes mit variabler Wortlänge.
1.6.6. Quellencodierungstheorem für Codes mit variabler Wortlänge
Die Symbole, die von einer diskreten, gedächtnislosen Quelle mit Entropie H(X) abgegeben werden, können umkehrbar eindeutig durch die Wörter eines eindeutig decodierbaren Codes C mit variabler Wortlänge über einem Mc -wertigen Alphabet repräsentiert
werden, d. h. es existiert eine Bijektion
X ↔C
(41)
wobei für die mittlere Codewortlänge
n̄ =
Mx
X
ni · P (X = xi )
(42)
i=1
gilt
H(X)
H(X)
≤ n̄ ≤
+1
ld(Mc )
ld(Mc )
(43)
H(X) ≤ n̄ ≤ H(X) + 1
(44)
Im Spezialfall Mc = 2 gilt
1.6.6.1. Optimale Wortlänge eines Codes
ni = − logMc (P (X = xi ))
10
(45)
1. Informationstheorie
1.6.6.2. Codierung nach Shannon und Fano Wähle die Codewortlänge nach Gleichung (45) und konstruiert einen präfixfreien Code gemäß 1.6.4 auf der vorherigen Seite.
Das Ergebnis ist meist nicht optimal.
1.6.6.3. Quellencodierungstheorem für diskrete Quellen bei Codierung mit
variabler Länge Für diskrete Informationsquellen mit mittlerem Informationsgehalt
H (hXi) je Symbol existiert eine Mc -wertige umkehrbar eindeutige Codierung, für deren
mittlere Wortlänge n̄ gilt
H (hXi)
HL (X)
1
≤ n̄ <
+
ld (Mc )
ld(Mc )
L
(46)
Das heißt, daß das Shannon’sche Informationsmaß den Informationsgehalt eines Symbols
genau trifft.
Um die Entropie möglichst nahe zu erreichen müssen möglichst lange Blöcke der Codierung zugeführt werden.
1.6.7. Redundanz eines Codes mit variabler Länge
Für das Quellenwort ~xi = (xi,1 , . . . , xi,L ) der Länge L, dem ein Codewort der Länge ni
zugeordnet wird, beträgt die individuelle Redundanz


1

ρi := ni · ld(Mc ) − ld  (47)
~ = ~xi
P X
1.6.7.1. Mittlere Redundanz eines Quellencodes
ρc := E {ρi } = ld(Mc ) · n̄L − L · HL (X)
(48)
Gemäß Quellcodierungstheorem kann zwar eine beliebig kleine mittlere Redundanz ρLc je
Quellensymbol erreicht werden, eine mittlere Redundanz kann jedoch nie negativ sein.
1.6.8. Optimale Quellencodierung mit variabler Wortlänge
1.6.8.1. Pfadlängenlemma nach Massey Die mittlere Wortlänge n̄ eines präfixfreien Codes mit variabler Länge ist die Summe der Wahrscheinlichkeiten aller Zwischenknoten einschließlich der Wurzel in dem Baum, der den Code repräsentiert.
1.6.8.2. Satz über unbenutzte Endknoten Im Codebaum eines optimalen präfixfreien Codes mit variabler Wortlänge treten unbenutzte Endknoten nur beid er größten Tiefe N = maxi ni auf. Die Zahl der hier unbenutzten Endknoten ist minimal 0 und
maximal Mc − 2. Alle Zweige zu unbenutzten Endknoten können so gewählt werden, daß
sie von einem Zwischenknoten bei Tiefe N − 1 ausgehen.
Bei binären optimalen Codes gibt es folglich keine unbesetzten Endknoten.
11
1. Informationstheorie
1.6.8.3. Konstruktion binärer Codes nach Huffman
1. Zuweisung der a-priori-Wahrscheinlichkeiten pi = P (X = xi ) zu Mx Endknoten.
2. Für k = 1(1)(Mx − 1): Die beiden Knoten mit den kleinsten Wahrscheinlichkeiten
werden jeweils über Zweige zu einem neuen Zwischenknoten zusammengeführt.
1.6.8.4. Konstruktion mehrstufiger Codes nach Huffman
1. Zuweisung der a-priori-Wahrscheinlichkeiten zu Mx Endknoten.
2. Zusammenfassen der m Endknoten (1 < m ≤ Mc ) mit den geringsten Wahrscheinlichkeiten zu einem Zwischenknoten in der Weise, daß die verbleibende Zahl
Mx − m + 1 von Knoten die Gleichung
Mx − m + 1 = Mc + b · (Mc − 1) für b ∈ N
(49)
erfüllt, damit keine weiteren Zweige ungenutzt bleiben.
m = (Mx − Mc )
mod (Mc − 1) + 1
(50)
Für m = 1 entfällt Schritt 2.
x −m+1
:
3. Für k = 1(1) MM
c −1
Zusammenfassen der Mc Knoten mit geringster Wahrscheinlichkeit.
1.6.9. Blockcodierung für diskrete gedächtnislose Quellen mit Codewörtern
variabler Länge
1.6.9.1. Tunstall-Codierung
1. Bestimme die maximale Zahl von Quellenwörtern
N
Mc − Mx
b
Mx − 1
(51)
2. Konstruiere einen Mx -wertigen Baum, wobei ausgehend von der Wahrscheinlichkeit 1 den Folgeknoten Wahrscheinlichkeiten zugeordnet werden. Jeder Folgeknoten
erhält die Wahrscheinlichkeit des Ausgangsknotens multipliziert mit der a-prioriWahrscheinlichkeit des dem Zweig zugeordneten Quellensymbols. Bei gedächtnisbehafteten Quellen ist mit den bedingten Wahrscheinlichkeiten zu multiplizieren.
12
1. Informationstheorie
1.6.9.2. Quellencodierungstheorem für Quellenwörter variabler Länge Es werden Wörter unterschiedlicher Länge lj aus Mx -wertigen Symbolen, die eine gedächtnislose Quelle mit der Entropie H(X) abgibt, McN ≥ Mx Codewörtern eines Blockcodes
der Länge N über einem Mc -wertigen Codesymbolalphabet zugeordnet.
Es gibt eine solche Codierung, bei der für das Verhältnis von Codewortlänge N zu
PMcN
lj · P (~cj ) gilt
mittlerer Quellenwortlänge ¯l = j=1
2
pmin · ld(Mx )
H(X)
N
H(X)
≤ ¯ <
+
ld(Mc )
ld(Mc ) (N · ld(Mc ) − ld(Mx )) · ld(Mc )
l
ld
(52)
mit pmin = mini P (X = xi ). Es gibt keine solche Codierung, daß
N
H(X)
¯l < ld(Mc )
(53)
1.6.9.3. Universelle Quellencodierung nach Lempel und Ziv
• Benötigt keine Kenntnis der Quellenstatistik.
• Ist selbstlernend.
• Ist für alle diskreten Quellen geeignet.
1. Initialisierung:
Eintragung der Mx unterschiedlichen Quellensymbole auf den Positionen 0 bis
Mx − 1 des Quellenwortbuches und Markierung der zugehörigen Knoten auf Tiefe
1 im Mx -wertigen Baum mit zugehöriger Quellenwortposition.
2. Lernphase:
a) Verfolgung der Quellensymbolfolge im Baum von der Wurzel bis zum bisher
bei größter Tiefe markierten Knoten.
b) Übertragung der Quellenwortnummer
für diesen Knoten mittels n Codesym
bolen und zusätzlich logMc (Mx ) Codesymbolen zur Spezifikation des nachfolgenden Quellensymbols, das sogenannte Abschlußsymbol.
c) Sende- und empfangsseitige Eintragung der Kombinationen aus bisherigem
Quellensymbolwort und Abschlußsymbol auf der nächsten freien Position im
Quellenwortbuch. Markierung des zugehörigen Knotens im Baum mit Positionsnummer.
d) Wiederholung der Lernschritte, bis alle Mc Positionen im Quellenwortbuch
besetzt sind.
3. Arbeitsphase:
Entspricht der Lernphase, jedoch ohne Neueintrag von Quellenwörtern ins Buch.
13
1. Informationstheorie
1.6.9.4. Runlength-Limited-Codierung für Binärsequenzen Repräsentation binärer Symbolsequenzen hX[k]i, k ∈ Z, X[k] ∈ {0; 1} wird umkehrbar eindeutig repräsentiert durch Symbolabstände ν ∈ N für das Symbol 1 (Runlength-Codierung).
1
Binärsymbole durch einen Symbolabstand repräsentiert.
Im Mittel werden P(X=1)
Bei Runlength-Limited-Codierung
werden Symbolabstände ν ≤ N direkt, Symbolab
stände ν > N durch ν−1
offene
Symbole
der Länge N und einen Symbolabstand (ν −1)
N
mod (N + 1) repräsentiert.
1.7. Blockcodierung für Quellenwörter mit fester Länge
1.7.1. Unvollständige Codierung
Nur für typische Sequenzen von Quellensymbolen werden Codewörter bereitgestellt. Tritt
ein untypisches Quellenwort auf, so wird ein Codierversagen angenommen.
1.7.2. ε-typische Sequenzen
Eine Symbolsequenz der Länge L einer D. M. S. heißt ε-typisch (ε ∈ [0; 1]), falls gilt
(1 − ε)P (X = xi ) ≤
ni
≤ P (X = xi ) (1 + ε)∀i ∈ {1; . . . ; Mx }
L
(54)
bzw.
n
i
(55)
− P (X = xi ) ≤ ε · P (X = xi ) ∀i ∈ {1; . . . ; Mx }
L
also falls sich die relativen Häufigkeiten nLi für alle Symbole um weniger als ε · P (X = xi )
von den Wahrscheinlichkeiten unterscheiden.
1.7.3. Satz über die Wahrscheinlichkeit ε-typischer Sequenzen
~ der Länge L, die von einer D. M. S. abgegeben wird
Falls eine Quellensymbolsequenz X
ε-typisch ist, gilt
~ ≤ 2−(1−ε)·L·H(X)
2−(1+ε)·L·H(X) ≤ P X
(56)
1.7.4. Codierversagen
~ nicht ε-typisch bezüglich
Ein Codierversagen ist das Ereignis Fi , daß die Sequenz X
Symbol xi ist, d. h.
n
i
P (Fi ) = P − P (X = xi ) > ε · P (X = xi )
(57)
L
1.7.5. Wahrscheinlichkeit eines Codeversagens
P (fail) < const. ·
P (F) < Mx ·
1
L
1
1
·
mit pmin = min (P (X = xi )) > 0
i
L · ε2 pmin
14
(58)
(59)
1. Informationstheorie
1.7.6. Zahl typischer Symbolsequenzen
Die Zahl ε-typischer Sequenzen der Länge L, die von einer Mx -wertigen D. M. S. mit
Entropie H(X) abgegeben werden, wird begrenzt durch
1
· 2(1−ε)·L·H(X) ≤ T ≤ 2(1+ε)·L·H(X)
(60)
1 − Mx ·
L · ε2 pmin
1.7.7. Quellencodierungstheorem für Quellen- und Codewörter mit festen
Wortlängen
Für eine zeitinvariante D. M. S. mit der Entropie H(X) gibt es eine Mc -wertige Blockcodierung mit der Wortlänge N dergestalt, daß je L Quellensymbole N Codiersymbolen
zugeordnet werden, wobei gilt
H(X)
ε1
N
<
+
(61)
L
ld(Mc )
L
mit ε1 > 0 und dabei die Wahrscheinlichkeit P (F), daß Codierversagen auftritt begrenzt
wird durch
ε2
P (F) ≤
(62)
L
mit ε2 > 0.
1.8. Übertragungskanäle
Derjenige Teil eines Informationsübertragungssytems, den der Entwerfer des Systems so
hinzunehmen hat, wie er ist.
1.8.1. Gedächtnisloser Kanal (D. M. C.)
Ein diskreter Kanal heißt gedächtnislos, wenn die bedingten Wahrscheinlichkeiten P (Yk |Xk )
für die Ausgangssymbole Yk bezüglich der Eingangssymbole Xk (Übergangswahrscheinlichkeiten) zum diskreten Zeitpunkt k nicht von Ein- und Ausgangssymbolen zu anderen
Zeitpunkten abhängen.
1.8.2. Zeitinvarianter Kanal
Ein diskreter Kanal ist zeitinvariant, falls gilt
P (Yk |Xk ) = P (Y |X) ∀k ∈ Z
(63)
Ein zeitinvarianter Kanal ist immer gedächtnislos.
1.8.3. Rückwirkungsfreier Kanal
Ein Kanal heißt rückwirkungsfrei genau dann, wenn seine Ausgangssymbole die am Kanal anliegende Informationsquelle nicht beeinflussen.
15
A. Mathematische Grundlagen
1.8.4. Signalstörleistungsverhältnis
E |A2i |
SNR =
σn2
(64)
1.8.5. Kanalkapazität
Der Maximalwert der Transinformations über optimiert über alle Größen, die der Entwickler beeinflussen kann wird als Kanalkapazität
bit
(65)
C = max I(X; Y )
Kanalbenutzung
bezeichnet.
Bei einem D. M. C. wir die Transinformation ausschließlich für statistisch unabhängige
Ereignisse maximiert. ⇒ D. M. S.
1.8.6. Symmetrische diskrete gedächtnislose Kanäle
1.8.6.1. Gleichmäßig streuende Kanäle Ein zeitinvarianter D. M. C. heißt gleichmäßig streuend, wenn für alle Eingangssymbole xi die Streuwahrscheinlichkeiten P (Y = yi |X = xi )
Permutationen einer Streuverteilung
~s = (s1 , . . . , sMy ) mit
My
X
sj = 1
(66)
j=1
darstellt.
Die Zeilenvektoren der Übergangsmatrix K gehen also durch Permutation auseinander
hervor.
1.8.6.2. Satz über die Streuentropie Beim gedächtnislosen gleichmäßig streuenden
Kanal gilt
My
X
H(Y |X) = −
sj ld(sj )
(67)
j=1
1.8.6.3. Kapazität
Für gleichmäßig streuende D. M. C. gilt
C = max H(Y ) +
P(X)
My
X
sj ld(sj )
(68)
j=1
A. Mathematische Grundlagen
A.1. Frequenz
A.1.1. Definition
f :=
T ist die Periode der Schwingung.
16
1
T
(69)
A. Mathematische Grundlagen
Tabelle 3: Teile von Einheiten
Bezeichnung
Präfix
Faktor
Faktor2
Faktor3
yotto
y
10−24
10−48
10−72
zepto
z
10−21
10−42
10−63
atto
a
10−18
10−36
10−54
femto
f
10−15
10−30
10−45
pico
p
10−12
10−24
10−36
nano
n
10−9
10−18
10−27
micro
µ
10−6
10−12
10−18
milli
m
10−3
10−6
10−12
centi
c
10−2
10−4
10−8
deci
d
10−1
10−2
10−4
17
A. Mathematische Grundlagen
Tabelle 4: Vielfache von Einheiten
Faktor
Faktor2
Faktor3
da
101
102
103
Hekto
h
102
104
106
Kilo
k
103
106
1012
Mega
M
106
1012
1018
Giga
G
109
1018
1027
Tera
T
1012
1024
1036
Peta
P
1015
1030
1045
Exa
E
1018
1036
1054
Zeta
Z
1021
1042
1063
Yotta
Y
1024
1048
1072
Bezeichnung
Präfix
Deka
18
A. Mathematische Grundlagen
A.1.2. Kreisfrequenz
ω := 2πf
(70)
ω
fa
(71)
z := ejΩ
(72)
A.1.3. Normierte Kreisfrequenz
Ω :=
fa ist die Abtastfrequenz.
A.1.4. Die z-Ebene
A.2. Lösungsformel für quadratische Gleichungen
ax2 + bx + c = 0
√

2

 −b ± b − 4ac
2a
p
⇒ x1,2 =
2

 −b ± j −(b − 4ac)
2a
(73)
falls b2 − 4ac ≥ 0
(74)
falls b2 − 4ac < 0
A.3. Geradengleichung
A.3.1. Gerade durch einen Punkt P (x0 , y0 ) mit Steigung m
y = m(x − x0 ) + y0
(75)
A.3.2. Gerade durch die Punkte P (x0 , y0 ) und A(x1 , y1 )
y = y0 +
y1 − y0
· (x − x0 ) mit x1 6= x0
x1 − x0
(76)
A.3.3. Parameterform
x = x0 + t cos α
(77)
y = y0 + t sin α
(78)
mit t ∈ ]−∞, ∞[.
A.3.4. Allgemeine Form der Geradengleichung
Ax + By + C = 0
19
(79)
A. Mathematische Grundlagen
cot
tan
sin
cos
Abbildung 1: Trigonometrische Funktionen
Tabelle 5: Trigonometrische Funktionen – Funktionswerte besonderer Winkel
0
π
6
π
4
π
3
π
2
π
3
2π
ϕ
0◦
30◦
45◦
60◦
90◦
180◦
270◦
I
II
III
IV
sin ϕ
0
1
2
1
0
−1
+
+
−
−
cos ϕ
1
1
2
0
−1
0
+
−
−
+
tan ϕ
0
1
3
nicht
definiert
0
nicht
definiert
+
−
+
−
cot ϕ
nicht
definiert
0
nicht
definiert
0
+
−
+
−
√
√
√
1
2
3
3
3
1
2
√
√
1
1
2
1
2
√
3
1
2
2
√
1
3
3
√
3
20
Quadrant
A. Mathematische Grundlagen
A.4. Additionstheoreme
1
sin α · sin β = (cos(α − β) − cos(α + β))
2
1
cos α · cos β = (cos(α − β) + cos(α + β))
2
1
sin α · cos β = (sin(α − β) + sin(α + β))
2
1
sin2 α = (1 − cos 2α)
2
1
2
cos α = (1 + cos 2α)
2
(80)
(81)
(82)
(83)
(84)
sin 2α = 2 sin α cos α = 1 − cos2 α
(85)
cos 2α = cos2 α − sin2 α = 1 − sin2 α
(86)
ejα − e−jα
2j
jα
e + e−jα
cos α =
2
sin α =
e
(87)
(88)
ejα = cos α + j sin α
(89)
−jα
(90)
= cos α − j sin α
A.5. Rechenregeln des Logarithmus
logb (u · v) = logb u + logb v
logb
logb uz = z · logb u
logb
u
√
n
v
u=
= logb u − logb v
(91)
1
· logb u
n
(92)
A.6. Differentiation
A.6.1. Regeln
A.6.1.1. Quotientenregel
u 0
v
=
u0 v − uv 0
v2
(93)
A.6.1.2. Kettenregel
(u(v(x)))0 = u0 (v(x)) · v 0 (x)
(94)
(u(x) · v(x))0 = u(x) · v 0 (x) + u0 (x) · v(x)
(95)
A.6.1.3. Produktregel
21
A. Mathematische Grundlagen
A.6.1.4. Logarithmische Differentiation
y = u(x)v(x) mit u(x) > 0
v(x) · u0 (x)
⇒ y 0 = u(x)v(x) v 0 (x) · ln u(x) +
u(x)
(96)
(97)
A.6.1.5. Differentiation eines parameterabhängigen Integrals
∂
∂x
b(x)
b(x)
Z
Z
∂
f (t, x) dt + f (b(x), x) · b0 (x) − f (a(x), x) · a0 (x)
f (t, x) dt =
∂x
a(x)
(98)
a(x)
A.6.1.6. l’Hospital’sche Regel
u0 (x)
u(x)
= lim 0
x→a v (x)
x→a v(x)
lim
(99)
A.6.2. Operatoren
A.6.2.1. Laplace-Operator ∆
∆f :=
n
X
∂2f
i=1
∂x2i
(100)
= Sp (Hessf (~x))
(101)
= ∇ · ∇f
(102)
A.6.2.2. Divergenz-Operator div
Definition
n
X
∂fi
divf :=
= Sp(J~v ) = ∇ · f
∂xi
(103)
∇ · (φ~v ) = (∇φ) · ~v + φ(∇~v )
(104)
i=1
Rechenregeln
∇ · (~v × w)
~ =w
~ · (∇ × ~v ) − ~v · (∇ × w)
~
(105)
A.6.2.3. Gradient-Operator ∇
Definition
gradf := ∇f = (fx1 , · · · , fxn )T
22
(106)
A. Mathematische Grundlagen
Rechenregeln
∇(A + B) = ∇A + ∇B
(107)
∇(A ◦ B) = ∇A ◦ B + ∇A ◦ B
(108)
Hierbei bedeutet „◦“ eines der Produkte „·“, „ד oder „⊗“ und „A“ bedeutet, daß ∇
nur auf A angewandt wird. Damit folgt:
∇(φψ) = φ(∇ψ) + (∇φ)ψ
(109)
∇(φ~v ) = ~v ⊗ (∇φ) + φ(∇~v )
(110)
∇(~v · w)
~ = (∇~v )T w
~ + (∇w)
~ T ~v
(111)
∇ · (φf ) = (∇φ) · f + φ∇ · f
(112)
A.6.2.4. Rotations-Operator
Definition




~ := 
rotV




∂v3
∂x2
−
∂v2
∂x3
∂v1
∂x3
−
∂v3
∂x1
∂v2
∂x1
−
∂v1
∂x2



~
=∇×V



(113)
Rechenregeln
∇ × (φ~v ) = (∇φ) × ~v + φ(∇ × ~v )
∂~v
∂w
~
∇ × (~v × w)
~ = (∇ · w)~
~ v+
− (∇ · ~v )w
~−
∂w
~
∂~v
Hierbei ist
∂~v
∂w
~
die Richtungsableitung von ~v in Richtung von w,
~ d. h.
(114)
(115)
∂
∂w
~
=w
~ · ∇.
A.6.2.5. Jacobi-Matrix (Funktionalmatrix)



~

∂
f
∇f~ =
= J f~ = 

∂~x



∂f1
∂x1
···
∂f1
∂xn
..
.
..
..
.
∂fm
∂x1
···
23
.
∂fm
∂xn



 = f~ ⊗ ∇



(116)
A. Mathematische Grundlagen
A.6.2.6. Hesse-Matrix



∂2φ 
=
Hessφ (~x) =

∂x2


∂2φ
∂x21
∂2φ
∂x1 ∂x2
∂2φ
∂x1 ∂x3
∂2φ
∂x2 x1
∂2φ
∂x22
∂2φ
∂x2 ∂x3
∂2φ
∂x3 x1
∂2φ
∂x3 x2
∂2φ
∂x23








= grad(gradφ) = ∇ ⊗ ∇φ
(117)
(118)
A.6.2.7. Zusammengesetzte Operationen
∇ · (∇ × ~v ) = 0
(119)
∇ × (∇φ) = 0
(120)
∇ × (∇ × ~v ) = ∇(∇ · ~v ) − ∆~v
(121)
A.7. Integrationsregeln
A.7.1. Partielle Integration
Z
Z
u(x)v 0 (x) dx = u(x)v(x) − u0 (x)v(x) dx
(122)
A.7.2. Substitutionsregel
x = u(t) bzw. t = v(x). u und v seien zueinander Umkehrfunktionen.
Z
Z
f (x) dx = f (u(t))u0 (t) dt bzw.
Z
Z
f (u(t))
f (x) dx =
dt
v 0 (u(t))
A.7.3. Logarithmische Integration
Z 0
f (x)
dx = ln |f (x)| + c
f (x)
Z
1
f 0 (x) · f (x) dx = · f 2 (x) + c
2
(123)
(124)
(125)
(126)
A.7.4. Integration der Umkehrfunktion
u und v seien zueinander Umkehrfunktionen. Dann ist
Z
u(x) dx = xu(x) − F (u(x)) + c1
mit
(127)
Z
F (x) =
v(x) dx + c2
24
(128)
A. Mathematische Grundlagen
Tabelle 6: Potenzen der imaginären Einheit
j(n
n
0
1
2
3
mod 4)
1
j
−1
−j
A.8. Komplexe Zahlen
z = a + jb
(129)
= ρ(cos ϕ + j sin ϕ)
(−π < ϕ ≤ +π ∧ k ∈ Z)
arg z = ϕ + 2kπ
(130)
(131)
a = ρ cos ϕ
(132)
b = ρ sin ϕ
p
ρ = a2 + b2
(133)

a

arccos ρ
(134)
für b ≥ 0 ∧ ρ > 0
a
ρ
− arccos
für b < 0 ∧ ρ > 0


unbestimmt für ρ = 0

b

für a > 0
arctan a


π


für a = 0 ∧ b > 0
+ 2
π
ϕ = −2
für a = 0 ∧ b < 0


b

arctan a + π für a < 0 ∧ b ≥ 0




arctan ab − π für a < 0 ∧ b < 0
(135)
z = ρ · ejϕ
(137)
ϕ=
e
e
a+jb
jϕ
= cos ϕ + j sin ϕ
a
a
= e · cos b + je · sin b
A.8.1. Komplexe Wurzel
p
√
ψ + 2πk
ψ + 2πk
n
n
z = |z| · cos
+ j sin
n
n
mit k = 0, . . . , n − 1 und ψ = arg(z).
25
(136)
(138)
(139)
(140)
A. Mathematische Grundlagen
Tabelle 7: Bekannte Reihen
Formel
∞
X
1
n
2
n=1
∞
X
3
Anmerkung
divergiert
qk
1
falls |q| < 1
1−q
qk
q k0 − q k1 +1
1−q
k=0
k1
X
k=k0
n
X
ln
(−1)n
∞
X
1
n2
n=1
∞
X
1
2
π
6
1
nα
konvergiert für α > 1
n
m · (m + 1)
2
n2
m · (m + 1) · (2n + 1)
6
n=1
m
X
n=1
m
X
n=1
A.9. Binomialkoeffizient
n!
n
n
=
=
n−k
k
k!(n − k)!
(141)
A.9.1. Reihen
Für konvergente Reihen gilt
∞
X
(αan + βbn ) = α
n=1
2
3
∞
X
n=1
Harmonische Reihe
Geometrische Reihe
26
an + β
∞
X
n=1
bn
(142)
Literatur
A.10. Abschätzung mittels Union-Bound
P (A ∪ B) = P (A) + P (B) − P (A ∩ B) ≤ P (A) + P (B)
(143)
A.11. Bessel-Funktion erster Art
A.11.1. Definition
1
Jν (η) =
2π
Zπ
ej(η sin x−νx) dx
(144)
−π
≈
x n+1
1
1 x n
·
−
·
falls x 1
n!
2
(n + 1)!
2
(145)
A.11.2. Eigenschaften
• n gerade ⇒ Jn (x) = Jn (−x) = J−n (x) = J−n (−x)
• n ungerade ⇒ Jn (x) = −Jn (−x) = −J−n (x) = J−n (x)
Literatur
[1] Furlan, Peter: Das Gelbe Rechenbuch 1. Lineare Algebra, Differentialrechnung für
Ingenieure, Naturwissenschaftler und Mathematiker. Dortmund : Verlag Martina
Furlan, 1995. – ISBN 3–9316–4500–2
[2] Huber, Johannes: Informationstheorie. Erlangen : Vorlesungsskript zur gleichnamigen Veranstaltung, 2006
[3] Huber, Johannes: Nachrichtenübertragung. Erlangen : Vorlesungsskript zur gleichnamigen Veranstaltung, 2006
[4] Kammeyer, Karl-Dirk: Nachrichtenübertragung. Stuttgart : Teubner, 2004. – ISBN
3–519–26142–1
[5] Konstantin Adolfowitsch Semendjajew, Ilja Nikolajewitsch B.: Taschenbuch
der Mathematik. Thun und Frankfurt am Main : Verlag Harri Deutsch, 2001. – ISBN
3–8171–2005–2
[6] Paul Mühlbauer, Friedrich B.: Mathematische Formeln und Definitionen. München : Bayerischer Schulbuchverlag, 1998. – ISBN 3–7627–3261–X
27
Index
Symbole
F
∆, 22
j, 25
∇, 22
femto, 17
Funktion
trigonometrische, 20, 21
Funktionalmatrix, 23
A
G
Ableitungsoperator
Nabla, 22
Divergenz, 22
Gradient, 22
Laplace, 22
Rotation, 23
zusammengesetzte Operationen, 24
Additionstheoreme, 21
atto, 17
Geradengleichung
allgemeine Form, 19
durch Punkt und Steigung, 19
durch zwei Punkte, 19
Parameterform, 19
Giga, 18
Gradiend, 22
H
B
Bessel-Funktion, 27
Binomialkoeffizient
Hekto, 18
n
k
I
, 26
Integration
logarithmische, 24
partielle, 24
Substitutionsregel, 24
Umkehrfunktion, 24
C
centi, 17
cos-, 21
D
J
deci, 17
Deka, 18
Differentialoperator, siehe Ableitungsoperator
Differentiation, 21
Kettenregel, 21
logarithmische, 22
parameterabhängiges Integral, 22
Produktregel, 21
Quotientenregel, 21
Divergenz, 22
Jakobimatrix, 23
K
Kettenregel, 21
Kilo, 18
Komplexe Zahlen, 25
L
Laplace-Operator, 22
l’Hospitalsche Regel, 22
Logarithmus
Rechenregeln, 21
E
Exa, 18
28
Index
M
Y
Matrix
Funktional, 23
Hesse, 24
Jakobi, 23
Mega, 18
micro, 17
milli, 17
Yotta, 18
yotto, 17
Z
Zahl
komplexe, 25
Wurzel, 25
zepto, 17
Zeta, 18
N
nano, 17
P
Peta, 18
pico, 17
Produktregel, 21
Q
Quadratische Gleichung, 19
Quotientenregel, 21
R
Reihe
geometrische, 26
harmonische, 26
Reihen, 26
Rotation rot, 23
S
sin-, 21
T
Tera, 18
U
Union-Bound, 27
W
Wurzel
komplexe, 25
29