Informations- und Kodierungstheorie ¨Ubungsserie 1

TU Ilmenau
Institut für Mathematik
Prof. Dr. M. Stiebitz
Sommersemester 2016
Informations- und Kodierungstheorie
Übungsserie 1
Aufgabe 1
Es sei A eine Alphabet mit r ≥ 2 Buchstaben.
(a) Man gebe die Mächtigkeit der Menge An (also aller Wörte der Länge n über A) an.
(b) Es sei Sk (a) die Menge aller Wörter aus An , welche sich von dem Wort a =
a1 a2 · · · an ∈ An an genau k Stellen (Buchstaben) unterscheiden, wobe k eine natürliche Zahl ist mit 0 ≤ k ≤ n. Man bestimme |Sk (a)|.
(c) Es sei Bt (a) die Menge aller Wörter aus An , welche sich von dem Wort a =
a1 a2 · · · an ∈ An an höchstens t Stellen (Buchstaben) unterscheiden. wobei t eine
natürliche Zahl ist mit 0 ≤ t ≤ n. Man bestimme |Bt (a)|.
Aufgabe 2 (Entropie)
Für eine Wahrscheinlichkeitsverteilung (p1 , . . . , pn ) und eine ganze Zahl r ≥ 2, sei
Hr (p1 , . . . , pn ) = −
n
∑
pi logr pi =
i=1
n
∑
i=1
pi logr
1
pi
die Entropiefunktion zur Basis r. Man beachte die Konvention, dass 0 logb 0 = 0 gesetzt
wird. Man zeige folgende Aussagen:
(a) Für alle rellen Zahlen x > 0 gilt: ln x ≤ x − 1, wobei die Gleicheheit nur für x = 1
gilt.
(b) Sind (p1 , . . . , pn ) und (q1 , . . . , qn ) zwei Wahrscheinlichkeitsverteilungen mit q1 , . . . , qn >
0, so gilt:
n
n
∑
∑
1
1
pi ln ≤
pi ln ,
pi
qi
i=1
i=1
wobei die Gleichheit nur gilt, wenn pi = qi für alle i = 1, . . . , n ist
(c) Für jede Wahrscheinlichkeitsverteilung (p1 , . . . , pn ) gilt Hr (p1 , . . . , pn ) ≤ logr n, wobei die Gleihheit nur für die Gleichverteilung gilt, also nur für pi = n1 (i = 1, . . . , n):
(d) Man gebe den kleinsten Wert an, den die Entropiefunktion Hr (p1 , . . . , pn ) annehmen
kann.
Aufgabe 3
Wie groß kann die (binäre) Entropie der deutschen Sprache sein, also eine Quelle Q =
(X, p) mit |X| = 26?
1
Aufgabe 4 (Produktquelle)
Man beweise folgende Aussage: Sind Q1 = (X1 , p1 ) und Q2 = (X2 , p2 ) zwei Quellen und
ist Q = (X, p) die Produktquelle, d.h., X = X1 × X2 und p(x, y) = p1 (x)p2 (y), so gilt für
alle r ≥ 2:
Hr (Q) = Hr (Q1 ) + Hr (Q2 ).
Aufgabe 5
Gibt es einen Präﬁx-Code über A = {0, 1} mit sechs Codewörtern der Längen
(a) 1,3,3,3,3,3
(b) 2,3,3,3,3,3
Wenn ja, gebe man einen solchen Code an.
Aufgabe 6
Zur Codierung des lateinischen Alphabets X = {a, b, ..., x, y, z} soll ein Präﬁx-Code C
über einem Alphabet A mit r Buchstaben verwendet werden, wobei alle Codewörter aus
C dieselbe Länge ℓ haben sollen.
(a) Geht dies mit r = 2 und ℓ = 4?
(b) In Abhängigkeit von r bestimme man das kleinste ℓ = ℓ(r), für welches ein solcher
Präﬁx-Code C existiert. Geben Sie ℓ(2) bzw. ℓ(3) an.
Aufgabe 7
Für jedes n ∈ N konstruiere man einen Präﬁx-Code über {0, 1} mit n Codewörtern der
Längen 1, 2, . . . . , n. Zeigen Sie, dass genau eine Ziﬀer in jedem solchen Code überﬂüssig ist.
2