Entropie der Binomialverteilungen

Aufgaben zu Komplexität von Algorithmen (SS 09)
Aufgabe 23: Entropie der Binomialverteilungen
X und Y seien Zufallsvariable, die auf dem gleichen Wahrscheinlichkeitsraum (Ω, P )
definiert sind und nur endlich-viele Werte annehmen beispielsweise X die Werte {1, 2, . . . , m}
und Y die Werte {1, 2, . . . , n}. Dann sind die die zugehörigen Wahrscheinlichkeiten wie
üblich definiert:
(1 ≤ i ≤ m, 1 ≤ j ≤ n),
pi,j = P [X = i, Y = j]
als die der “gemeinsamen Verteilung” von X und Y , sowie
ri =
cj =
n
X
j=1
m
X
pi,j = P [X = i] (1 ≤ i ≤ m)
(Verteilung von X)
pi,j = P [Y = j] (1 ≤ j ≤ n)
(Verteilung von Y )
i=1
d.h. die ri bzw. cj sind die Zeilensummen bzw. Spaltensummen der Matrix [pi,j ] 1≤i≤m .
1≤j≤n
Die Zufallsvariablen X und Y sind unabhängig, falls pi,j = ri · cj für alle 1 ≤ i ≤ m
und 1 ≤ j ≤ n gilt.
1. Zeigen Sie, dass im Falle der Unabhängigkeit von X und Y die Gleichung
H(X, Y ) = H(X) + H(Y )
für die beteiligten Entropien gilt. Dabei ist die Entropie von Zufallsvariablen nichts
anderes als die Entropie ihrer Verteilung.
2. Es bezeichne Bn die Menge der Bitstrings der Länge n. Für p mit 0 ≤ p ≤ 1
bezeichne βp die Wahrscheinlichkeitsverteilung mit βp (1) = p, βp (0) = 1 − p auf
(n)
B. Für n ≥ 1 ist dann βp die Binomialverteilung zum Parameter p auf Bn , d.h.
jeder Bitstring w = w1 w2 . . . wn ∈ Bn erhält die Wahrscheinlichkeit
βp(n) (w1 w2 . . . wn ) = βp (w1 ) · βp (w2 ) · · · βp (wn ) = pkwk (1 − p)n−kwk
wobei kwk = ]1 (w) das Hamming-Gewicht von w bezeichnet. Das zeigt, dass
die Zufallsvariablen X1 , X2 , . . . , Xn mit Xj : Bn → B : w = w1 w2 . . . wn 7→ wj
unabhängig und haben jeweils βp als Verteilung haben.
(n)
(n)
Betrachten Sie nun die Quellen Qp = Bn , βp .
(n)
a) Wie drückt sich die Entropie Hp
tion H(x, 1 − x) aus?
(n)
der Quelle Qp
mittels der Entropiefunk-
(3)
b) Berechnen Sie für die Quelle Q1/8 deren Entropie, sowie einen optimalen
binären Präfixcode und bestimmen Sie dessen mittlere (erwartete) Wortlänge.
(Hinweis: verwenden Sie bei der Berechnung der Entropie den numerischen
Wert log2 7 = 2.80735 . . .; bei der Berechnung des Codes ist es bequemer,
mit Häufigkeiten statt mit Wahrscheinlichkeiten zu rechnen.)
(n)
c) Sei µp die mittlere (erwartete) Wortlänge eines optimalen Präfixcodes für
(n)
die Quelle Qp . Zeigen Sie:
(n)
µp
lim
= H(p, 1 − p).
n→∞ n
27. Juni 2009