7.¨Ubung zur Statistischen Mechanik (WS 2015/16)

Prof. Michael Lässig
Dr. Fernanda Pinheiro
Dr. Simone Pompei
Universität zu Köln
Institut für theoretische Physik
7. Übung zur Statistischen Mechanik (WS 2015/16)
Aufgabe 12: Shannon-Entropie
Die Shannon-Entropie S(P ) einer Wahrscheinlichkeitsverteilung P ist durch drei Axiome gegeben:
1. S(p1 , . . . , pn ) hängt stetig von den pi ab.
2. Die Entropie einer Gleichverteilung, An ≡ S(p1 =
wachsende Funktion von n.
1
, . . . , pn
n
=
1
)
n
ist eine monoton
3. Für jede Klasseneinteilung Ω = {x1 , . . . , xn } der Ergebnismenge in Untermengen Ωα (α =
1, . . . ,P
m), m ≤ n, mit der zugehörigen Vergröberung der Wahrscheinlichkeitsverteilung,
qα = xi ∈Ωα pi , gilt die Kompositionsregel
S(p1 , . . . , pn ) = S(q1 , . . . , qm ) +
m
X
qα S({pi /qα |xi ∈ Ωα }).
α=1
(a) (5 Punkte) Zeigen Sie zunächst, dass die Entropie einer Gleichverteilung bis auf einen
Maßstabsfaktor eindeutig bestimmt ist, An = K log n mit K > 0.
Hinweis: Wenden Sie die Kompositionsregel auf eine Gleichverteilung von n = m × k
Ereignissen an.
(b) (5 Punkte) Zeigen Sie
P nunmehr, dass die Entropie einer beliebigen Verteilung die Form
S(p1 , . . . , pn ) = −K ni=1 pi log pi hat.
Hinweis: Nehmen sie an, dass die Wahrscheinlichkeiten rationale Zahlen (d.h. Quotienten
ganzer Zahlen) sind, pi = Ni /N . Benutzen Sie wieder die Kompositionsregel und das
Ergebnis aus (a).
10 Punkte
1
Aufgabe 13: Kulback-Leibler-Divergenz
Die Kulback-Leibler-Divergenz, oder relative Entropie, D ist ein Maß für den Abstand zweier
Verteilungen P und Q der (vektorwertigen) Variablen x. D ist definiert als:
Z
P (x)
.
(1)
D(P |Q) = dx P (x) ln
Q(x)
(a) (3 Punkte) Zeigen Sie dass D(P |Q) ≥ 0, und D(P |Q) = 0 dann und nur dann, wenn
P = Q.
(b) (3 Punkte) Wir nehmen an, dass x die Dimension 1 besitz, d.h. x = x. Zeigen Sie, dass
D(P |Q) unter einem Variablenwechsel x → x̃ invariant bleibt.
(c) (2 Punkte) Wir nehmen nun an, dass x Dimension 2 hat, d.h. x = (x, y). Zeigen Sie, dass,
wenn die Wahrscheinlichkeitsverteilungen faktorisieren
P (x, y) = P1 (x)P2 (y) and Q(x, y) = Q1 (x)Q2 (y),
(2)
D(P |Q) = D(P1 |Q1 ) + D(P2 |Q2 ).
(3)
dann gilt:
(d) (2 Punkte) Wie kann D dazu benutzt werden, die Stärke der Korrelation zwischen zwei Zufallsvariablen x und y, welche der Wahrscheinlichkeitsverteilung P (x, y) folgen, zu messen?
10 Punkte
Abgabetermin: Freitag, 4.12.2015, 10:00 im Kasten beim Prüfungsamt.
Informationen zur Vorlesung: www.thp.uni-koeln.de/~pompei
2