2. Übung

Oliver Pfante
Abgabe: Dienstag 08.11.2016
Vorlesung “Informationstheorie”
2. Übung
Aufgabe 1.
1. Wie ist die Wahrscheinlichkeitsdichte einer auf dem Intervall [a, b] uniform verteilten Zufallsvariable X definiert.
2. Seien X1 , X2 , . . . , Xn paarweise unabhängige und auf dem Einheitsintervall [0, 1] uniform vereteilte Zufallsvariablen. Berechnen Sie den Erwartungswert des Maximums und der Differenz zwischen Maximum
und Minimum dieser Variablen.
(1 + 3 Punkte)
Seien X1 , X2 , . . . , Xn paarweise unabhängig verteilte, binäre
Aufgabe 2.
Zufallsvariablen. Es sei X = (X1 , . . . , Xn ), x = (x1 , x2 , . . . , xn ) und X ∼
pθ (x) mit
n
Y
pθ (x) =
qθ (xi ) ,
i=1
wobei
qθ (xi ) =
θ
falls xi = 1
1−θ
sonst .
Der Prior für den Parameter θ sei die uniforme Verteilung π(θ) auf dem
Intervall [0, 1].
1. Sie beobachten eine binäre Sequenz x1 ∈ {0, 1}n mit k1 Einsen. Berechnen Sie den Posterior π(θ|x1 ).
2. Sie beobachten eine zweite binäre Sequenz x2 ∈ {0, 1}n mit k2 Einsen.
Berechnen Sie den aktualisierten Posterior π(θ|x2 , x1 ).
(3 + 1 Punkte)
Aufgabe 3.
1. Bei einem Spieleabend einigen Sie sich auf eine Runde Russisches Roulette mit Ihren Freunden – winner takes all! Die Trommel
des Revolvers hat 6 Lager und in zwei nebeneinander befindlichen Kammern befinden sich zwei Patronen. Ihre Vorgängerin hat abgedrückt
und überlebt. Sie reicht den Revolver an Sie weiter. Sie halten ihn
an Ihre Schläfe and versuchen sich, bevor sie abdrücken, eine Frage zu
beantworten: “Drehe ich vorher die Trommel, oder nicht?”.
2. Dank der Informationstheorievorlesung, die Sie immer besuchten (auch
Donnerstags) und alle Aufgaben lösten, überlebten Sie den Abend.
Dieser und ihre Studientage liegen lange zurück. Auf einem Alumnitreffen langweilt Sie ein ehemaliger Kommilitone mit Geschichten
1
Oliver Pfante
Abgabe: Dienstag 08.11.2016
Vorlesung “Informationstheorie”
2. Übung
aus seinem Familienleben. Er hat zwei Kinder. Wie hoch ist die
Wahrscheinlichkeit, dass er zwei Töchter hat. Wie hoch ist diese, wenn
Sie wissen, dass das älteste Kind ein Mädchen ist. Wie hoch ist diese,
wenn Sie wissen, dass diese Josefine heißt?
3. Nach diesem Alumnitreffen sind Sie zu der Überzeugung gelangt, dass
es auch für Sie an der Zeit sei, den/die Richtigen/Richtige zu finden
und eine Familie zu gründen. Sie haben jemanden interessanten kennengelernt und sich mit ihm/ihr zwischen 21 und 22 Uhr verabredet.
Jeder von Ihnen taucht zufällig innerhalb dieser einen Stunde am verabredeten Ort auf, und wartet eine Viertelstunde. Wie hoch ist die
Wahrscheinlichkeit, dass Sie die Liebe Ihres Lebens treffen?
(2 + 2 + 2 Punkte)
Aufgabe 4. Beweisen Sie Jesens Ungleichung für diskrete Zufallsvariablen.
(4 Punkte)
Aufgabe 5. Finden sie die Wahrscheinlichkeitsdichte p einer diskreten Zufallsvariable X : Ω → N, so dass die Entropie H(X) unter der Bedingung
E [X] =
∞
X
np(n) = A
n=0
für ein gegebenes A > 0 maximiert wird. Evaluieren Sie das Maximum H(X).
(4 Punkte)
2