Lernalgorithmen für die Sprachverarbeitung

Lernalgorithmen für die Sprachverarbeitung
4. Übungsblatt (10. November 2011)
http://www.orchid.inf.tu-dresden.de/
Übung 20 Beweisen Sie die wichtige Eigenschaft auf Folie 18 der 5. Vorlesung: wenn eine Hypothese h0 ∈ H die relativen Wahrscheinlichkeiten des Korpus K = x1 , . . . , xn repräsentiert,
also
g(x | h0 ) =
#(K, x)
,
n
(für jedes x ∈ X)
dann h0 = argmaxh∈H L(K | h). Gehen Sie dabei wie folgt vor.
(a) Überzeugen Sie sich davon, dass für jede nichtnegative reelle Zahl r gilt, dass ln r ≤ r − 1.
(b) Zeigen Sie unter Nutzung der Ungleichung in Aufgabenteil (a), dass für jede Hypothese
h ∈ H gilt:
Xn g(xi | h)
L(K | h)
ln
≤
−1
i=1 g(xi | h0 )
L(K | h0 )
(c) Zeigen Sie, dass für jede Hypothese h ∈ H gilt, dass
n
X
g(xi | h)
≤1.
#(K, xi )
i=1
(d) Vervollständigen Sie den Beweis unter Nutzung der Eigenschaften aus den Aufgabenteilen (b) und (c).
Übung 21 Jemand gibt Ihnen eine Münze, deren Wahrscheinlichkeiten Ihnen unbekannt sind.
Sie werfen die Münze 10 Mal und erhalten 8 Mal Kopf und 2 Mal Zahl. Der Maximum Likelihood
Estimator ergibt P (Kopf) = 0.8. Ist diese Schätzung realistisch?
Wäre die Schätzung realistischer, wenn Sie die Münze 100 Mal werfen und davon 80 Mal Kopf
erhalten?
Übung 22
(a) Sie haben einen Würfel, dessen Wahrscheinlichkeiten sie nicht kennen. Diese möchten Sie
per MLE schätzen und werfen dazu den Würfel 100 Mal.
Formulieren Sie dieses MLE-Problem formal: geben Sie die Menge der Beobachtungen bzw.
Hypothesen sowie die bedingte Wahrscheinlichkeitsfunktion an. Handelt es sich um ein unbeschränktes MLE-Problem? Geben Sie den Maximum Likelihood Estimator zu einem beliebigen
Korpus an.
1
(b) Sie haben zwei unabhängige Münzen, deren Wahrscheinlichkeiten sie nicht kennen. Diese
möchten Sie per MLE schätzen und werfen dazu die beiden Münzen gleichzeitig 100 Mal. Der
entstehende Korpus besteht also aus einer Sequenz von 100 Paaren der Form (Kopf, Zahl) oder
(Zahl, Zahl). Formulieren Sie dieses MLE-Problem formal. Ist es unbeschränkt?
Übung 23
(a) Gegeben sind drei MLE-Probleme: jeweils über der Beobachtungsmenge Si , der Hypothesenmenge Hi , der bedingten Wahrscheinlichkeitsfunktion gi und einem Korpus Ki (für i = 1, 2, 3).
Jeder der Korpora habe die Länge n. Weiterhin gelte, dass S3 = S1 × S2 , H3 = H1 × H2 und für
jedes z1 ∈ S1 , z2 ∈ S2 , h1 ∈ H1 und h2 ∈ H2 sei:
g3 ((z1 , z2 ) | (h1 , h2 )) = g1 (z1 | h1 ) · g2 (z2 | h2 ) .
X
#(K1 , z1 ) =
#(K3 , (z1 , z2 )) ,
z ∈S
X2 2
#(K2 , z2 ) =
#(K3 , (z1 , z2 )) .
z1 ∈S1
Zeigen Sie, dass L K3 | (h1 , h2 ) = L(K1 | h1 ) · L(K2 | h2 ) für jedes h1 ∈ H1 und h2 ∈ H2 .
Zeigen Sie darauf aufbauend, dass ĥ3 = (ĥ1 , ĥ2 ), wobei ĥi das Maximum Likelihood Estimate
des i-ten MLE-Problems ist.
(b) Bestimmen Sie die allgemeine Lösung für das im Aufgabenteil (b) der vorherigen Aufgabe
formulierte MLE-Problem. Nutzen Sie dazu Aufgabenteil (a) aus dieser Aufgabe.
(c) Übertragen Sie die Lösung auf ein ähnliches Problem, bei dem nicht zwei Münzen, sondern
zwei Würfel geworfen werden.
Übung 24 Eine Zufallsvariable Y sei logisch abhängig von einer anderen Zufallsvariable X via
einer Funktion e. Sind X und Y dann auch (stochastisch) abhängig?
Übung 25 Gegeben seien zwei unabhängige Zufallsvariablen X und Y jeweils über der Menge
{1, . . . , 6}. Die Wahrscheinlichkeitsfunktionen von X und Y seien g(. . . | a) bzw. g(. . . | b) von
Folie 19 der 5. Vorlesung. Bestimmen Sie die Wahrscheinlichkeitsfunktion von X + Y ; dabei steht
X + Y für die Zufallsvariable e(X, Y ) wenn e die Addition ist.
Übung 26
(a) Bestimmen Sie die auf Folie 31 der 5. Vorlesung dargestellte Wahrscheinlichkeitsfunktion
der Zufallsvariablen e(X1 , X2 , . . .) analytisch. Gehen Sie davon aus, dass die Münze eine Wahrscheinlichkeit von p ∈ [0, 1] für Kopf hat.
(b) Bestimmen Sie die auf Folie 30 der 5. Vorlesung dargestellt Wahrscheinlichkeitsfunktion
der Zufallsvariablen e(X1 , . . . , X20 ) analytisch.
Bestimmen Sie die allgemeinen Form der Wahrscheinlichkeitsfunktion dafür, dass die Münze
n Mal geworfen wird und die Wahrscheinlichkeit für Kopf p ∈ [0, 1] ist. Diese Wahrscheinlichkeitsfunktion nennt man Binomialverteilung mit den Parametern n und p.
2