Fragebogen 7 - GMMs - Digital Signal Processing and System Theory

Teil 7. Gauß’sche Mischmodelle
Fragen A
A1. Definitionen
Wie ist Σ auf Seite 5 definiert?
Wie ist µ auf S. 5 definiert? Wie kann man µ mit Schätzwerten initialisieren?
A2. Kovarianzmatrix I
Schätzen Sie aus dem Graph auf Seite 6 gk und µk ab.
Welche Σk sind diagonal, welche nicht?
A3. EM-Algorithmus I
Welche Probleme treten beim EM-Algorithmus auf, wenn nur wenige Merkmalsvektoren
einer Klasse zugeordnet werden?
Wie können diese Probleme vermieden werden?
A4. EM-Algorithmus II
Was ist die Bedeutung der Variablen γ(zk(n))?
Warum wird ein GMM auch als multivariates Dichtemodell bezeichnet?
Digitale
Signalverarbeitung
und System
Systemtheorie|
und Audiosignalverarbeitung
Erkennung und Audioeffekte
Digital Signal
Processing and
Theory Sprach| First Name
Family Name| Title of–Presentation
Seite 1
Teil 7. Gauß’sche Mischmodelle
Antworten A
A1. Definitionen
Σ ist definiert durch die Kovarianzen Σi,j = cov(xi,xj).
µ ist definiert über den Mittelwert bzw. den Mittelpunkt der Gaußglocke.
µ kann z.B. mittels eines Codebuches initialisiert werden.
A2. Kovarianzmatrix I
Die Mittelwerte µk entsprechen den Koordinaten der Maxima der Gaußglocken,
die Gewichte gk entsprechen den Volumenverhältnissen der Gaußglocken.
Alle Σk sind diagonal, bis auf das der Gaußglocke bei µk = (-0,5; -0,5).
A3. EM-Algorithmus I
Es entsteht ein beliebig hoher und schmaler Peak (siehe Seiten 13, 14).
Vermeiden durch Festlegen einer unteren Grenze für die Varianz.
A4. EM-Algorithmus II
γ(zk(n)) stellt die “gewichtete” Zugehörigkeit eines Merkmalsvektors zur k-ten
Gaußverteilung dar.
Die Wahrscheinlichkeitsverteilung einer mehrdimensionalen Zufallsvariable nennt man
mehrdimensionale oder auch multivariate Verteilung.
Digitale
Signalverarbeitung
und System
Systemtheorie|
und Audiosignalverarbeitung
Erkennung und Audioeffekte
Digital Signal
Processing and
Theory Sprach| First Name
Family Name| Title of–Presentation
Seite 2
Teil 7. Gauß’sche Mischmodelle
Fragen B
B1. EM-Algorithmus III
Begründen Sie die Äquivalenz der beiden Gleichungen für p(X|g,µ,Σ) auf Seite 9.
Über was wird dabei “außen” summiert/multipliziert, über was “innen”?
Was bewirkt der Nenner in den beiden Gleichungen auf Seite 10?
B2. Kovarianzmatrix II
Welche Dimension hat (x(n)-µkneu), welche ihre Transposition (Gl. Seite 11 oben)?
Lässt sich ein anschaulicher Zusammenhang zur Varianz herstellen?
B3. Latente Zufallsvariablen
Was ist eine latente Zufallsvariable?
Zu welchem Zweck wird sie hier eingeführt?
B4. EM-Algorithmus IV
Wie kann ein GMM initialisiert werden?
Digitale
Signalverarbeitung
und System
Systemtheorie|
und Audiosignalverarbeitung
Erkennung und Audioeffekte
Digital Signal
Processing and
Theory Sprach| First Name
Family Name| Title of–Presentation
Seite 3
Teil 7. Gauß’sche Mischmodelle
Antworten B
B1. EM-Algorithmus III
Das Produktzeichen kann aus dem Logarithmus „herausgenommen“ werden und wird
dadurch zur Summation; Da log monoton steigend ist, wird das argmax nicht verändert.
“Innen”, k: Anzahl der Gaußglocken; “außen”, n: (Zeit-) Index der Merkmalsvektoren
Der Nenner bewirkt hier eine Normierung der Wahrscheinlichkeiten.
B2. Kovarianzmatrix II
(Dx1) bzw. (1xD). Das Ergebnis der Multiplikation hat Dimension (DxD), entsprechend der
Dimension der Kovarianzmatrix.
Die Kovarianzmatrix der Dimension D=1 entspricht der (bekannten) Varianz.
B3. Latente Zufallsvariablen
Eine latente Zufallsvariable ist eine “verborgene” Zufallsvariable, die Einfluss auf die
eigentliche Zufallsvariable nimmt und nicht direkt gemessen werden kann.
Die “latente” Zufallsvariable ist die Zugehörigkeit zu einer bestimmten Gaußglocke, die
nicht direkt gemessen werden kann.
B4. EM-Algorithmus IV
Siehe Seite 29.
Digitale
Signalverarbeitung
und System
Systemtheorie|
und Audiosignalverarbeitung
Erkennung und Audioeffekte
Digital Signal
Processing and
Theory Sprach| First Name
Family Name| Title of–Presentation
Seite 4