5. Probabilistische Retrievalmodelle

5. Probabilistische Retrievalmodelle
1
5. Probabilistische Retrievalmodelle
Norbert Fuhr
Notationen
5. Probabilistische Retrievalmodelle
Notationen
3
Notationen
Q
αQ
Q
βQ
QD
ρ
rel.
R
IR
judg.
D
αD
q ∈ Q Anfrage/Info-bed.
D
βD
dm ∈ D Dokument
d ∈ D Dokumentrepräs.
q ∈ Q Anfragerepräs.
qD
∈
QD
Anfragebeschr.
R Relevanzskala
DD
D
dm
∈ D D Dokumentbeschr.
% Retrievalfunktion
IR Retrievalwert
Binary-Independence-Retrieval-Modell
Retrievalfunktionen für binäre Indexierung
Probabilistische Grundlagen des BIR-Modells
Anwendung des BIR-Modells
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Retrievalfunktionen für binäre Indexierung
5
Retrievalfunktionen für binäre Indexierung
repräsentiere Anfragen und Dokumente als Mengen von Termen
T = {t1 , . . . , tn } Menge der Terme in einer Kollektion
q ∈ Q:
Anfragerepräsentation
q T : Menge von
Fragetermen
Dokumentrepräsentation
T : Menge von
dm
Dokumenttermen
dm ∈ D:
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Retrievalfunktionen für binäre Indexierung
5
Retrievalfunktionen für binäre Indexierung
repräsentiere Anfragen und Dokumente als Mengen von Termen
T = {t1 , . . . , tn } Menge der Terme in einer Kollektion
q ∈ Q:
Anfragerepräsentation
dm ∈ D:
q T : Menge von
Fragetermen
T : Menge von
dm
Dokumentrepräsentation
Dokumenttermen
einfache Retrievalfunktion: Coordination level match
T
%COORD (q, dm ) = |q T ∩ dm
|
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Retrievalfunktionen für binäre Indexierung
5
Retrievalfunktionen für binäre Indexierung
repräsentiere Anfragen und Dokumente als Mengen von Termen
T = {t1 , . . . , tn } Menge der Terme in einer Kollektion
q ∈ Q:
Anfragerepräsentation
q T : Menge von
Fragetermen
dm ∈ D:
T : Menge von
dm
Dokumentrepräsentation
Dokumenttermen
einfache Retrievalfunktion: Coordination level match
T
%COORD (q, dm ) = |q T ∩ dm
|
Binary-Independence-Retrieval-Modell (BIR):
weise Fragetermen Gewichte zu
X
%BIR (q, dm ) =
ci
T
ti ∈q T ∩dm
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
Probabilistische Grundlagen des BIR-Modells
Grundlegende mathematische Techniken zur Herleitung der
probabilistischen Retrievalmodelle:
1
Benutzung von Chancen statt Wahrscheinlichkeiten, wobei
O(y ) =
P(y )
P(y )
=
.
P(ȳ )
1 − P(y )
6
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
Probabilistische Grundlagen des BIR-Modells
Grundlegende mathematische Techniken zur Herleitung der
probabilistischen Retrievalmodelle:
1
Benutzung von Chancen statt Wahrscheinlichkeiten, wobei
O(y ) =
2
P(y )
P(y )
=
.
P(ȳ )
1 − P(y )
Anwendung des Bayes’schen Theorems:
P(a|b) =
P(a, b)
P(b|a) · P(a)
=
,
P(b)
P(b)
6
Szene aus „The Big Bang Theory“ S04E02
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
Herleitung des BIR-Modells
T)
Abschätzung von O(R|dm
T
= Chance, dass ein Dokument mit einer Menge von Termen dm
relevant zur Anfrage q ist
8
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
8
Herleitung des BIR-Modells
T)
Abschätzung von O(R|dm
T
= Chance, dass ein Dokument mit einer Menge von Termen dm
relevant zur Anfrage q ist
Repräsentation des Dokumentes dm als binären Vektor
~x = (x1 , . . . , xn )
mit
xi =
T
1, falls ti ∈ dm
0, sonst
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
8
Herleitung des BIR-Modells
T)
Abschätzung von O(R|dm
T
= Chance, dass ein Dokument mit einer Menge von Termen dm
relevant zur Anfrage q ist
Repräsentation des Dokumentes dm als binären Vektor
~x = (x1 , . . . , xn )
mit
T
O(R|dm
) = O(R|~x ) =
xi =
P(R|~x )
P(R̄|~x )
T
1, falls ti ∈ dm
0, sonst
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
9
Anwenden des Bayes’schen Theorems
O(R|~x ) =
P(R|~x )
P(R̄|~x )
=
P(R) P(~x |R) P(~x )
·
·
P(R̄) P(~x |R̄) P(~x )
P(R) W., dass ein arbiträres Dokument relevant ist zur
Anfrage
P(~x |R) W., dass ein arbiträres, relevantes Dokument den
Termvektor ~x besitzt
P(~x |R̄) W., dass ein arbiträres, nicht-relevantes Dokument
den Termvektor ~x besitzt
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
10
Beispiel
dm
d1
d2
d3
d4
d5
d6
d7
d8
d9
d10
d11
r (dm )
R
R
R
R
N
R
R
R
R
N
N
P(R) =
x1
1
1
1
1
1
1
1
1
1
1
1
12
20
x2
1
1
1
1
1
0
0
0
0
0
0
P(R|~x )
0.80
0.67
P(1, 1|R) =
dm
d12
d13
d14
d15
d16
d17
d18
d19
d20
4
12
r (dm )
R
R
R
N
N
N
R
N
N
x1
0
0
0
0
0
0
0
0
0
P(1, 1|R̄) =
x2
1
1
1
1
1
1
0
0
0
1
8
P(R|~x )
0.50
0.33
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
Annahme der “Linked dependence”:
P(~x |R)
P(~x |R̄)
≈
n
Y
P(xi |R)
i=1
P(xi |R̄)
11
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
11
Annahme der “Linked dependence”:
P(~x |R)
P(~x |R̄)
≈
O(R|~x ) =
n
Y
P(xi |R)
i=1
P(xi |R̄)
P(R) P(~x |R)
·
P(R̄) P(~x |R̄)
≈ O(R)
n
Y
P(xi |R)
i=1
P(xi |R̄)
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
11
Annahme der “Linked dependence”:
P(~x |R)
P(~x |R̄)
≈
O(R|~x ) =
n
Y
P(xi |R)
i=1
P(xi |R̄)
P(R) P(~x |R)
·
P(R̄) P(~x |R̄)
≈ O(R)
n
Y
P(xi |R)
i=1
P(xi |R̄)
Aufteilen nach Vorkommen/Fehlen von Termen im aktuellen
Dokument:
Y P(xi =1|R) Y P(xi =0|R)
O(R|~x ) = O(R)
·
.
P(xi =1|R̄) x =0 P(xi =0|R̄)
x =1
i
i
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
11
Annahme der “Linked dependence”:
P(~x |R)
P(~x |R̄)
≈
O(R|~x ) =
n
Y
P(xi |R)
i=1
P(xi |R̄)
P(R) P(~x |R)
·
P(R̄) P(~x |R̄)
≈ O(R)
n
Y
P(xi |R)
i=1
P(xi |R̄)
Aufteilen nach Vorkommen/Fehlen von Termen im aktuellen
Dokument:
Y P(xi =1|R) Y P(xi =0|R)
O(R|~x ) = O(R)
·
.
P(xi =1|R̄) x =0 P(xi =0|R̄)
x =1
i
i
pi = P(xi =1|R) Wahrscheinlichkeit, dass ti in einem arbiträren
relevanten Dokument vorkommt
si = P(xi =1|R̄) Wahrscheinlichkeit, dass ti in einem arbiträren
nicht-relevanten Dokument vorkommt
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
Annahme, dass pi = si für alle ti ∈
/ qT
12
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
12
Annahme, dass pi = si für alle ti ∈
/ qT
Y pi
T
O(R|dm
) = O(R)
·
si
T
T
ti dm ∩q
Y
= O(R)
T ∩q T
ti dm
·
Y
T ∩q T
ti dm
= O(R)
pi
·
si
1 − pi
·
1 − si
Y
T ∩q T
ti dm
1 − pi
1 − si
Y
T
ti q T \dm
Y
T ∩q T
ti dm
Y
T
ti q T \dm
1 − si
1 − pi
1 − pi
1 − si
pi (1 − si ) Y 1 − pi
·
si (1 − pi )
1 − si
T
ti q
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
12
Annahme, dass pi = si für alle ti ∈
/ qT
Y pi
T
O(R|dm
) = O(R)
·
si
T
T
ti dm ∩q
Y
= O(R)
T ∩q T
ti dm
·
Y
T ∩q T
ti dm
= O(R)
pi
·
si
1 − pi
·
1 − si
Y
T ∩q T
ti dm
1 − pi
1 − si
Y
T
ti q T \dm
Y
T ∩q T
ti dm
Y
T
ti q T \dm
1 − si
1 − pi
1 − pi
1 − si
pi (1 − si ) Y 1 − pi
·
si (1 − pi )
1 − si
T
ti q
Nur das erste Produkt ist bezüglich einer gegebenen Anfrage q für
unterschiedliche Dokumente nicht konstant −→
Betrachte daher nur dieses Produkt für das Ranking
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
T
O(R|dm
) = O(R)
13
Y
T ∩q T
ti dm
pi (1 − si ) Y 1 − pi
·
si (1 − pi )
1 − si
T
ti q
Übergang zum Logarithmus (ordnungserhaltend):
ci = log
pi (1 − si )
si (1 − pi )
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Probabilistische Grundlagen des BIR-Modells
T
O(R|dm
) = O(R)
13
Y
T ∩q T
ti dm
pi (1 − si ) Y 1 − pi
·
si (1 − pi )
1 − si
T
ti q
Übergang zum Logarithmus (ordnungserhaltend):
ci = log
pi (1 − si )
si (1 − pi )
Retrievalfunktion:
%BIR (q, dm ) =
X
T ∩q T
ti dm
ci
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
Anwendung des BIR-Modells
Parameterabschätzung für si
si = P(xi =1|R̄):
(Wahrscheinlichkeit, dass ti in einem arbiträren nicht-relevanten
Dokument vorkommt)
14
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
Anwendung des BIR-Modells
Parameterabschätzung für si
si = P(xi =1|R̄):
(Wahrscheinlichkeit, dass ti in einem arbiträren nicht-relevanten
Dokument vorkommt)
Annahme:
Anzahl der nicht-relevanten Dokumente ≈ Größe der Kollektion
14
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
Anwendung des BIR-Modells
Parameterabschätzung für si
si = P(xi =1|R̄):
(Wahrscheinlichkeit, dass ti in einem arbiträren nicht-relevanten
Dokument vorkommt)
Annahme:
Anzahl der nicht-relevanten Dokumente ≈ Größe der Kollektion
N – Kollektionsgröße
ni – # Dokumente mit dem Term ti
si = nNi
14
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
Parameterabschätzung für pi
pi = P(xi =1|R):
(Wahrscheinlichkeit, dass ti in einem arbiträren relevanten
Dokument vorkommt)
15
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
Parameterabschätzung für pi
pi = P(xi =1|R):
(Wahrscheinlichkeit, dass ti in einem arbiträren relevanten
Dokument vorkommt)
1. benutze globalen Wert p für alle pi s
−→ Termgewichtung nach inverser Dokumentenhäufigkeit (IDF)
ci
p
1 − si
+ log
1−p
si
N − ni
= cp + log
ni
= log
15
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
15
Parameterabschätzung für pi
pi = P(xi =1|R):
(Wahrscheinlichkeit, dass ti in einem arbiträren relevanten
Dokument vorkommt)
1. benutze globalen Wert p für alle pi s
−→ Termgewichtung nach inverser Dokumentenhäufigkeit (IDF)
ci
p
1 − si
+ log
1−p
si
N − ni
= cp + log
ni
= log
%IDF (q, dm ) =
P
T (cp
ti ∈q T ∩dm
i
+ log N−n
ni )
oft benutzt: p = 0.5 −→ cp = 0
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
2. Relevance Feedback:
initiale Rangordnung nach IDF-Formel
präsentiere höchstgerankte Dokumente dem Benutzer
(etwa 10 . . . 20)
Benutzer gibt binäre Relevanzurteile ab: relevant/nicht-relevant
16
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
16
2. Relevance Feedback:
initiale Rangordnung nach IDF-Formel
präsentiere höchstgerankte Dokumente dem Benutzer
(etwa 10 . . . 20)
Benutzer gibt binäre Relevanzurteile ab: relevant/nicht-relevant
r : # als relevant beurteilte Dokumente zur Anfrage q
ri : # relevante Dokumente mit dem Term ti
pi = P(ti |R) ≈
ri
r
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
16
2. Relevance Feedback:
initiale Rangordnung nach IDF-Formel
präsentiere höchstgerankte Dokumente dem Benutzer
(etwa 10 . . . 20)
Benutzer gibt binäre Relevanzurteile ab: relevant/nicht-relevant
r : # als relevant beurteilte Dokumente zur Anfrage q
ri : # relevante Dokumente mit dem Term ti
pi = P(ti |R) ≈
ri
r
verbesserte Abschätzungen:
pi ≈
ri + 0.5
r +1
5. Probabilistische Retrievalmodelle
Binary-Independence-Retrieval-Modell
Anwendung des BIR-Modells
17
Beispiel für BIR
dm
d1
d2
d3
d4
d5
d6
d7
d8
d9
d10
d11
r (dm )
R
R
R
R
N
R
R
R
R
N
N
x1
1
1
1
1
1
1
1
1
1
1
1
x2
1
1
1
1
1
0
0
0
0
0
0
P(R|~x )
0.80
0.67
BIR
0.76
0.69
dm
d12
d13
d14
d15
d16
d17
d18
d19
d20
r (dm )
R
R
R
N
N
N
R
N
N
x1
0
0
0
0
0
0
0
0
0
x2
1
1
1
1
1
1
0
0
0
P(R|~x )
BIR
0.50
0.48
0.33
0.40
BM25
5. Probabilistische Retrievalmodelle
BM25
19
BM25
heuristische Erweiterung des BIR-Modells
von binärer auf gewichtete Indexierung
(Berücksichtigung der Vorkommenshäufigkeit tf )
umi
1
tfmi
5. Probabilistische Retrievalmodelle
BM25
20
Übergang zu gewichteter Indexierung
lm
al
tfmi :
b
k
Dokumentlänge (# laufende Wörter in dm )
durchschnittliche Dokumentlänge in D
Vorkommenshäufigkeit (Vkh) von ti in dm .
Gewichtung der Längennormalisierung, 0 ≤ b ≤ 1
Gewichtung der Vorkommenshäufigkeit
Längennormalisierung: B =
lm
(1 − b) + b
al
normalisierte Vorkommenshäufigkeit: ntfmi = tfmi /B
BM25-Gewicht: umi
=
=
ntfmi
k + ntfmi
tfmi
k (1 − b) + b lalm + tfmi
5. Probabilistische Retrievalmodelle
BM25
Einfluss von k
21
5. Probabilistische Retrievalmodelle
BM25
Einfluss von B
22
5. Probabilistische Retrievalmodelle
BM25
23
BM25-Retrievalfunktion
%BM25 (q, dm ) =
X
umi · ci
T ∩q T
ti dm
=
X
T ∩q T
ti dm
tfmi
pi (1 − si )
log
lm
si (1 − pi )
k((1 − b) + b al ) + tfmi
Statistische Sprachmodelle
Sprachmodell von Zhai und Lafferty
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
25
Statistische Sprachmodelle
Nachteil bisher vorgestellter Modelle:
keine theoretisch fundierte Berechnung der Indexierungsgewichte
Statistische Sprachmodelle:
betrachten Sprache (Folge von Wörtern) als statistischen
Prozess
Sprachmodell θ ist definiert als Wahrscheinlichkeitsverteilung
X
θ = {(ti , P(ti |θ)|ti ∈ T )} mit
P(ti |θ) = 1
ti ∈T
Wahrscheinlichkeit
Qm für einen Dokumenttext d = t1 t2 t3 . . . tm :
P(d |θ) = j=1 P(tj |θ)
Retrievalfunktion: betrachte Wahrscheinlichkeit, dass Frage
und Dokument vom selben Sprachmodell generiert wurden
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Sprachmodell von Zhai und Lafferty
26
Sprachmodell von Zhai und Lafferty
W., dass Anfrage vom Sprachmodell des Dokumentes generiert
wurde:
P(q|d ) ≈
Y
ti
P(ti |d )
⊆q T
Y
=
ti
∈q T ∩d T
Y
Ps (ti |d )
ti
∈q T −d T
Pu (ti |d )
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Sprachmodell von Zhai und Lafferty
26
Sprachmodell von Zhai und Lafferty
W., dass Anfrage vom Sprachmodell des Dokumentes generiert
wurde:
P(q|d ) ≈
Y
ti
Y
=
ti
=
P(ti |d )
⊆q T
∈q T ∩d T
Y
ti ∈q T ∩d T
Y
Ps (ti |d )
ti
Pu (ti |d )
∈q T −d T
Ps (ti |d ) Y
Pu (ti |d )
Pu (ti |d )
T
ti ∈q
Ps (ti |d ) W. dass das Dokument über ti ist, falls ti ∈ d T
Pu (ti |d ) W. dass das Dokument über ti ist, falls ti ∈
/ dT
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Sprachmodell von Zhai und Lafferty
Parameterschätzung:
Schätzung von Ps (ti |d ): Problem aufgrund spärlicher Daten
N Anzahl Token der Kollektion
tf (t, d ) Vorkommenshäufigkeit von t in d
l (d ) Dokumentlänge (Anzahl Token) von d
cf (t) Kollektionshäufigkeit von t (# Vorkommen)
27
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Sprachmodell von Zhai und Lafferty
Parameterschätzung:
Schätzung von Ps (ti |d ): Problem aufgrund spärlicher Daten
N Anzahl Token der Kollektion
tf (t, d ) Vorkommenshäufigkeit von t in d
l (d ) Dokumentlänge (Anzahl Token) von d
cf (t) Kollektionshäufigkeit von t (# Vorkommen)
tf (t, d )
cf (t)
Pavg (t) =
PML (t|d ) =
N
l (d )
27
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Sprachmodell von Zhai und Lafferty
Parameterschätzung:
Schätzung von Ps (ti |d ): Problem aufgrund spärlicher Daten
N Anzahl Token der Kollektion
tf (t, d ) Vorkommenshäufigkeit von t in d
l (d ) Dokumentlänge (Anzahl Token) von d
cf (t) Kollektionshäufigkeit von t (# Vorkommen)
tf (t, d )
cf (t)
Pavg (t) =
PML (t|d ) =
N
l (d )
schätze
Ps (ti |d ) = (1 − λ)PML (t|d ) + λPavg (t)
Pu (ti |d ) = αd Pavg (t)
0 ≤ λ ≤ 1: Glättungsfaktor (Jelinek-Mercer)
P
1 − ti ∈qT ∩d T Pavg (t)
P
αd =
1 − ti ∈qT ∩d T PML (t|d )
27
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
alternative Retrievalfunktion: Kullback-Leibler Divergence
misst die Unähnlichkeit zweier statistischer Sprachmodelle
28
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
alternative Retrievalfunktion: Kullback-Leibler Divergence
misst die Unähnlichkeit zweier statistischer Sprachmodelle
Dokument-Sprachmodell θd (wie oben)
Anfrage-Sprachmodell θq (z.B. als PML (t|q))
28
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
28
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
alternative Retrievalfunktion: Kullback-Leibler Divergence
misst die Unähnlichkeit zweier statistischer Sprachmodelle
Dokument-Sprachmodell θd (wie oben)
Anfrage-Sprachmodell θq (z.B. als PML (t|q))
Idee: messe relative Information
Information eines Terms: − log P(t|θ)
P(t|θ )
Differenz der Information: log P(t|θq ) − log P(t|θd ) = log P(t|θq )
d
5. Probabilistische Retrievalmodelle
Statistische Sprachmodelle
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
28
Ähnlichkeit von Wahrscheinlichkeitsverteilungen
alternative Retrievalfunktion: Kullback-Leibler Divergence
misst die Unähnlichkeit zweier statistischer Sprachmodelle
Dokument-Sprachmodell θd (wie oben)
Anfrage-Sprachmodell θq (z.B. als PML (t|q))
Idee: messe relative Information
Information eines Terms: − log P(t|θ)
P(t|θ )
Differenz der Information: log P(t|θq ) − log P(t|θd ) = log P(t|θq )
d
anschließend Gewichtung entsprechend der relativen Häufigkeit des
Terms:
D(θq ||θd ) =
n
X
i=1
P(ti |θq ) log
P(ti |θq )
P(ti |θd )
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Das Probability-Ranking-Principle (PRP)
Perfektes Retrieval:
ordne alle relevanten Dokumenten vor allen nicht-relevanten an
bezieht sich auf die Retrievalobjekte selbst, und ist nur bei
vollständiger Relevanzbeurteilung der Kollektion moglich
30
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Das Probability-Ranking-Principle (PRP)
Perfektes Retrieval:
ordne alle relevanten Dokumenten vor allen nicht-relevanten an
bezieht sich auf die Retrievalobjekte selbst, und ist nur bei
vollständiger Relevanzbeurteilung der Kollektion moglich
Optimales Retrieval:
bezieht sich auf die Repräsentationen (wie jedes IR-System)
30
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Das Probability-Ranking-Principle (PRP)
Perfektes Retrieval:
ordne alle relevanten Dokumenten vor allen nicht-relevanten an
bezieht sich auf die Retrievalobjekte selbst, und ist nur bei
vollständiger Relevanzbeurteilung der Kollektion moglich
Optimales Retrieval:
bezieht sich auf die Repräsentationen (wie jedes IR-System)
Probability Ranking Principle (PRP)
definiert optimales Retrieval für probabilistische Modelle:
ordne die Dokumente nach der absteigenden Wahrscheinlichkeit der
Relevanz
30
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Entscheidungstheoretische Rechtfertigung des PRP
C̄ : Kosten für Retrieval eines nicht-relevanten Dokumentes
C : Kosten für Retrieval eines relevanten Dokumentes
31
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Entscheidungstheoretische Rechtfertigung des PRP
C̄ : Kosten für Retrieval eines nicht-relevanten Dokumentes
C : Kosten für Retrieval eines relevanten Dokumentes
erwartete Kosten für das Retrieval eines Dokuments dj :
EC (q, dj ) = C · P(R|q, dj ) + C̄ (1 − P(R|q, dj ))
31
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Entscheidungstheoretische Rechtfertigung des PRP
C̄ : Kosten für Retrieval eines nicht-relevanten Dokumentes
C : Kosten für Retrieval eines relevanten Dokumentes
erwartete Kosten für das Retrieval eines Dokuments dj :
EC (q, dj ) = C · P(R|q, dj ) + C̄ (1 − P(R|q, dj ))
Gesamtkosten für das Retrieval:
(angenommen, der Benutzer betrachtet die ersten l Dokumente,
wobei l nicht im Voraus bekannt ist)
r (i): Ranking-Funktion, bestimmt den Index des Dokuments für
den Rang i
31
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Entscheidungstheoretische Rechtfertigung des PRP
C̄ : Kosten für Retrieval eines nicht-relevanten Dokumentes
C : Kosten für Retrieval eines relevanten Dokumentes
erwartete Kosten für das Retrieval eines Dokuments dj :
EC (q, dj ) = C · P(R|q, dj ) + C̄ (1 − P(R|q, dj ))
Gesamtkosten für das Retrieval:
(angenommen, der Benutzer betrachtet die ersten l Dokumente,
wobei l nicht im Voraus bekannt ist)
r (i): Ranking-Funktion, bestimmt den Index des Dokuments für
den Rang i
31
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Entscheidungstheoretische Rechtfertigung des PRP
C̄ : Kosten für Retrieval eines nicht-relevanten Dokumentes
C : Kosten für Retrieval eines relevanten Dokumentes
erwartete Kosten für das Retrieval eines Dokuments dj :
EC (q, dj ) = C · P(R|q, dj ) + C̄ (1 − P(R|q, dj ))
Gesamtkosten für das Retrieval:
(angenommen, der Benutzer betrachtet die ersten l Dokumente,
wobei l nicht im Voraus bekannt ist)
r (i): Ranking-Funktion, bestimmt den Index des Dokuments für
den Rang i
31
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Minimierung der Gesamtkosten
EC (q, l ) = EC (q, dr (1) , dr (2) , . . . , dr (l) )
=
l
X
i=1
EC (q, dr (i) )
32
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Minimierung der Gesamtkosten
EC (q, l ) = EC (q, dr (1) , dr (2) , . . . , dr (l) )
=
l
X
EC (q, dr (i) )
i=1
P
Mimimale Gesamtkosten → minimiere li=1 EC (q, dr (i) ) →
r (i) sollte Dokumente nach aufsteigenden Kosten sortieren
32
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
33
Entscheidungstheoretische Regel:
EC (q, dr (i) ) ≤ EC (q, dr (i+1) )
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
33
Entscheidungstheoretische Regel:
EC (q, dr (i) ) ≤ EC (q, dr (i+1) )
⇐⇒ C · P(R|q, dr (i) ) + C̄ (1 − P(R|q, dr (i) )) ≤
C · P(R|q, dr (i+1) ) + C̄ 1 − P(R|q, dr (i+1) )
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
33
Entscheidungstheoretische Regel:
EC (q, dr (i) ) ≤ EC (q, dr (i+1) )
⇐⇒ C · P(R|q, dr (i) ) + C̄ (1 − P(R|q, dr (i) )) ≤
C · P(R|q, dr (i+1) ) + C̄ 1 − P(R|q, dr (i+1) )
⇐⇒ P(R|q, dr (i) ) C − C̄ + C̄ ≤
P(R|q, dr (i+1) ) C − C̄ + C̄
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
33
Entscheidungstheoretische Regel:
EC (q, dr (i) ) ≤ EC (q, dr (i+1) )
⇐⇒ C · P(R|q, dr (i) ) + C̄ (1 − P(R|q, dr (i) )) ≤
C · P(R|q, dr (i+1) ) + C̄ 1 − P(R|q, dr (i+1) )
⇐⇒ P(R|q, dr (i) ) C − C̄ + C̄ ≤
P(R|q, dr (i+1) ) C − C̄ + C̄
⇐⇒ (da C < C̄ ): P(R|q, dr (i) ) ≥ P(R|q, dr (i+1) ).
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
33
Entscheidungstheoretische Regel:
EC (q, dr (i) ) ≤ EC (q, dr (i+1) )
⇐⇒ C · P(R|q, dr (i) ) + C̄ (1 − P(R|q, dr (i) )) ≤
C · P(R|q, dr (i+1) ) + C̄ 1 − P(R|q, dr (i+1) )
⇐⇒ P(R|q, dr (i) ) C − C̄ + C̄ ≤
P(R|q, dr (i+1) ) C − C̄ + C̄
⇐⇒ (da C < C̄ ): P(R|q, dr (i) ) ≥ P(R|q, dr (i+1) ).
ordne Dokumente nach der absteigenden Wahrscheinlichkeit der
Relevanz!
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Zusamenfassung PRP
Minimale Kosten bei Ordnung nach fallender
Relevanzwahrscheinlichkeit
(Kosten als Optimierungskriterium für Retrieval)
PRP: Ordnung nach fallender Relevanzwahrscheinlichkeit
liefert optimales Retrieval
34
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Zusamenfassung PRP
Minimale Kosten bei Ordnung nach fallender
Relevanzwahrscheinlichkeit
(Kosten als Optimierungskriterium für Retrieval)
PRP: Ordnung nach fallender Relevanzwahrscheinlichkeit
liefert optimales Retrieval
Dadurch theoretische Rechtfertigung für probabilistisches
Retrieval
34
5. Probabilistische Retrievalmodelle
Das Probability-Ranking-Principle (PRP)
Entscheidungstheoretische Rechtfertigung des PRP
Zusamenfassung PRP
Minimale Kosten bei Ordnung nach fallender
Relevanzwahrscheinlichkeit
(Kosten als Optimierungskriterium für Retrieval)
PRP: Ordnung nach fallender Relevanzwahrscheinlichkeit
liefert optimales Retrieval
Dadurch theoretische Rechtfertigung für probabilistisches
Retrieval
Für andere Modelle lässt sich dieser Zusammenhang nicht
beweisen
(z.B. bei Ranking nach fallender Ähnlichkeit beim VRM oder
„optimales Relevance Feedback“ gibt es keinen direkten
Zusammenhang mit Retrievalqualität)
34
IIR-PRP: Probabilistisches Ranking-Prinzip
für Interaktives IR
Motivation
Ansatz
Das Modell
Anwendungsmöglichkeiten
Zusammenfassung IIR-PRP
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Das klassische PRP
Ranking nach fallender Relevanzwahrscheinlichkeit liefert optimale
Retrievalqualität
36
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Das klassische PRP
Ranking nach fallender Relevanzwahrscheinlichkeit liefert optimale
Retrievalqualität
Annahmen:
Aufgabe: finde relevante Dokumente
Relevanz eines Dokumentes zu einer Anfrage ist unabhängig
von anderen Dokumenten
Durchsehen der Ergebnisliste ist die Hauptaufgabe des
Benutzers (und die einzige berücksichtigte Aktivität)
36
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Das klassische PRP
Ranking nach fallender Relevanzwahrscheinlichkeit liefert optimale
Retrievalqualität
Annahmen:
Aufgabe: finde relevante Dokumente
Relevanz eines Dokumentes zu einer Anfrage ist unabhängig
von anderen Dokumenten
Durchsehen der Ergebnisliste ist die Hauptaufgabe des
Benutzers (und die einzige berücksichtigte Aktivität)
36
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Das klassische PRP
Ranking nach fallender Relevanzwahrscheinlichkeit liefert optimale
Retrievalqualität
Annahmen:
Aufgabe: finde relevante Dokumente
Relevanz eines Dokumentes zu einer Anfrage ist unabhängig
von anderen Dokumenten
Durchsehen der Ergebnisliste ist die Hauptaufgabe des
Benutzers (und die einzige berücksichtigte Aktivität)
36
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Einwände gegen die PRP-Annahmen
Relevanz hängt von den Dokumenten ab, die der Benutzer
bereits gesehen hat.
Relevanzbeurteilung ist nicht die aufwändigste Aktivität des
Benutzers
TREC interactive Track: Systeme mit unterschiedlicher
Retrievalqualität sind bei interaktivem Retrieval gleich gut
[Turpin & Hersh 01] Benutzer können Qualitätsunterschiede
beim Ranking leicht kompensieren
37
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Einwände gegen die PRP-Annahmen
Relevanz hängt von den Dokumenten ab, die der Benutzer
bereits gesehen hat.
Relevanzbeurteilung ist nicht die aufwändigste Aktivität des
Benutzers
TREC interactive Track: Systeme mit unterschiedlicher
Retrievalqualität sind bei interaktivem Retrieval gleich gut
[Turpin & Hersh 01] Benutzer können Qualitätsunterschiede
beim Ranking leicht kompensieren
37
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Einwände gegen die PRP-Annahmen
Relevanz hängt von den Dokumenten ab, die der Benutzer
bereits gesehen hat.
Relevanzbeurteilung ist nicht die aufwändigste Aktivität des
Benutzers
TREC interactive Track: Systeme mit unterschiedlicher
Retrievalqualität sind bei interaktivem Retrieval gleich gut
[Turpin & Hersh 01] Benutzer können Qualitätsunterschiede
beim Ranking leicht kompensieren
37
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Einwände gegen die PRP-Annahmen
Relevanz hängt von den Dokumenten ab, die der Benutzer
bereits gesehen hat.
Relevanzbeurteilung ist nicht die aufwändigste Aktivität des
Benutzers
TREC interactive Track: Systeme mit unterschiedlicher
Retrievalqualität sind bei interaktivem Retrieval gleich gut
[Turpin & Hersh 01] Benutzer können Qualitätsunterschiede
beim Ranking leicht kompensieren
37
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Interaktives Retrieval
Benutzer haben vielfältige Interaktionsmöglichkeiten
(Re)formulierung der Anfrage
Dokumentauswahl anhand von Summaries unterschiedlicher
Granularität
Auswahl verwandter Suchterme aus einer Liste
Verfolgen von Dokument-Links
Relevanzbeurteilung
Informationsbedürfnis ändert sich während der Suche
Keine theoretische Fundierung für die Konstruktion von
Systemen für interaktives IR
38
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Interaktives Retrieval
Benutzer haben vielfältige Interaktionsmöglichkeiten
(Re)formulierung der Anfrage
Dokumentauswahl anhand von Summaries unterschiedlicher
Granularität
Auswahl verwandter Suchterme aus einer Liste
Verfolgen von Dokument-Links
Relevanzbeurteilung
Informationsbedürfnis ändert sich während der Suche
Keine theoretische Fundierung für die Konstruktion von
Systemen für interaktives IR
38
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Motivation
Interaktives Retrieval
Benutzer haben vielfältige Interaktionsmöglichkeiten
(Re)formulierung der Anfrage
Dokumentauswahl anhand von Summaries unterschiedlicher
Granularität
Auswahl verwandter Suchterme aus einer Liste
Verfolgen von Dokument-Links
Relevanzbeurteilung
Informationsbedürfnis ändert sich während der Suche
Keine theoretische Fundierung für die Konstruktion von
Systemen für interaktives IR
38
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Anforderungen an ein IIR-PRP
Berücksichtigung der vollständigen Interaktion zwischen
Mensch und Computer
Spezifische Kosten für unterschiedliche Aktivitäten
Mögliche Änderungen des Informationsbedürfnisses
berücksichtigen
39
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Anforderungen an ein IIR-PRP
Berücksichtigung der vollständigen Interaktion zwischen
Mensch und Computer
Spezifische Kosten für unterschiedliche Aktivitäten
Mögliche Änderungen des Informationsbedürfnisses
berücksichtigen
39
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Anforderungen an ein IIR-PRP
Berücksichtigung der vollständigen Interaktion zwischen
Mensch und Computer
Spezifische Kosten für unterschiedliche Aktivitäten
Mögliche Änderungen des Informationsbedürfnisses
berücksichtigen
39
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Grundlegende Annahmen
Fokussiere auf die funktionalen Aspekte der Interaktion
(Usability hier nicht berücksichtigt)
System präsentiert dem Benutzer Auswahlliste
Benutzer beurteilt die Vorschläge in der angezeigten
Reihenfolge
Nur positive Entscheidungen (Annahme von Vorschlägen)
helfen dem Benutzer
40
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Grundlegende Annahmen
Fokussiere auf die funktionalen Aspekte der Interaktion
(Usability hier nicht berücksichtigt)
System präsentiert dem Benutzer Auswahlliste
Benutzer beurteilt die Vorschläge in der angezeigten
Reihenfolge
Nur positive Entscheidungen (Annahme von Vorschlägen)
helfen dem Benutzer
40
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Grundlegende Annahmen
Fokussiere auf die funktionalen Aspekte der Interaktion
(Usability hier nicht berücksichtigt)
System präsentiert dem Benutzer Auswahlliste
Benutzer beurteilt die Vorschläge in der angezeigten
Reihenfolge
Nur positive Entscheidungen (Annahme von Vorschlägen)
helfen dem Benutzer
40
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Grundlegende Annahmen
Fokussiere auf die funktionalen Aspekte der Interaktion
(Usability hier nicht berücksichtigt)
System präsentiert dem Benutzer Auswahlliste
Benutzer beurteilt die Vorschläge in der angezeigten
Reihenfolge
Nur positive Entscheidungen (Annahme von Vorschlägen)
helfen dem Benutzer
40
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Beispiele für Auswahllisten
Rangliste von Dokumenten
Liste von Summaries
Liste von Dokument-Clustern
KWIC-Liste
Liste von Termen zur Frage-Expansion
Links zu verwandten Dokumenten
...
41
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Abstraktion: Situationen mit Auswahllisten
42
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Abstraktion: Situationen mit Auswahllisten
42
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Abstraktion: Situationen mit Auswahllisten
42
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Ansatz
Abstraktion: Situationen mit Auswahllisten
42
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Grundlegende Ideen
Benutzer bewegt sich von einer Situation zur nächsten
In jeder Situation si wird dem Benutzer eine Liste von
(binären) Vorschlägen < ci1 , ci2 , . . . , ci,ni > präsentiert
Benutzer beurteilt die Vorschläge in der angezeigten
Reihenfolge
Die erste positive Entscheidung bringt den Benutzer in eine
neue Situation sj
43
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Grundlegende Ideen
Benutzer bewegt sich von einer Situation zur nächsten
In jeder Situation si wird dem Benutzer eine Liste von
(binären) Vorschlägen < ci1 , ci2 , . . . , ci,ni > präsentiert
Benutzer beurteilt die Vorschläge in der angezeigten
Reihenfolge
Die erste positive Entscheidung bringt den Benutzer in eine
neue Situation sj
43
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Grundlegende Ideen
Benutzer bewegt sich von einer Situation zur nächsten
In jeder Situation si wird dem Benutzer eine Liste von
(binären) Vorschlägen < ci1 , ci2 , . . . , ci,ni > präsentiert
Benutzer beurteilt die Vorschläge in der angezeigten
Reihenfolge
Die erste positive Entscheidung bringt den Benutzer in eine
neue Situation sj
43
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Grundlegende Ideen
Benutzer bewegt sich von einer Situation zur nächsten
In jeder Situation si wird dem Benutzer eine Liste von
(binären) Vorschlägen < ci1 , ci2 , . . . , ci,ni > präsentiert
Benutzer beurteilt die Vorschläge in der angezeigten
Reihenfolge
Die erste positive Entscheidung bringt den Benutzer in eine
neue Situation sj
43
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Ein probabilistisches Modell für einzelne Situationen
44
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Erwarteter Nutzen eines Vorschlages
pij Wahrscheinlichkeit, dass der Nutzer Vorschlag cij
akzeptiert
eij < 0: Aufwand zur Beurteilung des Vorschlages cij
aij > 0: resultierender Nutzen einer positiven
Entscheidung
45
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Erwarteter Nutzen eines Vorschlages
pij Wahrscheinlichkeit, dass der Nutzer Vorschlag cij
akzeptiert
eij < 0: Aufwand zur Beurteilung des Vorschlages cij
aij > 0: resultierender Nutzen einer positiven
Entscheidung
Erwarteter Nutzen des Vorschlages cij
E (cij ) = eij + pij aij
45
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Beispiel
Web-Suche: ’Java’ → n0 =290 Mio. Treffer
46
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Beispiel
Web-Suche: ’Java’ → n0 =290 Mio. Treffer
System schlägt Terme zur Frageerweiterung vor:
term
program
blend
island
ni
195 Mio
5 Mio
2 Mio
46
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Beispiel
Web-Suche: ’Java’ → n0 =290 Mio. Treffer
System schlägt Terme zur Frageerweiterung vor:
term
program
blend
island
ni
195 Mio
5 Mio
2 Mio
pij
0.67
0.02
0.01
46
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Beispiel
Web-Suche: ’Java’ → n0 =290 Mio. Treffer
System schlägt Terme zur Frageerweiterung vor:
term
program
blend
island
ni
195 Mio
5 Mio
2 Mio
Nutzen aij = log nn0i
pij
0.67
0.02
0.01
aij
0.4
4.0
4.9
46
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Beispiel
Web-Suche: ’Java’ → n0 =290 Mio. Treffer
System schlägt Terme zur Frageerweiterung vor:
term
program
blend
island
ni
195 Mio
5 Mio
2 Mio
Nutzen aij = log nn0i
pij
0.67
0.02
0.01
aij
0.4
4.0
4.9
pij aij
0.268
0.08
0.049
46
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Auswahllisten
Situation si mit Liste von Vorschlägen ri =< ci1 , ci2 , . . . , ci,ni >
47
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Auswahllisten
Situation si mit Liste von Vorschlägen ri =< ci1 , ci2 , . . . , ci,ni >
Erwarteter Nutzen einer Auswahlliste:
E (ri ) = ei1 + pi1 ai1 +
(1 − pi1 ) (ei2 + pi2 ai2 +
(1 − pi2 ) (ei3 + pi3 ai3 +
...
(1 − pi,n−1 ) (ein + pin ain ) ))
47
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Auswahllisten
Situation si mit Liste von Vorschlägen ri =< ci1 , ci2 , . . . , ci,ni >
Erwarteter Nutzen einer Auswahlliste:
E (ri ) = ei1 + pi1 ai1 +
(1 − pi1 ) (ei2 + pi2 ai2 +
(1 − pi2 ) (ei3 + pi3 ai3 +
...
(1 − pi,n−1 ) (ein + pin ain ) ))
!
j−1
n
X
Y
=
(1 − pik ) (eij + pij aij )
j=1
k=1
47
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Erwarteter Nutzen einer Auswahlliste
E (ri ) =
n
X
j−1
Y
j=1
k=1
!
(1 − pik ) (eij + pij aij )
48
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
49
Ranking von Vorschlägen
Betrachte zwei aufeinanderfolgende Vorschläge cil und ci,l+1
E (ri ) =
n
X
j−1
Y
j=1
k=1
l6=j6=l+1
!
(1 − pik ) (eij + pij aij ) + til,l+1
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
49
Ranking von Vorschlägen
Betrachte zwei aufeinanderfolgende Vorschläge cil und ci,l+1
E (ri ) =
n
X
j−1
Y
j=1
k=1
!
(1 − pik ) (eij + pij aij ) + til,l+1
l6=j6=l+1
wobei
til,l+1
= (eil + pil ail )
l−1
Y
(1 − pik ) +
k=1
(ei,l+1 + pi,l+1 ai,l+1 )
l
Y
k=1
(1 − pik )
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
49
Ranking von Vorschlägen
Betrachte zwei aufeinanderfolgende Vorschläge cil und ci,l+1
E (ri ) =
n
X
j−1
Y
j=1
k=1
!
(1 − pik ) (eij + pij aij ) + til,l+1
l6=j6=l+1
wobei
til,l+1
= (eil + pil ail )
l−1
Y
(1 − pik ) +
k=1
(ei,l+1 + pi,l+1 ai,l+1 )
l
Y
k=1
analog til+1,l für < . . . , ci,l+1 , cil, , . . . >
(1 − pik )
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Differenz zwischen alternativen Rangfolgen
til,l+1 − til+1,l
Ql−1
k=1 (1 − pik )
= eil + pil ail + (1 − pil )(ei,l+1 + pi,l+1 ai,l+1 ) −
dil,l+1 =
ei,l+1 + pi,l+1 ai,l+1 + (1 − pi,l+1 )(eil + pil ail )
= pi,l+1 (eil + pil ail ) − pil (ei,l+1 + pi,l+1 ai,l+1 )
50
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
Differenz zwischen alternativen Rangfolgen
til,l+1 − til+1,l
Ql−1
k=1 (1 − pik )
= eil + pil ail + (1 − pil )(ei,l+1 + pi,l+1 ai,l+1 ) −
dil,l+1 =
ei,l+1 + pi,l+1 ai,l+1 + (1 − pi,l+1 )(eil + pil ail )
= pi,l+1 (eil + pil ail ) − pil (ei,l+1 + pi,l+1 ai,l+1 )
!
Für dil,l+1 ≥ 0 ergibt sich
ail +
ei,l+1
eil
≥ ai,l+1 +
pil
pi,l+1
50
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
PRP für Interaktives IR
ail +
ei,l+1
eil
≥ ai,l+1 +
pil
pi,l+1
51
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
PRP für Interaktives IR
ail +
ei,l+1
eil
≥ ai,l+1 +
pil
pi,l+1
IIR-PRP
Ordne Vorschläge nach fallenden Werten von
%(cij ) = ail +
eil
pil
51
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
52
Erwarteter Nutzen: Einzelner Vorschlag vs. Liste
Erwarteter Nutzen: E (cij ) = pij aij + eij
eil
Ranking-Kriterium: %(cij ) = ail +
pil
Beispiel:
Vorschlag
c1
c2
pij
0.5
0.25
aij
10
16
eij
-1
-1
E (cij )
4
3
%(cij )
8
12
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
52
Erwarteter Nutzen: Einzelner Vorschlag vs. Liste
Erwarteter Nutzen: E (cij ) = pij aij + eij
eil
Ranking-Kriterium: %(cij ) = ail +
pil
Beispiel:
Vorschlag
c1
c2
pij
0.5
0.25
aij
10
16
eij
-1
-1
E (cij )
4
3
E (< c1 , c2 >) = 4 + 0.5 · 3 = 5.5
E (< c2 , c1 >) = 3 + 0.75 · 4 = 6
%(cij )
8
12
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
IIR-PRP vs. PRP
ail +
ei,l+1
eil
≥ ai,l+1 +
pil
pi,l+1
Sei eij = −C̄ , C̄ > 0 und ail = C > 0:
C̄
pil
⇒ pil
C−
≥ C−
C̄
pi,l+1
≥ pi,l+1
53
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
IIR-PRP vs. PRP
ail +
ei,l+1
eil
≥ ai,l+1 +
pil
pi,l+1
Sei eij = −C̄ , C̄ > 0 und ail = C > 0:
C̄
pil
⇒ pil
C−
≥ C−
C̄
pi,l+1
≥ pi,l+1
Klassisches PRP weiterhin gültig!
53
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
IIR-PRP: Beobachtungen
Ordne Vorschläge nach aij +
eij
pij
54
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Das Modell
IIR-PRP: Beobachtungen
Ordne Vorschläge nach aij +
eij
pij
pij ’Relevanzwahrscheinlichkeit’ immer noch involviert
Tradeoff zwischen Aufwand eij und Nutzen aij
Unterschied zwischen PRP und IIR-PRP aufgrund der
variablen Werte für eij und aij
IIR-PRP betrachtet nur die erste positive Entscheidung
54
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
Anwendungsmöglichkeiten
1
Auswahlwahrscheinlichkeit pij :
Gegenstand vieler IR-Modelle,
aber Bedarf an Modellen für dynamische
Informationsbedürfnisse
55
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
Anwendungsmöglichkeiten
1
Auswahlwahrscheinlichkeit pij :
Gegenstand vieler IR-Modelle,
aber Bedarf an Modellen für dynamische
Informationsbedürfnisse
2
Aufwandsparameter eij : größter Forschungsbedarf
55
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
Anwendungsmöglichkeiten
1
Auswahlwahrscheinlichkeit pij :
Gegenstand vieler IR-Modelle,
aber Bedarf an Modellen für dynamische
Informationsbedürfnisse
2
Aufwandsparameter eij : größter Forschungsbedarf
Nutzen aij :
3
Wert der Information?
Eingesparter Aufwand (s.u.)
55
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
Eingesparter Aufwand
Methoden zur Schätzung der Anzahl rq relevanter Dokumente
zur Anfrage q
56
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
Eingesparter Aufwand
Methoden zur Schätzung der Anzahl rq relevanter Dokumente
zur Anfrage q
lineare Recall-Precision-Kurve: P(R) := P 0 · (1 − R)
56
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
56
Eingesparter Aufwand
Methoden zur Schätzung der Anzahl rq relevanter Dokumente
zur Anfrage q
lineare Recall-Precision-Kurve: P(R) := P 0 · (1 − R)
Position des ersten relevanten Dokumentes: nq =
rq
P 0 (rq −1)
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
56
Eingesparter Aufwand
Methoden zur Schätzung der Anzahl rq relevanter Dokumente
zur Anfrage q
lineare Recall-Precision-Kurve: P(R) := P 0 · (1 − R)
Position des ersten relevanten Dokumentes: nq =
rq
P 0 (rq −1)
Annahme: Auswahl des Benutzers transformiert aktuelle
Anfrage q 0 in verbesserte Anfrage q
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
56
Eingesparter Aufwand
Methoden zur Schätzung der Anzahl rq relevanter Dokumente
zur Anfrage q
lineare Recall-Precision-Kurve: P(R) := P 0 · (1 − R)
Position des ersten relevanten Dokumentes: nq =
rq
P 0 (rq −1)
Annahme: Auswahl des Benutzers transformiert aktuelle
Anfrage q 0 in verbesserte Anfrage q
P(q|q 0 ): W., dass ein zufälliges Dokument aus der
Ergebnisliste zu q auch in der Liste zu q 0 auftritt
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
56
Eingesparter Aufwand
Methoden zur Schätzung der Anzahl rq relevanter Dokumente
zur Anfrage q
lineare Recall-Precision-Kurve: P(R) := P 0 · (1 − R)
Position des ersten relevanten Dokumentes: nq =
rq
P 0 (rq −1)
Annahme: Auswahl des Benutzers transformiert aktuelle
Anfrage q 0 in verbesserte Anfrage q
P(q|q 0 ): W., dass ein zufälliges Dokument aus der
Ergebnisliste zu q auch in der Liste zu q 0 auftritt
nq0 =
rq
P(q|q 0 )P 0 (rq −1)
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
56
Eingesparter Aufwand
Methoden zur Schätzung der Anzahl rq relevanter Dokumente
zur Anfrage q
lineare Recall-Precision-Kurve: P(R) := P 0 · (1 − R)
Position des ersten relevanten Dokumentes: nq =
rq
P 0 (rq −1)
Annahme: Auswahl des Benutzers transformiert aktuelle
Anfrage q 0 in verbesserte Anfrage q
P(q|q 0 ): W., dass ein zufälliges Dokument aus der
Ergebnisliste zu q auch in der Liste zu q 0 auftritt
nq0 =
rq
P(q|q 0 )P 0 (rq −1)
Nutzen durch den Übergang von q 0 zu q: nq0 − nq .
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Anwendungsmöglichkeiten
57
Eingesparter Aufwand: Beispiel
%ij = (nq0 − nq ) +
eij = −1
term
program
blend
island
ni
195M
5M
2M
eij
pij
pij
0.67
0.02
0.01
aij
0.4
4.0
4.9
pij aij
0.268
0.08
0.049
nq 0
3
116
290
%ij
-0.5
56
145
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Zusammenfassung IIR-PRP
Zusammenfassung IIR-PRP
Heutigen IIR-Systemen fehlt eine theoretische Fundierung
Interaktives IR als Fällen von Entscheidungen
Nutzer bearbeitet lineare Auswahlliste
positive Entscheidungen bringen den Nutzer in eine neue
Situation,
mit (möglicherweise) neuer Auswahlliste
Modell beschränkt sich auf einzelne Situationen, keine
Aussagen über Interaktionspfade
IIR-PRP ist Generalisierung des klassischen PRP
Einführung zusätzlicher Parameter
Parameterschätzung ist Gegenstand zukünftiger Forschung
58
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Zusammenfassung IIR-PRP
Zusammenfassung IIR-PRP
Heutigen IIR-Systemen fehlt eine theoretische Fundierung
Interaktives IR als Fällen von Entscheidungen
Nutzer bearbeitet lineare Auswahlliste
positive Entscheidungen bringen den Nutzer in eine neue
Situation,
mit (möglicherweise) neuer Auswahlliste
Modell beschränkt sich auf einzelne Situationen, keine
Aussagen über Interaktionspfade
IIR-PRP ist Generalisierung des klassischen PRP
Einführung zusätzlicher Parameter
Parameterschätzung ist Gegenstand zukünftiger Forschung
58
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Zusammenfassung IIR-PRP
Zusammenfassung IIR-PRP
Heutigen IIR-Systemen fehlt eine theoretische Fundierung
Interaktives IR als Fällen von Entscheidungen
Nutzer bearbeitet lineare Auswahlliste
positive Entscheidungen bringen den Nutzer in eine neue
Situation,
mit (möglicherweise) neuer Auswahlliste
Modell beschränkt sich auf einzelne Situationen, keine
Aussagen über Interaktionspfade
IIR-PRP ist Generalisierung des klassischen PRP
Einführung zusätzlicher Parameter
Parameterschätzung ist Gegenstand zukünftiger Forschung
58
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Zusammenfassung IIR-PRP
Zusammenfassung IIR-PRP
Heutigen IIR-Systemen fehlt eine theoretische Fundierung
Interaktives IR als Fällen von Entscheidungen
Nutzer bearbeitet lineare Auswahlliste
positive Entscheidungen bringen den Nutzer in eine neue
Situation,
mit (möglicherweise) neuer Auswahlliste
Modell beschränkt sich auf einzelne Situationen, keine
Aussagen über Interaktionspfade
IIR-PRP ist Generalisierung des klassischen PRP
Einführung zusätzlicher Parameter
Parameterschätzung ist Gegenstand zukünftiger Forschung
58
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Zusammenfassung IIR-PRP
Zusammenfassung IIR-PRP
Heutigen IIR-Systemen fehlt eine theoretische Fundierung
Interaktives IR als Fällen von Entscheidungen
Nutzer bearbeitet lineare Auswahlliste
positive Entscheidungen bringen den Nutzer in eine neue
Situation,
mit (möglicherweise) neuer Auswahlliste
Modell beschränkt sich auf einzelne Situationen, keine
Aussagen über Interaktionspfade
IIR-PRP ist Generalisierung des klassischen PRP
Einführung zusätzlicher Parameter
Parameterschätzung ist Gegenstand zukünftiger Forschung
58
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Zusammenfassung IIR-PRP
Zusammenfassung IIR-PRP
Heutigen IIR-Systemen fehlt eine theoretische Fundierung
Interaktives IR als Fällen von Entscheidungen
Nutzer bearbeitet lineare Auswahlliste
positive Entscheidungen bringen den Nutzer in eine neue
Situation,
mit (möglicherweise) neuer Auswahlliste
Modell beschränkt sich auf einzelne Situationen, keine
Aussagen über Interaktionspfade
IIR-PRP ist Generalisierung des klassischen PRP
Einführung zusätzlicher Parameter
Parameterschätzung ist Gegenstand zukünftiger Forschung
58
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Zusammenfassung IIR-PRP
Zusammenfassung IIR-PRP
Heutigen IIR-Systemen fehlt eine theoretische Fundierung
Interaktives IR als Fällen von Entscheidungen
Nutzer bearbeitet lineare Auswahlliste
positive Entscheidungen bringen den Nutzer in eine neue
Situation,
mit (möglicherweise) neuer Auswahlliste
Modell beschränkt sich auf einzelne Situationen, keine
Aussagen über Interaktionspfade
IIR-PRP ist Generalisierung des klassischen PRP
Einführung zusätzlicher Parameter
Parameterschätzung ist Gegenstand zukünftiger Forschung
58
5. Probabilistische Retrievalmodelle
IIR-PRP: Probabilistisches Ranking-Prinzip für Interaktives IR
Zusammenfassung IIR-PRP
Zusammenfassung IIR-PRP
Heutigen IIR-Systemen fehlt eine theoretische Fundierung
Interaktives IR als Fällen von Entscheidungen
Nutzer bearbeitet lineare Auswahlliste
positive Entscheidungen bringen den Nutzer in eine neue
Situation,
mit (möglicherweise) neuer Auswahlliste
Modell beschränkt sich auf einzelne Situationen, keine
Aussagen über Interaktionspfade
IIR-PRP ist Generalisierung des klassischen PRP
Einführung zusätzlicher Parameter
Parameterschätzung ist Gegenstand zukünftiger Forschung
58