Qualitätskriterien zur Beurteilung von

Werbung
Qualitätskriterien zur
Beurteilung von
Dokumentationen
vgl. Kapitel 23 Relevanz- und
Vollständigkeitsrate.
In:
Wilhelm Gaus: Dokumentations- und
Ordnungs-lehre. Berlin u. a. : Springer, 1995
Qualität und Zweck einer
Dokumentation
Zur Erinnerung:
Zweck einer Dokumentation ist nicht das
Speichern, sondern das Wiederfinden der
Dokumente. Die Qualität einer Dokumentation
ist also daran zu messen, inwieweit alle für den
Benutzer relevanten Dokumentationseinheiten
von der Dokumentationsstelle wieder gefunden
werden.
Spree
Qualitätskriterien: wägen
Sie ab
•
•
•
•
•
•
•
leichter Zugang
Integration
Konsistenz der Erschließung
Aktualität
Richtigkeit
Relevanz (precision)
Vollständigkeit / Abdeckung des
Themengebiets (recall)
Spree
Qualitätsmaßstäbe
• Qualitative
(subjektive)
Kriterien
• Quantitative
Kriterien
die Angemessenheit:
beschreibt, inwieweit die Antwort
dem Informationsbedarf
entspricht (angemessen ist)
die Neuigkeit: Anzahl
gefundener Dokumente, die der
Nutzer noch nicht kennt
die Nützlichkeit: Information, die
nicht im Kontext liegt, aber für
eine andere Fragestellung
nützlich ist, ist nicht relevant aber
nützlich.
die Relevanz (Precision): Bezeichnet
den Grad der Übereinstimmung der
inhaltlichen Aussage eines Dokumentes
und der Suchfrage
die Vollständigkeit (Recall):
wurden alle relevanten Dokumente
gefunden?
Spree
Qualität der Suche: Recall und Precision
D
A
C
B
A: gesuchte (= relevante)
Dokumente
Recall: C/A
B: gefundene Dokumente
Precision: C/B
C: gesuchte und gefundene
Dokumente
D: Gesamtbestand der
Datenbank
Spree
Recall / Precision
ein Beispiel
• Im OPAC HAW wurde gesucht nach
Literatur zum Thema „Fisch“ im
Feld (Titel Nachnamen Themen)
– 39 Treffer (= B gefundene Dokumente)
– 17 als relevant identifiziert (= C
gesuchte und gefundene Dokumente)
– Precision: 17/39 = 0,435
• Verfeinerung der Suche durch
„Fisch“ im Feld „Titel Nachnamen
Themen“ und „Fische“ im Feld
(Schlagwörter)
– 5 Treffer (=B gefundene Dokumente)
– 5 relevant (= C gesuchte und
gefundene)
– Precision: 5/5 = 1
• Wie errechne ich Recall?
Spree
Recall
• Errechnung von Recall ist nur
möglich, wenn die Anzahl der
relevanten Dokumente bekannt
ist
• In unserem Beispiel können
die 17 relevanten Dokumente
aus der ersten Recherche als A
(= gesuchte und relevante
Dokumente) gelten
• C sind die 5 gefundenen
Dokumente
– C/A = 5/17=0,58
Spree
Bedeutung in der Praxis
• Relevanzrate:
– Personen, die in kurzer Zeit
relevante Infos brauchen
– Z.B. Studenten, die Prüfung
vorbereiten
– Manager, der Vortrag vorbereitet
– Journalistin, die Beitrag
vorbereitet
• Vollzähligkeitsrate
– hochspezialisierte
Fachwissenschaftlerin, die
möglichst viele der
einschlägigen Dokumente
kennen muß
– Journalistin, die wissen möchte,
was zu einem Thema bereits
geschrieben wurde
– Patentrecherche
Spree
11 12 1
10
2
3
9
4
8
7 6 5
Zusammenhang zw. Recall
und Precision
Optimales Ergebnis
Recall
Precision
Recall hoch
Precision niedrig
Recall gering
Precision hoch
Spree
Ballastrate und
Verlustquote
Ballast/
Noise
Verlustrate
D
A
C
A: gesuchte (= relevante)
Dokumente
B: gefundene Dokumente
C: gesuchte und gefundene
Dokumente
D: Gesamtbestand der
Datenbank
Spree
B
Ballastrate: 1 – C/B
Verlustrate: 1- C/A
Gründe, warum die Qualität
einer Dokumentation nur suboptimal ist
• Indexat:
– kein geeigneter Deskriptor vorhanden,
weil
• Ordnungsprinzip ungeeignet
• Ordnungssystem zu grob
• zu breite Äquivalenzklassen
– ungeeignete Deskriptoren ausgewählt,
weil
• mangelnde terminologische Kontrolle
• Indexierer kennt Ordnungssystem nicht
• Indexierer hat mangelnde Sachkenntnis
• Recherche:
– hier können dieselben Fehler wie beim
Indexat auftreten
Spree
Vollzähligkeitsrate Prüfverfahren
• Alle gespeicherten Dokumente auf
Relevanz für die Suchfrage prüfen (nur
bei extrem kleinen Dokumentationen zu
prüfen / experimentell, da ja dann bereits
bekannt)
• Stichprobenverfahren (nur bei thematisch
eng begrenzten Dokumentationen
möglich, da die Stichprobe sonst nicht
repräsentativ sein kann)
• eingeschleuste Dokumentationseinheiten
– Für Testfragen relevante Dokumente werden
heimlich eingeschleust
• prospektive Dokumentation
– Relevanz der Dokumente für eine ausgwählte
Frage wird über längeren Zeitraum extern
geprüft - anschließende wird Recherchetest
durchgeführt
• e) externe Quellen
Spree
Herunterladen