Information Retrieval und Datenbanken Einführung Motivation

Einführung
• Was wird gesucht?
Informationen versus Daten
• Grundlegende Konzepte
• Suche als Prozess
• Überblick über die Vorlesung
Information Retrieval und
Datenbanken
Alexander Hinneburg
Sommersemester 2005
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 0
SS 2005
Motivation
• Aufgabe:
– Repräsentation
– Speicherung
– Organisation
– Zugriff
– Finde alle Webseiten (Dokumente) über
Fußballmannschaften, die
(1) in Sachsen-(Anhalt) beheimatet sind und
(2) in der ersten oder zweiten Bundesliga mitspielen.
Um relevant zu sein, muss die Seite die
Tabellenplätze des Vereins in den letzten drei Jahren
sowie Telefonnummer und Adresse enthalten.
• auf Informationseinheiten
• orientiert am Bedürfnis des Anwenders
• Charakterisierung dieses Bedürfnisses
• Beschreibung muss in Anfrage übersetzt werden
• meistens als Menge von Schlüsselwörtern
– kein einfaches Problem
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 1
Motivation: Beispiel
• Information Retrieval
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 2
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 3
1
Motivation: Beispiel
Informationen versus Daten
• Google: Fussball Bundesliga Sachsen Telefon Adresse
• Ergebnisse ungefähr 541 (0,17 Sekunden)
–
radio SAW - Superhits für Sachsen-Anhalt... Werdet der größte Fußball-Weise in SachsenAnhalt! Die neue Fußball Bundesliga-Saison ist im vollen Gange und radio SAW ist wieder
mittendrin! ...
Autobus Sippel GmbH... mit einem neuen Bus zu den Auswärtsspielen der FußballBundesliga reisen. ... Jäger unter Telefon: 06122-9124-0 oder per mail unter folgender
< sz-online | sachsen im netz >... Als umfassender Anbieter von Inhalten etwa zur FußballBundesliga blickt ... sich einen DSL-Anschluss mit fester IP-Adresse zuzulegen
Sehen Sie - Musik Musikfilme Sachsen Anhalt bei seekoo.de/regional ...... Händler aus
Deutschland mit Telefon-Nummer, Adresse und Homepage. ... anstelle, gesundheit
gewinnspiel, kraft, fussball bundesliga gewinnspiel, hinter,
autogramm -- Ideen, die bewegen.... Während der Fußball-Bundesliga-Saison stellen wir in
jeder ... Bitte Postkarte oder E-Mail (autogramm@ volkswagen.de) mit Adresse, Telefon-, ...
–
–
–
–
• Das Finden von Informationen ist wichtig,
im Gegensatz zum Finden von Daten
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 4
• Bereitstellen von Daten (IR)
– welche Dokumente enthalten die Schlüsselwörter der
Anfrage
– reicht meist nicht um die Anfrage zu beantworten.
• SQL Anfrage: exakt und vollständig
• IR Anfrage: Ähnlichkeiten, kleine Fehler
– Texte, natürliche Sprache ist nicht gut strukturiert und
kann mehrdeutig sein
– Semantik ist nicht exakt
– Gegensatz: Datenbank-Schemata sind wohl-definiert
SS 2005
Informationen versus Daten
• IR wurde mit dem Erfolg des WWW
(in den 90zigern) bekannt und interessant
• WWW
– muss Dokumente „interpretieren“ und entsprechend der
Relevanz ordnen
– Syntaktische und semantische Informationen müssen aus
Dokumenten extrahiert werden
– Definition von Relevanz ist sehr wichtig
– universales Archiv für Wissen
– Erfolg beruht auf Standard-Schnittstelle
– Jeder darf Web-Seiten schreiben und auf andere verweisen
• Probleme
• Probleme
– nützliche Infos schwierig, aufwendig zu finden
– Navigieren im WWW ist kompliziert
– Wohl-definiertes Datenmodell fehlt => Infos haben schlechte
Qualität
– wie werden die rel. Infos extrahiert
– wie werden die Dokumente geordnet
• Ziel
– Anwort enthält alle relevanten Dokumente mit möglichst wenigen
nicht-relevanten Dokumenten
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 5
IR und das WWW
• Bereitstellen von Daten -> Datenbanken
• IR System
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 6
• Trotz vieler Probleme: IR ist Schlüsseltechnologie
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 7
2
Grundlegende Konzepte,
Anwender Aufgabe
Grundlegende Konzepte,
Logische Sicht auf Dokumente
• Anwender übersetzt dem IR System Aufgabe in Anfrage
(Schlüsselwörter+Bedingungen)
• Anwender mit unbestimmten, allgemeinem Interesse
• Texte repräsentiert durch eine Menge von
Indexwörtern => logische Sicht
– will einfach herumstöbern
– stöbern anstatt suchen (klare Unterscheidung)
Retrieval
• Indexwörter = alle Wörter => Volltext
• Textoperationen
Database
Browsing
– Stopwörter
– Stemming
– Substantiv-Gruppen
• IR Systeme können beides kombinieren
• Stöbern und Suchen „pull“ Infos zum Anwender
• IR Software Agents „push“ Infos => Info Filter
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
– handverlesene Indexmenge
– automatisch generiert
Seite 8
SS 2005
Logische Sicht auf Dokumente
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Suche als Prozess
User
Interface
• Kontinuierliche Sicht auf Dokumente
user need
Text
4, 11
Text
Text Operations
Accents
spacing
Docs
stopwords
Noun
groups
stemming
Manual
indexing
logical view
Query
user feedback Operations
structure
Full text
Index terms
Searching
retrieved docs
ranked docs
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 10
SS 2005
5
logical view
Indexing
4
query
structure
Seite 9
6,7,8
9,10
inverted file
DB Manager
Module
Index
6,7,8
9,10
Text
Database
Ranking
1,2
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 11
3
Vorlesungsüberblick
1. (07. 04.) Einführung, IR Modelle, Ranking
2. (14. 04.) IR Modelle, Ranking
3. (21. 04.) Evaluierung
4. (28. 04.) Anfrage Sprachen & Anfrage Operationen
(05. 05.) Christi Himmelfahrt -- keine Vorlesung
5. (12. 05.) Text Repräsentationen & Text Operationen
6. (19. 05.) Text Indexing 1
7. (26. 05.) Text Indexing 2
8. (02. 06.) Paralleles & Verteiltes IR
9. (09. 06.) Multimedia IR Indexing 1
10. (16. 06.) Multimedia IR Indexing 2
11. (23. 06.) Anwender-Schnittstellen und Visualisierung
12. (30. 06.) Web IR 1
13. (07. 07.) Web IR 2
14. (14. 07.) Klausur
SS 2005
Alexander Hinneburg,
Martin-Luther-Universität Halle/Wittenberg
Seite 12
4