Pat - PD Dr. Karin Haenelt
Werbung
Information Retrieval New Indices for Text: PAT Trees and PAT Arrays Ruprecht - Karls - Universität Heidelberg Lehrstuhl für Computerlinguistik HS Information Retrieval Dozentin: Dr. Karin Haenelt Referenten: Maria Tzolova, Fatih Ekrem Genc 13.01.2003 1 Information Retrieval Diese Arbeit orientiert sich an dem Aufsatz „New Indices for Text: PAT-Trees und PATArrays“ von G. Gonnet, R. Baeza-Yates und T. Snider in „Information Retrieval: Data Structure and algorithms“. 2 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Inhalt PAT – Tree – Einführung PAT – Tree - Definition PATRICIA Tree Semi-infinite Strings PAT- Tree Suchalgorithmen auf PAT-Trees Erstellen von PAT Trees als PATRICIA Trees - Bucketing - Supenodes PAT Array Operationen mit PAT-Array - Verbinden kleiner mit großen Arrays - Verbinden größeren Dateien Literatur 3 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-TREE - Einführung Ein PAT-Tree ist eine Datenstruktur zur effizienten Datenspeicherung und Textsuche in großen Dokumentkollektionen. 4 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-Tree – Definition Ein PAT-Tree ist • ein Patricia Tree (Practical Algorithm To Retrieve Information Coded In Alphanumeric) • über allen Sistrings eines Textes. 5 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PATRICIA Tree 6 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PATRICIA Tree Patricia trees are a practical and efficient solution for handling variable length or very long keys; they are particulary well suited for text searching. Note that the problem generated by verylong common prefixes virtually disappears for Patricia trees. (G.Gonnet,R.Baeza-Yates 1991) 7 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PATRICIA-Tree • Ein PATRICIA-Tree ist ein binärer Digitalbaum, in dem die Verzweigung der Knoten von den Bits der Schlüssel bestimmt wird(bei 0 nach links, bei 1 nach rechts ). • Ein binärer Digitalbaum ist ein Baum, in dem die Knoten höchstens zwei Nachfolger haben. 8 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PATRICIA Tree vs. Binär Baum In einem PATRICIA Tree: • werden die internen Knoten, die nur einen Nachfolger haben, eliminiert und damit wird weniger Speicherplatz gebraucht. • enthalten nur die externen Knoten Schlüsselwerte. • haben die internen Knoten einen Index, der die Position des Bits angibt, das zum Verzweigen benutzt wird. 9 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Binär Baum -Beispiel 0 Bit 1 2 0 1 3 7 1 2 0 0 1 3 0 1 4 5 1 10 1 3 1 Bit 2 2 Bit 3 10 4 Bit 4 0 1 6 3 5 10 0 1 4 8 - externer Knoten - interner Knoten Maria Tzolova, Fatih Ekrem Genc, PAT-Trees Bit 5 Knoten mit nur einem Nachfolger 13.01.2003 Information Retrieval PATRICIA-Tree-Beispiel 0 1 1 Bit 1 2 0 1 3 0 7 00 3 0 1 0 5 5 1 6 1 4 8 Bit 2 1 4 10 0 2 2 Bit 3 und 4 1 Bit 5 3 Hier wurden die Knoten mit nur einem Nachfolger eliminiert -interner Knoten - externer Knoten (G.Gonnet,R.Baeza-Yates, T.Snider 1992) 11 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Sistring 12 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval semi – infinite Strings (Sistrings) • Ein Text wird als ein einziger String als Array von Zeichen dargestellt. • Ein semi – infiniter String ist eine Folge von Zeichen dieses Strings (Text), • er beginnt an einer bestimmten Position und • dehnt sich unbegrenzt weit nach rechts aus (längstens bis zum Textende) 13 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Semi-infinite Strings- Beispiel Text: Ein kleiner Text....... Position: 1234...8910....16...... 14 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval semi-infinite Strings-Beispiel • Sistring 1:Ein kleiner Text ... • Sistring 2:in kleiner Text ... • Sistring 3:n kleiner Text ... • Sistring 4:kleiner Text ... • Sistring 5:leiner Text ... • Sistring 10:er Text ... • Sistring 15:xt ... 15 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Semi – infinite Strings • Semi – infinite Strings kann man als abstrakte Datenstruktur bezeichnen • Die wichtigste Operation mit Sistrings ist der lexikographische Vergleich von Sistrings. 16 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT - Tree 17 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-Tree-Aufbau • Die Zeichen aller Zeichenketten des Textes werden als ein Baum gespeichert. • Dabei werden die Zeichenkette jeweils als Pfad von der Wurzel bis zu den externen Knoten gespeichert. • Die Wurzel entspricht dem ersten Zeichen,die Nachfolger dem zweiten Zeichen usw. 18 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-Tree Suche nach „00101“ 0 0 10 1 in Binärdarstellung 19 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT - Tree • Für einen Text der Größe n hat der PAT - Tree n externe und n-1 interne Knoten. • Der PAT - Tree präsentiert den Text als einen einzigen String. • An jeder Position im String(Text) beginnt ein semi – infiniter String (Sistring). 20 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Suchalgorithmen 1. Präfix Suche 2. Nährungssuche 3. Bereichssuche 4. Häufigkeitssuche 5. Längste-Wiederholung-Suche 6. Suchen nach regulären Ausdrücken 21 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Präfix Suche • Bei Präfix Suche werden alle Sistrings, die ein gemeinsames Präfix haben, gesucht. • Man sucht nach einem Präfix, bis es gefunden ist oder ein externer Knoten erreicht wird. • Zeitbedarf: O(log n), n=Anzahl der externen Knoten. 22 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Präfix Suche 0 0 10 0 1 Suche alle Wörter die mit „001“ beginnen. 23 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Nährungssuche • Es werden alle Positionen gesucht, bei denen ein String s1 eine bestimmte Anzahl von Zeichen von einem andern String s2 entfernt ist. • Zeitbedarf: (m1 +m2)log m1 ,für m1 < m2 24 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Nährungssuche 0 0 1 10 1 0 25 S1=01100,S2=00100,m=4 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Bereichssuche • Gesucht werden alle Strings, die entsprechend der lexikographischen Ordnung zwischen zwei gegebenen Strings liegen. • Zeitbedarf: O(log n). 26 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Bereichssuche 0 0 1 Suche alles zwischen „00“ und „01“. 27 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Häufigkeitssuche • Gesucht wird der String,der am häufigsten vorkommt. • Bei der Suche nach dem häufigsten String der Länge n , wird der größten Teilbaum, der eine Distanz von n zur Wurzel aufweist, durch- sucht. • Zeitaufwand: O(n/a), a= durchschnittliche Antwortgröße 28 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Häufigkeitssuche 0 0 0 1 1 0 1 10 0 1 Bsp: Häufigster String von 2 Zeichen 29 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Längste-Wiederholung-Suche • Es wird nach dem längsten Sistring gesucht, der zweimal im Text vorkommt. • Bei einem PAT-Tree entspricht dies dem höchsten Unterbaum. 30 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Längste-Wiederholung-Suche 0 0 10 Suche längste Wiederholung zwischen „1“ und „8“ 31 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Suchen nach regulären Ausdrücken • Der reguläre Ausdruck wird zuerst in einem minimalen deterministischen endlichen Automat umgewandelt. • Dieser Automat wird dann in einen binären Automat konvertiert, der der Binärcodierung des verwendeten Zeichensatzes entspricht. 32 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Suchen nach regulären Ausdrücken • Der endliche Automat wird auf dem binären Baum simuliert. Die Wurzel entspricht dabei dem Startzustand des Automaten. • Bei jedem Knoten, der einem Endzustand des Automaten entspricht wird dabei der gesamte darunter liegenden Teilbaum als Resultat ausgegeben. 33 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Erstellen PAT-Trees als Patricia Bäume • PAT- Trees werden als Patricia Bäume implementiert. • Patricia Bäume haben zwei große Nachteile: - Hoher Speicherbedarf für Daten der inneren Knoten - Hohe Anzahl von Diskzugriffe bei großen Datensätze. 34 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Erstellen PAT-Trees als Patricia Bäume • Diese Probleme werden gelöst durch : – – 35 Bucketing von externen Knoten Das Einteilen des Baumes im Speicher in Superknoten (Supernodes) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Bucketing • Bucketing ist das Zusammenfassen von externen Knoten, um interne Knoten einzusparen. • Buckets von b externen Knoten sparen b-1 innere Knoten. • Bei der Suche in einem Bucket werden die externen Knoten, die im Bucket sind, einzeln durchsucht. 36 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Bucketing • In den Buckets sind die externen Knoten unsortiert und das kann die Suchzeit verschlechtern. • Die Buckets haben einen Füllzustand von b N, aber wegen der Baumstruktur werden die Buckets nicht immer völlig gefüllt. 37 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Bucketing 38 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Supernodes (Superknoten) • Supernodes bringen Vorteile im Zugriff und Platzbedarf. • Es wird so viel wie möglich vom Baum in die Plattensektoren eingeteilt, solange bis jeder Sektor einen bestimmten Eintragspunkt erreicht hat. • Ein Supernode hat die Größe eines Festplattensektors. 39 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Supernodes (Superknoten) • Jeder Supernode endet entweder in einem externen Konten oder in einem Zeiger zu einem anderen Supernode. • Die Zeiger der internen Knoten zeigen entweder auf einen anderen Supernode oder auf einen Knoten in dem selben Supernode und so werden die Speicherungskosten reduziert. 40 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Supernodes (Superknoten) 41 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-Tree als PAT-Array • Für große Datenmengen passt der PAT-Tree nicht in dem Hauptspeicher, deshalb werden PAT-Arrays entwickelt, die weniger Speicherplatz brauchen. 42 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-Array PAT arrays are an efficient implementation of PAT trees, and support a query language more pauerfull than do traditional structures based on keywords and Boolean operations. (G.Gonnet, R.Baeza-Yates,T.Snider, 1992) 43 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-Array • PAT-Array enthält Pointer auf Sistrings • Speicherbedarf - nur ein Speicherwort pro Sistring. • Es wird Binärsuche durchgeführt. • Suchzeit: O(log2n) 44 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-Array • PAT-Arrays werden bei der Bildung von großen Indizes verwendet. • In einem PAT-Array sind die externen Knoten innerhalb eines Buckets sortiert. • PAT-Arrays sind aber völlig unsortiert, was die Position der Sistrings innerhalb des Textes betrifft und das führt zu viele Festplattenzugriffen. 45 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT-Array (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) 46 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval PAT - Array 47 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Operationen mit PAT-Array - Verbinden kleiner mit großen Arrys - Verbinden großer Dateien 48 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Verbinden kleiner mit großen Arrays • Es werden ein kleiner und ein großer Text mit ihren zugehörigen Pat-Arrays vorausgesetzt. • Der kleine Text, sein Pat-Array und ein Zählarray sind in dem Hauptspeicher gespeichert. • Sequentielles Einlesen des großen Textes. 49 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Verbinden kleiner mit großen Arrays • Das Zählarray speichert, wie viele Sistrings des großen Textes zwischen Indexpaare des kleinen Textes gehören. • Für jeden Sistrings des großen Textes wird geprüft, zwischen welches Indexpaar des kleinen Textes er einsortiert werden muß. • Die Verbindung der Arrays findet anhand der Werte des Zählarrays statt. 50 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Verbinden kleiner mit großen Arrays 51 (S.Olk, PAT-Trees/PAT-Arrays, 1997/98) Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Verbinden Großer Dateien • Häufige Diskzugriffe bei Verbindung von großen Dateien. • Bei n Schlüssel (in einer Heap-Struktur organisiert ) und m Files werden n Diskzugriffe gemacht, um die Schlüssel aus dem Text zu holen. • Eine Vorsortierung der Textstrings kann das Problem lösen. 52 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Literatur [1]G. H. Gonnet, R. A. Baeza-Yates, und T. Snider.New indices für text: Pat trees and pat arrays. In Information Retrieval:Data Structures & Algorithms(66-82).Prentice Hall.1992 [2]G. H. Gonnet, R. A. Baeza-Yates und T. Snider. Lexicographical indices for text: inverted files vs. PAT trees(1991). Technical Report TR – OED – 91 – 01, University of Waterloo, 1991 [2]R.Sedgewick: Algorithmen. Addison – Wesley, 1991 [3]Stefan Olk, PAT-trees/PAT-Arrays, Ausarbeitung eines Vortrags für das Proseminar Online Recherche Techniken im WS1997/1998 www.informatik.uni-bonn.de/~tb/Lehre/ws97/psOR/Ausarbeitungen (28.12.2002) [4] Jörg Schönebaum, Information Retrieval: PAT-Bäume und Stringsuche,PS Information Retrieval, 9.11.1999 www.cs.uni-magdeburg.de/~joschoen/ir/index.html (28.12.2002) 53 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003 Information Retrieval Literatur [5]Norbert Fuhr, IR -Skriptum zur Vorlesung im WS00/01, 12.Okt.2000 www.is.informatik.uni-duisberg.de/teaching/dortmund/lectures/ir_ws00-01/irskall.pdf (28.12.2002) 54 Maria Tzolova, Fatih Ekrem Genc, PAT-Trees 13.01.2003
