Information Retrieval - Eine Einführung

Die Anrange der Entwicklung eines neuen Gebietes in einem Wissen schaftszweig sind in der Regel durch das Uberwiegen von ad-hoc-LOsungen gekennzeichnet. Information Retrieval (m) macht hier keine Ausnahme. Kaum ein Computeranwender, der nicht ein mehr oder weniger leistungsrahiges System zur BewiiJtigung seiner m-Aufgaben erarbeitet hat. Fur eine Gesamtbeurteilung solcher Systeme fehlen meist Anhaltspunkte. Mit der vorliegenden Arbeit haben wir versucht, die im Zusammenhang mit Information Retrieval auftretenden Probleme datenverarbeitungstechnischer Art systematisch durchzugehen und LOsungen zu diskutieren. Aufgrund dieser Argumentationen sollte der Leser imstande sein, bei der Beurteilung von m Software oder bei der Konstruktion spezieller Information-Retrieval-Systeme (mS) die richtigen Schwerpunkte zu setzen. Als Diskussionsbasis dient das ms PIZZA, welches im Rahmen dieser Arbeit entstand. Wir hoffen, dass es durch dieses ms gelingt, in der Kontroverse einen praxisnahen Standpunkt einzunehmen. Die Arbeit entstand in den Jahren 1980-1983 wahrend meiner Tatigkeit als wissenschaftlicher Mitarbeiter am Institut fur Informatik der Universitat Zurich unter der Leitung von Herrn Prof. Dr. K. Bauknecht, dem ich zu besonderem Dank fur seine Unterstutzung verpflichtet bin. Ein spezieller Dank gebiihrt meinem Kollegen M. Domenig, der bei der Implementation und der Dokumentation der UNIX-Versionen von PIZZA, sowie bei der Korrektur dieser Arbeit enormen Einsatz geleistet hat. Danken mochte ich auch Herrn Prof. C.A. Zehnder und Herrn Prof. R. Marty fur die Durchsicht der Arbeit. Sie haben mir mit ihren Anregungen und Hinweisen viel geholfen.

Klappentext

Die Anrange der Entwicklung eines neuen Gebietes in einem Wissen­ schaftszweig sind in der Regel durch das Uberwiegen von ad-hoc-LOsungen gekennzeichnet. Information Retrieval (m) macht hier keine Ausnahme. Kaum ein Computeranwender, der nicht ein mehr oder weniger leistungsrahiges System zur BewiiJtigung seiner m-Aufgaben erarbeitet hat. Fur eine Gesamtbeurteilung solcher Systeme fehlen meist Anhaltspunkte. Mit der vorliegenden Arbeit haben wir versucht, die im Zusammenhang mit Information Retrieval auftretenden Probleme datenverarbeitungstechnischer Art systematisch durchzugehen und LOsungen zu diskutieren. Aufgrund dieser Argumentationen sollte der Leser imstande sein, bei der Beurteilung von m­ Software oder bei der Konstruktion spezieller Information-Retrieval-Systeme (mS) die richtigen Schwerpunkte zu setzen. Als Diskussionsbasis dient das ms PIZZA, welches im Rahmen dieser Arbeit entstand. Wir hoffen, dass es durch dieses ms gelingt, in der Kontroverse einen praxisnahen Standpunkt einzunehmen. Die Arbeit entstand in den Jahren 1980-1983 wahrend meiner Tatigkeit als wissenschaftlicher Mitarbeiter am Institut fur Informatik der Universitat Zurich unter der Leitung von Herrn Prof. Dr. K. Bauknecht, dem ich zu besonderem Dank fur seine Unterstutzung verpflichtet bin. Ein spezieller Dank gebiihrt meinem Kollegen M. Domenig, der bei der Implementation und der Dokumentation der UNIX-Versionen von PIZZA, sowie bei der Korrektur dieser Arbeit enormen Einsatz geleistet hat. Danken mochte ich auch Herrn Prof. C.A. Zehnder und Herrn Prof. R. Marty fur die Durchsicht der Arbeit. Sie haben mir mit ihren Anregungen und Hinweisen viel geholfen.

Inhalt
Inhaltsve rze ichnis.- 1. Einführung.- 1.1 Zielsetzung.- 1.2 Grundidee.- 1.3 Begriffe.- 1.4 Klassifizierung von Information-Retrieval-Systemen.- 2. Theoretische Aspekte.- 2.1 Beurteilung der Giite eines IRS.- 2.2 Deskriptorenauswahl.- 2.3 Auswahl mit Rückkoppelung.- 2.4 Verwendungsarten von Thesauri.- 2.5 Erkennung physisch ähnlicher Zeichenketten.- 2.6 Vergleich von Zeichenketten.- 2.7 Kontrolle konkurrierender Zugriffe.- 3. Entwicklung von PIZZA.- 3.1 Vom persönlichen Notizblock zum Retrieval System.- 3.2 Aufgabenstellung für eine Implementation.- 3.3 Verfügbare Dateisysteme.- 3.4 Konzept.- 3.5 Bemerkungen zu den PIZZA-Implementationen.- 3.6 Entwicklung der OS/MVS-Version.- 3.7 Entwicklung der Versionen unter UNIX.- 4. Datenorganisation.- 4.1 ir-Relationen.- 4.2 Speicherung der Texte.- 4.3 Speicherung der Deskriptoren.- 4.4 Speicherung der orthogonalen Elemente.- 4.5 Speicherung der Rohdaten.- 4.6 Speicherung von Variablen.- 4.7 Kompression.- 4.8 Datensicherung.- 5. Datenaufnahme und Manipulation.- 5.1 Datenaufnahmeteil.- 5.2 Manipulationsteil.- 5.3 Ladeteil.- 5.4 Koordination mehrerer Benutzer.- 6. Erweiterung und Integration.- 6.1 Erweiterung des Profilkonzepts.- 6.2 Integration von Manipulations- und Abfrageteil.- 6.3 Analyse des Ladevorgangs.- 6.4 Kontrolle konkurrierender Zugriffe.- 7. Datenabfrage.- 7.1 Allgemeines.- 7.2 Abfragesprache.- 7.3 Compiler.- 7.4 S-Code-I.- 7.5 Optimierung der Suche.- 7.6 S-Code-II.- 7.7 Hypothetische Stack Maschine (HSM).- 8. Algorithmen bei der Abfrage.- 8.1 Vergleich von Zeichenketten.- 8.2 Binarsuche in variabel langen Datensatzen.- 8.3 Rekursive Binarsuche.- 8.4 Arbeit mit Vektoren boolescher Werte.- 9. Verbesserung der Äbfragewirkung.- 9.1 Erkennung physisch ahnlicher Zeichenketten.- 9.2 Semantische Ahnlichkeit.- 9.3Deskriptoreneditor.- 9.4 Gewichtung.- 9.5 Kurzantworten.- 9.6 Abschätzen der Abfragewirkung.- 10. Verteiltes PIZZA.- 10.1 Allgemeines.- 10.2 Verteilen auf einer Maschine.- 10.3 Verteilen auf verschiedenen Maschinen.- 10.4 Verteilen von Datenbankteilen.- 11. Schlussbemerkungen.- 11.1 Zusammenfassung.- 11.2 Ausblick.- Anhang III : Syntaxdiagramme (Abfragesprach).- Anhang IV: Syntaxdiagramme (Rohdatendefinition).- Anhang V: Spezielle Bibliographien.- Bibliographie.- Schlagwortregister.