Textgenerierung aus visuellen Daten: Beschreibungen von Straßenszenen

Das Thema der Untersuchung ist die algorithmische Generierung einer natürlichsprachlichen Beschreibung einer Bildfolge, wobei von einer symbolischen Repräsentation der Bildfolge ausgegangen wird, die im wesentlichen die erkannten Objekte, sowie deren Ort und Orientierung für jedes Bild der Folge enthält. Fragen der Textgenerierung werden in umfassender Weise unter dem Aspekt der Beschreibung visueller zeitveränderlicher Daten behandelt, für die ein Verfahren zum Erzeugen kohärenter Beschreibungstexte angegeben wird. Dem Verfahren liegt der Gedanke zugrunde, dem Hörer/Leser den Aufbau einer mentalen Vorstellung von den beschriebenen Bewegungen zu ermöglichen. Insbesondere wird ein Computerprogramm vorgestellt, das NAOS-System, das von der Erkennung von Teilbereichen einer Bildfolge, die durch ein Verb beschrieben werden können, bis zur Ausgabe des kohärenten Beschreibungstextes alle notwendigen Prozesse beispielhaft integriert. NAOS verbindet damit zwei bisher weitgehend separat verfolgte Teilbereiche der Künstlichen Intelligenz, Bildverstehen und Verarbeitung natürlicher Sprache. Die umfassende Behandlung der Fragestellung reicht von der theoretischen Diskussion bis zur praktischen Implementation.

Klappentext

Das Thema der Untersuchung ist die algorithmische Generierung einer natürlichsprachlichen Beschreibung einer Bildfolge, wobei von einer symbolischen Repräsentation der Bildfolge ausgegangen wird, die im wesentlichen die erkannten Objekte, sowie deren Ort und Orientierung für jedes Bild der Folge enthält. Fragen der Textgenerierung werden in umfassender Weise unter dem Aspekt der Beschreibung visueller zeitveränderlicher Daten behandelt, für die ein Verfahren zum Erzeugen kohärenter Beschreibungstexte angegeben wird. Dem Verfahren liegt der Gedanke zugrunde, dem Hörer/Leser den Aufbau einer mentalen Vorstellung von den beschriebenen Bewegungen zu ermöglichen. Insbesondere wird ein Computerprogramm vorgestellt, das NAOS-System, das von der Erkennung von Teilbereichen einer Bildfolge, die durch ein Verb beschrieben werden können, bis zur Ausgabe des kohärenten Beschreibungstextes alle notwendigen Prozesse beispielhaft integriert. NAOS verbindet damit zwei bisher weitgehend separat verfolgte Teilbereiche der Künstlichen Intelligenz, Bildverstehen und Verarbeitung natürlicher Sprache. Die umfassende Behandlung der Fragestellung reicht von der theoretischen Diskussion bis zur praktischen Implementation.

Inhalt
1 Einleitung.- 1.1 Aufgabenstellung.- 1.2 Aufbau der Arbeit.- 2 Relevante Arbeiten benachbarter Disziplinen.- 2.1 Vorbemerkungen.- 2.2 Erkennen und Verbalisieren von Bewegungskonzepten.- 2.3 Natürlichsprachliche Schnittstellen.- 2.4 Sprachgenerierung.- 2.5 Zusammenfassung.- 3 Das NAOS-System.- 3.1 Einführung.- 3.2 Repräsentation einer Bildfolge.- 3.3 Ereignismodelle.- 3.4 Ereigniserkennung.- 3.5 Zusammenfassung.- 4 Aspekte der Beschreibungsgenerierung.- 4.1 Einflüsse auf die Generierung einer Beschreibung.- 4.2 Anforderungen an eine Beschreibung.- 4.3 Beschreibungen in NAOS.- 4.4 Zusammenfassung.- 5 Die Realisierung der Beschreibungskomponente.- 5.1 Systemüberblick.- 5.2 Ereignisauswahl.- 5.3 Ereignisverbalisierung.- 5.4 Die Schnittstelle zu SUTRA.- 6 Rückblick und Ausblick Anhang.- A Definition der Sprache VS.- B Verbtabelle.- C Ein kommentiertes Beispiel.- D Erklärung einiger linguistischer Begriffe.- Schlagwortverzeichnis.