Die statistische Informationstheorie besitzt wichtige Anwendungen in der Abschätzung der mittleren Laufzeit von Algorithmen, deren Probleme online erzeugt werden. Es werden die grundlegenden Kodierungstheoreme für Quellen ohne Gedächtnis und Quellen mit kurzem Gedächtnis bei ungestörten Kanälen und schließlich bei gestörten Kanälen ohne Gedächtnis bewiesen.

Dieses Buch beinhaltet eine Einführung in die statistische Informationstheorie, die von Shannon 1948 begründet wurde. Ich gebe dieses Buch heraus, da die Vorlesung auch den Anwendungen dieser Theorie auf algorithmische Probleme nachgeht. Daß die Entropie einer Quelle als untere Schranke für die Laufzeit von Suchprogrammen verwendet werden kann, ist seit 20 Jahren bekannt, ohne daß aber die Konzepte der Informationstheorie eine systematische Anwendung in diesem Bereich erfahren haben. So wurden Markovquellen im Zusammenhang mit effizienten Suchverfahren bei geordneten Schlüsseln erstmals 1992 vom Autor diskutiert. Die Vorlesung geht auf die Frage der Gewinnung unterer Schranken für die mittlere Laufzeit von Algorithmen ein und versucht die Kodierungstheoreme zur Konstruktion effizienter Algorithmen zu nutzen. Günter Hotz

Inhalt
1 Statistische Informationstheorie im Falle diskreter ungestörter Kanäle.- 1.1 Definition der Entropie einer Quelle.- 1.2 Der Kodierungssatz im störungsfreien Fall.- 1.3 Ordnungserhaltende Kodierungen.- 1.4 Anwendungen des Kodierungstheorems.- 1.5 Kritische Würdigung des Kodierungstheorems.- 2 Informationstheorie bei Markovketten.- 2.1 Quellen mit Gedächtnis.- 2.2 Definition von Markovketten.- 2.3 Entropie von Markovprozessen.- 2.4 Das Kodierungstheorem für Markovprozesse.- 2.5 Suchgraphen.- 2.6 ?-Zerlegungen von Markovquellen.- 2.7 ?-Überdeckungen von Markovprozessen.- 2.8 Sortieren und andere Anwendungen.- 3 Die Kapazität von diskreten Kanälen.- 3.1 Gestörte diskrete Kanäle ohne Gedächtnis.- 3.2 Der Satz von Fano.- 3.3 Das Kodierungstheorem für Kanäle ohne Gedächtnis.- Ausblick.- Historische Bemerkungen.- Aufgaben.- zu Kapitel 1.- zu Kapitel 2.- zu Kapitel 3.