Einführung in die mathematischen Grundlagen der Informationstheorie

Die Fragestellungen der Informationstheorieentstammen der Nachrichten technik. Die heutige Nachrichtentechnik kennt die verschiedenartigsten Uebertragungssysteme (Telefon, Fernschreiber, Radio, Fernsehen, usw.). Sie haben aber aIle das folgende allgemeine Schema der Nachrichtentiber tragung gemeinsam: Kodleruno O.kodl.runo Nachrlcht.n- Ueb.rtraounOI- Nachricht- bzw. bzw. - quell. kanal s.nk. ~odulation O odulatlon Storunoen I.B. Rausch.n Dieses Schema widerspiegelt die yom Standpunkt der Theorie her wesent lichen Bestandteile einer Nachrichtentibertragung. Es bildet den Rahmen der Informationstheorie im engeren Sinne, d.h. der Theorie der Uebertragung von Nachrichten. Zu dieser Theorie gehort vor allem die Aufgabe, das Wesen der Information zu klaren und die Information quantitativ zu er fassen, um damit eine mathematische Behandlung des obigen Schemas zu ermoglichen. Erste Versuche in dieser Richtung wurden von Hartley 1928 unternommen. Von einer eigentlichen Theorie der Nachrichtentibertragung kann jedoch erst .ait dem Erscheinen der Arbeiten von Shannon 1948 gesprochen werden. Shannon gilt als der eigentliche Begrtinder der Intormationstheorie. Der Grundgedanke der Informationstheorie beruht auf dem Zusammenhang zwischen Information und Wahrscheinlichkeit: So, wie in der Wahrschein lichkeitsrechnung vor der Durchttihrung eines Versuchs Ungewissheit dartiber besteht, welches Ereignis eintreten wird,so ist auch der - 2 - Nachrichtenempfanger in Ungewissheit liber die Nachricht, die ein treffen wird. Dieser Zusammenhang gestattet es, die Erzeugung von Information in einer Nachrichtenquelle flir einen Nachrichtenempfanger als einen zufalligen Prozess aufzufassen.

Klappentext

Die Fragestellungen der Informationstheorieentstammen der Nachrichten­ technik. Die heutige Nachrichtentechnik kennt die verschiedenartigsten Uebertragungssysteme (Telefon, Fernschreiber, Radio, Fernsehen, usw.). Sie haben aber aIle das folgende allgemeine Schema der Nachrichtentiber­ tragung gemeinsam: Kodleruno O.kodl.runo Nachrlcht.n- Ueb.rtraounOI- Nachricht- bzw. bzw. - quell. kanal s.nk. ~odulation O odulatlon Storunoen I.B. Rausch.n Dieses Schema widerspiegelt die yom Standpunkt der Theorie her wesent­ lichen Bestandteile einer Nachrichtentibertragung. Es bildet den Rahmen der Informationstheorie im engeren Sinne, d.h. der Theorie der Uebertragung von Nachrichten. Zu dieser Theorie gehort vor allem die Aufgabe, das Wesen der Information zu klaren und die Information quantitativ zu er­ fassen, um damit eine mathematische Behandlung des obigen Schemas zu ermoglichen. Erste Versuche in dieser Richtung wurden von Hartley 1928 unternommen. Von einer eigentlichen Theorie der Nachrichtentibertragung kann jedoch erst .ait dem Erscheinen der Arbeiten von Shannon 1948 gesprochen werden. Shannon gilt als der eigentliche Begrtinder der Intormationstheorie. Der Grundgedanke der Informationstheorie beruht auf dem Zusammenhang zwischen Information und Wahrscheinlichkeit: So, wie in der Wahrschein­ lichkeitsrechnung vor der Durchttihrung eines Versuchs Ungewissheit dartiber besteht, welches Ereignis eintreten wird,so ist auch der - 2 - Nachrichtenempfanger in Ungewissheit liber die Nachricht, die ein­ treffen wird. Dieser Zusammenhang gestattet es, die Erzeugung von Information in einer Nachrichtenquelle flir einen Nachrichtenempfanger als einen zufalligen Prozess aufzufassen.

Inhalt

1. Die Entropie des endlichen Wahrscheinlichkeitsfeldes.- 1.1. Definition und Eigenschaften der Entropie.- 1.2. Entropie eines zusammengesetzten Wahrscheinlichkeitsfeldes. Bedingte Entropie.- 1.3. Die Synentropie zweier Wahrscheinlichkeitsfelder.- 1.4. Informationsgehalt.- 1.5. Eindeutigkeitssatz der Entropie.- 2. Die diskrete Informationsquelle und ihre Kodierung.- 2.1. Beschreibung.- 2.2. Diskrete Informationsquelle ohne Gedächtnis.- 2.3. Informationsgehalt und Redundanz.- 2.4. Stationäre diskrete Informationsquelle mit Gedächtnis.- 2.5. Beispiele diskreter Informationsquellen.- 3. Diskreter Uebertragungskanal mit Störungen.- 3.1. Einführung.- 3.2. Definition des diskreten stationären Kanals.- 3.3. Kanalkapazität.- 3.4. Fundamentalsatz der Informationstheorie.