Markovketten

Das vorliegende Skriptum ist die Ausarbeitung einer zweistUndigen Vorlesung, die ich im Wintersemester 1969/70 an der Universitat Bonn, hauptsachlich fUr Studenten der Volkswirtschaft, hielt. Selbstver standlich lieB sich in dieser knapp en Zeit der Stoff nicht in der Breite behandeln, wie er nun in diesem Band der Lecture Notes vorge legt wird. Ich habe daher auf ausftihrliche Beweise im mUndlichen Vor trag verzichtet, es sei denn, sie boten durch eine neue und spezielle Wendung des Gedankens besonderes Interesse oder sie waren ganz kurz und leicht darzulegen. DafUr habe ich versucht, einer eingehenden Diskussion neueinzufUhrender Begriffe und der Bedeutung von Satzen im Gesamtzusammenhang der Theorie mehr Raum zu bieten. Ich konnte dies um so leichter tun, als ich meinen Horern das Erscheinen eines ausge arbeiteten Manuskripts zu versprechen in der Lage war. Beide Partner, Horer sowie Dozent, nahmen somit dankbar die Institution der Lecture Notes in Anspruch, die es gestattete, ein umfangreiches Gebiet in relativ kurzer Zeit recht intensiv zu behandeln. DarUberhinaus ver suchte ich, das Manuskript so abzufassen, daB es auch fUr einen brei teren Leserkreis interessant wtirde. Wegen der vorhandenen, mannigfachen Anwendungsmoglichkeiten von Markov ketten mit abzahlbarem Zustandsraum in der Unternehmensforschung - man denke etwa an die Methode der eingebetteten Markovketten in der Theorie der Warteschlangen - habe . ich mich nicht auf den wesentlich . ". . leichteren Fall des endlichen",Z. us:t$. ;ng. sraums beschrankt. Ein sehr inter essantes Gebiet, das in den' letz

Inhalt

1. Die Definition stochastischer Prozesse.- 1.1 Einige Grundbegriffe der Wahrscheinlichkeitstheorie.- 1.2 Einführende Beispiele für stochastische Prozesse.- 1.3 Definition des stochastischen Prozesses.- 1.4 Die Charakterisierung eines stochastischen Prozesses durch seine endlich-dimensionalen Verteilungen.- 1.5 Einige ergänzende Bemerkungen zur Wahrscheinlichkeitstheorie.- 2. Die Definition von Markovketten; Übergangswahrscheinlichkeiten.- 2.1 Stochastische Ketten und Markov-Ketten.- 2.2 Diskussion der Markov-Eigenschaft.- 2.3 Übergangswahrscheinlichkeiten; Zustandswahrscheinlichkeiten.- 2.4 Beispiele für Markovketten.- 3. Die graphentheoretische Analyse von Markovketten.- 3.1 Grundbegriffe aus der Theorie der Graphen und Relationen.- 3.2 Ordnungs- und Äquivalenzrelationen.- 3.3 Graphen, die einer Markovkette zugeordnet werden können.- 3.4 Zusammenhangsrelationen für Markovketten.- 3.5 Periodische Zustände.- 4. Das Rückkehrverhalten von Markovketten.- 4.1 Einige spezifische Hilfsmittel aus der Analysis.- 4.2 Rekurrenzzeiten (Rückkehrzeiten).- 4.3 Der Zusammenhang zwischen Übergangswahrscheinlichkeiten und der Verteilung der Rückkehr- (Übergangs-) zeiten.- 4.4 Das Grenzverhalten der Übergangswahrscheinlichkeiten.- 4.5 Die Berechnung der Größen fij * und ?ij.- 5. Stationäre- und Gleichgewichtsverteilungen; Transienz- und Rekurrenzkriterien.- 5.1 Zwei Hilfssätze aus der Reihenlehre.- 5.2 Stationäre Verteilungen.- 5.3 Grenzvert eilungen.- 5.4 Rekurrenz- und Transienzkriterien.- 6. Algebraische Methoden zur Berechnung der Übergangswahrscheinlichkeiten.- 6.1 Potenzen von endlichen Matrizen.- 6.2 Potenzen von stochastischen Matrizen.- Anstelle eines Literaturverzeichnisses.