Die Definition stochastischer Prozesse.- 1.1 Einige Grundbegriffe der Wahrscheinlichkeitstheorie.- 1.2 Einführende Beispiele für stochastische Prozesse.- 1.3 Definition des stochastischen Prozesses.- 1.4 Die Charakterisierung eines stochastischen Prozesses durch seine endlich-dimensionalen Verteilungen.- 1.5 Einige ergänzende Bemerkungen zur Wahrscheinlichkeitstheorie.- 2. Die Definition von Markovketten; Übergangswahrscheinlichkeiten.- 2.1 Stochastische Ketten und Markov-Ketten.- 2.2 Diskussion der Markov-Eigenschaft.- 2.3 Übergangswahrscheinlichkeiten; Zustandswahrscheinlichkeiten.- 2.4 Beispiele für Markovketten.- 3. Die graphentheoretische Analyse von Markovketten.- 3.1 Grundbegriffe aus der Theorie der Graphen und Relationen.- 3.2 Ordnungs- und Äquivalenzrelationen.- 3.3 Graphen, die einer Markovkette zugeordnet werden können.- 3.4 Zusammenhangsrelationen für Markovketten.- 3.5 Periodische Zustände.- 4. Das Rückkehrverhalten von Markovketten.- 4.1 Einige spezifische Hilfsmittel aus der Analysis.- 4.2 Rekurrenzzeiten (Rückkehrzeiten).- 4.3 Der Zusammenhang zwischen Übergangswahrscheinlichkeiten und der Verteilung der Rückkehr- (Übergangs-) zeiten.- 4.4 Das Grenzverhalten der Übergangswahrscheinlichkeiten.- 4.5 Die Berechnung der Größen fij * und ?ij.- 5. Stationäre- und Gleichgewichtsverteilungen; Transienz- und Rekurrenzkriterien.- 5.1 Zwei Hilfssätze aus der Reihenlehre.- 5.2 Stationäre Verteilungen.- 5.3 Grenzvert eilungen.- 5.4 Rekurrenz- und Transienzkriterien.- 6. Algebraische Methoden zur Berechnung der Übergangswahrscheinlichkeiten.- 6.1 Potenzen von endlichen Matrizen.- 6.2 Potenzen von stochastischen Matrizen.- Anstelle eines Literaturverzeichnisses.