In der Wissenschaft werden oft Untersuchungsgegenstände der Forschung durch mehrere Codierer kategorisiert. Nach Abschluss der Kategorisierung, auch Annotation genannt, ist von Interesse, ob die Codierer in ihren Urteilen übereinstimmen. Der Grad der Übereinstimmung ist ein wichtiger Indikator, um die Qualität der Kategorisierungen zu bewerten. Für die Messung der Übereinstimmung sind von verschiedenen Autoren eine ganze Reihe von sogenannten Interrater-Reliabilitätskoeffizienten entwickelt worden, die in dieser Arbeit erläuterert werden. Zusätzlich wird ein Simulationsprogramm vorgestellt. Das Programm simuliert die Annotation und die Berechnung der Reliabilitätskoeffizienten. Mit Hilfe des Simulationsprogramms sind eine ganze Reihe von Simulationen durchgeführt worden. Die Ergebnisse werden präsentiert und analysiert. Basierend auf den eigenen Analysen und den Analysen anderer Autoren werden konkrete Handlungsempfehlungen für die Verwendung von Interrater-Reliabilitätskoeffizienten gegeben.

Autorentext

Daniel Laps wurde 1993 in Düsseldorf geboren. Seit 2014 Studium der Informatik und Linguistik an der Heinrich-Heine Universtität Düsseldorf (Abschluss Bachelor of Science 2018). Interessiert sich für Methoden der professionellen Softwareentwicklung, der maschinellen Sprachverarbeitung und für Machine Learning.