Guten Tag!
Ich weiss, dass diese Anfrage wahrscheinlich nicht neu ist, dennoch habe ich in diesem Forum als auch im Benutzerhandbuch leider keine Antwort gefunden (ev. habe ich aber auch etwas übersehen)?
Die existierenden Threads zur Berechnung der Intercoder-Reliabilität (ICR) in diesem Forum habe ich gelesen. Für Publikationen in internationalen Papers brauchen wir jedoch Cohens Kappa und nicht eine prozentuale Übereinstimmung der Codings zu den vorgegebenen Textabschnitten.
Kurze Hintergrundinfo: Wir kodieren Unterrichtsbesprechungen (Videos) zwischen Mentoren und Studierenden und zwar "turn-by-turn". Nach einem Sprecherwechsel wird (mit Hilfe eines Kodierleitfadens zur Abgrenzung von Sprecherwechseln) eine Zeitmarke gesetzt. Zwei Kodiererinnen setzen danach einen Code "Analyseeinheit" pro solchermassen definierten Turn. Die ICR für diese Analyseeinheit muss zuerst berechnet werden. Danach arbeiten vier Kodiererinnen mit den so vorstrukturierten Dokumenten und setzen pro Analyseeinheit einen Code aus einem gemeinsam entwickelten Kodiersystem. Die ICR für diese Zuordnungen werden im Anschluss daran ebenfalls berechnet. Wie gesagt, brauchen wir hierzu Cohens Kappa. Da die Analyseeinheit vorgegeben ist, macht dies durchaus Sinn.
MAXQDA bietet jedoch lediglich eine ICR, basierend auf der prozentualen Übereinstimmung. Meine Frage lautet also: Gibt es tatsächlich keine Möglichkeit Cohens Kappa zu berechnen resp. wie können die vollzogenen Zuordnungen möglichst unaufwendig in ein Format gebracht werden mittels welchem diese in SPSS weiterverarbeitet werden können? Hat sich schon jemand damit beschäftigt und gibt es irgendeine Möglichkeit?
Besten Dank schon jetzt für die Unterstützung und
herzliche Grüsse aus der Schweiz,
Kathrin