Die Intercoder-Übereinstimmung unterstützt die Arbeit in Teams und ermöglicht den Vergleich und Austausch von Daten, wie z. B. Codes, Memos oder Variablen.
Mit der Funktion der Intercoder-Übereinstimmung kann überprüft werden, inwiefern die Code-Zuordnungen verschiedener Personen übereinstimmen bzw. voneinander abweichen. Das setzt einerseits ein Dokument voraus, welches die Codierer unabhängig voneinander bearbeiten. Andererseits werden die zu verwendenden Codes zuvor gemeinsam bestimmt, sodass jeder Forschende die gleichen Voraussetzungen für diese Untersuchung hat.
Letztendlich lässt sich festellen, an welchen Stellen die Zuordnungen der Codes durch die verschiedenen codierenden Personen übereinstimmen bzw. nicht übereinstimmen. Das setzt voraus, dass die Codierer einen identischen Text unabhängig voneinander bearbeiten (auch an verschiedenen Computern) und die Textstellen entsprechend den gemeinsam vereinbarten Code-Beschreibungen codieren.
Vorbereitung zur Berechnung der Intercoder-Übereinstimmung
Zur Berechnung der Intercoder-Übereinstimmung benötigen Sie eine MAXQDA-Projektdatei, die die zu untersuchenden Dokumente je zwei Mal enthält. Die eine Version des Dokumentes wird vom Teammitglied A codiert. Die zweite Version von Teammitglied B. Beide Teammitglieder benutzen ein identisches Codesystem. Sie könnten beispielsweise folgendermaßen vorgehen:
1. MAXQDA-Projekt vorbereiten
Importieren Sie das Dokument, das codiert werden soll, in ein MAXQDA-Projekt. Erzeugen Sie ein Codesytem mit allen Codes, die benutzt werden sollen. Dieses Projekt wird von Teammitglied A benutzt.
2. Duplizieren Sie das MAXQDA-Projekt
Erstellen Sie mit dem Menübefehl „Projekt > Kopie des Projektes speichern unter“ eine Kopie des Projekts. Öffnen Sie die Kopie und ändern Sie den Namen des Dokuments leicht ab, z.B. zu „Interview 1 (A)“.
3. Beide Personen codieren unabhängig voneinander
Beide Teammitglieder codieren das Dokument in ihrer eigenen Projektdatei.
4. Projekte zusammenführen
Öffnen Sie eines der Projekte und fügen Sie das codierte Dokument des zweiten Projekts mit „Projekt > Projekte zusammenführen“ hinzu. Jetzt haben Sie eine MAXQDA-Projektdatei vorliegen, in der die beiden unabhängig codierten Dokumente vorhanden sind und können die Intercoder-Übereinstimmung überprüfen.
Intercoder-Übereinstimmung berechnen
Starten Sie die Intercoder-Übereinstimmung mit einem Klick auf „Analyse > Intercoder-Übereinstimmung“.
Tipp: Falls sich die Untersuchung der Intercoder-Übereinstimmung nur auf eine Auswahl an Codes beziehen soll, aktivieren Sie diese bitte zuvor.
Wählen Sie unter 1. Dokument und 2. Dokument die zu vergleichenden Dokumente aus. Im Beispiel handelt es sich um dasselbe Dokument, welches unterschiedlich benannt wurde (Teresa und Teresa 2). Insgesamt gibt es drei Möglichkeiten, die ausgewählten Dokumente miteinander zu vergleichen.
1. Vorhandensein des Codes im Dokument
Hierbei wird überprüft, welche Codes mindestens einmal in beiden Dokumenten auftauchen. Diese Auswahl eignet sich besonders bei kurzen Dokumenten und einem umfangreichen Code-System. Das Ergebnis dieser Übereinstimmungsprüfung ist ein Code-Matrix-Browser, in dem sowohl die beiden Dokumente als auch das Code-System angezeigt werden. Wenn ein Code in einem Dokument vorkommt, wird das als blaues Quadrat oder blauer Kreis angezeigt
Im Screenshot wird ein Ergebnis mit einer sehr hohen Übereinstimmung von vergebenen Codes gezeigt. Lediglich bei dem Gebrauch des Codes „Partner“ unterscheiden sich die beiden Teammitglieder.
2. Häufigkeit des Codes im Dokument
Bei diesem Vergleichslevel ist das Kriterium die Häufigkeit des Codes im Dokument und präziser: wie häufig die Zuordnung von Codes übereinstimmt. Es wird ebenfalls eine Code-Matrix zur Veranschaulichung erstellt. Bei dieser Variante kann es besonders hilfreich sein, sich zusätzlich mit einem Klick auf das entsprechende Symbol die Summen der Häufigkeiten in ganzen Zahlen anzeigen zu lassen.
3. Übereinstimmung der Segmente in %
Es wird geprüft, ob die codierten Segmente der beiden Codierer übereinstimmen. Es kann ein Prozentwert angegeben werden, der festlegt, wann zwei codierte Segmente als Übereinstimmung gewertet werden. Im Beispiel stimmen die Segmente, die von beiden Personen mit health codiert wurden, zu 44,44 % überein, wenn zuvor die Übereinstimmung auf 90 % herabgesetzt wurde.
4. Kalkulation des Koeffizienten Kappa für eine segmentgenaue Übereinstimmung
Forschende äußern häufig zusätzlich den Wunsch, in ihren Forschungsreporten nicht nur die prozentualen Übereinstimmungsraten berichten zu können, sondern auch zufallsbereinigte Koeffizienten auszuweisen. Die Grundidee derartiger Koeffizienten besteht darin, die prozentuale Übereinstimmung um den Anteil zu reduzieren, den man bei einer zufälligen Zuordnung von Codes zu Segmenten erhalten würde.
In MAXQDA lässt sich für diesen Zweck der häufig verwendete Koeffizient „Kappa“ berechnen: Klicken Sie in der Ergebnistabelle auf das Symbol K für Kappa, um die Berechnung für die aktuell durchgeführte Analyse zu starten.
