Cohens Kappa: Übereinstimmung zweier Beurteilungen

1. Zuerst entscheiden, welche Zuordnungen vergleichbar sind

Zwei Personen ordnen dieselben Einheiten jeweils einer von mehreren Kategorien zu. Wenn die Kategorien nominal sind und ein solcher Übereinstimmungsvergleich zur Methode passt, kann das einfache Cohen-Kappa eine geeignete Kennzahl sein. Lege vorher Einheit, Kategorien und Umgang mit fehlenden Zuordnungen fest. Die Zeilen zweier Listen müssen dieselben Fälle in derselben Reihenfolge betreffen. Eine hohe Zahl aus versehentlich verschieden sortierten Listen würde keine sinnvolle Prüfung ergeben. Dokumentiere außerdem, ob die Erstbeurteilungen tatsächlich unabhängig voneinander entstanden sind.

Die scikit-learn-Dokumentation beschreibt Kappa für zwei beurteilende Zuordnungen und nennt als Bezug die beobachtete Übereinstimmung sowie eine aus den empirischen Randanteilen berechnete Erwartung. Das ist eine bestimmte Modellentscheidung. Bei ordinalen Kategorien kommen gegebenenfalls gewichtete Varianten infrage; für mehr als zwei Personen oder Mehrfachzuordnungen braucht es eine gesonderte Verfahrensprüfung. Der hier erklärte einfache Fall macht solche Datenformen nicht automatisch passend. Insbesondere ist eine Übereinstimmungskennzahl keine universelle Pflicht für jede qualitative Auswertung oder reflexive Interpretation.

Weiterführend: scikit-learn: cohen_kappa_score, Formel und zwei Zuordnungslisten

2. Eine eigene Kreuztabelle mit Randanteilen aufbauen

Unser vollständig fiktives Lernbeispiel verwendet zwanzig eindeutig zugeordnete Fälle und die Kategorien einschließen oder ausschließen. Person A bildet die Zeilen, Person B die Spalten. Die Tabelle lautet zeilenweise: acht und zwei in der ersten Zeile, eins und neun in der zweiten. Beide Zeilensummen betragen zehn; die Spaltensummen neun und elf. Acht plus neun, also siebzehn Fälle, liegen auf der Diagonalen. Die beobachtete Übereinstimmung beträgt damit siebzehn geteilt durch zwanzig, also 0,85 oder fünfundachtzig Prozent.

Berechne jetzt die Randanteile getrennt für beide Personen. A verwendet jede Kategorie mit Anteil 0,5; B verwendet sie mit 0,45 und 0,55. Die modellbezogene erwartete Übereinstimmung ist die Summe der Produkte gleicher Kategorien: 0,5 mal 0,45 plus 0,5 mal 0,55 ergibt 0,5. Das ist keine zusätzlich beobachtete Fallzahl und bedeutet nicht, dass beide Personen tatsächlich geraten hätten. Die Randverteilungen liefern einen rechnerischen Vergleichsmaßstab. Bewahre die beschriftete Tabelle auf, damit Bezugsgrößen und Kategorien später eindeutig überprüfbar bleiben.

3. Den Kennwert mit seiner Berechnungsvariante berichten

Für das einfache Kappa ziehst du die erwartete von der beobachteten Übereinstimmung ab und teilst durch eins minus erwartete Übereinstimmung. Im Lernfall ist das (0,85 minus 0,5) geteilt durch (1 minus 0,5), also 0,7. Diese Rechnung ist eine eigene nachvollziehbare Formelübung, keine ausgeführte Softwareanalyse und kein Befund einer realen Untersuchung. Wenn die erwartete Übereinstimmung eins beträgt, wird der Nenner null; die einfache Rechnung ist dann nicht definiert. Ein automatisch eingesetzter Ersatzwert darf diesen Sonderfall nicht verschleiern.

Die statsmodels-Dokumentation erwartet für ihren einfachen Ansatz eine quadratische Tabelle mit einer Person in den Zeilen und der anderen in den Spalten. Andere Schnittstellen nehmen zwei Listen entgegen. Kontrolliere bei einer echten Berechnung Eingabeform, Kategorienreihenfolge, Gewichte, ausgeschlossene Fälle und Programmversion. Ein gewichtetes Kappa ist nicht bloß eine schönere Darstellung desselben ungewichteten Kennwerts. Falls du Unsicherheitsangaben berichtest, müssen deren Verfahren und Voraussetzungen ebenfalls zum Design passen. Eine Zahl ohne Fallzahl und Variante ist keine reproduzierbare Ergebnisbeschreibung.

Weiterführend: statsmodels: cohens_kappa, Tabellenorientierung und einfacher Ansatz

4. Übereinstimmung von Richtigkeit und Analysequalität abgrenzen

Beide Personen können dieselbe unpassende Regel anwenden. Ihre Übereinstimmung würde dann weder die Kategorien noch die inhaltliche Entscheidung richtig machen. Auch die Häufigkeit einzelner Kategorien gehört zur Interpretation, weil sie den Erwartungswert beeinflusst. Verwende daher keine universelle Bestehensgrenze ohne fachliche Begründung. Zeige Tabelle, beobachteten Anteil, Kappa, Fallauswahl und verbleibende Grenzen. Bei einem Lernabgleich werden ursprüngliche unabhängige Zuordnungen und eine spätere gemeinsame Klärung getrennt gespeichert. Nachträglicher Konsens darf nicht rückwirkend als ursprüngliche Übereinstimmung ausgegeben werden.

Im Statistik-Testfinder beschreibst du die Vergleichsfrage, zwei Beurteilungen, nominale Kategorien und dieselben zugrunde liegenden Einheiten. Stelle keine vertraulichen Falllisten bereit. Prüfe, ob die Empfehlung einen Übereinstimmungsvergleich statt eines bloßen Gruppenunterschieds behandelt. Die hier beschriebene Verfahrensplanung berechnet keine Rohdaten und kein Cohen-Kappa; sie ersetzt keine Prüfung der Zuordnungen. Dein eigener Arbeitsstand besteht aus einer kontrollierten Kreuztabelle, einer dokumentierten Variante und einer begrenzten Interpretation. Ob ein formaler Abgleich überhaupt methodisch sinnvoll ist, klärst du mit einschlägiger Literatur und Betreuung.