Maßzahl der Urteilerübereinstimmung bei 2 Beurteilern

Es soll überprüft werden, wie groß die Übereinstimmung zweier verschiedener Beurteiler bezüglich der Einschätzung von Tumoren hinsichtlich ihres Tumor-Gradings ist (Interrater-Reliabilität).

Welche der folgenden Aussagen ist richtig?

a) Als Zusammenhangsmaß eignet sich der Korrelationskoeffizient nach Pearson.

b) Um die Größe des Zusammenhangs festzustellen, sollte ein Chi-Quadrat-Test berechnet werden.

c) Als Zusammenhangsmaß eignet sich Cohens Kappa.

d) Um die Größe des Zusammenhangs festzustellen, genügt es, die relativen Häufigkeiten der einzelnen Methoden
miteinander zu vergleichen.

Die Quiz-Fragen wurden vom Institut für Medizinische Biometrie, Epidemiologie und Informatik (IMBEI), Mainz, entwickelt.

Richtige Antwort: c

Nur die Aussage c) ist richtig. Um den Zusammenhang zwischen 2 dichotomen, verbundenen Variablen zu untersuchen, ist Cohens Kappa das Mittel der Wahl. Es betrachtet insbesondere die Hauptdiagonale – also die Übereinstimmungen. Die Unterschiede lässt es jedoch außer Acht. Das gewichtete Kappa betrachtet zusätzlich zu der Hauptdiagonalen (Übereinstimmung) auch die Nebendiagonale (Unterschiede). Es ist insbesondere in Fällen geeignet, wo die kategoriale Zielgröße mehr als zwei Ausprägungen hat. Das gewichtete Kappa berücksichtigt auch, wie sehr die „Beurteiler“ voneinander entfernt sind.

Der Korrelationskoeffizient nach Pearson eignet sich nur für stetige Daten und stellt lediglich den linearen Zusammenhang dar. Der Chi-Quadrat-Test ist in diesem Fall ungeeignet, da hier verbundene Daten vorliegen – für jeden Fall existiert die Einschätzung von Beurteiler 1 und Beurteiler 2. Der Chi-Quadrat-Test untersucht den Zusammenhang zwischen kategorialen, unverbundenen Variablen.

Kappa ist: 0,785

Formel: (h₀-h₁ )/(1-h₁ )

mit h₀ = Wahrscheinlichkeit, dass beide Beurteiler übereinstimmen (relative Häufigkeit)

h₁ = Häufigkeit, mit der 2 rein zufällig urteilende Kritiker übereinstimmende Urteile erzielen würden.