Sensitivität und Spezifität: warum ein positives Ergebnis noch keine sichere Zuordnung ist

1. Zuerst festlegen, was positiv bedeutet

Ein Klassifikationsverfahren ordnet Fälle beispielsweise als auffällig oder unauffällig ein. Bevor du Kennzahlen berechnest, musst du die positive Klasse und die Vergleichsgrundlage festlegen. Bei einer technischen Qualitätskontrolle könnte positiv bedeuten, dass ein Bauteil als defekt markiert wird. Positiv ist damit keine Wertung im Sinn von gut. Notiere diese Zuordnung ausdrücklich, denn bei vertauschten Klassen ändern sich die Bedeutung der Kennzahlen und die Richtung deiner Interpretation.

Die CDC erläutern Sensitivität, Spezifität und positiven Vorhersagewert anhand einer Vierfeldertafel. Die mathematische Unterscheidung lässt sich auch außerhalb ihres ursprünglichen Überwachungskontexts verwenden. Sensitivität betrachtet die tatsächlich positiven Fälle; Spezifität die tatsächlich negativen. Der positive Vorhersagewert betrachtet dagegen die positiv eingestuften Fälle. Zeichne die Tabelle selbst und beschrifte beide Achsen, bevor du mit Prozentwerten arbeitest. So bleibt sichtbar, welche Frage eine Zahl überhaupt beantwortet.

Weiterführend: CDC: Principles of Epidemiology, Appendix A, Figure 5.10

2. Die vier Fälle mit einem eigenen Beispiel zählen

Fiktives Rechenbeispiel: Von 1.000 Bauteilen gelten nach einer festgelegten Referenzprüfung 100 als defekt und 900 als intakt. Ein automatisches Verfahren markiert 90 defekte Teile richtig, übersieht aber 10. Von den intakten Teilen markiert es 45 fälschlich und lässt 855 unmarkiert. Dies sind ausschließlich erfundene Lernzahlen. Sie beschreiben weder ein reales Produkt noch eine tatsächlich untersuchte Prüfleistung und erlauben keine Aussage über medizinische Tests.

Die Sensitivität beträgt hier 90 geteilt durch 100, also 90 Prozent. Die Spezifität beträgt 855 geteilt durch 900, also 95 Prozent. Unter den insgesamt 135 markierten Teilen sind jedoch nur 90 tatsächlich defekt: Der positive Vorhersagewert beträgt rund 66,7 Prozent. Wenn du aus 90 Prozent Sensitivität ableitest, dass jede positive Meldung mit 90 Prozent Wahrscheinlichkeit zutrifft, hast du die Bezugsgruppe gewechselt, ohne es zu bemerken.

3. Die Grundhäufigkeit nicht aus der Interpretation entfernen

Betrachte eine zweite fiktive Lieferung mit 10.000 Teilen, von denen nur 100 defekt sind. Nimm für die Rechnung unverändert 90 Prozent Sensitivität und 95 Prozent Spezifität an. Dann werden 90 defekte Teile erkannt und 10 übersehen. Unter 9.900 intakten Teilen entstehen aber 495 falsche Meldungen. Von insgesamt 585 markierten Teilen sind nun nur 90 defekt. Der positive Vorhersagewert liegt bei rund 15,4 Prozent, obwohl die beiden angenommenen Erkennungskennzahlen gleich geblieben sind.

Die historischen CDC-Leitlinien zur Bewertung von Überwachungssystemen erklären diese Abhängigkeit des positiven Vorhersagewerts von der Häufigkeit des untersuchten Merkmals. Hier dient die Quelle ausschließlich der stabilen statistischen Beziehung, nicht als aktuelle klinische Handlungsempfehlung. Im eigenen Bericht musst du zusätzlich prüfen, ob die vorausgesetzte gleichbleibende Prüfleistung überhaupt plausibel ist. Eine andere Population, andere Messbedingungen oder eine andere Zusammensetzung der Fälle können auch Sensitivität und Spezifität verändern.

Weiterführend: CDC, 1988: Guidelines for Evaluating Surveillance Systems

4. Die Referenz und den Schwellenwert mitberichten

Die Tabelle setzt voraus, dass du eine nachvollziehbare Referenzeinstufung hast. Beschreibe, wie diese zustande kam und welche Unsicherheit sie besitzt. Eine zweite Software ist nicht schon deshalb ein fehlerfreier Maßstab, weil sie ein eindeutiges Ergebnis ausgibt. Ebenso wichtig ist der Schwellenwert, ab dem dein Verfahren positiv meldet. Kennzahlen ohne Information über diese Regel lassen sich nur eingeschränkt mit Ergebnissen anderer Untersuchungen vergleichen.

Überlege außerdem, welche Fehler für die konkrete Fragestellung unterschiedliche Folgen haben. Ein übersehenes defektes Bauteil und eine unnötige Nachprüfung eines intakten Teils sind nicht dieselbe Entscheidungssituation. Wähle eine Bewertungsregel nicht nachträglich nur danach aus, welche Zahl am besten aussieht. Wenn du verschiedene Schwellen untersuchst, kennzeichne das Vorgehen und trenne die Auswahl eines Verfahrens von einer unabhängigen Prüfung seiner Leistung. Eine hohe einzelne Kennzahl ersetzt diese Trennung nicht.

5. Prozentwerte immer mit Nenner und Kontext erklären

Berichte neben den Kennzahlen die zugrunde liegenden Fallzahlen und die untersuchte Situation. Schreibe beispielsweise, dass im fiktiven ersten Datensatz 90 von 100 defekten Teilen erkannt wurden und 90 von 135 Meldungen zutrafen. Diese beiden Sätze machen den Perspektivwechsel verständlicher als eine isolierte Liste von Abkürzungen. Besprich auch Unsicherheit und Grenzen deiner Stichprobe, statt die beobachteten Prozentwerte als unveränderliche Eigenschaften des Verfahrens darzustellen.

Der Abschlusswerk-Statistikbereich kann dir beim Ordnen der Auswertungsfrage helfen. Er ersetzt keine Prüfung der Referenzdaten, der Stichprobenziehung oder der betrieblichen Folgen einer Entscheidung. Nutze die Vierfeldertafel deshalb als eigenen Kontrollschritt: Stimmen Zeilen- und Spaltensummen, ist die positive Klasse eindeutig und passt jeder Nenner zur behaupteten Aussage? Erst danach lässt sich sinnvoll besprechen, ob das Verfahren für den beabsichtigten Einsatz ausreichend untersucht wurde.