P-Werte verstehen: Nicht die Wahrscheinlichkeit der Nullhypothese

1. Modellannahme und Datenfrage auseinanderhalten

Ein P-Wert wird unter einer Nullhypothese und den weiteren Voraussetzungen des verwendeten Tests berechnet. Er beschreibt, wie häufig ein mindestens so extremes Testergebnis unter diesem Modell wäre. Welche Ergebnisse als extremer gelten, hängt vom konkreten Test und seiner festgelegten Richtung ab. Daraus folgt nicht die Wahrscheinlichkeit, dass die Nullhypothese nach Beobachtung der Daten wahr ist. Die American Statistical Association hebt diesen Unterschied ausdrücklich hervor. Schreibe deshalb vor der Interpretation einen eigenen Prüfsatz auf: Welches Modell, welche Teststatistik und welche Richtung liegen dieser Zahl tatsächlich zugrunde?

Unser erfundenes Lernbeispiel enthält einen hypothetischen Softwareeintrag p gleich 0,03. Die Zahl wird hier nicht aus Daten berechnet und ist kein Studienergebnis. Unzulässig wäre die Übersetzung: Die Nullhypothese ist mit drei Prozent Wahrscheinlichkeit wahr. Ebenso unzulässig wäre: Mit siebenundneunzig Prozent Wahrscheinlichkeit ist meine Erklärung richtig. Beide Aussagen vertauschen die Bedingung der Berechnung. Lege eine Zwei-Spalten-Notiz an: Aussage über Testergebnisse unter dem Modell und Aussage über die Wahrheit einer Hypothese. Nur die erste Spalte beschreibt die hier behandelte P-Wert-Interpretation.

Weiterführend: American Statistical Association (2016): Statement on Statistical Significance and P-Values, release and principles

2. P-Wert und fachliche Bedeutung getrennt berichten

Ein kleiner P-Wert sagt für sich allein nicht, wie groß oder praktisch relevant ein Unterschied ist. Ergänze den tatsächlich geschätzten Effekt, seine Einheit und eine passende Unsicherheitsdarstellung. Die fachliche Bewertung benötigt außerdem einen begründeten Kontext. Unser eigenes Berichtsraster enthält deshalb Ergebniskennwert, Unsicherheit, P-Wert und sachliche Einordnung als verschiedene Felder. Fülle kein Feld mit einer bloßen Umschreibung des anderen. Wenn dein Design nur einen Zusammenhang untersucht, darf eine kleine Zahl nicht zur Wirksamkeits- oder Ursachenbehauptung werden. Diese Grenze betrifft das Untersuchungsdesign, nicht den Grad statistischer Signifikanz.

Prüfe auch, welche Daten in den Test eingegangen sind. Stichprobenauswahl, fehlende Werte und Modellentscheidungen müssen nachvollziehbar bleiben. Eine korrekt abgelesene Zahl kann durch eine unpassende Analyse dennoch irreführend verwendet werden. Unser eigener Kontrollbogen fragt nach Beobachtungseinheit, Abhängigkeit der Werte, Ausschlüssen und der tatsächlich geplanten Hypothese. Die Felder sollen eine fachliche Prüfung vorbereiten, nicht aus jeder Zahl einen neuen Testwunsch erzeugen. Halte Unklarheiten als offene Analysefrage fest und lasse die Auswertung überprüfen, bevor du eine weitreichende Ergebnisformulierung daraus ableitest.

3. Schwellen und Auswahlentscheidungen transparent machen

Ein vorab festgelegtes Signifikanzniveau kann zu einem konkreten Testverfahren gehören. Es ersetzt jedoch keine vollständige Bewertung eines Ergebnisses. Die ASA-Task-Force von 2021 stellt klar, dass angemessen eingesetzte P-Werte und Hypothesentests weiterhin nützlich sein können; daraus folgt weder ein pauschales Verbot noch eine automatische Rechtfertigung jeder Schwellenentscheidung. Berichte den tatsächlichen Test und unterscheide seine formale Entscheidung von der fachlichen Schlussfolgerung. Zwei nahe beieinanderliegende P-Werte auf verschiedenen Seiten einer Schwelle machen nicht automatisch zwei grundsätzlich gegensätzliche wissenschaftliche Befunde.

Dokumentiere, ob Hypothesen und Analysewege vorab festgelegt oder erst nach Sichtung der Daten gewählt wurden. Werden viele Tests ausprobiert und nur die attraktivste Zahl berichtet, fehlt ein wichtiger Teil des Entscheidungsprozesses. Verwende ein eigenes Analyseprotokoll mit geplantem Test, tatsächlich durchgeführter Variante, Anlass der Änderung und Umgang mit mehreren Vergleichen. Eine explorative Auswertung darf interessant sein, muss aber als solche erkennbar bleiben. Nachträglich passende Hypothesen sind nicht rückwirkend vorab bestätigt. Beschreibe den realen Ablauf, statt einen glatten Forschungsprozess zu erfinden.

Weiterführend: ASA Task Force (2021): Statement on Statistical Significance and Replicability

4. Eine begrenzte und nachvollziehbare Ergebnisformulierung schreiben

Formuliere zuerst, was untersucht wurde und welcher reale Effekt geschätzt wurde. Ergänze Test, Datengrundlage, Unsicherheit und P-Wert nach den fachlichen Berichtsvorgaben. Prüfe dann jede Deutung auf überzogene Wahrscheinlichkeitssprache. Streiche Formulierungen wie bewiesen, nur Zufall oder definitiv kein Unterschied, wenn sie nicht durch ein geeignetes anderes Argument getragen werden. Ein großer P-Wert allein weist keine Gleichwertigkeit nach. Eine solche Frage benötigt ein dafür passendes Verfahren und vorab begründete Grenzen. Halte diese Frage getrennt von einem gewöhnlichen Test auf Unterschied.

Das Tool Statistischen Test finden kann einen Auswertungsplan anhand deiner Frage und Datenstruktur unterstützen. Bereite Hypothese, Variablen, Beobachtungseinheit und Messdesign vor; prüfe Hinweise fachlich, bevor du einen realen Test in Statistiksoftware ausführst. Das Tool ersetzt keine Berechnung und keine vollständige Modellprüfung. Vergleiche die abschließende Formulierung mit dem tatsächlichen Softwareprotokoll, nicht mit einem KI-Vorschlag für ein erwartetes Ergebnis. Der fertige Arbeitsschritt besteht in einem korrekt eingeordneten Befund samt transparenter Analyseentscheidung. Ein P-Wert macht die Aussage weder automatisch hochwertig noch wissenschaftlich bedeutungslos.