Studien kritisch lesen: Verzerrungsrisiken statt einer pauschalen Qualitätsnote

1. Die zu prüfende Aussage zuerst festlegen

Bewerte nicht nur den Artikel als Ganzes, sondern beginne mit dem Ergebnis, das du in deiner Arbeit verwenden möchtest. Welche Frage soll es stützen, aus welchem Design stammt es und für welche Gruppe gilt es? Das Cochrane-Handbuch unterscheidet bei Interventionsstudien Verzerrungsrisiken, zufällige Unsicherheit und Übertragbarkeit. Diese Unterscheidung ist hilfreich, darf aber nicht als universelle Checkliste für sämtliche Fachgebiete ausgegeben werden. Prüfe zuerst, welche Bewertungsverfahren zu deinem Studientyp und zu den Vorgaben deiner Betreuung passen.

Lege eine eigene Ergebniskarte an: konkrete Aussage, Ergebnisstelle, untersuchte Einheiten, Messung und vorgesehene Verwendung in deinem Text. Unser erfundener Lernfall betrifft eine Veröffentlichung über ein Feedbackformat im Schreibseminar. Für eine Aussage über berichtete Zufriedenheit ist möglicherweise ein anderes Ergebnis relevant als für eine Aussage über die Qualität abgegebener Texte. Notiere die beiden Verwendungen getrennt. Das verhindert, dass ein gut dokumentierter Teilbefund als pauschales Gütesiegel für jede Aussage derselben Veröffentlichung behandelt wird.

Weiterführend: Cochrane Handbook, Chapter 7: Considering bias and conflicts of interest

2. Beobachtung und Bewertung auseinanderhalten

Trenne in deinen Notizen drei Ebenen: Was steht im Bericht? Welche methodische Frage ergibt sich daraus? Welche begrenzte Bewertung lässt sich begründen? Eine fehlende Beschreibung ist zunächst fehlende Information, nicht automatisch der Beweis einer fehlerhaften Durchführung. Suche relevante Angaben auch in zugänglichen Ergänzungen und Protokollen. Lege fest, welche Dokumente tatsächlich gelesen wurden. Wenn eine entscheidende Information nicht erreichbar ist, kennzeichne die Unsicherheit, statt eine günstige oder ungünstige Durchführung zu erfinden.

Eine eigene Prüftabelle kann die Spalten Ergebnis, Fundstelle, beobachteter Ablauf, möglicher Einfluss und offene Rückfrage enthalten. Im Lernfall wäre eine sachliche Notiz: Die Bewertung der Texte wird beschrieben; aus dem zugänglichen Bericht geht nicht hervor, ob Bewertende die Gruppenzugehörigkeit kannten. Daraus folgt eine konkrete Rückfrage. Die pauschale Behauptung Die Studie ist wertlos folgt daraus nicht. Halte außerdem fest, ob eine Information nicht berichtet, nicht gesucht oder trotz Suche nicht gefunden wurde. Diese Zustände sind nicht austauschbar. Formuliere daneben als eigene Arbeitshilfe einen begrenzten Verwendungssatz: Der Bericht beschreibt Unterschiede in der Textbewertung; die fehlende Information zur Bewertungssituation bleibt eine Unsicherheit. Prüfe anschließend, ob dieser Satz tatsächlich zum untersuchten Ergebnis passt. Er ersetzt weder die Originallektüre noch das gewählte Bewertungsverfahren.

3. Ein zum Design passendes Verfahren verwenden

Für randomisierte Interventionsstudien beschreibt Cochrane mit RoB 2 eine strukturierte Beurteilung bestimmter Ergebnisse über mehrere Bereiche. Ein solches Verfahren braucht seine vollständige Anleitung und fachliche Einarbeitung. Übernimm nicht einzelne Fragen daraus, addiere willkürlich Punkte und nenne das anschließend eine validierte Gesamtbewertung. Für andere Studientypen kann ein anderes Instrument erforderlich sein. Die Auswahl des Verfahrens ist deshalb Teil deiner Methode und keine dekorative Ergänzung zur Literaturliste. Dokumentiere Version, Geltungsbereich und die vereinbarte Anwendung.

Teste dein Vorgehen zunächst an einem passenden Text. Schreibe für jede Bewertung eine Begründung mit Fundstelle und einer klaren Grenze. Falls eine zweite Person mitprüft, vergleicht ihr nicht nur Endurteile, sondern die zugrunde gelegten Informationen. Besprecht Abweichungen anhand der Anleitung. Für eine allein angefertigte Abschlussarbeit darfst du keine unabhängige Doppelprüfung behaupten. Halte stattdessen den tatsächlich durchgeführten Prüfumfang und offene methodische Fragen fest. Die transparente Beschränkung ist glaubwürdiger als ein erfundener Begutachtungsprozess.

Weiterführend: Cochrane Handbook, Chapter 8: Assessing risk of bias in a randomized trial

4. Die Bewertung in die eigene Argumentation übersetzen

Entscheide abschließend, wie sich die dokumentierte Grenze auf deinen eigenen Satz auswirkt. Musst du die Aussage enger fassen, auf einen zusätzlichen Befund verweisen oder eine Unsicherheit ausdrücklich nennen? Eine Bewertung bleibt folgenlos, wenn sie nur im Anhang steht, während der Haupttext uneingeschränkt weiterbehauptet. Schreibe deshalb neben die Ergebniskarte einen möglichen Verwendungssatz und prüfe ihn gegen die tatsächlichen Befunde. Setze Journalruf, Zitierhäufigkeit oder einen großen Stichprobenumfang nicht an die Stelle einer nachvollziehbaren inhaltlichen Prüfung.

Der Quellenqualitäts-Check kann Literatur im Zusammenhang mit deinem Thema und deiner Forschungsfrage einordnen. Bereite dafür auch das Literaturverzeichnis vor und ergänze zugängliche Originalquellen, soweit der Ablauf dies vorsieht. Gib nur Material ein, das du verarbeiten lassen darfst, und prüfe Hinweise am Original. Eine automatische Einschätzung ersetzt weder die vollständige studienspezifische Anleitung noch eine fachkundige Risk-of-Bias-Bewertung. Nutze das Ergebnis als Liste zu überprüfender Fragen, nicht als Zertifikat. Der fertige Arbeitsstand umfasst den konkreten Befund, die dokumentierte Prüfung und eine begrenzte Verwendung in deiner Argumentation. Das ist etwas anderes als die bloße Vergabe einer Qualitätsnote.