Pseudoreplikation vermeiden: Messungen und unabhängige Einheiten trennen

1. Eine Ebenenkarte statt einer einzigen Fallzahl anlegen

Eine Person kann mehrere Messungen liefern; ein Seminar kann mehrere Personen enthalten. Deshalb ist die Zahl der Tabellenzeilen nicht automatisch die Zahl unabhängiger Untersuchungseinheiten. Lazic und Mitautoren unterscheiden in ihrer Originalpublikation biologische, experimentelle und beobachtete Einheiten. Ihre Beispiele stammen aus Zell- und Tierexperimenten. Für eine sozialwissenschaftliche Abschlussarbeit lässt sich daraus eine hilfreiche Designfrage ableiten, aber keine unveränderte Fachanweisung übernehmen: Auf welcher Ebene wird beobachtet, zugeteilt und später eine Aussage gemacht?

Erstelle eine eigene Ebenenkarte. Schreibe unten die einzelne Messung, darüber die Person und gegebenenfalls darüber Team, Klasse oder Standort. Zeichne die tatsächlichen Zugehörigkeiten ein. Unser fiktives Lernbeispiel umfasst Texte mehrerer Studierender aus wenigen Schreibseminaren. Mehrere Texte derselben Person sind nicht mehrere unabhängig rekrutierte Personen. Ergänze auf jeder Ebene, wie viele Einheiten wirklich vorliegen und welche Kennung sie verbindet. Verwende dafür zulässige pseudonyme Kennungen statt unnötiger Identitätsdaten. Die Skizze bleibt eine Planungshilfe, kein Studienbefund.

Weiterführend: Lazic, Clarke-Williams und Munafò (2018): What exactly is N in cell culture and animal experiments?

2. Die Ebene einer Intervention sichtbar markieren

Bei einem Experiment ist besonders wichtig, welche Einheit einer Bedingung unabhängig zugewiesen werden kann. Der offizielle Experimental Design Assistant des NC3Rs erläutert dies an verschiedenen Versuchsanordnungen. Zusätzliche Messungen verändern dort nicht von selbst die Zuteilungseinheit. Prüfe diese Unterscheidung für dein tatsächliches Design mit fachlicher Betreuung. Bei einer rein beobachtenden Studie muss ebenfalls die Abhängigkeitsstruktur beschrieben werden; die experimentelle Zuteilungsdefinition darf aber nicht so verwendet werden, als hätte eine Intervention stattgefunden.

Markiere im eigenen fiktiven Seminarbeispiel, ob ein Feedbackformat pro Seminar oder pro Person festgelegt wird. Wird es einem ganzen Seminar zugeteilt, können Personen desselben Seminars nicht allein deshalb als unabhängig zugeteilte Behandlungseinheiten gelten, weil ihre Antworten in verschiedenen Zeilen stehen. Schreibe neben den Pfeil der Zuteilung, wie die Entscheidung tatsächlich zustande kommt. Ergänze einen zweiten Pfeil für die Messung. Diese einfache Trennung zeigt früh, ob die geplante Fallzahlangabe nur die Datenerfassung oder die relevante unabhängige Wiederholung beschreibt.

Weiterführend: NC3Rs Experimental Design Assistant: Experimental unit

3. Mehrere Messungen nutzen, ohne Unabhängigkeit vorzutäuschen

Wiederholte Messungen können wichtige Informationen enthalten. Die Konsequenz ist nicht, zusätzliche Beobachtungen pauschal zu löschen. Sie müssen in einer zur Frage passenden Auswertung berücksichtigt werden. Eine mögliche Zusammenfassung pro Einheit verändert die Zielgröße; ein geeignetes hierarchisches Modell stellt andere Anforderungen. Entscheide nicht allein nach dem bequemsten Menü. Halte fest, welche Abhängigkeit besteht, welches Ergebnis du schätzen möchtest und welche Informationen die vorgesehene Auswertung tatsächlich nutzt. Dafür kann fachkundige Methodenberatung notwendig sein.

Schreibe eine eigene Designnotiz mit vier Zeilen: Messobjekt, gemeinsame Zugehörigkeit, mögliche unabhängige Replikation und geplante Analyse. Ergänze ausdrücklich, was eine zusätzliche Messung nicht leistet. Wenn nur sehr wenige Einheiten auf der Zuteilungsebene vorhanden sind, schafft das bloße Wiederholen eines Fragebogens keine Vielzahl neuer unabhängiger Seminare. Prüfe den Datenzugang und die Reichweite deiner Frage frühzeitig. Manchmal ist eine engere deskriptive Untersuchung ehrlicher als eine überzogene Wirkungsaussage, deren unabhängige Grundlage im Design gar nicht angelegt ist.

4. Fallzahlen pro Ebene transparent berichten

Eine hilfreiche eigene Kontrollfrage lautet: Was müsste erneut und unabhängig durchgeführt werden, damit die interessierende Bedingung wirklich ein weiteres Mal untersucht wäre? Beantworte sie zunächst ohne Testnamen. Beschreibe anschließend, welche Teile deines tatsächlichen Ablaufs diese Wiederholung ermöglichen und welche lediglich zusätzliche Details derselben Einheit liefern. Dieser Vergleich macht eine Designlücke greifbar, bevor sie hinter einer großen Gesamtzahl von Messungen verschwindet.

Beschreibe im Methodenteil getrennt, wie viele Gruppen, Personen und Messungen erhoben und tatsächlich ausgewertet wurden. Erkläre, auf welcher Ebene Zuteilung, Ausfälle und Ausschlüsse liegen. Prüfe anschließend, ob Tabellenbeschriftungen und Unsicherheitsangaben dieselbe Struktur wiedergeben. Die Formulierung n gleich Datenzeilen reicht nicht, wenn daraus unklar bleibt, wie viele unabhängige Einheiten deine Aussage tragen. Vermeide außerdem eine pauschale Diagnose Pseudoreplikation allein aufgrund mehrerer Datenzeilen; entscheidend ist der Zusammenhang zwischen Design, Zielgröße und Analyse.

Im Statistikfinder gibst du Forschungsfrage und Variablenliste ein und beschreibst darin die Ebenenkarte. Nutze passende Design- und Gruppenangaben, soweit sie deinen Aufbau tatsächlich abbilden. Passt keine Auswahl vollständig, darfst du die komplexe Struktur nicht als einfaches Standarddesign ausgeben. Eine Empfehlung kann Rückfragen ordnen, prüft aber keine echten Gruppenkennungen und berechnet im Empfehlungsablauf kein geeignetes Mehrebenenmodell. Besprich offene Designfragen vor der Erhebung oder der endgültigen Berechnung mit der Betreuung. Bewahre die abgestimmte Ebenenkarte zusammen mit dem Analyseplan auf.