Wie dokumentiere ich Analyseentscheidungen?
Eine Rückfrage des Betreuers, ein Reviewer-Kommentar oder ein fehlender Wert kurz vor der Abgabe kann aus einer kleinen Analyseentscheidung schnell ein großes Problem machen. Wer sich fragt: „Wie dokumentiere ich Analyseentscheidungen?“, braucht keine überladene Bürokratie, sondern ein klares System. Es macht Ihre Auswertung nachvollziehbar, schützt vor Widersprüchen und erleichtert das Schreiben von Methodik und Ergebnissen erheblich.
Gerade bei Abschlussarbeiten, Dissertationen und Publikationen entsteht die Dokumentation oft zu spät. Dann ist nicht mehr klar, warum bestimmte Fälle ausgeschlossen, Variablen transformiert oder Kovariaten aufgenommen wurden. Eine saubere Entscheidungsdokumentation hält den Weg von den Rohdaten bis zum berichteten Ergebnis fest. Das ist wissenschaftlich überzeugend und spart unter Zeitdruck spürbar Arbeit.
Warum Analyseentscheidungen dokumentiert werden müssen
Statistische Auswertungen bestehen nicht nur aus dem finalen Test. Vor jeder Regression, jedem t-Test und jedem Mixed Model stehen Entscheidungen: Wie werden fehlende Werte behandelt? Welche Ausreißerregel gilt? Welche Skalenwerte werden gebildet? Welche Voraussetzungen werden geprüft und was passiert bei Verletzungen?
Viele dieser Entscheidungen sind fachlich legitim. Kritisch wird es, wenn sie erst nach Sichtung der Ergebnisse getroffen werden und später nicht mehr begründet werden können. Ohne Protokoll wirkt eine Analyse schnell beliebig, selbst wenn sie methodisch korrekt durchgeführt wurde. Mit einer dokumentierten Begründung zeigen Sie dagegen, dass Ihre Entscheidungen theoriegeleitet, transparent und konsistent waren.
Das ist auch für die Reproduzierbarkeit entscheidend. Eine zweite Person sollte verstehen können, welche Datenversion verwendet wurde, welche Schritte durchgeführt wurden und weshalb eine bestimmte Methode gewählt wurde. Bei einer Thesis reicht dafür meist kein vollständiges Open-Science-Archiv. Ein nachvollziehbares, intern geführtes Analyseprotokoll ist jedoch der professionelle Mindeststandard.
Wie dokumentiere ich Analyseentscheidungen sinnvoll?
Die beste Lösung ist ein fortlaufendes Entscheidungsprotokoll. Beginnen Sie damit nicht erst beim Schreiben der Ergebnisdarstellung, sondern bevor Sie die Daten bereinigen. Jede relevante Entscheidung erhält einen kurzen Eintrag mit Datum, Kontext, Begründung und Konsequenz für die Analyse.
Ein Eintrag muss nicht lang sein. Entscheidend ist, dass er präzise genug ist, um ihn Wochen später noch zu verstehen. Statt „Ausreißer entfernt“ dokumentieren Sie besser: „Zwei Werte der Reaktionszeit lagen mehr als 3 SD über dem Mittelwert. Sie wurden gemäß vorab festgelegter Regel ausgeschlossen; Sensitivitätsanalyse mit allen Fällen führte zur gleichen Schlussfolgerung.“ Damit ist sowohl die Regel als auch die Auswirkung transparent.
Ein gutes Protokoll beantwortet immer vier Fragen: Was wurde entschieden? Warum wurde es entschieden? Auf welche Daten oder Variablen bezieht es sich? Welche Folgen hat die Entscheidung für die folgenden Analysen? Wenn diese vier Punkte klar sind, lässt sich der Schritt später sauber in Methodik, Ergebnissen oder Anhang darstellen.
Die wichtigsten Felder im Entscheidungsprotokoll
Für die meisten Forschungsprojekte reicht eine einfache Tabelle in einem Dokument, einer Tabellenkalkulation oder direkt im Analyse-Skript. Sinnvoll sind mindestens diese Angaben:
- Datum und Version des Datensatzes
- Fragestellung oder betroffene Variable
- konkrete Entscheidung beziehungsweise durchgeführter Analyseschritt
- methodische oder fachliche Begründung
- verwendete Regel, Schwellenwerte oder Quellenangabe
- Auswirkung auf Stichprobe, Modell oder Ergebnis
- Verweis auf Code, Output oder gespeicherte Analyseversion
Diese Entscheidungen werden besonders häufig vergessen
In der Praxis fehlen oft nicht die großen Methodenentscheidungen, sondern die kleinen Zwischenschritte. Genau diese können später schwer erklärbar sein. Besonders sorgfältig sollten Sie die Datenbereinigung dokumentieren. Dazu zählen Ausschlüsse wegen unvollständiger Teilnahme, unplausibler Werte, mehrfacher Einträge oder fehlender Einwilligung.
Auch der Umgang mit fehlenden Werten braucht eine klare Begründung. Listenweiser Fallausschluss kann vertretbar sein, etwa bei wenigen zufällig fehlenden Werten. Bei umfangreicheren oder systematischen Ausfällen kann eine multiple Imputation angemessener sein. Welche Lösung passt, hängt von Umfang, Muster und möglichem Mechanismus der fehlenden Daten ab. Notieren Sie daher nicht nur die gewählte Methode, sondern auch die diagnostischen Überlegungen dahinter.
Weitere typische Dokumentationslücken betreffen Skalenbildung und Rekodierungen. Wurde ein invertiertes Item korrekt umgepolt? Wie viele gültige Antworten waren für einen Skalenwert erforderlich? Wurden kategoriale Variablen zusammengefasst? Solche Schritte verändern die Grundlage jeder folgenden Analyse und gehören in das Protokoll.
Bei Modellen sind Auswahlentscheidungen zentral: Welche Prädiktoren wurden aufgenommen? Warum wurden Alter, Geschlecht oder Messzeitpunkt als Kovariaten berücksichtigt? Wurde ein Interaktionseffekt theoriegeleitet geprüft oder erst nach einem auffälligen Hauptbefund ergänzt? Ein nachträglich explorativ getesteter Effekt ist nicht weniger wertvoll. Er muss nur als explorativ bezeichnet werden, statt als vorab bestätigte Hypothesenprüfung zu erscheinen.
Vorab festlegen und nachträglich entscheiden: Beides transparent trennen
Idealerweise definieren Sie Hypothesen, primäre Endpunkte, Ausschlusskriterien und Hauptanalysen vor der Datenauswertung. Bei klinischen, medizinischen oder publikationsorientierten Projekten kann eine Präregistrierung sinnvoll oder sogar erwartet sein. In vielen studentischen Arbeiten ist sie nicht verpflichtend, eine schriftliche Vorabplanung bleibt dennoch sehr hilfreich.
Forschung verläuft jedoch nicht immer nach Plan. Ein Datensatz kann unerwartete Codierfehler enthalten, Voraussetzungen können verletzt sein oder ein theoretisch relevantes Muster kann erst während der Exploration sichtbar werden. Dann darf und soll die Analyse angepasst werden. Problematisch ist nicht die Anpassung, sondern eine rückwirkende Darstellung, als sei alles von Beginn an geplant gewesen.
Trennen Sie deshalb im Protokoll und später im Text deutlich zwischen konfirmatorischen und explorativen Schritten. Formulierungen wie „vorab festgelegt“, „nach Datenprüfung entschieden“ oder „zusätzliche Sensitivitätsanalyse“ schaffen Klarheit. Diese Transparenz erhöht Ihre Glaubwürdigkeit weit stärker als der Versuch, eine perfekt geradlinige Analysegeschichte zu erzählen.
Dokumentation direkt mit Code und Output verbinden
Wer mit R, Python, Stata oder SPSS-Syntax arbeitet, sollte Entscheidungen möglichst nah am Code dokumentieren. Kommentieren Sie nicht nur, was ein Befehl technisch ausführt, sondern auch, warum dieser Schritt gewählt wurde. Ein Kommentar wie „lineare Regression trotz leichter Abweichung von der Normalität der Residuen, da visuelle Diagnostik unauffällig und Stichprobe ausreichend groß“ ist später deutlich wertvoller als eine reine Befehlszeile.
Speichern Sie außerdem Versionen konsequent. Rohdaten werden nicht überschrieben. Bereinigte Daten, Analysedaten, Skripte, Outputs und Abbildungen erhalten nachvollziehbare Dateinamen mit Datum oder Versionsnummer. Das verhindert, dass Ergebnisse aus einer alten Datenversion versehentlich in die Arbeit übernommen werden.
Bei menügesteuerter Software wie SPSS, JASP oder Jamovi ist das genauso wichtig. Speichern Sie die Syntax oder exportieren Sie die Analyse, sichern Sie die Output-Datei und notieren Sie die Einstellungen im Protokoll. Ein Screenshot kann ergänzen, ersetzt aber keine klare Begründung.
So wird aus dem Protokoll ein überzeugender Methodenteil
Das Entscheidungsprotokoll ist eine Arbeitsunterlage, kein Text, der vollständig in die Thesis kopiert wird. Im Methodenteil berichten Sie die zentralen Regeln und Verfahren: Einschluss- und Ausschlusskriterien, Datenaufbereitung, Skalenbildung, Umgang mit fehlenden Werten, Prüfung der Voraussetzungen und die geplanten Hauptanalysen.
In den Ergebnissen dokumentieren Sie dann die tatsächliche Stichprobe und die Resultate relevanter Prüfungen. Wenn ein geplanter Ansatz wegen einer Datenbesonderheit verändert wurde, gehört die Begründung an die passende Stelle. Ausführliche Tabellen, Sensitivitätsanalysen oder zusätzliche Diagnostik können in den Anhang. So bleibt der Haupttext lesbar, ohne dass wichtige Informationen verloren gehen.
Achten Sie auf Konsistenz. Wenn im Methodenteil ein Ausschlusskriterium steht, muss die berichtete Fallzahl dazu passen. Wenn Sie eine Kovariate nennen, sollte sie im Modelloutput auftauchen. Solche Abgleiche wirken banal, sind aber einer der häufigsten Qualitätsunterschiede zwischen einer hastig abgeschlossenen und einer wissenschaftlich belastbaren Auswertung.
Wann externe Statistikberatung sinnvoll ist
Bei komplexen Datensätzen reicht ein allgemeines Protokoll nicht immer aus. Das gilt etwa für longitudinale Daten, multiple Imputation, Propensity Scores, multivariate Modelle, klinische Endpunkte oder widersprüchliche Vorgaben von Betreuern und Journals. Hier entscheidet nicht nur die Dokumentation über die Qualität, sondern bereits die korrekte methodische Weichenstellung.
Eine individuelle Beratung kann helfen, Analyseplan, Entscheidungsprotokoll, Syntax und Bericht gemeinsam aufeinander abzustimmen. Bei Easy Statistik begleiten promovierte Statistiker Forschungsprojekte diskret und nachvollziehbar - von der methodischen Ersteinschätzung bis zur auswertbaren Dokumentation. Wenn Sie bei einer konkreten Entscheidung feststecken, können Sie Ihre Fragestellung und Datenlage über das Kontaktformular schildern.
Ein gutes Entscheidungsprotokoll nimmt Ihnen nicht die Verantwortung für Ihre Forschung ab. Es gibt Ihnen aber die Sicherheit, jeden methodischen Schritt begründen zu können - genau dann, wenn Ihre Arbeit kritisch gelesen wird.
