Effektstärke in Studien korrekt interpretieren

Ein p-Wert von 0,001 wirkt auf den ersten Blick überzeugend. Er beantwortet jedoch nicht die Frage, ob ein Ergebnis für die Praxis, die Theorie oder eine klinische Entscheidung tatsächlich relevant ist. Wer die Effektstärke in Studien korrekt interpretieren möchte, muss deshalb mehr betrachten als statistische Signifikanz: die Größe des Effekts, seine Präzision, die Skala der Messung und den konkreten Forschungskontext.

Gerade in Abschlussarbeiten, Dissertationen und Publikationen entsteht häufig ein problematisches Muster: Der p-Wert wird berichtet, die Effektstärke erscheint höchstens als Zahl in einer Tabelle - oder wird anhand starrer Grenzwerte vorschnell als klein, mittel oder groß etikettiert. Wissenschaftlich belastbar ist das nicht. Eine gute Interpretation erklärt, was der beobachtete Unterschied oder Zusammenhang bedeutet und wie sicher diese Aussage ist.

Warum der p-Wert keine Effektgröße ersetzt

Der p-Wert bewertet, vereinfacht gesagt, wie gut die beobachteten Daten mit einer Nullhypothese vereinbar sind. Er hängt dabei stark von der Stichprobengröße ab. Bei sehr großen Stichproben können selbst minimale und praktisch irrelevante Unterschiede statistisch signifikant werden. Umgekehrt kann ein inhaltlich bedeutsamer Effekt bei einer kleinen Stichprobe das übliche Signifikanzniveau verfehlen.

Ein Beispiel aus der Medizin verdeutlicht das: Eine Intervention senkt einen Symptomscore im Mittel um 0,3 Punkte gegenüber der Kontrollgruppe. Bei mehreren Tausend Teilnehmenden kann dieser Unterschied hochsignifikant sein. Wenn eine Verbesserung von mindestens zwei Punkten als klinisch spürbar gilt, ist der Befund trotz niedrigem p-Wert kaum relevant. Die Effektstärke lenkt den Blick auf diese inhaltliche Dimension.

Das bedeutet nicht, dass p-Werte überflüssig sind. Sie ergänzen Effektstärken, ersetzen sie aber nicht. Ein überzeugendes Ergebnisbericht kombiniert Effektgröße, Konfidenzintervall, p-Wert und eine fachlich begründete Einordnung.

Welche Effektstärke zu welchem Studiendesign passt

Die passende Kennzahl ergibt sich aus Forschungsfrage, Skalenniveau und statistischem Verfahren. Nicht jede Effektstärke lässt sich sinnvoll mit jeder anderen vergleichen.

Mittelwertunterschiede: Cohen d und Hedges g

Bei zwei unabhängigen Gruppen wird häufig Cohen d verwendet. Die Kennzahl setzt den Mittelwertunterschied ins Verhältnis zur Streuung der Daten. Ein d von 0,50 bedeutet beispielsweise, dass sich die Gruppen um eine halbe Standardabweichung unterscheiden. Das erleichtert den Vergleich zwischen Studien, auch wenn unterschiedliche Messskalen genutzt wurden.

Cohen d ist besonders bei ausreichend großen und ähnlich streuenden Gruppen verbreitet. Bei kleinen Stichproben ist Hedges g meist die bessere Wahl, weil diese Effektstärke eine Korrektur für systematische Überschätzung enthält. In einer Bachelor- oder Masterarbeit muss nicht zwingend jede Formel hergeleitet werden. Die Wahl der Kennzahl und ihre Begründung sollten aber zum Design passen.

Bei Messwiederholungen ist Vorsicht geboten. Ein Effekt aus Prä-Post-Daten berücksichtigt die Abhängigkeit der Messungen anders als ein Effekt aus zwei unabhängigen Gruppen. Wer hier eine Standardformel unkritisch übernimmt, kann einen schwer vergleichbaren oder verzerrten Wert berichten.

Zusammenhänge: Pearson r und R²

Für lineare Zusammenhänge zweier metrischer Variablen ist der Korrelationskoeffizient r üblich. Sein Vorzeichen zeigt die Richtung, sein Betrag die Stärke des Zusammenhangs. Ein r von -0,40 steht für einen moderaten negativen Zusammenhang, etwa zwischen Stressbelastung und Schlafqualität.

Für die praktische Interpretation ist oft zusätzlich r² hilfreich. Quadriert man r = 0,40, ergibt sich 0,16. Unter den Annahmen des Modells entspricht das einem Anteil von 16 Prozent gemeinsamer Varianz. Diese Formulierung ist anschaulich, darf jedoch nicht als Kausalnachweis gelesen werden. Korrelationen zeigen keinen Beweis dafür, dass eine Variable die andere verursacht.

In Regressionsanalysen ist das korrigierte R² meist aussagekräftiger als das einfache R², wenn mehrere Prädiktoren im Modell stehen. Es berücksichtigt, dass ein Modell durch zusätzliche Variablen scheinbar besser werden kann, obwohl diese kaum echte Erklärungskraft liefern.

Gruppenvergleiche mit mehreren Faktoren: Eta-Quadrat

In Varianzanalysen finden sich häufig Eta-Quadrat (η²) und partielles Eta-Quadrat (ηp²). Beide beschreiben Varianzanteile, sind aber nicht identisch. Partielles Eta-Quadrat bezieht sich auf den Effekt relativ zu seiner Fehlerstreuung und kann bei komplexeren Designs deutlich größer ausfallen als η².

Das ist für die Interpretation entscheidend: Werte aus unterschiedlichen Kennzahlen sollten nicht ohne Weiteres gegenübergestellt werden. Berichten Sie deshalb immer eindeutig, welche Variante verwendet wurde. Bei ANOVA-Designs kann Omega-Quadrat (ω²) eine sinnvollere, zurückhaltendere Schätzung der Effektgröße in der Population sein. Welche Kennzahl fachlich erwartet wird, hängt auch vom Studiengebiet und den Publikationsstandards ab.

Dichotome Endpunkte: Odds Ratio, Risiko und absolute Unterschiede

Bei binären Ergebnissen, etwa Ereignis ja oder nein, sind Odds Ratio, Risk Ratio oder Risikodifferenz verbreitet. Eine Odds Ratio von 2 klingt eindrucksvoll, kann aber ohne Ausgangsrisiko täuschen. Steigt ein Risiko von 1 auf 2 Prozent, verdoppelt es sich zwar relativ, absolut beträgt der Unterschied jedoch nur einen Prozentpunkt.

Insbesondere bei klinischen oder gesundheitsbezogenen Themen sollte daher neben relativen Kennzahlen möglichst auch eine absolute Risikodifferenz genannt werden. Sie zeigt Leserinnen und Lesern unmittelbar, wie viele zusätzliche Ereignisse tatsächlich zu erwarten sind.

Effektstärken nicht mechanisch als klein oder groß bewerten

Die bekannten Orientierungspunkte nach Cohen - etwa d = 0,20, 0,50 und 0,80 - sind keine Naturgesetze. Sie wurden als grobe Konventionen entwickelt, nicht als universelle Qualitätsstempel. Ein d von 0,20 kann bei einer günstigen, leicht skalierbaren Präventionsmaßnahme gesellschaftlich bedeutsam sein. Ein d von 0,80 kann dagegen wenig überzeugen, wenn die Intervention teuer, belastend oder kaum umsetzbar ist.

Die richtige Einordnung beantwortet deshalb vier Fragen: Ist der Effekt im Fachgebiet ungewöhnlich oder erwartbar? Überschreitet er eine fachlich begründete Relevanzschwelle? Wie präzise wurde er geschätzt? Und rechtfertigt er angesichts von Aufwand, Risiken und Alternativen eine praktische Konsequenz?

Vergleichswerte aus hochwertigen Meta-Analysen, früheren Studien oder validierten klinischen Schwellen sind oft wesentlich hilfreicher als starre Faustregeln. Fehlen solche Referenzen, sollte die Arbeit dies offen benennen und die Interpretation vorsichtig formulieren.

Konfidenzintervalle zeigen, wie präzise der Effekt geschätzt ist

Eine Effektstärke ohne Konfidenzintervall ist unvollständig. Das 95%-Konfidenzintervall zeigt den Bereich plausibler Werte unter den jeweiligen Modellannahmen. Ein geschätztes d = 0,45 mit Intervall von 0,35 bis 0,55 ist wesentlich präziser als derselbe Punktschätzer mit Intervall von -0,10 bis 1,00.

Im zweiten Fall lässt die Studie sowohl einen kleinen negativen als auch einen großen positiven Effekt zu. Die Aussage darf daher nicht lauten, die Intervention wirke eindeutig moderat. Korrekt wäre: Die Schätzung deutet auf einen positiven Effekt hin, ist jedoch aufgrund der breiten Unsicherheit nicht präzise genug für eine verlässliche Größenbestimmung.

Breite Intervalle entstehen oft durch kleine Stichproben, hohe Streuung oder wenige Ereignisse. Sie sind kein Makel, den man sprachlich kaschieren sollte, sondern ein zentraler Teil des Befunds. Für die Planung künftiger Studien liefert diese Unsicherheit wertvolle Hinweise zur erforderlichen Stichprobengröße.

Effektstärke in Studien korrekt interpretieren und berichten

Ein guter Ergebnisabschnitt trennt zunächst Beobachtung und Bewertung. Zuerst werden Testverfahren, Effektstärke, Konfidenzintervall und p-Wert transparent berichtet. Anschließend folgt die fachliche Interpretation. So vermeiden Sie, dass eine Wertung als vermeintlich objektives Testergebnis erscheint.

Eine präzise Formulierung könnte lauten: „Die Interventionsgruppe zeigte einen höheren Mittelwert als die Kontrollgruppe, t(98) = 2,31, p = ,023, Hedges g = 0,46, 95%-KI [0,06; 0,86]. Der Effekt liegt im mittleren Bereich nach gängigen Konventionen; aufgrund des relativ breiten Konfidenzintervalls ist seine genaue Größe jedoch mit Unsicherheit behaftet.“ Ob „mittlerer Bereich“ angemessen ist, sollte anschließend mit Bezug zum Fachgebiet geprüft werden.

Achten Sie beim Reporting besonders auf diese Punkte:

• Nennen Sie die genaue Effektstärke und nicht nur eine verbale Kategorie.
• Berichten Sie Konfidenzintervalle, idealerweise direkt neben dem Schätzwert.
• Verwenden Sie eine Kennzahl, die zum Design und zur Auswertungsmethode passt.
• Begründen Sie praktische oder klinische Relevanz fachlich, nicht allein mit Cohen-Grenzwerten.
• Vermeiden Sie kausale Aussagen, wenn das Design diese nicht zulässt.

Typische Fehlinterpretationen in Thesis und Publikation

Ein häufiger Fehler besteht darin, „nicht signifikant“ mit „kein Effekt“ gleichzusetzen. Ein nicht signifikantes Ergebnis kann genauso gut auf eine unpräzise Studie hindeuten. Entscheidend ist, ob das Konfidenzintervall relevante Effekte noch einschließt.

Ebenso problematisch ist die Aussage, ein großer Effekt sei automatisch glaubwürdig. Kleine, selektive Stichproben und viele getestete Hypothesen können auffällig hohe Effekte produzieren. Replikationen, Studienqualität, fehlende Daten, Modellannahmen und vorab definierte Analysen beeinflussen die Glaubwürdigkeit erheblich.

Schließlich sollte eine Effektstärke nicht isoliert aus einer Softwareausgabe übernommen werden. SPSS, R, JASP, Jamovi, Stata oder Python liefern Zahlen - die wissenschaftlich korrekte Auswahl, Prüfung und sprachliche Einordnung bleibt eine methodische Aufgabe.

Wenn Sie bei der Wahl oder Interpretation Ihrer Effektstärken unsicher sind, kann eine individuelle Statistikberatung die Analyse, das Reporting und die Argumentation auf akademischen Standard bringen. Bei Easy Statistik prüfen promovierte Statistiker Ihre Forschungsfrage, Ihr Design und Ihre Ergebnisse diskret und nachvollziehbar. Fordern Sie über das Kontaktformular eine Ersteinschätzung an - besonders dann, wenn aus einer einzelnen Kennzahl eine tragfähige wissenschaftliche Aussage werden muss.