Die Replizierbarkeitskrise, die vor etwa einem Jahrzehnt durch das „Reproducibility Project: Psychology“ ausgelöst wurde, hat die Sozial- und Verhaltenswissenschaften grundlegend transformiert und zu Reformen wie der Vorab-Registrierung von Studien geführt. Dennoch blieb eine zentrale Quelle wissenschaftlicher Unsicherheit lange Zeit unterbelichtet: die analytische Variabilität.
Eine aktuelle, großangelegte Crowd-Initiative, an der über 450 Forschende weltweit beteiligt waren, untersuchte diese Problematik nun systematisch durch die Re-Analyse von 100 Studien aus den Jahren 2009 bis 2018. Die Ergebnisse verdeutlichen, dass wissenschaftliche Erkenntnisse stark von den individuellen Entscheidungen der Analysten abhängen – etwa bei der Datenbereinigung, der Variablendefinition oder der Wahl statistischer Modelle. In der Untersuchung konnten nur 34 % der Re-Analysen exakt das statistische Ergebnis der Originalpublikation reproduzieren, während 81 % der Beteiligten leicht unterschiedliche methodische Wege einschlugen.
Obwohl die Kernaussagen in etwa drei Vierteln der Fälle (74 %) bestätigt wurden, zeigten sich signifikante Schwankungen bei den Effektgrößen und Unsicherheitsgraden, wobei insbesondere Beobachtungsstudien eine geringere Robustheit gegenüber experimentellen Designs aufwiesen. Interessanterweise spielte die Fachkompetenz der Forschenden kaum eine Rolle für die Abweichungen; vielmehr scheint die Komplexität der Datenstrukturen inhärent verschiedene, aber gleichermaßen vertretbare Interpretationsspielräume zu eröffnen. Die beteiligten Wissenschaftler plädieren daher dafür, die gängige Praxis der Präsentation eines einzigen „Analysepfades“ kritisch zu hinterfragen. Um die tatsächliche empirische Unsicherheit transparent zu machen, wird die verstärkte Nutzung von Multi-Analyst- oder „Multiversum“-Ansätzen empfohlen. Diese Methoden zielen nicht darauf ab, eine einzige absolute Wahrheit zu finden, sondern die Stabilität wissenschaftlicher Schlussfolgerungen sichtbar zu machen und somit ein ungerechtfertigtes Vertrauen in potenziell fragile Einzelergebnisse zu verhindern.
Literatur
Aczel, B., Szaszi, B., Clelland, H. T., Kovacs, M., Holzmeister, F., van Ravenzwaaij, D., Schulz-Kümpel, H., Hoffmann, S., Nilsonne, G., Kosa, L., Torma, Z. A., Abdelfatah, Y., Aberson, C. L., Acar, O. A., Acem, E., Adamkovic, M., Adamovich, T., Adiasto, K., Ahnström, L., … Mikolajczak, G. (2026). Investigating the analytical robustness of the social and behavioural sciences. Nature, 652, 135–142.
Impressum ::: Datenschutzerklärung ::: Nachricht ::: © Werner Stangl ::: Pädagogische Neuigkeiten für Psychologen :::