Präregistrierung gegen den publication bias

Bekanntlich sind zahlreiche meta-analytische Versuche, Ergebnisse empirischer Forschung zu reproduzieren, in den letzten Jahren gescheitert, was manche Wissenschaftler und Medien dazu veranlasste, eine Replikationskrise zu diagnostizieren und die Sorge zu äußern, dass die Wissenschaft dadurch an öffentlicher Glaubwürdigkeit verliert. Andere hofften, dass Replikationsversuche das öffentliche Vertrauen in die Wissenschaft stärken könnte, da man dadurch zeigen konnte, dass man sehr genau überprüft, was in den Wissenschaften Bestand hat und was nicht.

Um dem publication bias zu entgehen, arbeitet man in der Psychologie seit einigen Jahren mit der Präregistrierung, wobei dieses Konzept der Präregistrierung verlangt, dass die Idee einer Studie und die für die Ergebnisse grundlegende Methodik wie das Sammeln und Auswerten von Daten, für eine bestimmte wissenschaftliche Fragestellung nicht erst am Ende einer Studie, sondern bereits vor dem Sammeln der Daten online registriert und teilweise auch schon in einem Peer-Review-Verfahren akzeptiert wird.

Dies soll das gezielte Nicht-Publizieren kleiner oder nicht-signifikanter Effekte oder ein gezieltes Suchen nach signifikanten Effekten durch statistisches Herumprobieren verhindern und somit ein unverzerrtes Bild der wahren Effekte liefern. Nach Ansicht von Schäfer & Schwarz (2019) besteht nämlich ein nicht zu unterschätzendes Risiko, dass Lehrbücher der Psychologie viele Zufallsbefunde enthalten, die wenig Substanz haben. Da bisher in den einschlägigen Journalen bisher vor allem große bzw. signifikante Effekte publiziert werden, müssten die durchschnittlichen Effekte bei präregistrierten Studien kleiner ausfallen. Das bestätigte sich in der Studie von Schäfer & Schwarz (2019), denn die durchschnittlichen Effekte waren bei präregistrierten Studien nur noch halb so groß, d. h., die in der Vergangenheit publizierten empirischen Effekte sind deutlich in Richtung zu großer Effekte verzerrt. Sieht man sich die Verteilung der Effekte der präregistrierten Studien an, wird sichtbar, dass diese deutlich kleiner sind als die üblichen Konventionen zur Effektstärke. Diese Praktik der Präregistrierung ist als Reaktion auf die Replikationskrise in der Psychologie entstanden, nach der sich viele bekannte Effekte der psychologischen Forschung in nachfolgenden Studien nicht bestätigen ließen.

Mede et al. (2020) haben jüngst versucht, repräsentative Belege für Befürchtungen oder Hoffnungen in Bezug auf die Replikationskrise zu finden, indem sie eine Sekundäranalyse der deutschen Wissenschaftsbarometer-Umfrage durchführten. Dabei zeigte sich, dass die meisten Menschen sich der Replikationskrise überhaupt nicht bewusst sind, und interpretieren mehrheitlich die Replikationsbemühungen als Zeichen für die wissenschaftliche Qualitätskontrolle und die selbstkorrigierende Natur der Wissenschaft: 65 Prozent halten dies für ein Zeichen der Qualitätssicherung in der Forschung, 80 Prozent sind außerdem der Meinung, dass Irrtümer und Korrekturen zur wissenschaftlichen Arbeit dazugehörten. Im übrigen ist Befragten ohne Universitätsabschluss oder mit wenigen Kontakten zu Wissenschaftlerinnen und Wissenschaftlern überhaupt nicht bekannt, dass wissenschaftliche Studien bisweilen nicht mit demselben Ergebnis wiederholt werden können.

Serra-Garcia & Gneezy (2021) konnten in einer Meta-Analyse zu zeigen, dass veröffentlichte Arbeiten in Journalen der Psychologie, Wirtschaftswissenschaften und des allgemeinen Interesses, die man nicht wiederholen kann, häufiger zitiert werden als solche, die sich replizieren lassen. Das bedeutet letztlich also, dass Studien, deren Ergebnisse als gesichert gelten, offenbar viel weniger Aufmerksamkeit bekommen als Studien mit wenig gesicherten Resultaten. Diese wenig gesicherten Forschungsergebnisse wurden bis zu dreihundertmal öfter von anderen WissenschaftlerInnen zitiert. Die Autoren vermuten, dass solche Einzeluntersuchungen und deren Publikation oft die spektakuläreren Ergebnisse liefern, was nicht wenige Fachmagazine dazu verleitet, bei der Überprüfung wohl nicht so genau hinzuschauen. Bekanntlich gilt, dass je öfter Artikel aus einer Zeitschrift zitiert werden, als desto bedeutender gilt sie, wobei die meist nur oberflächlich informierten JournalistInnen vor allem spektakuläre Ergebnisse weiter verbreiten und daher für zusätzliche Aufmerksamkeit sorgen. Diese Untersuchung muss auch auf dem Hintergrund der in der Psychologie vor einigen Jahren beschworenen Replikationskrise in diesem Fach betrachtet werden.

Literatur

Mede, N. G., Schäfer, M. S., Ziegler, R., & Weißkopf, M. (2020). The “replication crisis” in the public eye: Germans’ awareness and perceptions of the (ir)reproducibility of
Schäfer, T., & Schwarz, M. (2019). The meaningfulness of effect sizes in psychological research: Differences between sub-disciplines and the impact of potential biases. Frontiers in Psychology, 10, doi:10.3389/fpsyg.2019.00813.
Serra-Garcia, Marta & Gneezy, Uri (2021). Nonreplicable publications are cited more than replicable ones. Science Advances, 7, doi:10.1126/sciadv.abd1705.
Stangl, W. (2021). Warum finden unreplizierbare Forschungsergebnisse so viel Aufmerksamkeit? – Werner Stangls Psychologie News.
WWW: https://psychologie-news.stangl.eu/3768/warum-finden-unreplizierbare-forschungsergebnisse-so-viel-aufmerksamkeit (21-05-26).
https://lexikon.stangl.eu/9914/wissenschaftliche-methoden/ (14-11-21)
Sterling, Theodore D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American Statistical Association, 54, 30–34.