Präregistrierung gegen den publication bias


Um dem publication bias zu entgehen, arbeitet man in der Psychologie seit einigen Jahren mit der Präregistrierung, wobei dieses Konzept der Präregistrierung verlangt, dass die Idee einer Studie und die für die Ergebnisse grundlegende Methodik wie das Sammeln und Auswerten von Daten, für eine bestimmte wissenschaftliche Fragestellung nicht erst am Ende einer Studie, sondern bereits vor dem Sammeln der Daten online registriert und teilweise auch schon in einem Peer-Review-Verfahren akzeptiert wird.
Dies soll das gezielte Nicht-Publizieren kleiner oder nicht-signifikanter Effekte oder ein gezieltes Suchen nach signifikanten Effekten durch statistisches Herumprobieren verhindern und somit ein unverzerrtes Bild der wahren Effekte liefern. Nach Ansicht von Schäfer & Schwarz (2019) besteht nämlich ein nicht zu unterschätzendes Risiko, dass Lehrbücher der Psychologie viele Zufallsbefunde enthalten, die wenig Substanz haben. Da bisher in den einschlägigen Journalen bisher vor allem große bzw. signifikante Effekte publiziert werden, müssten die durchschnittlichen Effekte bei präregistrierten Studien kleiner ausfallen. Das bestätigte sich in der Studie von Schäfer & Schwarz (2019), denn die durchschnittlichen Effekte waren bei präregistrierten Studien nur noch halb so groß, d. h., die in der Vergangenheit publizierten empirischen Effekte sind deutlich in Richtung zu großer Effekte verzerrt. Sieht man sich die Verteilung der Effekte der präregistrierten Studien an, wird sichtbar, dass diese deutlich kleiner sind als die üblichen Konventionen zur Effektstärke. Diese Praktik der Präregistrierung ist als Reaktion auf die Replikationskrise in der Psychologie entstanden, nach der sich viele bekannte Effekte der psychologischen Forschung in nachfolgenden Studien nicht bestätigen ließen.
Literatur
Schäfer, T., & Schwarz, M. (2019). The meaningfulness of effect sizes in psychological research: Differences between sub-disciplines and the impact of potential biases. Frontiers in Psychology, 10, doi:10.3389/fpsyg.2019.00813.
Sterling, Theodore D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American Statistical Association, 54, 30–34.






Sorry, comments for this entry are closed at this time.

Diese Seiten sind Bestandteil der Domain www.stangl.eu

© Werner Stangl Linz 2019