Richtlinien für Autoren

1. Die Royal Society Open Science verpflichtet sich, jeden methodisch fundierten Versuch zu veröffentlichen, eine Studie zu replizieren, die in der Sektion Psychologie und kognitive Neurowissenschaften der Zeitschrift veröffentlicht wurde, sowie jede Studie im Zuständigkeitsbereich der Sektion Psychologie und kognitive Neurowissenschaften, die wurde in einer der folgenden Zeitschriften veröffentlicht: Biologische Psychiatrie, Gehirn, Großhirnrinde, kindliche Entwicklung, Kortex, Kognitive Psychologie, Kognition, Aktuelle Biologie, Entwicklungspsychologie, Entwicklungswissenschaft, European Journal of Neuroscience, Journal of Cognitive Neuroscience, Journal of Experimental Social Psychology, Journal of Memory and Language, Journal of Neuroscience, Journal of Personality and Social Psychology, Natur, Natur Menschliches Verhalten, Natur Neuroscience, NeuroImage, Neuron, Neuroscience of Consciousness, PLOS Biology, Proceedings der National Academy of Sciences der USA, Psychologische Wissenschaft, Vierteljährlich Zeitschrift für experimentelle Psychologie, Wissenschaft, Sozialpsychologie und Persönlichkeitswissenschaft und jede andere Zeitschrift, die von der American Psychological Association, der Association for Psychological Science, der British Psychological Society oder der Royal Society veröffentlicht wird. Wir werden auch prüfen, von Fall zu Fall, Anfragen vor der Einreichung für Replikationen von Studien, die zusätzlich zu den hier aufgeführten in Fachzeitschriften veröffentlicht wurden. Beachten Sie, dass Replikationsstudien selbst geeignete Ziele für die Replikation sind.

1. Autoren haben die Wahl zwischen zwei Wegen zur Prüfung von Einreichungen: ein „ergebnisblinder“ Track, in dem die Einführung und Methode einer abgeschlossenen Studie von Experten begutachtet werden, während die Ergebnisse und die Diskussion vorübergehend zurückgehalten werden, oder ein „vollständig vorregistrierter“ Track, in dem das Studienprotokoll überprüft und vor Beginn der Datenerhebung vorab akzeptiert wird.

1. Ergebnisse-Blindspur

3.1. Dieser Track richtet sich an Autoren, die bereits einen direkten (engen) Replikationsversuch einer Studie abgeschlossen haben, die in der Royal Society Open Science, in einer der in Abschnitt 1 aufgeführten Quellzeitschriften oder in einer anderen von den Herausgebern von Fall zu Fall genehmigten Zeitschrift veröffentlicht wurde. Autoren sollten zunächst ein Teilmanuskript einreichen, das die Abstract-, Einführungs- und Methodenteile enthält, wobei die Ergebnisse und die Diskussion zusammen mit allen anderen Informationen (z. B. im Abstract), die die Forschungsergebnisse angeben oder implizieren, redigiert werden. Der Methodenteil sollte in Vergangenheitsform geschrieben sein und eine umfassende und detaillierte Darstellung aller experimentellen Verfahren (einschließlich Datenein- und -ausschlusskriterien) und Analysen enthalten. Beachten Sie, dass die spätere Einreichung in Stufe 2 nicht die Ergebnisse von Analysen enthalten kann, die zum Zeitpunkt der grundsätzlichen Annahme nicht in der Einreichung in Stufe 1 angegeben sind. Das Manuskript der Stufe 1 sollte unter Verwendung des Replikationsartikeltyps eingereicht werden. Der Einreichung muss ein Anschreiben an den Herausgeber beigefügt sein, aus dem hervorgeht, (a) dass die Autoren ein Manuskript der Stufe 1 als Replikationsartikel einreichen, (b) die Zielstudie für die Replikation einschließlich Quellartikel und Zeitschrift, (c) dass das Manuskript über den Results-Blind Track eingereicht wird, wobei ausdrücklich darauf hingewiesen wird, dass die Ergebnisse den Autoren bereits bekannt sind, (d) dass die Autoren zustimmen, alle anonymisierten Daten, Codes und digitalen Materialien zum Zeitpunkt der Annahme der Stufe 2 in einem frei zugänglichen Repository zu archivieren, und (e) dass die Autoren der Veröffentlichung Zurückgezogen Registrierung, wenn sie freiwillig die Einreichung zurückziehen nach Stufe 1 grundsätzlich Annahme (mit einer zurückgezogenen Registrierung, bestehend aus dem Abstract aus der Stufe 1 Einreichung plus einen Grund für den Rückzug von den Autoren oder Herausgeber geliefert). Beachten Sie, dass das Anschreiben zwar angeben sollte, ob die Ergebnisse den Autoren bekannt sind, Das Manuskript der Stufe 1 selbst darf jedoch nicht angeben oder implizieren, dass die Autoren die Ergebnisse bereits kennen. Um mögliche Verzerrungen gegenüber erwarteten negativen Befunden zu minimieren, Gutachter in der ersten Überprüfungsrunde werden sowohl für die Ergebnisse als auch für das Vorhandensein von Ergebnissen geblendet. Beachten Sie, dass alle Vorversuche, die die Replikationsstudie motivierten, nicht im Manuskript der Stufe 1 berichtet werden sollten, obwohl Autoren sie gerne an anderer Stelle veröffentlichen können (z. B. separater Peer-Review-Artikel, Preprint-Server oder Repository) und in der Einleitung der Stufe 1 darauf verweisen.

3.2. In Stufe 1 wird die Einreichung von Gutachtern geprüft, die den Inhalt anhand der folgenden primären und sekundären Kriterien bewerten:

• Stufe 1 Primäres Kriterium #1: Ob die Autoren eine ausreichend klare und detaillierte Beschreibung der Methoden für einen anderen Forscher bereitstellen, um die vorgeschlagenen experimentellen Verfahren und die Analysepipeline genau zu replizieren und eine nicht offenbarte Flexibilität in den experimentellen Verfahren oder der Analysepipeline zu verhindern.
• Stufe 1 Primäres Kriterium #2: Ob das Manuskript eine ausreichend valide (d.h. nahe) und robuste (z.B. statistisch aussagekräftige) Replikation der ursprünglichen Studienmethoden und Begründung, um einen Hinweis auf die Replizierbarkeit zu geben.
• Stufe 1 Sekundäres Kriterium #1: Die Logik, Begründung und Plausibilität der vorgeschlagenen Hypothesen.
• Stufe 1 Sekundäres Kriterium #2: Die Solidität der Methodik und der Analyse-Pipeline.
• Stufe 1 Sekundäres Kriterium #3: Ob die Autoren ausreichende ergebnisneutrale Bedingungen in Betracht gezogen haben (z. B. Fehlen von Boden- oder Deckeneffekten; Positivkontrollen; b. sonstige Qualitätsprüfungen), um sicherzustellen, dass die erzielten Ergebnisse die genannten Hypothesen überprüfen können.

Von den oben genannten Stufe-1-Kriterien basieren redaktionelle Entscheidungen ausschließlich auf den primären Kriterien. In einigen Fällen liefern die veröffentlichten Methoden der ursprünglichen Studie möglicherweise nicht genügend Details, um eine genaue Replikation zu ermöglichen (Primärkriterium 1 der Stufe 1), und die ursprünglichen Autoren der Studie sind möglicherweise auch nicht bereit oder nicht in der Lage, die erforderlichen fehlenden Informationen bereitzustellen. In solchen Fällen werden Schätzungen der ursprünglichen Verfahren akzeptiert, sofern die Autoren nachweisen können, dass die gewählte Methode eine angemessene Schätzung des ursprünglichen Ansatzes darstellt, und sofern sie (falls zutreffend) dem Herausgeber dokumentarische Beweise, wie z. B. E-Mails, vorlegen können, die alle Versuche belegen, solche Informationen von den ursprünglichen Autoren zu erhalten.

Mit Ausnahme eines spezifischen Szenarios, das unten erörtert wird, haben die Kommentare der Gutachter zu den sekundären Kriterien keinen Einfluss auf die Entscheidung zur Veröffentlichung. Wenn die Herausgeber der Ansicht sind, dass kritische Fragen, die in diesen Kategorien aufgeworfen werden, gültig sind, können zusätzliche Maßnahmen erforderlich sein. Die spezifischen Maßnahmen hängen von der Schwere der Bedenken ab und werden anhand von drei Bedrohungsstufen bewertet: gering, groß und schwer. Um Publikationsverzerrungen zu vermeiden, werden diese Bewertungen vorgenommen, bevor die Ergebnisse bekannt sind.Für Bedenken, die von den Herausgebern als gering eingestuft werden, müssen die Autoren die notwendigen Einschränkungen in der Einleitung (und / oder später in der Diskussion in Stufe 2) diskutieren.Für wichtige Bedenken, die die Interpretierbarkeit potenzieller Ergebnisse erheblich einschränken (aber nicht beseitigen), kann neben dem Abschlussbericht auch ein redaktioneller Warnhinweis veröffentlicht werden. Zum Beispiel, wenn Gutachter einen Fehler mit der Methodik der ursprünglichen Studie unter Replikation identifizieren (Stufe 1 Sekundäres Kriterium # 1 oder # 2), dann kann zusätzlich zu einer obligatorischen Diskussion der Einschränkung durch die Autoren ein redaktioneller Kommentar veröffentlicht werden mit der Abschlussarbeit, die die Einschränkung der ursprünglichen Arbeit hervorhebt. In solchen Fällen würden die Autoren auch ermutigt (aber nicht verpflichtet), eine zusätzliche Replikationsstudie über den vollständig vorregistrierten Track (siehe unten) vorzuregistrieren, in dem das Verfahren so nah wie möglich an die ursprüngliche Studie angepasst ist, aber mit dem Fehler korrigiert. Die gleichen Autorenanforderungen und -optionen würden in Fällen gelten, in denen der Replikation eine geeignete Positivkontrolle oder eine andere unabhängige Qualitätsprüfung fehlt (Stufe 1 Sekundäres Kriterium # 3).Bei schwerwiegenden Bedenken, die eine aussagekräftige Interpretation der Ergebnisse verhindern, wird die Vorgehensweise durch die Quellveröffentlichung der Originalstudie bestimmt. Für Studien, die in anderen Zeitschriften als der Royal Society Open Science veröffentlicht wurden, werden Einreichungen der Stufe 1 mit schwerwiegenden Mängeln nur akzeptiert, wenn die Autoren zustimmen, eine zusätzliche Korrekturstudie innerhalb desselben Papiers vorzuregistrieren (über den vollständig vorregistrierten Track), die versucht, die identifizierten Probleme zu beheben. In Fällen, in denen die Autoren dazu nicht bereit oder nicht in der Lage sind, werden solche Einreichungen der Stufe 1 wahrscheinlich abgelehnt. Um jedoch sicherzustellen, dass die Royal Society Open Science für den Standard der von ihr veröffentlichten Arbeit verantwortlich bleibt, werden Replikationsversuche auch von stark fehlerhaften Studien, die ursprünglich in der Zeitschrift veröffentlicht wurden, zulässig sein, ohne dass die Autoren eine zusätzliche Korrekturstudie vorregistrieren müssen. Stattdessen müssen die Autoren, wie bei Einreichungen, die große (aber nicht schwerwiegende) Bedenken enthalten, eine Diskussion über den schwerwiegenden Fehler enthalten, und der endgültige Artikel wird von einer warnenden redaktionellen Anmerkung begleitet.

Diese Eventualitäten sind in der folgenden Tabelle zusammengefasst (siehe auch das Workflow-Diagramm unten).

Richtlinien für Gutachter

Replikationen sind ein neues Format von Forschungsartikeln, das im Rahmen der Replikationsrichtlinie der Zeitschrift angeboten wird. Im Rahmen dieser Richtlinie verpflichtet sich die Zeitschrift, enge Replikationsversuche von Studien in den Bereichen Psychologie oder kognitive Neurowissenschaften zu veröffentlichen, die zuvor in der Royal Society Open Science oder einer von mehreren anderen großen Zeitschriften veröffentlicht wurden.

Replikationsstudien der Stufe 1 können mit Ergebnissen eingereicht werden, die entweder den Autoren bekannt sind (und vorübergehend redigiert werden) oder bevor Daten gesammelt wurden. Der Peer-Review-Prozess wird zunächst geblendet, für welches dieser beiden Szenarien gilt, und alle Manuskripte der Stufe 1 werden in Vergangenheitsform eingereicht, unabhängig davon, ob bereits Daten gesammelt wurden. Manuskripte werden dann in Stufe 2 erneut überprüft, nachdem die Ergebnisse bekannt sind.

In Stufe 1 wird die Einreichung anhand der folgenden primären und sekundären Kriterien bewertet. In den meisten Fällen basiert die Entscheidung zur Veröffentlichung auf der Bewertung der Primärkriterien, wobei die Bewertung der Sekundärkriterien bestimmt, ob der eventuelle Replikationsversuch zusammen mit einem redaktionellen Warnhinweis veröffentlicht wird oder nicht. Schwerwiegende Fehler in den Sekundärkriterien können jedoch zur Ablehnung führen, wenn die zu replizierende Arbeit in einer anderen Zeitschrift als der Royal Society Open Science veröffentlicht wurde.

• Stufe 1 Primäres Kriterium #1: Ob die Autoren eine ausreichend klare und detaillierte Beschreibung der Methoden für einen anderen Forscher bereitstellen, um die vorgeschlagenen experimentellen Verfahren und die Analysepipeline genau zu replizieren und eine nicht offenbarte Flexibilität der experimentellen Verfahren oder der Analysepipeline zu verhindern.

• Stufe 1 Primäres Kriterium #2: Ob das Manuskript eine hinreichend valide (d. H. nahe) und robuste (z. B. statistisch aussagekräftige) Replikation der ursprünglichen Studienmethoden und -gründe beschreibt, um einen Hinweis auf die Replizierbarkeit zu geben.

• Stufe 1 Sekundäres Kriterium #1: Die Logik, Begründung und Plausibilität der vorgeschlagenen Hypothesen.

• Stufe 1 Sekundäres Kriterium #2: Die Solidität der Methodik und der Analyse-Pipeline.

• Stufe 1 Sekundäres Kriterium #3: Ob die Autoren ausreichende ergebnisneutrale Bedingungen (z. B. Fehlen von Boden- oder Deckeneffekten; Positivkontrollen; andere Qualitätskontrollen) in Betracht gezogen haben, um sicherzustellen, dass die erzielten Ergebnisse die angegebenen Hypothesen testen können.

In Stufe 2 wird das Manuskript an die ursprünglichen Reviewer der Stufe 1 zurückgegeben, die den Inhalt nach den folgenden primären und sekundären Kriterien bewerten. Auch hier basiert die Entscheidung zur Veröffentlichung auf den primären Kriterien, wobei die Bewertung des sekundären Kriteriums beeinflusst, ob ein redaktioneller Warnhinweis angehängt wird oder nicht.

• Stufe 2 Primäres Kriterium #1: Ob die Einführung und die Methoden mit der genehmigten Einreichung der Stufe 1 übereinstimmen (erforderlich).

• Stufe 2 Primäres Kriterium #2: Ob die Schlussfolgerungen der Autoren angesichts der Daten gerechtfertigt sind.Stufe 2 Sekundäres Kriterium #1: Ob die Daten in der Lage sind, die von den Autoren vorgeschlagenen Hypothesen zu testen, indem sie die genehmigten ergebnisneutralen Kriterien bestehen (z. B. Fehlen von Boden- und Deckeneffekten oder Erfolg von Positivkontrollen oder anderen Qualitätskontrollen). Das Versäumnis, diese Bedingungen zu erfüllen, führt nicht zur Ablehnung des Manuskripts, könnte jedoch von den Autoren verlangen, solche Einschränkungen in ihrer Diskussion ausdrücklich anzuerkennen, und könnte in schweren Fällen auch zur Veröffentlichung eines begleitenden redaktionellen Warnhinweises führen.