Lignes directrices pour les auteurs

1. La Royal Society Open Science s’engage à publier toute tentative méthodologiquement solide de reproduire toute étude publiée dans la section Psychologie et Neurosciences cognitives de la revue, ainsi que toute étude relevant de la section Psychologie et Neurosciences cognitives publiée dans l’une des revues suivantes: Psychiatrie Biologique, Cerveau, Cortex Cérébral, Développement de l’Enfant, Cortex, Psychologie Cognitive, Cognition, Biologie actuelle, Psychologie du Développement, Science du Développement, European Journal of Neuroscience, Journal of Cognitive Neuroscience, Journal of Experimental Social Psychology, Journal of Memory and Language, Journal of Neuroscience, Journal of Personality and Social Psychology, Nature, Nature Human Behaviour, Neuroscience de la Nature, NeuroImage, Neurone, Neuroscience de la Conscience, PLOS Biology, Proceedings of the National Academy of Sciences of the USA, Psychological Science, Quarterly Journal of Experimental Psychology, Science, Social Psychological and Personality Science, et toute autre revue publiée par l’American Psychological Association, l’Association for Psychological Science, la British Psychological Society ou la Royal Society. Nous examinerons également, au cas par cas, les demandes de renseignements préalables à la soumission pour les répliques d’études publiées dans des revues supplémentaires à celles énumérées ici. Notez que les études de réplication elles-mêmes sont des cibles appropriées pour la réplication.

1. Les auteurs ont le choix entre deux voies pour l’examen des soumissions: une piste « sans résultats » dans laquelle l’introduction et la méthode d’une étude terminée sont examinées par des pairs tandis que les résultats et la discussion sont temporairement retenus, ou une piste « entièrement préenregistrée” où le protocole d’étude est examiné et pré-accepté avant le début de la collecte des données.

1. Résultats – piste aveugle

3.1. Cette piste est destinée aux auteurs qui ont déjà effectué une tentative de reproduction directe (étroite) d’une étude publiée au sein de la Royal Society Open Science, dans l’une des revues sources répertoriées dans la section 1, ou de toute autre revue approuvée au cas par cas par les éditeurs. Les auteurs doivent d’abord soumettre un manuscrit partiel contenant les sections résumé, introduction et méthode, avec les résultats et la discussion caviardés avec toute autre information (par exemple dans le résumé) qui indique ou implique les résultats de la recherche. La section sur la méthode doit être rédigée au passé et doit inclure un compte rendu complet et détaillé de toutes les procédures expérimentales (y compris les critères d’inclusion et d’exclusion des données) et les analyses. Il est à noter que la soumission de l’étape 2 ultérieure ne peut pas inclure les résultats d’analyses qui ne sont pas énoncés dans la soumission de l’étape 1 au moment de l’acceptation de principe. Le manuscrit de l’étape 1 doit être soumis en utilisant le type d’article de réplication. La soumission doit être accompagnée d’une lettre de motivation à l’éditeur indiquant (a) que les auteurs soumettent un manuscrit de l’étape 1 en tant qu’article de réplication, (b) l’étude cible pour la réplication, y compris l’article source et la revue, (c) que le manuscrit est soumis via la piste aveugle des résultats, en notant explicitement que les résultats sont déjà connus des auteurs, (d) que les auteurs acceptent d’archiver toutes les données anonymisées, le code et le matériel numérique dans un référentiel librement accessible au moment de l’acceptation de l’étape 2, et (e) que les auteurs acceptent la publication d’un document. Retrait de l’enregistrement s’ils retirent volontairement la soumission après l’étape 1 en acceptation de principe (avec un retrait de l’enregistrement composé du résumé de la soumission de l’étape 1 plus un motif de retrait fourni par les auteurs ou les éditeurs). Notez que si la lettre de présentation doit indiquer si les résultats sont connus des auteurs, le manuscrit de l’étape 1 lui-même ne doit pas indiquer ou impliquer que les auteurs connaissent déjà les résultats. Pour minimiser les biais potentiels par rapport aux résultats négatifs anticipés, les examinateurs du premier cycle d’examen seront aveuglés à la fois par les résultats et par l’existence de résultats. Notez que toutes les expériences préliminaires qui ont motivé l’étude de réplication ne doivent pas être rapportées dans le manuscrit de l’étape 1, bien que les auteurs soient invités à les publier ailleurs (par exemple, article séparé à comité de lecture, serveur de préimpression ou référentiel) et à les consulter dans l’introduction de l’étape 1.

3.2. À l’étape 1, la soumission est examinée par les examinateurs qui évaluent le contenu en fonction des critères primaires et secondaires suivants:

• Critère principal de l’étape 1 #1: Les auteurs fournissent-ils une description suffisamment claire et détaillée des méthodes pour qu’un autre chercheur puisse reproduire de près les procédures expérimentales et le pipeline d’analyse proposés, et éviter une flexibilité non divulguée dans les procédures expérimentales ou le pipeline d’analyse.
• Étape 1 Critère principal #2 : Si le manuscrit décrit un document suffisamment valide (c’est-à-dire proche) et robuste (p. ex. statistiquement puissant) réplication des méthodes d’étude originales et justification pour fournir une indication de la réplicabilité.
• Étape 1 Critère secondaire #1: La logique, la justification et la plausibilité des hypothèses proposées.
• Étape 1 Critère secondaire #2 : La solidité de la méthodologie et du pipeline d’analyse.
• Critère secondaire no 3 de l’étape 1 : Si les auteurs ont considéré suffisamment de conditions neutres pour les résultats (par exemple, absence d’effets sur le plancher ou le plafond; contrôles positifs; autres contrôles de qualité) pour s’assurer que les résultats obtenus permettent de tester les hypothèses énoncées.

Parmi les critères de l’étape 1 ci-dessus, les décisions éditoriales seront basées uniquement sur les Critères principaux. Dans certains cas, les méthodes publiées de l’étude originale peuvent ne pas fournir suffisamment de détails pour permettre une reproduction étroite (critère principal de l’étape 1 # 1), et les auteurs originaux de l’étude peuvent également ne pas vouloir ou ne pas être en mesure de fournir les informations manquantes nécessaires. Dans de tels cas, les estimations des procédures originales seront acceptées à condition que les auteurs puissent établir que la méthode choisie est une estimation raisonnable de l’approche originale, et à condition (le cas échéant) qu’ils puissent fournir des preuves documentaires à l’éditeur, telles que des courriels, prouvant toute tentative d’obtenir de telles informations des auteurs originaux.

À l’exception d’un scénario spécifique discuté ci-dessous, les commentaires des évaluateurs concernant les critères secondaires n’influenceront pas la décision de publier. Au lieu de cela, lorsque les éditeurs estiment que des questions critiques soulevées dans ces catégories sont valides, des mesures supplémentaires peuvent être nécessaires. Les actions spécifiques dépendront de la gravité des préoccupations, évaluées selon trois « niveaux de menace »: mineur, majeur et grave. Pour éviter les biais de publication, ces évaluations seront effectuées avant que les résultats ne soient connus.

Pour les préoccupations jugées mineures par les éditeurs, les auteurs devront discuter des limitations nécessaires dans l’introduction (et / ou plus tard dans la discussion à l’étape 2).

Pour les préoccupations majeures qui limitent considérablement (mais n’éliminent pas) l’interprétabilité des résultats potentiels, une mise en garde éditoriale peut également être publiée en même temps que le rapport final. Par exemple, lorsque les examinateurs identifient une faille dans la méthodologie de l’étude originale en cours de réplication (critère secondaire #1 ou # 2 de l’étape 1), en plus d’une discussion obligatoire de la limitation par les auteurs, un commentaire éditorial peut être publié avec le document final soulignant la limitation de l’œuvre originale. Dans de tels cas, les auteurs seraient également encouragés (mais pas obligés) à se préinscrire une étude de réplication supplémentaire via la piste entièrement préenregistrée (voir ci-dessous) dans laquelle la procédure est adaptée aussi étroitement que possible à l’étude originale mais avec la faille corrigée. Les mêmes exigences et options d’auteur s’appliqueraient dans les cas où la réplication n’a pas de contrôle positif approprié ou d’autre contrôle de qualité indépendant (critère secondaire no 3 de l’étape 1).

Pour les préoccupations graves qui empêchent une interprétation significative des résultats, le plan d’action sera déterminé par la publication source de l’étude originale. Pour les études publiées dans des revues autres que la Royal Society Open Science, les soumissions de stade 1 présentant de graves défauts ne seront acceptées que si les auteurs acceptent de s’inscrire (via la piste entièrement préenregistrée) une étude corrective supplémentaire dans le même article qui tente de corriger les problèmes identifiés. Dans les cas où les auteurs ne veulent pas ou ne peuvent pas le faire, ces soumissions de stade 1 sont susceptibles d’être rejetées. Cependant, pour s’assurer que la Royal Society Open Science reste responsable du niveau de travail qu’elle publie, les tentatives de réplication, même d’études gravement erronées publiées à l’origine dans la revue, seront autorisées sans que les auteurs ne soient tenus de s’inscrire à l’avance à une étude corrective supplémentaire. Au lieu de cela, comme pour les soumissions qui sont jugées contenir des préoccupations majeures (mais non graves), les auteurs devront inclure une discussion de la grave faille, et l’article final sera accompagné d’une note éditoriale de mise en garde.

Ces éventualités sont résumées dans le tableau ci-dessous (et voir également le diagramme de flux de travail ci-dessous).

Lignes directrices pour les réviseurs

Les réplications sont un nouveau format d’article de recherche offert dans le cadre de la Politique de réplication de la revue. En vertu de cette politique, la revue s’engage à publier des tentatives de reproduction rapprochées d’études dans les domaines de la psychologie ou des neurosciences cognitives précédemment publiées dans la Royal Society Open Science ou dans l’une de plusieurs autres revues majeures.

Les études de réplication de stade 1 peuvent être soumises avec des résultats connus par les auteurs (et temporairement supprimés) ou avant la collecte des données. Le processus d’examen par les pairs est d’abord aveugle sur lequel de ces deux scénarios s’applique et tous les manuscrits de l’étape 1 sont soumis au passé, que les données aient ou non déjà été collectées. Les manuscrits sont ensuite réexaminés à l’étape 2 après que les résultats sont connus.

À l’étape 1, la soumission est évaluée en fonction des critères primaires et secondaires suivants. Dans la plupart des cas, la décision de publier est basée sur l’évaluation des critères primaires, l’évaluation des critères secondaires déterminant si la tentative de reproduction éventuelle est publiée ou non accompagnée d’une mise en garde éditoriale. Cependant, de graves lacunes dans les critères secondaires peuvent entraîner un rejet si le travail reproduit a été publié dans une revue autre que la Royal Society Open Science.

• Critère principal de l’étape 1 #1: Si les auteurs fournissent une description suffisamment claire et détaillée des méthodes pour qu’un autre chercheur puisse reproduire de près les procédures expérimentales et le pipeline d’analyse proposés, et pour éviter une flexibilité non divulguée dans les procédures expérimentales ou le pipeline d’analyse.

• Étape 1 Critère principal #2: Si le manuscrit décrit une réplication suffisamment valide (c’est-à-dire proche) et robuste (par exemple statistiquement puissante) des méthodes d’étude originales et de la justification pour fournir une indication de la reproductibilité.

• Étape 1 Critère secondaire #1: La logique, la justification et la plausibilité des hypothèses proposées.

• Étape 1 Critère secondaire #2 : La solidité de la méthodologie et du pipeline d’analyse.

• Critère secondaire de l’étape 1 #3: Si les auteurs ont considéré suffisamment de conditions neutres pour les résultats (par exemple absence d’effets sur le plancher ou le plafond; contrôles positifs; autres contrôles de qualité) pour s’assurer que les résultats obtenus sont en mesure de tester les hypothèses énoncées.

À l’étape 2, le manuscrit est renvoyé aux examinateurs originaux de l’étape 1 qui évaluent le contenu selon les critères primaires et secondaires suivants. Encore une fois, la décision de publier est basée sur les critères principaux, l’évaluation du critère secondaire influençant l’ajout ou non d’une mise en garde éditoriale.

• Critère principal de l’étape 2 #1 : Si l’introduction et les méthodes sont les mêmes que la soumission approuvée de l’étape 1 (obligatoire).

• Étape 2 Critère principal #2: Si les conclusions des auteurs sont justifiées compte tenu des données.

• Critère secondaire de l’étape 2 #1: Si les données sont en mesure de tester les hypothèses proposées par les auteurs en réussissant les critères approuvés neutres pour les résultats (tels que l’absence d’effets de plancher et de plafond ou le succès des contrôles positifs ou d’autres contrôles de qualité). Le non-respect de ces conditions n’entraînera pas le rejet du manuscrit, mais pourrait obliger les auteurs à reconnaître explicitement ces limitations dans leur discussion et, dans les cas graves, pourrait également conduire à la publication d’une note de mise en garde éditoriale.