Linee guida per gli Autori

1. Royal Society Aprire la Scienza si impegna per la pubblicazione di qualsiasi metodologicamente suono tentativo di replicare qualsiasi studio che è stato pubblicato nell’ambito della Psicologia e delle Neuroscienze Cognitive, la sezione della rivista, così come qualsiasi studio nell’ambito di competenza della Psicologia e delle Neuroscienze Cognitive, la sezione che è stata pubblicata in una delle seguenti riviste: Psichiatria biologica, il Cervello, la Corteccia Cerebrale, lo Sviluppo del Bambino, la Corteccia, la Psicologia Cognitiva, la Cognizione, Biologia, Psicologia dello Sviluppo, dello Sviluppo della Scienza, European Journal of Neuroscience Journal of Cognitive Neuroscience, Journal of Experimental Social Psychology, Gazzetta di Memoria, il Linguaggio, Journal of Neuroscience Journal of Personality and Social Psychology, la Natura, il Comportamento Umano, Nature Neuroscience, NeuroImage, Neurone, Neuroscienze di Coscienza, PLOS Biology, Atti dell’Accademia Nazionale delle Scienze degli USA, la Scienza Psicologica, Trimestrale Journal of Experimental Psychology, Science, Social Psychological and Personality Science, e qualsiasi altra rivista pubblicata dalla American Psychological Association, Association for Psychological Science, British Psychological Society o Royal Society. Esamineremo anche, caso per caso, le richieste di pre-presentazione per le repliche di studi pubblicati su riviste aggiuntive a quelle elencate qui. Si noti che gli studi di replica stessi sono obiettivi adatti per la replica.

1. Gli autori hanno la possibilità di scegliere tra due percorsi per l’esame delle osservazioni: una traccia ” risultati-cieco “in cui l’introduzione e il metodo di uno studio completato sono peer reviewed mentre i risultati e la discussione sono temporaneamente trattenuti, o una traccia” completamente preregistrata” in cui il protocollo di studio è rivisto e pre-accettato prima dell’inizio della raccolta dei dati.

1. Risultati-pista cieca

3.1. Questa traccia è destinata agli autori che hanno già completato un tentativo di replica diretta (stretta) di uno studio pubblicato all’interno di Royal Society Open Science, all’interno di una delle riviste di origine elencate nella sezione 1, o da qualsiasi altra rivista approvata caso per caso dagli editori. Gli autori dovrebbero inizialmente presentare un manoscritto parziale contenente le sezioni abstract, introduzione e metodo, con i risultati e la discussione redatta insieme a qualsiasi altra informazione (ad esempio nell’abstract) che afferma o implica i risultati della ricerca. La sezione relativa al metodo deve essere redatta al passato e deve includere un resoconto completo e dettagliato di tutte le procedure sperimentali (compresi i criteri di inclusione e di esclusione dei dati) e delle analisi. Si noti che la presentazione successiva della Fase 2 non può includere i risultati di analisi che non sono indicati nella presentazione della Fase 1 al momento dell’accettazione in linea di principio. Il manoscritto Fase 1 deve essere inviato utilizzando il tipo di articolo di replica. La proposta dovrà essere corredata da una lettera di copertura per l’editor che indica (a) che gli autori sono la presentazione di una Fase 1 manoscritto come un articolo di Replica, (b) la destinazione di studio per la replica tra fonte articolo e il giornale, (c) che il manoscritto è stato presentato, attraverso i risultati cieco traccia, notare esplicitamente che i risultati sono già noti gli autori, (d) che gli autori sono d’accordo per archiviare tutti i dati anonimi, codice e materiali digitali liberamente accessibile in archivio il punto di Fase 2 di accettazione, e (e) che gli autori sono d’accordo con la pubblicazione di un Registrazione ritirata se ritirano volontariamente la presentazione dopo la Fase 1 in linea di principio l’accettazione (con una registrazione ritirata costituita dall’abstract della presentazione della fase 1 più un motivo per il ritiro fornito dagli autori o dagli editori). Si noti che mentre la lettera di presentazione dovrebbe indicare se i risultati sono noti agli autori, il manoscritto Stage 1 stesso non deve indicare o implicare che gli autori già conoscono i risultati. Per ridurre al minimo i potenziali pregiudizi nei confronti dei risultati negativi previsti, i revisori nel primo ciclo di revisione saranno accecati sia dai risultati che dall’esistenza dei risultati. Si noti che qualsiasi esperimento preliminare che abbia motivato lo studio di replica non dovrebbe essere riportato nel manoscritto della fase 1, anche se gli autori sono invitati a pubblicarli altrove (ad esempio articolo peer-reviewed separato, server di preprint o repository) e fare riferimento ad essi nell’introduzione della Fase 1.

3.2. Fase 1 presentazione è considerata dagli esperti che valutano il contenuto secondo le seguenti Primaria e Secondaria criteri:

• Fase 1 Criterio Primario #1: Se gli autori forniscono una sufficientemente chiara e dettagliata descrizione dei metodi per un altro ricercatore a stretto replicare la proposta di procedure sperimentali e la pipeline di analisi, e per evitare riservate flessibilità nelle procedure sperimentali o pipeline di analisi.
• Fase 1 Criterio primario # 2: se il manoscritto descrive un sufficientemente valido (cioè vicino) e robusto (ad es. statisticamente potente) replicazione dei metodi di studio originali e razionale per fornire un’indicazione di replicabilità.
• Fase 1 Criterio secondario #1: La logica, la logica e la plausibilità delle ipotesi proposte.
• Fase 1 Criterio secondario #2: La solidità della metodologia e della pipeline di analisi.
• Fase 1 Criterio secondario n. 3: se gli autori hanno considerato sufficienti condizioni neutre all’esito (ad esempio assenza di effetti a pavimento o a soffitto; controlli positivi; altri controlli di qualità) per garantire che i risultati ottenuti siano in grado di testare le ipotesi dichiarate.

Dei criteri di cui sopra Fase 1, le decisioni editoriali saranno basate esclusivamente sui Criteri primari. In alcuni casi, i metodi pubblicati dello studio originale potrebbero non fornire dettagli sufficienti per consentire una replica ravvicinata (Criterio primario di fase 1 #1) e gli autori originali dello studio potrebbero anche non essere disposti o incapaci di fornire le informazioni mancanti necessarie. In tali casi, le stime delle procedure originali saranno accettate a condizione che gli autori possano stabilire che il metodo scelto è una stima ragionevole dell’approccio originale e purché (ove applicabile) possano fornire prove documentali all’editore, come e-mail, comprovanti qualsiasi tentativo di ottenere tali informazioni dagli autori originali.

Ad eccezione di uno scenario specifico discusso di seguito, i commenti dei revisori riguardanti i Criteri Secondari non influenzeranno la decisione di pubblicare. Invece, dove gli editori ritengono che eventuali problemi critici sollevati all’interno di queste categorie siano validi, potrebbero essere necessarie ulteriori azioni. Le azioni specifiche dipenderanno dalla gravità delle preoccupazioni, valutate in base a tre “livelli di minaccia”: minore, maggiore e grave. Per evitare pregiudizi di pubblicazione, queste valutazioni saranno fatte prima che i risultati siano noti.

Per le preoccupazioni giudicate dagli editori minori, gli autori saranno tenuti a discutere le limitazioni necessarie nell’introduzione (e / o successivamente nella discussione nella fase 2).

Per le principali preoccupazioni che limitano sostanzialmente (ma non eliminano) l’interpretabilità di eventuali risultati potenziali, una nota di avvertimento editoriale può anche essere pubblicata a fianco del rapporto finale. Ad esempio, quando i revisori identificano un difetto con la metodologia dello studio originale in fase di replica (Fase 1 Criterio secondario #1 o #2), quindi oltre a una discussione obbligatoria della limitazione da parte degli autori, un commento editoriale può essere pubblicato con il documento finale evidenziando la limitazione del lavoro originale. In tali casi, gli autori sarebbero anche incoraggiati (ma non richiesti) a preregistrare uno studio di replicazione aggiuntivo tramite la traccia completamente preregistrata (vedi sotto) in cui la procedura è abbinata il più possibile allo studio originale ma con il difetto corretto. Gli stessi requisiti e le stesse opzioni dell’autore si applicherebbero nei casi in cui la replica non disponga di un controllo positivo appropriato o di un altro controllo di qualità indipendente (criterio secondario n.3 della fase 1).

Per gravi preoccupazioni che impediscono un’interpretazione significativa dei risultati, la linea d’azione sarà determinata dalla pubblicazione di origine dello studio originale. Per gli studi pubblicati su riviste diverse da Royal Society Open Science, le proposte di Stage 1 con gravi difetti saranno accettate solo se gli autori accettano di preregistrare (tramite la traccia Completamente preregistrata) uno studio correttivo aggiuntivo all’interno dello stesso documento che tenta di correggere i problemi identificati. Nei casi in cui gli autori non sono disposti o incapaci di farlo, tali contributi della fase 1 sono suscettibili di essere respinti. Tuttavia, per garantire che la Royal Society Open Science rimanga responsabile dello standard di lavoro che pubblica, i tentativi di replica anche di studi gravemente difettosi che sono stati originariamente pubblicati all’interno della rivista saranno consentiti senza l’obbligo per gli autori di preregistrare un ulteriore studio correttivo. Invece, come per le osservazioni che sono giudicate per contenere importanti (ma non gravi) preoccupazioni, gli autori saranno tenuti a includere una discussione del grave difetto, e l’articolo finale sarà accompagnato da una nota editoriale cautelativa.

Queste contingenze sono riassunte nella tabella seguente (e vedere anche il diagramma del flusso di lavoro di seguito).

Linee guida per i revisori

Le repliche sono un nuovo formato di articolo di ricerca offerto come parte della politica di replica della rivista. In base a questa politica, la rivista si impegna a pubblicare tentativi di replica ravvicinata di studi nei campi della psicologia o delle neuroscienze cognitive che sono stati precedentemente pubblicati in Royal Society Open Science o in una delle numerose altre riviste importanti.

Gli studi di replicazione di fase 1 possono essere presentati con risultati conosciuti dagli autori (e temporaneamente redatti) o prima che i dati siano stati raccolti. Il processo di peer review è inizialmente accecato a quale di questi due scenari si applica e tutti i manoscritti della fase 1 sono presentati al passato, indipendentemente dal fatto che i dati siano già stati raccolti. I manoscritti vengono quindi riesaminati nella fase 2 dopo che i risultati sono noti.

Nella fase 1 la presentazione viene valutata in base ai seguenti criteri primari e secondari. Nella maggior parte dei casi, la decisione di pubblicare si basa sulla valutazione dei criteri primari, con la valutazione dei criteri secondari che determinano se l’eventuale tentativo di replica è pubblicato o meno insieme a una nota di avvertimento editoriale. Tuttavia, gravi difetti nei criteri secondari possono portare al rifiuto se il lavoro in fase di replica è stato pubblicato in una rivista diversa dalla Royal Society Open Science.

• Fase 1 Criterio primario #1: Se gli autori forniscono una descrizione sufficientemente chiara e dettagliata dei metodi per un altro ricercatore per replicare da vicino le procedure sperimentali proposte e la pipeline di analisi e per prevenire la flessibilità non rivelata nelle procedure sperimentali o nella pipeline di analisi.

• Fase 1 Criterio primario #2: se il manoscritto descrive una replica sufficientemente valida (cioè stretta) e robusta (ad esempio statisticamente potente) dei metodi e delle motivazioni di studio originali per fornire un’indicazione di replicabilità.

• Fase 1 Criterio secondario #1: La logica, la logica e la plausibilità delle ipotesi proposte.

• Fase 1 Criterio secondario #2: La solidità della metodologia e della pipeline di analisi.

• Fase 1 Criterio secondario #3: se gli autori hanno considerato sufficienti condizioni neutre (ad esempio assenza di effetti a pavimento o soffitto; controlli positivi; altri controlli di qualità) per garantire che i risultati ottenuti siano in grado di testare le ipotesi dichiarate.

Nella Fase 2 il manoscritto viene riportato all’originale Fase 1 revisori che valutano il contenuto secondo i seguenti criteri primari e Secondari. Anche in questo caso, la decisione di pubblicare si basa sui criteri primari, con la valutazione del criterio secondario che influenza l’aggiunta o meno di una nota di avvertimento editoriale.

• Fase 2 Criterio primario #1: Se l’introduzione e metodi sono gli stessi della fase approvato 1 presentazione (richiesto).

• Fase 2 Criterio primario #2: Se le conclusioni degli autori sono giustificate dati i dati.

• Fase 2 Criterio secondario n. 1: se i dati sono in grado di testare le ipotesi proposte dagli autori superando i criteri approvati neutri (come l’assenza di effetti del pavimento e del soffitto o il successo di controlli positivi o altri controlli di qualità). La mancata approvazione di queste condizioni non porterà al rifiuto del manoscritto, ma potrebbe richiedere agli autori di riconoscere esplicitamente tali limitazioni nella loro discussione, e nei casi più gravi potrebbe anche portare alla pubblicazione di una nota di avvertimento editoriale di accompagnamento.