Replication Policy

Royal Society Open Science anser att när en vetenskaplig tidskrift publicerar en empirisk studie tar det ansvar för replikering av den studien. Detta ansvar återspeglas av i vilken utsträckning tidskriften förbinder sig att publicera försök till replikationer av tidigare studier som visas på dess sidor.

under tidskriftens Replikationspolicy kommer sektionen Psykologi och kognitiv neurovetenskap i Royal Society Open Science att förbinda sig att publicera replikationer av studier som tidigare publicerats inom denna tidskrift och andra stora tidskrifter. Författare kan antingen skicka in en replikeringsstudie som redan är klar eller ett förslag om att replikera en tidigare studie. För att säkerställa att granskningsprocessen är objektiv av resultaten kommer inlagor att granskas antingen innan resultaten finns eller med befintliga resultat som ursprungligen redigerats. För att minimera fördomar mot förväntade negativa resultat kommer granskarna inte bara att bli blinda för resultaten (där de redan finns) utan kommer att bli blinda om resultaten är kända (av författarna) att existera. Inlagor som beskriver nära, tydliga och giltiga replikationer av den ursprungliga metoden kommer att erbjudas i princip acceptans, vilket praktiskt taget garanterar publicering av replikationen oavsett studieresultat.

1. Replication guidance for authors

Replication guidance for referees

Guidelines for Authors

1. Royal Society Open Science förbinder sig att publicera alla metodologiskt sunda försök att replikera alla studier som har publicerats inom avsnittet Psykologi och kognitiv neurovetenskap i tidskriften, liksom alla studier inom ramen för avsnittet Psykologi och kognitiv neurovetenskap som har publicerats i någon av följande tidskrifter: Biologisk psykiatri, hjärna, hjärnbark, barnutveckling, Cortex, kognitiv psykologi, kognition, Nuvarande biologi, utvecklingspsykologi, Utvecklingsvetenskap, European Journal of Neuroscience, Journal of Cognitive Neuroscience, Journal of Experimental Social Psychology, Journal of Memory and Language, Journal of Neuroscience, Journal of Personality and Social Psychology, Nature, Nature Human Behavior, Nature Neuroscience, NeuroImage, Neuron, Neuroscience of Consciousness, PLOS Biology, Proceedings of the National Academy of Sciences i USA, Psychological Science, Quarterly Journal of Experimental Psychology, Science, Social Psychological and Personality Science, och någon annan tidskrift publicerad av American Psychological Association, Association for Psychological Science, British Psychological Society eller Royal Society. Vi kommer också att överväga, från fall till fall, förfrågningar före inlämning för replikationer av studier publicerade i tidskrifter utöver de som anges här. Observera att replikationsstudier själva är lämpliga mål för replikering.

1. författare har valet mellan två vägar för behandling av inlagor: ett” resultatblint ” spår där introduktionen och metoden för en genomförd studie granskas peer reviewed medan resultaten och diskussionen tillfälligt hålls kvar, eller ett ”helt förregistrerat” spår där studieprotokollet granskas och förhandsgodkänns innan datainsamlingen påbörjas.

1. Resultat-blind spår

3.1. Detta spår är avsett för författare som redan har genomfört ett direkt (nära) replikationsförsök av en studie publicerad inom Royal Society Open Science, inom en av de källtidskrifter som anges i avsnitt 1, eller från någon annan tidskrift som godkänts från fall till fall av redaktörerna. Författare bör initialt lämna in ett partiellt manuskript som innehåller abstract, introduktion och metodsektioner, med resultat och diskussion redigerad tillsammans med annan information (t.ex. i abstrakt) som anger eller antyder forskningsresultaten. Metodavsnittet ska skrivas i förfluten tid och måste innehålla en omfattande och detaljerad redogörelse för alla experimentella förfaranden (inklusive datainkluderings-och uteslutningskriterier) och analyser. Observera att det senare steget 2 inlämning inte kan inkludera resultaten av eventuella analyser som inte anges i steg 1 inlämning vid den punkt i princip godkännande. Steg 1 manuskriptet ska lämnas in med hjälp av Replikationsartikeltypen. Inlämningen måste åtföljas av ett följebrev till redaktören som anger (a) att författarna lämnar in ett steg 1-manuskript som en Replikationsartikel, (b) målstudien för replikationen inklusive källartikel och tidskrift, (c) att manuskriptet lämnas in via resultatblindspåret, och noterar uttryckligen att resultaten redan är kända för författarna, (d) att författarna är överens om att arkivera alla anonymiserade data, kod och digitalt material i ett fritt tillgängligt arkiv vid tidpunkten för steg 2-godkännande, och (e) att författarna är överens om att publicera en Återkallad registrering om de frivilligt återkallar inlämningen efter steg 1 i princip godkännande (med en återkallad registrering bestående av abstraktet från Steg 1 inlämning plus en anledning till återkallandet från författarna eller redaktörerna). Observera att även om följebrevet ska ange om resultaten är kända för författarna, får scen 1-manuskriptet inte ange eller antyda att författarna redan känner till resultaten. För att minimera potentiell bias mot förväntade negativa resultat kommer Granskare i den första granskningsrundan att bli blinda både för resultaten och för förekomsten av resultat. Observera att eventuella preliminära experiment som motiverade replikeringsstudien inte ska rapporteras i steg 1-manuskriptet, även om författare är välkomna att publicera dem någon annanstans (t.ex. separat peer-reviewed artikel, preprint server eller repository) och hänvisa till dem i steg 1 Introduktion.

3.2. I steg 1 behandlas inlämningen av granskare som bedömer innehållet enligt följande primära och sekundära kriterier:

• Steg 1 primärt kriterium #1: huruvida författarna ger en tillräckligt tydlig och detaljerad beskrivning av metoderna för en annan forskare att noggrant replikera de föreslagna experimentella procedurerna och analyspipelinen och för att förhindra oupptäckt flexibilitet i experimentella procedurer eller analyspipeline.
• Steg 1 primärt kriterium # 2: om manuskriptet beskriver en tillräckligt giltig (dvs. nära) och robust (t. ex. statistiskt kraftfull) replikering av de ursprungliga studiemetoderna och motiveringen för att ge en indikation på replikerbarhet.
• Steg 1 sekundärt kriterium # 1: logiken, motiveringen och rimligheten hos de föreslagna hypoteserna.
• Steg 1 sekundärt kriterium # 2: sundheten i metodiken och analyspipelinen.
• Steg 1 sekundärt kriterium # 3: Om författarna har övervägt tillräckliga resultatneutrala förhållanden (t. ex. frånvaro av golv-eller takeffekter; positiva kontroller; andra kvalitetskontroller) för att säkerställa att de erhållna resultaten kan testa de angivna hypoteserna.

av ovanstående steg 1-kriterier kommer redaktionella beslut att baseras enbart på de primära kriterierna. I vissa fall kan de publicerade metoderna i den ursprungliga studien inte ge tillräckligt med detaljer för att möjliggöra en nära replikering (Steg 1 primärt kriterium #1), och de ursprungliga författarna till studien kan också vara ovilliga eller oförmögna att tillhandahålla nödvändig saknad information. I sådana fall kommer uppskattningar av de ursprungliga förfarandena att accepteras förutsatt att författarna kan fastställa att den valda metoden är en rimlig uppskattning av den ursprungliga metoden, och förutsatt (i förekommande fall) kan de tillhandahålla dokumentation till redaktören, såsom e-postmeddelanden, som bevisar eventuella försök att få sådan information från de ursprungliga författarna.

med undantag för ett specifikt scenario som diskuteras nedan kommer granskarnas kommentarer om sekundära kriterier inte att påverka beslutet att publicera. Istället, där redaktörerna tror att alla kritiska frågor som tas upp inom dessa kategorier är giltiga, kan ytterligare åtgärder krävas. De särskilda åtgärderna kommer att bero på hur allvarliga problemen är, bedömda enligt tre hotnivåer: mindre, större och allvarliga. För att förhindra publiceringsbias kommer dessa bedömningar att göras innan resultaten är kända.

För frågor som redaktörerna bedömer vara mindre, kommer Författare att behöva diskutera nödvändiga begränsningar i introduktionen (och/eller senare i diskussionen i steg 2).

för stora problem som väsentligt begränsar (men inte eliminerar) tolkbarheten för eventuella resultat, kan en redaktionell försiktighetsanteckning också publiceras tillsammans med slutrapporten. Till exempel, där granskare identifierar ett fel med metoden för den ursprungliga studien under replikering (Steg 1 sekundärt kriterium #1 eller #2), kan förutom en obligatorisk diskussion om begränsningen av författarna, en redaktionell kommentar publiceras med det slutliga papperet som belyser begränsningen av det ursprungliga arbetet. I sådana fall skulle författare också uppmuntras (men inte krävas) att förregistrera en ytterligare replikationsstudie via det fullständigt förregistrerade spåret (se nedan) där förfarandet matchas så nära som möjligt till den ursprungliga studien men med felet korrigerat. Samma författarkrav och alternativ skulle gälla i fall där replikationen saknar en lämplig positiv kontroll eller annan oberoende kvalitetskontroll (Steg 1 sekundärt kriterium nr 3).

för allvarliga problem som förhindrar meningsfull tolkning av resultaten kommer handlingsförloppet att bestämmas av källpublikationen av den ursprungliga studien. För studier som publiceras i andra tidskrifter än Royal Society Open Science kommer Steg 1-inlagor med allvarliga brister att accepteras endast om författarna går med på att förregistrera (via det fullständigt förregistrerade spåret) en ytterligare korrigerande studie inom samma papper som försöker korrigera de identifierade problemen. I de fall där författarna är ovilliga eller oförmögna att göra det, sådana steg 1 inlagor kommer sannolikt att avvisas. För att säkerställa att Royal Society Open Science förblir ansvarig för standarden på arbetet som den publicerar, kommer replikeringsförsök även av allvarligt bristfälliga studier som ursprungligen publicerades i tidskriften att tillåtas utan krav på Författare att förregistrera en ytterligare korrigerande studie. Istället, som med inlagor som bedöms innehålla stora (men inte allvarliga) problem, kommer författarna att behöva inkludera en diskussion om den allvarliga bristen, och den sista artikeln kommer att åtföljas av en varnande redaktionell anteckning.

dessa händelser sammanfattas i tabellen nedan (och se även arbetsflödesdiagrammet nedan).



denna tabell är också tillgänglig för nedladdning.

annat än scenariot som beskrivs ovan för allvarliga problem, kommer Steg 1 manuskript att avvisas direkt efter fördjupad granskning endast om recensioner visar att replikationsförsöket misslyckades med att uppfylla tillräckliga metodstandarder, såsom otillräcklig statistisk effekt eller kritiska avvikelser från den ursprungliga metoden (Steg 1 primära kriterier #1 och #2). Ingen fast nivå av statistisk effekt krävs, men där författare föreslog frekventistiska statistiska metoder kommer makt att bedömas från fall till fall innan resultaten är kända. Författare kan också vara skyldiga att revidera sin Stage 1 inlämning för att lägga till nödvändiga detaljer till den rapporterade metoden eller att ändra analyserna. Beskrivningen av metoderna bör vara tillräckligt detaljerad för att ge en internt fullständig redogörelse för alla använda metoder, utan att läsaren behöver undersöka de specifika metodologiska detaljerna i den ursprungliga studien.

där replikeringsförsöket motiveras av en serie preliminära experiment, är författare välkomna att publicera dessa på annat håll (t.ex. på en preprint-server eller i en annan tidskrift) och sedan kort hänvisa till dem i steg 1-manuskriptet, till exempel för att motivera beslutet att driva en direkt replikering. Observera dock att ingen motivering för en replikering krävs eller bedöms som skäl för godkännande. Steg 1-manuskriptet bör inte innehålla detaljerade beskrivningar av metoderna för andra studier än själva replikationsstudien, och det bör inte rapportera några pilot-eller preliminära data (men kan naturligtvis hänvisa till resultat som rapporterats någon annanstans). Steg 1 inlagor är strikt begränsade till införandet och metoder för replikering försök(s) och författare bör också vara noga med att se till att alla länkade externa material inte förutse resultaten av den direkta replikering.

om manuskriptet granskas positivt enligt steg 1 primära kriterier kommer det att tilldelas i princip acceptans (ipa). Författare är sedan skyldiga att formellt förregistrera sitt godkända manuskript på OSF vid https://osf.io/rr/ (notera att det är en Blindartikel av Replikationsresultat vid RSO) och uppmanas att skicka in ett scen 2 – manuskript som innehåller innehållet i det godkända Scen 1-manuskriptet plus resultaten och diskussionen och webbadressen till det förregistrerade protokollet. Om författarna drar tillbaka sitt manuskript efter tilldelningen av IPA, kommer tidskriften att publicera en återkallad registrering inklusive abstraktet från scenen 1 inlämning, en länk till webbadressen till det förregistrerade protokollet, plus en anledning till återkallandet som antingen tillhandahålls av författarna eller redaktörerna.

3.3. I steg 2 returneras manuskriptet till de ursprungliga steg 1-granskarna som bedömer innehållet enligt följande primära och sekundära kriterier:

• steg 2 primärt kriterium # 1: Om introduktionen och metoderna är desamma som den godkända Steg 1-inlämningen (krävs).
• steg 2 primärt kriterium # 2: huruvida författarnas slutsatser är motiverade med tanke på uppgifterna.
• steg 2 sekundärt kriterium # 1: huruvida uppgifterna kan testa författarnas föreslagna hypoteser genom att godkänna de godkända resultatneutrala kriterierna (såsom frånvaro av golv-och takeffekter eller framgång med positiva kontroller eller andra kvalitetskontroller). Underlåtenhet att passera dessa villkor kommer inte att leda till manuskript avslag, men kan kräva författare att uttryckligen erkänna sådana begränsningar i sin diskussion, och i svåra fall kan också leda till offentliggörandet av en medföljande redaktionell försiktighetsanmärkning.

av ovanstående steg 2-kriterier kommer redaktionella beslut att baseras enbart på de primära kriterierna. Kommentarer om sekundärt kriterium nr 1 påverkar inte beslutet att publicera men kan kräva ytterligare varningar av författarna (i diskussionen) eller kan noteras av redaktörerna i en medföljande försiktighetsanteckning.

manuskript i steg 2 avvisas endast om inlämningen innehåller icke godkända ändringar av det godkända manuskriptet i steg 1 eller om författarnas slutsatser bedöms sträcka sig utöver de som tillåts av resultaten och om sådana meningsskiljaktigheter mellan författarna och granskarna/redaktörerna inte kan förenas.

3.4. Den sista etappen 2 papper kommer att publiceras som en replikering – resultat blinda.

1. fullständigt förregistrerat spår

4.1. Detta spår liknar den resultatblinda processen men är avsedd för författare som ännu inte har försökt replikera en studie publicerad inom Royal Society Open Science, inom en av de källtidskrifter som anges i avsnitt 1 eller någon annan tidskrift som godkänts av redaktörerna. Författare bör initialt lämna in ett partiellt manuskript som innehåller avsnitten abstrakt, introduktion och metod. Trots att protokollet är prospektivt bör manuskriptet och metoderna skrivas i förfluten tid. I alla andra avseenden är alternativen och kraven desamma som för resultatblindspåret. Scenen 1 manuskript ska lämnas in via Replikationsartikeltypen. Inlämningen måste åtföljas av ett följebrev till redaktören som anger (a) att författarna lämnar in ett steg 1-manuskript via alternativet Replikeringsartikel, (b) målstudien för replikationen inklusive källartikel och tidskrift, och (c) att manuskriptet lämnas in före datainsamling, (d) att författarna är överens om att arkivera alla data, kod och digitalt material i ett fritt tillgängligt arkiv vid tidpunkten för godkännande av steg 2, och (e) att författarna godkänner publiceringen av en återkallad registrering om de frivilligt återkallar inlämningen efter att ha lämnat in Steg 1 i princip godkännande (med en återkallad registrering bestående av abstraktet från Steg 1 inlämning plus en anledning till återkallandet från författarna eller redaktörerna). Observera att även om följebrevet ska ange om resultaten är kända, bör scen 1-manuskriptet inte uttryckligen ange att författarna inte känner till resultaten. Som påpekas i 3.1 beror detta på att granskarna i den första granskningsrundan är blinda för både resultaten och förekomsten av resultat.

inlämningarna i steg 1 och steg 2 kommer att bedömas enligt samma primära och sekundära kriterier som För det resultatblinda spåret (se 3.2-3.3 ovan). Efter IPA är författare skyldiga att formellt förregistrera sitt godkända manuskript på OSF at (notera att det är en replikering – helt förregistrerad artikeltyp vid RSO). Författarna uppmanas sedan att skicka in ett scen 2-manuskript när studien är klar som innehåller innehållet i det godkända Scen 1-manuskriptet plus resultaten och diskussionen och webbadressen till det förregistrerade protokollet.

4.2. Den sista etappen 2 papper kommer att publiceras som en replikering – helt förregistrerad.

Replication policy workflow

det här arbetsflödet kan också laddas ner för visning.

gå till toppen