Replikasjonspolitikk

Royal Society Open Science mener At Når et vitenskapelig tidsskrift publiserer en empirisk studie, antar det ansvar for replikabiliteten til den studien. Dette ansvaret gjenspeiles av i hvilken grad tidsskriftet forplikter seg til å publisere forsøk på replikasjoner av tidligere studier som vises på sidene.

Under tidsskriftets Replikeringspolitikk vil Psychology and Cognitive Neuroscience-delen av Royal Society Open Science forplikte seg til å publisere replikeringer av studier som tidligere er publisert i dette tidsskriftet og andre store tidsskrifter. Forfattere kan enten sende inn en replikasjonsstudie som allerede er fullført eller et forslag om å replikere en tidligere studie. For å sikre at evalueringsprosessen er upartisk av resultatene, vil innleveringer bli gjennomgått enten før resultatene eksisterer eller med eksisterende resultater som opprinnelig ble redigert. For å minimere bias mot forventede negative resultater, vil anmeldere ikke bare bli blindet for resultatene (der de allerede eksisterer), men vil bli blindet for om resultatene er kjent (av forfatterne) for å eksistere. Innleveringer som beskriver nære, klare og gyldige replikeringer av den opprinnelige metodikken vil bli tilbudt i prinsippet aksept, noe som nesten garanterer publisering av replikasjonen uavhengig av studieutfallet.

1. Replikeringsveiledning for forfattere

2. Replikeringsveiledning for dommere

Retningslinjer for Forfattere

1. Royal Society Open Science forplikter seg til å publisere ethvert metodologisk forsvarlig forsøk på å replikere enhver studie som har blitt publisert i Psykologi og Kognitiv Nevrovitenskap delen av tidsskriftet, samt enhver studie innenfor mandatet Til Psykologi og Kognitiv Nevrovitenskap seksjon som har blitt publisert i en av følgende tidsskrifter: Biologisk Psykiatri, Hjerne, Hjernebark, Barns Utvikling, Cortex, Kognitiv Psykologi, Kognisjon, Nåværende Biologi, Utviklingspsykologi, Utviklings Vitenskap, European Journal Of Neuroscience, Journal Of Cognitive Neuroscience, Journal Of Experimental Social Psychology, Journal Of Memory and Language, Journal Of Neuroscience, Journal Of Personality And Social Psychology, Natur, Natur Menneskelig Atferd, Natur Neuroscience, NeuroImage, Neuron, Nevrovitenskap Av Bevissthet, PLOS Biologi, Proceedings OF The National Academy OF Sciences I USA, Psykologisk Vitenskap, Kvartalsvis Journal Of Experimental Psychology, Science, Social Psychological And Personality Science, og alle andre tidsskrifter utgitt Av American Psychological Association, Association For Psychological Science, British Psychological Society eller Royal Society. Vi vil også vurdere, fra sak til sak, pre-innsending henvendelser for replikasjoner av studier publisert i tidsskrifter i tillegg til de som er oppført her. Merk at replikasjonsstudier selv er egnede mål for replikering.

1. Forfattere har valget mellom to ruter for vurdering av innleveringer: et» resultatblind «-spor der innføring og metode for en fullført studie er fagfellevurdert mens resultatene og diskusjonen midlertidig holdes tilbake, eller et» fullt forhåndsgodkjent » spor der studieprotokollen gjennomgås og forhåndsgodkjennes før datainnsamlingen påbegynnes.

1. Resultater-blind spor

3.1. Dette sporet er ment for forfattere som allerede har fullført et direkte (nært) replikeringsforsøk av en studie publisert I Royal Society Open Science, i en av kildejournalene som er oppført i seksjon 1, eller fra et annet tidsskrift godkjent i hvert enkelt tilfelle av redaktørene. Forfattere bør i utgangspunktet sende inn et delvis manuskript som inneholder abstrakte, introduksjons-og metodeseksjonene, med resultatene og diskusjonen redigert sammen med annen informasjon (f. eks. i abstrakt) som sier eller antyder forskningsresultatene. Metodeseksjonen skal være skrevet i fortid og må inneholde en omfattende og detaljert redegjørelse for alle eksperimentelle prosedyrer (inkludert inklusjons-og eksklusjonskriterier for data) og analyser. Vær oppmerksom på at det senere trinn 2-innsendelsen ikke kan omfatte resultatene av noen analyser som ikke er angitt i trinn 1-innsendelsen når det i prinsippet er akseptert. Stage 1 manuskriptet skal sendes inn ved Hjelp Av Replikering artikkel type. Innsendingen må ledsages av et følgebrev til redaktøren som indikerer (a) at forfatterne sender inn et trinn 1-manuskript som En Replikasjonsartikkel, (b) målstudien for replikeringen inkludert kildeartikkel og tidsskrift, (c) at manuskriptet sendes inn gjennom resultatblindsporet, og bemerker eksplisitt at resultatene allerede er kjent for forfatterne, (d) at forfatterne godtar å arkivere alle anonymiserte data, kode og digitalt materiale i et fritt tilgjengelig arkiv på tidspunktet For Fase 2 aksept, og (e) at forfatterne godtar publisering av en Tilbaketrukket Registrering dersom de frivillig trekker tilbake innsendingen etter Trinn 1 i prinsippet aksept(Med En Tilbaketrukket Registrering bestående av abstractet fra trinn 1 innsending pluss en grunn for tilbaketaking levert av forfatterne eller redaktørene). Merk at mens følgebrevet skal indikere om resultatene er kjent for forfatterne, Må stage 1 manuskriptet selv ikke angi eller antyde at forfatterne allerede kjenner resultatene. For å minimere potensiell skjevhet mot forventede negative funn, vil anmeldere i første runde bli blindet både for resultatene og for eksistensen av resultater. Merk at eventuelle foreløpige eksperimenter som motiverte replikasjonsstudien ikke skal rapporteres I stage 1-manuskriptet, selv om forfattere er velkomne til å publisere dem andre steder (f. eks. separat peer-reviewed artikkel, preprint server eller depot) og referere til dem i Stage 1-introduksjonen.

3.2. I Fase 1 vurderes innsendelsen av anmeldere som vurderer innholdet i henhold til Følgende Primære og Sekundære kriterier:

• Trinn 1 Primærkriterium #1: om forfatterne gir en tilstrekkelig klar og detaljert beskrivelse av metodene for en annen forsker å nøye replikere de foreslåtte eksperimentelle prosedyrene og analyserørledningen, og for å forhindre ukjent fleksibilitet i eksperimentelle prosedyrer eller analyserørledning.
• Trinn 1 Primærkriterium #2: om manuskriptet beskriver et tilstrekkelig gyldig (dvs. nært) og robust (f. eks. statistisk kraftig) replikering av de opprinnelige studiemetodene og begrunnelsen for å gi en indikasjon på replikabilitet.Trinn 1 Sekundært Kriterium #1: logikken, begrunnelsen og plausibiliteten til de foreslåtte hypotesene.
• Trinn 1 Sekundært Kriterium # 2: soliditeten i metodikk og analyse rørledning.
• Trinn 1 Sekundært Kriterium # 3: om forfatterne har vurdert tilstrekkelige utfallsnøytrale forhold (f. eks. fravær av gulv-eller takeffekter; positive kontroller; andre kvalitetskontroller) for å sikre at de oppnådde resultatene er i stand til å teste de oppgitte hypotesene.

Av De Ovennevnte Trinn 1-kriteriene vil redaksjonelle beslutninger utelukkende baseres på De Primære Kriteriene. I noen tilfeller kan de publiserte metodene i den opprinnelige studien ikke gi nok detaljer til å tillate en nær replikering (Trinn 1 Primærkriterium # 1), og de opprinnelige forfatterne av studien kan også være uvillige eller ute av stand til å gi den nødvendige manglende informasjonen. I slike tilfeller vil estimater av de opprinnelige prosedyrene bli akseptert, forutsatt at forfatterne kan fastslå at den valgte metoden er en rimelig estimering av den opprinnelige tilnærmingen, og forutsatt (der det er aktuelt) kan de levere dokumentasjon til redaktøren, for eksempel e-post, som beviser ethvert forsøk på å skaffe slik informasjon fra de opprinnelige forfatterne.

med unntak av et spesifikt scenario som er omtalt nedenfor, vil anmelderes kommentarer om De Sekundære Kriteriene ikke påvirke beslutningen om å publisere. I stedet, der redaktørene mener at eventuelle kritiske problemer som oppstår i disse kategoriene er gyldige, kan det være nødvendig med ytterligere tiltak. De spesifikke handlingene vil avhenge av alvorlighetsgraden av bekymringene, vurdert i henhold til tre ‘trusselnivåer’: mindre, store og alvorlige. For å hindre at det foreligger publiseringsskjevheter, vil disse vurderingene bli gjort før resultatene er kjent.

av hensyn som redaktørene anser som mindre, vil forfattere bli pålagt å diskutere de nødvendige begrensningene i innledningen (og / eller senere i diskusjonen på Trinn 2).

for store bekymringer som vesentlig begrenser (men ikke eliminerer) tolkbarheten av eventuelle funn, kan en redaksjonell advarsel også bli publisert sammen med sluttrapporten. For eksempel, hvor anmeldere identifiserer en feil med metodikken til den opprinnelige studien under replikering (Trinn 1 Sekundært Kriterium #1 eller #2), så i tillegg til en obligatorisk diskusjon av begrensningen av forfatterne, kan en redaksjonell kommentar bli publisert med det endelige papiret som fremhever begrensningen av det opprinnelige arbeidet. I slike tilfeller vil forfattere også bli oppfordret (men ikke påkrevd) til å forhåndsregistrere en ekstra replikasjonsstudie via Det Fullt Forhåndsregistrerte sporet (se nedenfor) der prosedyren er så nært som mulig til den opprinnelige studien, men med feilen korrigert. De samme forfatterkravene og alternativene vil gjelde i tilfeller der replikeringen mangler en passende positiv kontroll eller annen uavhengig kvalitetskontroll (Trinn 1 Sekundært Kriterium # 3).

for alvorlige bekymringer som hindrer meningsfull tolkning av resultatene, vil handlingsforløpet bli bestemt av kildepubliseringen av den opprinnelige studien. For studier publisert i andre tidsskrifter Enn Royal Society Open Science, Vil Stage 1 innleveringer med alvorlige feil bli akseptert bare hvis forfatterne godtar å forhåndsregistrere (Via Det Fullt Forhåndsregistrerte sporet) en ytterligere korrigerende studie i samme papir som forsøker å rette opp de identifiserte problemene. I tilfeller der forfattere er uvillige eller ute av stand til å gjøre det, Slike Trinn 1 innleveringer er sannsynlig å bli avvist. Men for å sikre At Royal Society Open Science forblir ansvarlig for standarden på arbeidet som den publiserer, vil replikasjonsforsøk selv om alvorlig feilaktige studier som opprinnelig ble publisert i tidsskriftet, bli tillatt uten krav om forfattere å forhåndsregistrere en ytterligere korrigerende studie. I stedet, som med innleveringer som vurderes å inneholde store (men ikke alvorlige) bekymringer, vil forfattere bli pålagt å inkludere en diskusjon om den alvorlige feilen, og den endelige artikkelen vil bli ledsaget av en advarende redaksjonell notat.

disse situasjonene er oppsummert i tabellen nedenfor(og se også arbeidsflytdiagrammet nedenfor).



denne tabellen er også tilgjengelig for nedlasting.annet enn scenariet beskrevet ovenfor for alvorlige bekymringer, vil stage 1 manuskripter bli avvist direkte etter grundig gjennomgang bare hvis vurderinger indikerer at replikasjonsforsøket ikke klarte å oppfylle tilstrekkelige metodologiske standarder, for eksempel utilstrekkelig statistisk kraft eller kritiske avvik fra den opprinnelige metoden (Stage 1 Primære Kriterier # 1 og # 2). Ingen fast nivå av statistisk kraft er nødvendig, men der forfattere foreslått frequentist statistiske metoder, makt vil bli vurdert fra sak til sak før resultatene er kjent. Forfattere kan også bli pålagt å revidere Sin Fase 1-innsending for å legge til nødvendige detaljer i den rapporterte metodikken eller endre analysene. Beskrivelsen av metodene bør være tilstrekkelig omfattende til å gi en internt fullstendig redegjørelse for alle anvendte metoder, uten at leseren trenger å undersøke de spesifikke metodiske detaljene i den opprinnelige studien.når replikeringsforsøket er motivert av en rekke foreløpige eksperimenter, er forfattere velkommen til å publisere disse andre steder (f. eks. på en preprint-server eller i en annen journal) og deretter kort referere til dem i stage 1-manuskriptet, for eksempel for å rettferdiggjøre beslutningen om å forfølge en direkte replikering. Merk imidlertid at ingen begrunnelse for en replikering er nødvendig eller vurdert som grunnlag for aksept. Manuskriptet I fase 1 bør ikke inneholde detaljerte beskrivelser av metodene til andre studier enn selve replikasjonsstudien, og det bør ikke rapportere noen pilot eller foreløpige data (men kan selvsagt referere til funn rapportert andre steder). Trinn 1 innleveringer er strengt begrenset til innføring og metoder for replikering forsøk (er) og forfattere bør også være forsiktig med å sikre at eventuelle koblede eksterne materialer ikke forutse resultatene av direkte replikering.

hvis manuskriptet blir vurdert positivt i Henhold Til Trinn 1 Primære Kriterier, vil det bli tildelt i prinsippet aksept (IPA). Forfattere er da pålagt å formelt forhåndsregistrere sitt godkjente manuskript PÅ OSF på https://osf.io/rr/ (bemerker at det er En Replikering – Resultater Blind artikkel type PÅ RSOS) og invitert til å sende Inn Et stage 2 manuskript som inneholder innholdet i det godkjente stage 1 manuskriptet pluss resultatene og diskusjonen og URL til den forhåndsregistrerte protokollen. Hvis forfatterne trekker sitt manuskript etter tildeling AV IPA, vil tidsskriftet publisere En Trukket Registrering, inkludert abstractet fra Fase 1-innsendelsen, en lenke til URL-ADRESSEN til den forhåndsregistrerte protokollen, pluss en årsak til tilbaketrekningen levert enten av forfatterne eller redaktørene.

3.3. På Trinn 2 returneres manuskriptet til de opprinnelige Trinn 1-anmelderne som vurderer innholdet i henhold til Følgende Primære og Sekundære kriterier:

• Trinn 2 Primære Kriterium #1: Om innføring og metoder er de samme som godkjent Trinn 1 innlevering (påkrevd).
• Trinn 2 Primærkriterium # 2: om forfatterens konklusjoner er berettiget gitt dataene.Trinn 2 Sekundært Kriterium #1: om dataene er i stand til å teste forfatterens foreslåtte hypoteser ved å passere de godkjente utfallsnøytrale kriteriene (for eksempel fravær av gulv-og takeffekter eller suksess for positive kontroller eller andre kvalitetskontroller). Unnlatelse av å passere disse vilkårene vil ikke føre til manuskriptavvisning, men kan kreve at forfattere eksplisitt anerkjenner slike begrensninger i diskusjonen, og i alvorlige tilfeller kan det også føre til publisering av en tilhørende redaksjonell advarsel.

Av De Ovennevnte Trinn 2 kriterier, redaksjonelle beslutninger vil være basert utelukkende på De Primære Kriterier. Kommentarer angående Sekundærkriterium # 1 vil ikke påvirke beslutningen om å publisere, men kan kreve ytterligere advarsler fra forfatterne (i diskusjonen) eller kan noteres av redaktørene i en medfølgende advarsel.

manuskripter I Fase 2 vil kun bli avvist dersom innsendelsen inkluderer ikke-godkjente endringer i Det godkjente manuskriptet I fase 1, eller der forfatternes konklusjoner vurderes å strekke seg utover det som er tillatt av resultatene, OG der slike meningsforskjeller mellom forfattere og korrekturlesere / redaktører ikke kan forenes.

3,4. Den siste Fasen 2 papir vil bli publisert Som En Replikering-Resultater Blind.

1. fullt Forhåndsregistrert spor

4.1. Dette sporet ligner på resultatblindprosessen, men er ment for forfattere som ennå ikke har forsøkt en replikering av en studie publisert I Royal Society Open Science, i en av kildejournalene som er oppført i seksjon 1, eller et annet tidsskrift godkjent av redaktørene. Forfattere bør i utgangspunktet sende inn et delvis manuskript som inneholder abstract, introduksjon og metode seksjoner. Til tross for at protokollen er prospektiv, bør manuskriptet og metodene skrives i tidligere tid. I alle andre henseender er alternativene og kravene de samme som for resultatene-blindspor. Stage 1 manuskriptet skal sendes gjennom Replikering artikkel type. Innsendingen må ledsages av et følgebrev til redaktøren som indikerer (a) at forfatterne sender inn et trinn 1-manuskript via Replikasjonsartikkelalternativet, (b) målstudien for replikeringen, inkludert kildeartikkel og tidsskrift, og (c) at manuskriptet sendes inn før datainnsamling, (d) at forfatterne godtar å arkivere alle data, kode og digitalt materiale i et fritt tilgjengelig arkiv på tidspunktet For Fase 2-aksept, og (e) at forfatterne godtar publisering av En Tilbaketrukket Registrering dersom de frivillig trekker tilbake innsendingen etter At søknaden er mottatt. Trinn 1 i prinsippet aksept (Med En Tilbaketrukket Registrering bestående av abstrakt Fra trinn 1 innsending pluss en grunn for tilbaketrekningen levert av forfatterne eller redaktørene). Merk at mens følgebrevet skal indikere om resultatene er kjent, Bør ikke stage 1-manuskriptet eksplisitt angi at forfatterne ikke kjenner resultatene. Som nevnt i 3.1, skyldes dette at anmeldere i første runde av anmeldelsen er blindet for både resultatene og eksistensen av resultater.

innleveringene I Trinn 1 og trinn 2 vil vurderes etter De Samme Primære Og Sekundære Kriteriene som for resultatblindet (se 3.2 – 3.3 ovenfor). Etter IPA, forfattere er pålagt å formelt forhåndsregistrere sitt godkjente manuskript PÅ OSF på (bemerker at det Er En Replikering – Fullt Forhåndsregistrert artikkel type PÅ RSOS). Forfatterne inviteres deretter til å sende inn et stage 2-manuskript når studien er fullført, som inkluderer innholdet i det godkjente stage 1-manuskriptet pluss resultatene og diskusjonen og NETTADRESSEN til den forhåndsregistrerte protokollen.

4,2. Den siste Fasen 2 papir vil bli publisert Som En Replikering – Fullt Forhåndsregistrert.

replication policy workflow

denne arbeidsflyten kan også lastes ned for visning.

Gå til toppen