retningslinjer for forfattere

1. Royal Society Open Science forpligter sig til at offentliggøre ethvert metodologisk forsvarligt forsøg på at replikere enhver undersøgelse, der er blevet offentliggjort inden for sektionen Psykologi og kognitiv neurovidenskab i tidsskriftet, samt enhver undersøgelse inden for området Psykologi og kognitiv neurovidenskab, der er blevet offentliggjort i et af følgende tidsskrifter: Biologisk Psykiatri, hjernebark, børneudvikling, hjernebark, kognitiv psykologi, kognition, Nuværende biologi, udviklingspsykologi, udviklingspsykologi, Udviklingsvidenskab, European Journal of Neuroscience, Journal of Cognitive Neuroscience, Tidsskrift for Eksperimentel socialpsykologi, Journal of Memory and Language, Journal of Neuroscience, Journal of Personality and Social Psychology, natur, natur menneskelig adfærd, Natur Neuroscience, NeuroImage, Neuron, Neuroscience of Consciousness, PLOS Biology, Proceedings of the National Academy of Sciences of the USA, Psykologisk Videnskab, kvartalsvis Tidsskrift for eksperimentel psykologi, videnskab, socialpsykologisk og Personlighedsvidenskab og ethvert andet tidsskrift udgivet af American Psychological Association, Association for Psychological Science, British Psychological Society eller Royal Society. Vi vil også overveje, fra sag til sag, forespørgsler forud for indsendelse til replikationer af undersøgelser offentliggjort i tidsskrifter ud over dem, der er anført her. Bemærk, at replikationsundersøgelser i sig selv er egnede mål for replikering.

1. forfattere har valget mellem to ruter til behandling af indlæg: et” resultatblind ” spor, hvor introduktionen og metoden for en afsluttet undersøgelse gennemgås fagfællebedømt, mens resultaterne og diskussionen midlertidigt tilbageholdes, eller et “fuldt forudregistreret” spor, hvor undersøgelsesprotokollen gennemgås og forudaccepteres inden dataindsamlingens begyndelse.

1. resultater-blind track

3.1. Dette spor er beregnet til forfattere, der allerede har gennemført et direkte (tæt) replikationsforsøg på en undersøgelse offentliggjort i Royal Society Open Science, inden for en af kildetidsskrifter, der er anført i Afsnit 1, eller fra ethvert andet tidsskrift, der er godkendt fra sag til sag af redaktørerne. Forfattere skal oprindeligt indsende et delvist manuskript, der indeholder afsnittene abstrakt, introduktion og metode, med resultaterne og diskussionen redigeret sammen med enhver anden information (f.eks. abstrakt), der angiver eller antyder forskningsresultaterne. Metodeafsnittet skal være skrevet i datid og skal indeholde en omfattende og detaljeret redegørelse for alle eksperimentelle procedurer (herunder data inklusion og eksklusionskriterier) og analyser. Bemærk, at det senere trin 2 indsendelse kan ikke omfatte resultaterne af analyser, der ikke er angivet i trin 1 indsendelse på tidspunktet for i princippet accept. Scenen 1 manuskriptet skal indsendes ved hjælp af Replikationsartikeltypen. Indsendelsen skal ledsages af et følgebrev til redaktøren, der angiver (A), at forfatterne indsender et trin 1-manuskript som en Replikationsartikel, (b) målundersøgelsen for replikationen inklusive kildeartikel og tidsskrift, (c) at manuskriptet indsendes gennem det resultatblinde spor, idet det udtrykkeligt bemærkes, at resultaterne allerede er kendt af forfatterne, (d) at forfatterne accepterer at arkivere alle anonymiserede data, kode og digitalt materiale i et frit tilgængeligt arkiv på tidspunktet for fase 2-accept, og (e) at forfatterne accepterer offentliggørelsen af et dokument, der Tilbagetrukket registrering, hvis de frivilligt trækker indsendelsen tilbage efter Trin 1 i princippet accept (med en tilbagetrukket registrering bestående af abstraktet fra trin 1-indsendelsen plus en begrundelse for tilbagetrækningen fra forfatterne eller redaktørerne). Bemærk, at mens følgebrevet skal angive, om resultaterne er kendt af forfatterne, må selve scenen 1-manuskriptet ikke angive eller antyde, at forfatterne allerede kender resultaterne. For at minimere potentiel bias mod forventede negative fund, korrekturlæsere i den første runde af gennemgang vil blive blindet både for resultaterne og for eksistensen af resultater. Bemærk, at eventuelle indledende eksperimenter, der motiverede replikationsundersøgelsen, ikke bør rapporteres i fase 1-manuskriptet, selvom forfattere er velkomne til at offentliggøre dem andetsteds (f.eks. separat fagfællebedømt artikel, preprint-server eller arkiv) og henvise til dem i fase 1-introduktionen.

3.2. På Trin 1 overvejes indsendelsen af korrekturlæsere, der vurderer indholdet i henhold til følgende primære og sekundære kriterier:

• Trin 1 primært kriterium #1: om forfatterne giver en tilstrækkelig klar og detaljeret beskrivelse af metoderne til, at en anden forsker nøje kan replikere de foreslåede eksperimentelle procedurer og analyserørledning, og for at forhindre ikke-afsløret fleksibilitet i de eksperimentelle procedurer eller analyserørledningen.Trin 1 primært kriterium #2: om manuskriptet beskriver en tilstrækkelig gyldig (dvs. tæt) og robust (f. eks. statistisk kraftig) replikation af de oprindelige undersøgelsesmetoder og begrundelse for at give en indikation af replikerbarhed.Trin 1 sekundært kriterium #1: logik, begrundelse og plausibilitet af de foreslåede hypoteser.
• Trin 1 sekundært kriterium #2: metodens og analysepipelinens soliditet.Trin 1 sekundært kriterium # 3: om forfatterne har overvejet tilstrækkelige resultatneutrale forhold (f. eks. fravær af gulv-eller lofteffekter; positive kontroller; kvalitetskontrol) for at sikre, at de opnåede resultater er i stand til at teste de angivne hypoteser.

af ovenstående trin 1-kriterier vil redaktionelle beslutninger udelukkende være baseret på de primære kriterier. I nogle tilfælde giver de offentliggjorte metoder i den oprindelige undersøgelse muligvis ikke nok detaljer til at tillade en tæt replikering (Trin 1 primært kriterium #1), og de oprindelige forfattere af undersøgelsen kan også være uvillige eller ude af stand til at give de nødvendige manglende oplysninger. I sådanne tilfælde accepteres skøn over de oprindelige procedurer, forudsat at forfatterne kan fastslå, at den valgte metode er et rimeligt skøn over den oprindelige tilgang, og forudsat (hvor det er relevant) de kan levere dokumentation til redaktøren, såsom e-mails, der beviser ethvert forsøg på at indhente sådanne oplysninger fra de oprindelige forfattere.

med undtagelse af et specifikt scenario, der er diskuteret nedenfor, vil korrekturlæserens kommentarer vedrørende de sekundære kriterier ikke påvirke beslutningen om at offentliggøre. I stedet, hvor redaktørerne mener, at kritiske problemer, der rejses inden for disse kategorier, er gyldige, kan der kræves yderligere handlinger. De specifikke handlinger vil afhænge af alvorligheden af bekymringerne, vurderet i henhold til tre ‘trusselsniveauer’: mindre, større og alvorlige. For at forhindre publikationsforstyrrelse foretages disse vurderinger, før resultaterne kendes.

for bekymringer, som redaktørerne vurderer at være mindre, skal forfattere diskutere de nødvendige begrænsninger i introduktionen (og/eller senere i diskussionen på Fase 2).

for større bekymringer, der væsentligt begrænser (men ikke eliminerer) fortolkbarheden af eventuelle fund, kan en redaktionel advarsel også offentliggøres sammen med den endelige rapport. For eksempel, hvor korrekturlæsere identificerer en fejl med metoden i den originale undersøgelse under replikation (Trin 1 sekundært kriterium #1 eller #2), kan der ud over en obligatorisk diskussion af forfatterens begrænsning offentliggøres en redaktionel kommentar med det endelige papir, der fremhæver begrænsningen af det originale værk. I sådanne tilfælde vil forfattere også blive opfordret (men ikke påkrævet) til at forregistrere en yderligere replikationsundersøgelse via det fuldt forudregistrerede spor (se nedenfor), hvor proceduren matches så tæt som muligt med den oprindelige undersøgelse, men med fejlen korrigeret. De samme forfatterkrav og valgmuligheder ville gælde i tilfælde, hvor replikationen mangler en passende positiv kontrol eller anden uafhængig kvalitetskontrol (Trin 1 sekundært kriterium #3).

for alvorlige bekymringer, der forhindrer meningsfuld fortolkning af resultaterne, vil handlingsforløbet blive bestemt af kildepublikationen af den oprindelige undersøgelse. For undersøgelser offentliggjort i andre tidsskrifter end Royal Society Open Science, fase 1-indlæg med alvorlige mangler accepteres kun, hvis forfatterne accepterer at forregistrere (via det fuldt forudregistrerede spor) en yderligere korrigerende undersøgelse inden for det samme papir, der forsøger at rette de identificerede problemer. I tilfælde, hvor forfattere er uvillige eller ude af stand til at gøre det, sådan fase 1 indlæg vil sandsynligvis blive afvist. Imidlertid, for at sikre, at Royal Society Open Science forbliver ansvarlig for den standard for arbejde, den udgiver, replikationsforsøg selv af alvorligt mangelfulde undersøgelser, der oprindeligt blev offentliggjort i tidsskriftet, vil være tilladt uden krav om, at forfattere skal forregistrere en yderligere korrigerende undersøgelse. I stedet, som med indlæg, der vurderes at indeholde store (men ikke alvorlige) bekymringer, skal forfattere medtage en diskussion af den alvorlige fejl, og den endelige artikel vil blive ledsaget af en advarsel Redaktionel note.

disse uforudsete hændelser er opsummeret i nedenstående tabel (og se også arbejdsdiagrammet nedenfor).

retningslinjer for korrekturlæsere

replikationer er et nyt format for forskningsartikel, der tilbydes som en del af tidsskriftets Replikationspolitik. I henhold til denne politik forpligter tidsskriftet sig til at offentliggøre tætte replikationsforsøg på studier inden for psykologi eller kognitiv neurovidenskab, der tidligere blev offentliggjort i Royal Society Open Science eller en af flere andre store tidsskrifter.

replikationsundersøgelser i Trin 1 kan indsendes med resultater, der enten er kendt af forfatterne (og midlertidigt redigeret) eller før data er indsamlet. Peerevalueringsprocessen er oprindeligt blindet for, hvilken af disse to scenarier der gælder, og alle trin 1 manuskripter indsendes i fortid, uanset om data allerede er indsamlet. Manuskripter gennemgås derefter på Trin 2, Efter at resultaterne er kendt.

på Trin 1 vurderes indsendelsen ud fra følgende primære og sekundære kriterier. I de fleste tilfælde, beslutningen om at offentliggøre er baseret på vurderingen af de primære kriterier, med vurderingen af sekundære kriterier, der bestemmer, om det eventuelle replikationsforsøg offentliggøres sammen med en redaktionel advarende note. Imidlertid, alvorlige mangler i de sekundære kriterier kan føre til afvisning, hvis det arbejde, der replikeres, blev offentliggjort i et andet tidsskrift end Royal Society Open Science.

• Trin 1 primært kriterium #1: Om forfatterne giver en tilstrækkelig klar og detaljeret beskrivelse af metoderne til, at en anden forsker nøje replikerer de foreslåede eksperimentelle procedurer og analyserørledning, og for at forhindre ikke-afsløret fleksibilitet i eksperimentelle procedurer eller analyserørledning.

• Trin 1 primært kriterium #2: om manuskriptet beskriver en tilstrækkelig gyldig (dvs.tæt) og robust (f. eks. statistisk kraftig) replikation af de originale undersøgelsesmetoder og begrundelse for at give en indikation af replikerbarhed.

• Trin 1 sekundært kriterium #1: Logik, begrundelse og plausibilitet af de foreslåede hypoteser.

• Trin 1 sekundært kriterium #2: kvaliteten af metoden og analyserørledningen.

• Trin 1 sekundært kriterium #3: om forfatterne har overvejet tilstrækkelige resultatneutrale forhold (f.eks. fravær af gulv-eller lofteffekter; positive kontroller; anden kvalitetskontrol) for at sikre, at de opnåede resultater er i stand til at teste de angivne hypoteser.

på Trin 2 returneres manuskriptet til den oprindelige fase 1 korrekturlæsere, der vurderer indholdet i henhold til følgende primære og sekundære kriterier. En gang til, beslutningen om at offentliggøre er baseret på de primære kriterier, med vurdering af det sekundære kriterium, der påvirker, om der tilføjes en redaktionel advarende note.

• Trin 2 primært kriterium #1: om introduktionen og metoderne er de samme som den godkendte trin 1-indsendelse (påkrævet).

• Trin 2 primært kriterium #2: Hvorvidt forfatterens konklusioner er berettigede i betragtning af dataene.Trin 2 sekundært kriterium #1: om dataene er i stand til at teste forfatternes foreslåede hypoteser ved at bestå de godkendte resultatneutrale kriterier (såsom fravær af gulv-og lofteffekter eller succes med positiv kontrol eller anden kvalitetskontrol). Manglende overholdelse af disse betingelser vil ikke føre til afvisning af manuskripter, men kan kræve, at forfattere eksplicit anerkender sådanne begrænsninger i deres diskussion, og i alvorlige tilfælde kan det også føre til offentliggørelse af en ledsagende redaktionel advarsel.