richtlijnen voor auteurs

1. Royal Society Open Science verbindt zich ertoe om elke methodologisch verantwoorde poging te publiceren om een studie te repliceren die is gepubliceerd binnen de sectie psychologie en cognitieve neurowetenschappen van het tijdschrift, evenals elke studie binnen de opdracht van de psychologie en cognitieve sectie neurowetenschappen die is gepubliceerd in een van de volgende tijdschriften: Biological Psychiatry, Brain, Cerebral Cortex, Child Development, Cortex, Cognitive Psychology, Cognition, Current Biology, Developmental Psychology, Developmental Science, European Journal of Neuroscience, Journal of Cognitive Neuroscience, Journal of Experimental Social Psychology, Journal of Memory and Language, Journal of Neuroscience, Journal of Personality and Social Psychology, Nature, Nature Human Behaviour, Nature Neuroscience, NeuroImage, Neuron, Neuroscience of Consciousness, PLOS Biology, Proceedings of the National Academy of Sciences of the USA, Psychological Science, Quarterly Journal of Experimental Psychology, Science, Social Psychological and Personality Science, en elk ander tijdschrift gepubliceerd door de American Psychological Association, Association for Psychological Science, British Psychological Society of Royal Society. We zullen ook, per geval, vragen van te voren indienen voor replica ‘ s van studies gepubliceerd in tijdschriften naast de hier vermelde. Merk op dat replicatiestudies zelf geschikte doelen zijn voor replicatie.

1. auteurs hebben de keuze tussen twee routes voor de behandeling van inzendingen: een “results-blind” track waarin de invoering en methode van een voltooide studie peer reviewed worden terwijl de resultaten en discussie tijdelijk worden onthouden, of een “volledig van tevoren geregistreerd” track waarbij het studieprotocol wordt beoordeeld en vooraf wordt aanvaard voordat met de gegevensverzameling wordt begonnen.

1. Resultaten-blind spoor

3.1. Deze track is bedoeld voor auteurs die al een directe (close) replicatie poging hebben gedaan van een studie gepubliceerd binnen Royal Society Open Science, binnen een van de bron tijdschriften vermeld in Sectie 1, of vanuit een ander tijdschrift dat per geval door de redactie is goedgekeurd. Auteurs dienen in eerste instantie een gedeeltelijk manuscript in te dienen met de secties abstract, inleiding en methode, waarbij de resultaten en discussie worden geredigeerd samen met alle andere informatie (bijvoorbeeld in het abstract) die de onderzoeksresultaten vermeldt of impliceert. De sectie methode moet in de verleden tijd worden geschreven en moet een uitgebreid en gedetailleerd overzicht bevatten van alle experimentele procedures (met inbegrip van gegevensinsluitings-en uitsluitingscriteria) en analyses. Merk op dat de latere indiening in Fase 2 geen resultaten kan bevatten van analyses die niet zijn vermeld in de indiening in Fase 1 op het punt van in beginsel aanvaarding. Het manuscript van Fase 1 moet worden ingediend met behulp van het type replicatie-artikel. De indiening moet vergezeld gaan van een begeleidende brief aan de redacteur waarin wordt vermeld (A) dat de auteurs een manuscript van Fase 1 als Replicatieartikel indienen, (b) de doelstudie voor de replicatie met inbegrip van bronartikel en tijdschrift, (c) dat het manuscript wordt ingediend via de resultaten-blind track, waarbij expliciet wordt opgemerkt dat de resultaten al bekend zijn bij de auteurs, (d) dat de auteurs ermee instemmen om alle geanonimiseerde gegevens, code en digitaal materiaal te archiveren in een vrij toegankelijk archief op het moment van de aanvaarding van Fase 2, en (e) dat de auteurs akkoord gaan met de publicatie van een Ingetrokken registratie als zij vrijwillig de indiening na fase 1 intrekken in principe aanvaarding (met een ingetrokken registratie bestaande uit de samenvatting van de Fase 1 indiening plus een reden voor de intrekking verstrekt door de auteurs of redacteuren). Hoewel in de begeleidende brief moet worden vermeld of de resultaten bekend zijn bij de auteurs, mag het manuscript van Fase 1 zelf niet vermelden of impliceren dat de auteurs de resultaten al kennen. Om mogelijke vooroordelen ten opzichte van verwachte negatieve bevindingen te minimaliseren, zullen beoordelaars in de eerste herzieningsronde blind worden voor zowel de resultaten als het bestaan van resultaten. Merk op dat alle voorlopige experimenten die de replicatiestudie motiveerden niet moeten worden gerapporteerd in het stadium 1 manuscript, hoewel auteurs zijn welkom om ze elders te publiceren (bijvoorbeeld aparte peer-reviewed artikel, preprint server, of repository) en verwijzen naar hen in de Fase 1 Introductie.

3.2. In Fase 1 van de indiening wordt door reviewers die beoordelen van de inhoud volgens de volgende Primaire en Secundaire criteria:

• Fase 1 Primaire Criterium #1: de vraag Of de auteurs geven een voldoende duidelijke en gedetailleerde beschrijving van de methoden voor een andere onderzoeker nauw repliceren van de voorgestelde experimentele procedures en analyse pipeline, en om te voorkomen dat geheime flexibiliteit in de experimentele procedures of analyse pipeline.
• Fase 1 primair criterium # 2: of het manuscript een voldoende geldige (d.w.z. dichtbij) en robuuste (bijv. statistisch krachtige) replicatie van de oorspronkelijke onderzoeksmethoden en motivering om een indicatie van de repliceerbaarheid te geven.
• Fase 1 secundair criterium # 1: de logica, de motivering en de plausibiliteit van de voorgestelde hypothesen.
• Fase 1 secundair criterium # 2: de deugdelijkheid van de methodologie en analyse pijplijn.
• secundair criterium Nr. 3 van Fase 1: of de auteurs voldoende resultaatneutrale omstandigheden hebben overwogen (bv. afwezigheid van vloer-of plafondeffecten; positieve controles; andere kwaliteitscontroles) om ervoor te zorgen dat de verkregen resultaten de genoemde hypothesen kunnen testen.

van de bovenstaande Fase 1-criteria worden redactionele beslissingen uitsluitend gebaseerd op de primaire Criteria. In sommige gevallen kunnen de gepubliceerde methoden van het oorspronkelijke onderzoek niet voldoende gedetailleerd zijn om een nauwe replicatie mogelijk te maken (primair criterium Nr. 1 van Fase 1) en kunnen de oorspronkelijke auteurs van het onderzoek ook niet bereid of niet in staat zijn de noodzakelijke ontbrekende informatie te verstrekken. In dergelijke gevallen worden schattingen van de oorspronkelijke procedures aanvaard, op voorwaarde dat de auteurs kunnen aantonen dat de gekozen methode een redelijke schatting van de oorspronkelijke aanpak is, en op voorwaarde (indien van toepassing) dat zij bewijsstukken aan de redacteur kunnen leveren, zoals e-mails, waaruit blijkt dat pogingen om dergelijke informatie van de oorspronkelijke auteurs te verkrijgen.

met uitzondering van één specifiek scenario dat hieronder wordt besproken, zullen de opmerkingen van beoordelaars met betrekking tot de secundaire Criteria geen invloed hebben op de beslissing om te publiceren. In plaats daarvan, wanneer de redacteuren van mening zijn dat alle kritische kwesties binnen deze categorieën geldig zijn, kunnen aanvullende acties nodig zijn. De specifieke acties zullen afhangen van de ernst van de problemen, beoordeeld op basis van drie “dreigingsniveaus”: klein, groot en ernstig. Om te voorkomen dat de publicatie vertekend is, zullen deze beoordelingen worden gemaakt voordat de resultaten bekend zijn.

voor problemen die door de redacteuren als klein worden beschouwd, zullen de auteurs de noodzakelijke beperkingen in de inleiding (en/of later in de discussie in Fase 2) moeten bespreken.

voor belangrijke problemen die de interpreteerbaarheid van mogelijke bevindingen aanzienlijk beperken (maar niet elimineren), kan ook een redactionele waarschuwing naast het eindrapport worden gepubliceerd. Bijvoorbeeld, wanneer reviewers een fout identificeren met de methodologie van de oorspronkelijke studie onder replicatie (Fase 1 secundair criterium #1 of #2), dan kan naast een verplichte bespreking van de beperking door de auteurs, een redactionele commentaar worden gepubliceerd met de definitieve paper benadrukken de beperking van het oorspronkelijke werk. In dergelijke gevallen zouden de auteurs ook worden aangemoedigd (maar niet verplicht) om een extra replicatiestudie vooraf in te schrijven via het volledig vooraf geregistreerde spoor (zie hieronder) waarin de procedure zo dicht mogelijk bij het oorspronkelijke onderzoek wordt gebracht, maar waarbij de fout wordt gecorrigeerd. Dezelfde auteurseisen en-opties zouden van toepassing zijn in gevallen waarin de replicatie geen passende positieve controle of andere onafhankelijke kwaliteitscontrole heeft (secundair criterium Nr. 3 van Fase 1).

voor ernstige problemen die een zinvolle interpretatie van de resultaten in de weg staan, wordt de koers bepaald door de bronpublicatie van het oorspronkelijke onderzoek. Voor studies die gepubliceerd zijn in andere tijdschriften dan Royal Society Open Science, zullen Stage 1-inzendingen met ernstige gebreken alleen geaccepteerd worden als de auteurs ermee instemmen om een aanvullend correctief onderzoek binnen hetzelfde artikel in te dienen dat probeert de geïdentificeerde problemen te corrigeren. In gevallen waarin de auteurs daartoe niet bereid of niet in staat zijn, zullen dergelijke bijdragen van Fase 1 waarschijnlijk worden afgewezen. Echter, om ervoor te zorgen dat Royal Society Open Science verantwoordelijk blijft voor de standaard van het werk dat het publiceert, zullen replicatiepogingen zelfs van ernstig gebrekkige studies die oorspronkelijk werden gepubliceerd in het tijdschrift worden toegestaan zonder de verplichting voor auteurs om een extra correctief onderzoek vooraf in te dienen. In plaats daarvan, zoals bij inzendingen die geacht worden grote (maar niet ernstige) zorgen te bevatten, zullen auteurs verplicht zijn om een bespreking van de ernstige fout op te nemen, en het laatste artikel zal vergezeld gaan van een waarschuwende redactionele noot.

deze onvoorziene omstandigheden zijn samengevat in de onderstaande tabel (en zie ook het werkstroomdiagram hieronder).

richtlijnen voor beoordelaars

replicaties zijn een nieuw formaat van onderzoeksartikel dat wordt aangeboden als onderdeel van het Replicatiebeleid van het tijdschrift. In het kader van dit beleid verplicht het tijdschrift zich tot het publiceren van nauwe replicatiepogingen van studies op het gebied van psychologie of cognitieve neurowetenschappen die eerder werden gepubliceerd in Royal Society Open Science of een van verschillende andere belangrijke tijdschriften.

fase 1 replicatiestudies kunnen worden ingediend met resultaten die bekend zijn bij de auteurs (en tijdelijk geredigeerd) of voordat gegevens zijn verzameld. Het peer review proces is in eerste instantie blind voor welke van deze twee scenario ‘ s van toepassing is en alle Fase 1 manuscripten worden ingediend in verleden tijd, ongeacht of gegevens al zijn verzameld. Manuscripten worden dan opnieuw bekeken in Fase 2 nadat de resultaten bekend zijn.

in Fase 1 wordt de indiening beoordeeld aan de hand van de volgende primaire en secundaire criteria. In de meeste gevallen is de beslissing om te publiceren gebaseerd op de beoordeling van de primaire criteria, waarbij de beoordeling van secundaire criteria bepaalt of de uiteindelijke replicatiepoging al dan niet wordt gepubliceerd samen met een redactionele waarschuwing. Echter, ernstige gebreken in de secundaire criteria kan leiden tot afwijzing als het werk wordt gerepliceerd werd gepubliceerd in een ander tijdschrift dan Royal Society Open Science.

• Fase 1 primair criterium # 1: Of de auteurs geven een voldoende duidelijke en gedetailleerde beschrijving van de methoden voor een andere onderzoeker om de voorgestelde experimentele procedures en analyse pijplijn nauw repliceren, en om onbekende flexibiliteit in de experimentele procedures of analyse pijplijn te voorkomen.

• Fase 1 primair criterium # 2: of het manuscript een voldoende geldige (d.w.z. nauwe) en robuuste (bv. statistisch krachtige) replicatie van de oorspronkelijke onderzoeksmethoden en motivering beschrijft om een indicatie van de repliceerbaarheid te geven.

• secundair criterium van Fase 1 # 1: De logica, motivering en plausibiliteit van de voorgestelde hypothesen.

• secundaire fase 1-criterium # 2: de deugdelijkheid van de methodologie en analyse-pijplijn.

• secundair criterium Nr. 3 van Fase 1: of de auteurs voldoende resultaatneutrale omstandigheden hebben overwogen (bv. afwezigheid van bodem-of plafondeffecten; positieve controles; andere kwaliteitscontroles) om ervoor te zorgen dat de verkregen resultaten de vermelde hypothesen kunnen testen.

in Fase 2 wordt het manuscript teruggestuurd naar de oorspronkelijke beoordelaars van Fase 1, die de inhoud beoordelen aan de hand van de volgende primaire en secundaire criteria. Ook hier is het besluit tot publicatie gebaseerd op de primaire criteria, waarbij de beoordeling van het secundaire criterium van invloed is op het al dan niet toevoegen van een redactionele waarschuwing.

• Fase 2 primair criterium # 1: of de inleiding en de methoden dezelfde zijn als de goedgekeurde fase 1-indiening (vereist).

• Fase 2 primair criterium # 2: Of de conclusies van de auteurs gerechtvaardigd zijn gezien de gegevens.

• secundair criterium Nr. 1 van Fase 2: of de gegevens in staat zijn de door de auteurs voorgestelde hypothesen te testen door aan de goedgekeurde resultaatneutrale criteria te voldoen (zoals het ontbreken van bodem-en plafondeffecten of het succes van positieve controles of andere kwaliteitscontroles). Het niet voldoen aan deze voorwaarden zal niet leiden tot afwijzing van het manuscript, maar zou kunnen vereisen dat auteurs dergelijke beperkingen expliciet erkennen in hun discussie, en in ernstige gevallen kan ook leiden tot de publicatie van een begeleidende redactionele waarschuwing.