Articles

Replikace studie

Replikace Politiky

Royal Society Open Science se domnívá, že když vědecký časopis publikuje empirické studie předpokládá, že odpovědnost za replikovatelnosti této studie. Tato odpovědnost se odráží v rozsahu, v jakém časopise se zavazuje k publikování pokus o replikací z předchozích studií, které se objeví na jeho stránkách.

Podle časopisu Replikace Politiky, Psychologie a Kognitivní Neurovědy, část Royal Society Open Science se zavázat k publikování replikací studium dříve publikované v tomto časopise a dalších významných časopisů. Autoři mohou buď předložit replikační studii, která je již dokončena, nebo návrh na replikaci předchozí studie. Aby bylo zajištěno, že proces revize je objektivní výsledky, podání budou přezkoumány před výsledky existují, nebo s existující výsledky zpočátku redigován. Aby se minimalizovala zaujatost vůči očekávaným negativním výsledkům, budou recenzenti nejen zaslepeni výsledky (tam, kde již existují), ale budou zaslepeni, zda jsou výsledky (autory) známy. Příspěvky, které popisují blízko, jasné a platné replikací původní metodiky budou nabízeny v zásadě souhlas, což prakticky zaručuje zveřejnění replikace bez ohledu na výsledek studie.

  1. Replikace pokyny pro autory

  2. Replikace pokyny pro rozhodčí

Pokyny pro Autory

  1. Royal Society Open Science se zavazuje, že zveřejněním jakéhokoli metodicky zvuk pokusí replikovat studii, která byla zveřejněna v rámci Psychologie a Kognitivní Neurovědy části věstníku, stejně jako každý obor v rámci Psychologie a Kognitivní Neurovědy oddíl, který byl zveřejněn v jednom z následujících časopisů: Biologické Psychiatrie, Mozek, Mozková Kůra, Vývoj Dítěte, Kůra, Kognitivní Psychologie, Poznávání, Současná Biologie, Vývojová Psychologie, Vývojové Vědy, European Journal of Neuroscience, Journal of Cognitive Neuroscience, Journal of Experimental Social Psychology, Journal of Memory and Language, Journal of Neuroscience, Journal of Osobnosti a Sociální Psychologie, Přírodu, Lidské Chování, Nature Neuroscience, NeuroImage, Neuron, Neurovědy Vědomí, PLOS Biology, Proceedings of the Národní Akademie Věd USA, Psychologické Vědy, Čtvrtletní Journal of Experimental Psychology, Science, Social Psychological and Personality Science a jakýkoli jiný časopis vydávaný Americkou psychologickou asociací, Asociací pro psychologickou vědu, britskou psychologickou společností nebo Královskou společností. Budeme také zvažovat, případ od případu, předběžné dotazy na replikace studií publikovaných v časopisech kromě těch, které jsou zde uvedeny. Všimněte si, že samotné replikační studie jsou vhodnými cíli pro replikaci.
  1. autoři mají možnost volby mezi dvěma cestami pro posouzení podání: „výsledky-slepá“ trať ve kterém úvod a metoda dokončené studie jsou přezkoumána zatímco výsledky a diskuse jsou dočasně odepřen, nebo „plně zaregistrovaní“ sledovat, kde se protokol studie je přezkoumat a pre-přijal před zahájením shromažďování údajů.
  1. výsledky-slepá stopa

3.1. Tato trať je určena pro autory, kteří již dokončili přímý (blízký) replikace pokus o studii zveřejněné v Royal Society Open Science, do jednoho zdrojového časopisů uvedených v bodě 1, nebo z jakéhokoli jiného věstníku schválena případ od případu do redakce. Autoři by měli nejprve předložit částečné rukopis, obsahující abstrakt, úvod a metoda částí, s výsledky a diskuse redigovaný společně s dalšími informacemi (např. v abstraktu), které uvádí nebo naznačuje, že výsledky výzkumu. Část metody by měla být napsána v minulém čase a musí obsahovat komplexní a podrobný popis všech experimentálních postupů (včetně kritérií pro zařazení a vyloučení údajů) a analýz. Všimněte si, že pozdější fáze 2 podání nemůže zahrnovat výsledky jakýchkoli analýz, které nejsou uvedeny v etapě 1 podání v okamžiku přijetí v zásadě. Rukopis Fáze 1 by měl být předložen pomocí typu replikačního článku. Podání musí být přiložen průvodní dopis do editoru označující (a), že autoři předkládají Fáze 1 rukopis jako Replikace článku, (b) cíl studie pro replikace, včetně zdroj článku journal, (c) že rukopis byl předložen prostřednictvím výsledků-slepá trať, upozorňuje výslovně na to, že výsledky jsou již známé autory, (d), že autoři se shodují na archiv anonymizovaných dat, kód a digitálních materiálů ve volně přístupné repozitáře na bod 2. Fáze přijetí, a (e), že autoři se shodují na zveřejnění Odňata Registrace, pokud dobrovolně odstoupit podání po 1. stupni v principu souhlas (s Odňata Registrace, skládající se z abstraktní od Fáze 1 podání, plus důvod pro odstoupení od smlouvy dodané autory nebo editory). Všimněte si, že zatímco průvodní dopis by měl uvádět, zda jsou výsledky známy autorům, Fáze 1 rukopis sám o sobě nesmí uvádět ani naznačovat, že autoři již výsledky znají. Aby se minimalizovala potenciální zaujatost vůči očekávaným negativním zjištěním, budou recenzenti v prvním kole přezkumu zaslepeni jak výsledky, tak existencí výsledků. Všimněte si, že žádné předběžné experimenty, které motivovaly replikace studie by neměla být hlášena ve Fázi 1 rukopis, i když autoři jsou vítáni, aby je publikovat jinde (např. samostatné peer-review článek, preprint server nebo úložiště) a na ně odkazovat ve Fázi 1 úvod.

3.2. Ve Fázi 1 je předložení dokumentace považováno za recenzenti, kteří hodnotí obsah podle následující Primární a Sekundární kritéria:

  • Fáze 1 Primární Kritérium Č. 1: Zda autoři poskytnout dostatečně jasný a podrobný popis metod pro další badatele, aby úzce napodobovat navrženo experimentální postupy a analýzy potrubí, a aby se zabránilo nezveřejněných flexibilitu v experimentální postupy nebo analýzy potrubí.
  • fáze 1 primární kritérium #2: zda rukopis popisuje dostatečně platný (tj. blízký) a robustní (např. statisticky silný) replikace původních studijních metod a zdůvodnění poskytnout údaj o replikovatelnosti.
  • stupeň 1 sekundární kritérium #1: logika, zdůvodnění a věrohodnost navrhovaných hypotéz.
  • stupeň 1 sekundární kritérium #2: spolehlivost metodiky a analýzy potrubí.
  • stupeň 1 sekundární kritérium #3: zda autoři považovali za dostatečné podmínky neutrální pro výsledek (např.; další kontroly kvality) pro zajištění toho, aby získané výsledky byly schopny otestovat uvedené hypotézy.

z výše uvedených kritérií Fáze 1 budou redakční rozhodnutí založena pouze na primárních kritériích. V některých případech, publikované metody původní studie nemusí poskytovat dostatečně podrobné, aby umožňovaly úzké replikace (stupeň 1, Základní Kritérium č. 1), a původní autoři studie může také být ochoten nebo schopen poskytnout potřebné chybějící informace. V takových případech, odhady originální postupy budou přijaty za předpokladu, že autoři mohou stanovit, že zvolená metoda je rozumný odhad originální přístup, a za předpokladu, že (případně) mohou dodávat doklady na editor, jako jsou e-maily, které prokazují, jakékoli pokusy o získání těchto informací od původních autorů.

s výjimkou jednoho konkrétního scénáře popsaného níže Komentáře recenzentů týkající se sekundárních kritérií neovlivní rozhodnutí o zveřejnění. Místo toho, pokud se redaktoři domnívají, že jakékoli kritické problémy vznesené v těchto kategoriích jsou platné, mohou být vyžadovány další akce. Konkrétní opatření budou záviset na závažnosti obavy, hodnocena podle tří ‚ohrožení‘: drobné, významné, závažné. Aby se zabránilo zkreslení publikace, budou tato hodnocení provedena dříve, než budou známy výsledky.

Pro obavy posuzována podle redaktorů bude menší, autoři budou muset diskutovat o nezbytné omezení v úvodu (a/nebo později v diskusi na 2. Fázi).

pro závažné obavy, které podstatně omezují (ale nevylučují) interpretovatelnost případných zjištění, může být vedle závěrečné zprávy zveřejněna také redakční varovná poznámka. Například, kde recenzentů identifikovat chybu s metodikou původní studie v rámci replikace (Fáze 1 Sekundární Kritérium #1 nebo #2), pak kromě povinné diskuse o omezení autory, redakční komentář může být zveřejněn s konečným papír zvýraznění omezení původního díla. V takových případech, autoři by také doporučuje (ale nevyžaduje), aby se předregistrovat další replikace studie, přes Plně Zaregistrovaní trati (viz níže), v němž řízení je uzavřeno tak přesně, jak je to možné, aby původní studie, ale s chyba opravena. Stejné požadavky a možnosti autora by platily v případech, kdy replikaci chybí vhodná pozitivní kontrola nebo jiná nezávislá kontrola kvality (sekundární kritérium Fáze 1 #3).

pro vážné obavy, které brání smysluplné interpretaci výsledků, bude postup určen zdrojovou publikací původní studie. Za studií publikovaných v časopisech, jiné než Royal Society Open Science, Fáze 1 podání s vážnými nedostatky budou akceptovány pouze v případě, že autoři se shodují na předregistrovat (prostřednictvím Plně Zaregistrovaní track), další nápravná studie ve stejném papíru, který se pokouší opravit zjištěné problémy. V případech, kdy autoři nejsou ochotni nebo neschopní tak učinit, takové podání Fáze 1 bude pravděpodobně zamítnuto. Nicméně, aby bylo zajištěno, že Royal Society Open Science zůstává odpovědný za životní dílo, které vydává, replikace pokusy i vážné nedostatky studií, které byly původně publikovány v časopise bude povoleno bez požadavku na autory, aby předregistrovat další nápravná studie. Místo toho, jako s příspěvky, které jsou posuzovány obsahovat hlavní (ale ne těžké) týká, autoři budou muset zahrnovat diskusi o závažnou chybu, a poslední článek bude doprovázen varovným redakční poznámka.

tyto nepředvídané události jsou shrnuty v následující tabulce (viz také schéma pracovního postupu níže).

tato tabulka je také k dispozici ke stažení.

Jiné než scénář je popsáno výše, pro vážné obavy, Fáze 1 rukopisů bude zamítnuta na základě důkladné hodnocení pouze v případě, recenze naznačují, že replikace pokus nepodařilo splnit dostatečné metodické standardy, jako je nedostatečné statistické síly nebo kritické odchylky od původní metodiky (Fáze 1 Primární Kritéria #1 a #2). Není vyžadována žádná pevná úroveň statistické síly, ale tam, kde autoři navrhli frekvenční statistické metody, výkon bude hodnocen případ od případu dříve, než budou známy výsledky. Autoři mohou také být povinny revidovat své Fázi 1 předložení přidat nezbytné podrobně uvádí metodiku nebo změnit analýzy. Popis metody by měly být dostatečně propracované, aby poskytovat interně kompletní popis všech použitých metod, aniž by čtenáři museli zkoumat konkrétní metodické detaily z původní studie.

Kde replikace pokus je motivován sérii předběžných pokusů, autoři jsou vítáni publikovat jinde (např. na pracovní server nebo v jiném časopise) a pak krátce na ně odkazovat ve Fázi 1 rukopis, například k odůvodnění rozhodnutí usilovat o přímé replikace. Všimněte si však, že žádné odůvodnění replikace není vyžadováno ani posouzeno jako důvod pro přijetí. Fáze 1 rukopis by neměl obsahovat podrobný popis metody studií jiných než replikace studii samotnou, a to by nemělo hlásit jakékoli pilot nebo předběžné údaje (ale samozřejmě může odkazovat na zjištění uvádí jinde). Fáze 1 podání, jsou přísně omezeny na úvod a metody replikace pokus(y) a autoři by také měli být opatrní, aby zajistily, že jakékoli externích materiálů neočekáváme výsledky přímé replikace.

Pokud je rukopis přezkoumán příznivě podle primárních kritérií Fáze 1, bude udělen v zásadě akceptace (IPA). Autoři jsou pak povinni formálně předregistrovat jejich schválený rukopis na OSF v https://osf.io/rr/ (zmínku, že to je Replikace – Výsledky Slepý článek typ na RSOS) a vyzváni k předložení 2. Fáze rukopis, který zahrnuje obsah schváleného Fázi 1 rukopis plus výsledky a diskuse a URL zaregistrovaní protokolu. Pokud autoři stáhnout jejich rukopis po zadání IPA, časopis bude publikovat Staženy Registrace včetně abstraktu od Fáze 1 podání, odkaz na URL zaregistrovaní protokolu, plus důvod pro odstoupení dodávané buď podle autorů nebo redaktorů.

3.3. Ve fázi 2 je rukopis vrácen původním recenzentům Fáze 1, kteří hodnotí obsah podle následujících primárních a sekundárních kritérií:

  • primární kritérium fáze 2 #1: Zda jsou zavedení a metody stejné jako schválené předložení Fáze 1 (povinné).
  • fáze 2 Primární kritérium #2: zda jsou závěry autorů odůvodněné vzhledem k údajům.
  • 2. Fáze Sekundární Kritérium Č. 1: Zda jsou údaje schopni otestovat autorů navrhované hypotézy o absolvování schváleného výsledku-neutrální kritéria (např. absence podlahy a stropu účinky nebo úspěch, pozitivní kontroly nebo jiných kontrol kvality). Selhání předat tyto podmínky, nebude vést k odmítnutí rukopisu, ale může vyžadovat autoři výslovně na vědomí, tato omezení v jejich jednání, a v závažných případech může také vést k vydání doprovázející redakční varovný vzkaz.

z výše uvedených kritérií fáze 2 budou redakční rozhodnutí založena pouze na primárních kritériích. Komentáře týkající se sekundárního kritéria č. 1 neovlivní rozhodnutí o zveřejnění, ale mohou vyžadovat další upozornění autorů (v diskusi) nebo mohou být zaznamenány editory v doprovodné varovné poznámce.

Stage 2 rukopisy, bude zamítnuta pouze tehdy, jestliže podání obsahuje neschválené změny schváleného Fázi 1 rukopis, nebo tam, kde závěry autorů jsou souzeni rozšířit nad rámec těch, které povoluje výsledky A tam, kde takové názorové rozdíly mezi autory a recenzenty/editoři nemohou být v souladu.

3.4. Závěrečná fáze 2 papír bude publikován jako slepý výsledek replikace.

  1. plně Předregistrovaná stopa

4.1. Tato trať je podobné výsledkům-slepý proces, ale určena pro autory, kteří mají ještě pokus replikace studie zveřejněné v Royal Society Open Science, do jednoho zdrojového časopisů uvedených v bodě 1, nebo jakýkoliv jiný časopis schváleny editory. Autoři by měli nejprve předložit částečný rukopis obsahující abstrakt, sekce úvod a metoda. Navzdory tomu, že protokol je perspektivní, rukopis a metody by měly být psány v minulém čase. Ve všech ostatních ohledech jsou možnosti a požadavky stejné jako u výsledků-slepá stopa. Fáze 1 rukopis by měl být předložen prostřednictvím typu replikačního článku. Podání musí být přiložen průvodní dopis do editoru označující (a), že autoři předkládají Fáze 1 rukopis prostřednictvím Replikace článku volba, (b) cíl studie pro replikace, včetně zdroj článku journal, a (c) že rukopis byl předložen před sběr dat, (d), že autoři se shodují archivovat všechny údaje, kód a digitálních materiálů ve volně přístupné repozitáře na bod 2. Fáze přijetí, a (e) to, že autoři se shodují na zveřejnění Stažen Registrace, pokud dobrovolně odstoupit po předložení Fáze 1 v zásadě přijetí (se staženou registrací sestávající z abstraktu z podání Fáze 1 plus důvod pro stažení dodaný autory nebo editory). Všimněte si, že zatímco průvodní dopis by měl uvádět, zda jsou výsledky známy, Fáze 1 samotný rukopis by neměl výslovně uvádět, že autoři neznají výsledky. Jak je uvedeno v bodě 3.1, je to proto, že recenzenti v prvním kole přezkumu jsou zaslepeni jak výsledky, tak existencí výsledků.

podání Fáze 1 a fáze 2 budou hodnocena podle stejných primárních a sekundárních kritérií jako u výsledků slepé stopy (viz 3.2-3.3 výše). Následující IPA, autoři jsou povinni formálně předregistrovat jejich schválený rukopis na OSF v (zmínku, že to je Replikace – Plně Zaregistrovaní typ článku na RSOS). Autoři jsou pak vyzvány, aby předložily Fáze 2 rukopis jednou studie je úplný, že zahrnuje obsah schváleného Fázi 1 rukopis plus výsledky a diskuse a URL zaregistrovaní protokolu.

4.2. Závěrečná fáze 2 papír bude publikován jako replikace-plně Předregistrovaný.

workflow zásad replikace

Tento workflow lze také stáhnout pro prohlížení.

pokyny pro recenzenty

replikace jsou novým formátem výzkumného článku nabízeného jako součást replikační politiky časopisu. V rámci této politiky, časopis se zavazuje k publikování v blízkosti replikace pokusy o studium v oblasti psychologie a kognitivní neurovědy, které byly dříve zveřejněny v Royal Society Open Science, nebo jeden z několika dalších významných časopisů.

replikační studie fáze 1 mohou být předloženy s výsledky známými autory (a dočasně redigovanými) nebo před shromážděním dat. Peer review proces je zpočátku oslepen, na který z těchto dvou scénářů týká, a všechny Fáze 1 rukopisy se předkládají v minulém čase, bez ohledu na to, zda již byly údaje shromážděny. Rukopisy jsou poté znovu přezkoumány ve fázi 2 Poté, co jsou známy výsledky.

ve fázi 1 se podání posuzuje podle následujících primárních a sekundárních kritérií. Ve většině případů, rozhodnutí zveřejnit je na základě hodnocení primárních kritérií hodnocení sekundární kritéria určení, zda případné replikace pokus je zveřejněn spolu s redakční varovný vzkaz. Závažné nedostatky v sekundárních kritériích však mohou vést k odmítnutí, pokud byla replikovaná práce publikována v jiném časopise než Royal Society Open Science.

  • Stupeň 1 primární kritérium #1: Zda autoři poskytnout dostatečně jasný a podrobný popis metod pro další badatele, aby úzce napodobovat navrženo experimentální postupy a analýzy potrubí, a aby se zabránilo nezveřejněných flexibilitu v experimentální postupy nebo analýzy potrubí.

  • Stage 1 Primární Kritérium Č. 2: Zda rukopis popisuje dostatečně validní (tj. blízko) a robustní (např. statisticky silný) replikace původní studie, metody a zdůvodnění poskytnout údaj o replikovatelnosti.

  • Stupeň 1 sekundární kritérium #1: Logika, zdůvodnění a věrohodnost navrhovaných hypotéz.

  • Stupeň 1 sekundární kritérium #2: spolehlivost metodiky a analýzy potrubí.

  • Stage 1 Sekundární Kritérium Č. 3: Zda autoři považovat za dostatečný výsledek-neutrální podmínky (např. absence podlahy nebo stropu účinky; pozitivní kontroly, další kontroly kvality) pro zajištění, že výsledky získané jsou schopni test uvedené hypotézy.

ve fázi 2 je rukopis vrácen původním recenzentům Fáze 1, kteří hodnotí obsah podle následujících primárních a sekundárních kritérií. Znovu, rozhodnutí o zveřejnění je založeno na primárních kritériích, s hodnocením sekundárního kritéria ovlivňujícího, zda je nebo není připojena redakční varovná poznámka.

  • fáze 2 Primární kritérium #1: zda zavedení a metody jsou stejné jako schválené podání Fáze 1 (povinné).

  • fáze 2 Primární kritérium #2: Zda jsou závěry autorů odůvodněné vzhledem k údajům.

  • 2. Fáze Sekundární Kritérium Č. 1: Zda jsou údaje schopni otestovat autorů navrhované hypotézy o absolvování schváleného výsledku-neutrální kritéria (např. absence podlahy a stropu účinky nebo úspěch, pozitivní kontroly nebo jiných kontrol kvality). Selhání předat tyto podmínky, nebude vést k odmítnutí rukopisu, ale může vyžadovat autoři výslovně na vědomí, tato omezení v jejich jednání, a v závažných případech může také vést k vydání doprovázející redakční varovný vzkaz.

přejít na začátek