Articles

replikációs tanulmányok

by admin

replikációs politika

Royal Society Open Science úgy véli, hogy amikor egy tudományos folyóirat empirikus tanulmányt tesz közzé, elszámoltathatóságot feltételez a tanulmány megismételhetőségéért. Ezt a felelősséget tükrözi az a tény, hogy a folyóirat vállalja, hogy közzéteszi az oldalain megjelenő korábbi tanulmányok kísérleteit.

a folyóirat replikációs politikája alapján a Royal Society Open Science pszichológiai és Kognitív Idegtudományi szekciója kötelezettséget vállal arra, hogy közzéteszi a korábban ebben a folyóiratban és más nagy folyóiratokban megjelent tanulmányok replikációját. A szerzők vagy benyújthatnak egy már befejezett replikációs tanulmányt, vagy javaslatot tehetnek egy korábbi tanulmány másolására. Annak biztosítása érdekében, hogy a felülvizsgálati folyamatot az eredmények elfogulatlanok legyenek, a beadványokat vagy az eredmények megléte előtt, vagy a meglévő eredmények eredetileg szerkesztésével felülvizsgálják. A várt negatív eredményekkel szembeni elfogultság minimalizálása érdekében a bírálókat nemcsak elvakítják az eredményekre (ahol már léteznek), hanem elvakítják, hogy az eredmények (a szerzők) ismertek-e. Az eredeti módszer szoros, egyértelmű és érvényes ismétlését leíró beadványokat elvben elfogadják, ami gyakorlatilag garantálja a replikáció közzétételét a vizsgálat eredményétől függetlenül.

  1. Replikációs útmutató a szerzők számára

  2. Replikációs útmutató a játékvezetők

Iránymutatás a Szerzők

  1. Royal Society Nyitott Tudomány kiadó vállalja, hogy semmilyen módszertani szempontból hang kísérlet másolni tanulmányt publikált belül a Pszichológia, Kognitív Idegtudományi szakasz a folyóirat, valamint minden tanulmány keretein belül a Pszichológia, Kognitív Idegtudományi rész, amely már megjelent a következő folyóiratok: Biológiai Pszichiátria, Agy, Agykéreg, Gyermek Fejlődését, Kéreg, a Kognitív Pszichológia, a Megismerés, a Jelenlegi Biológia, fejlődéslélektan, Fejlődési Tudomány, European Journal of Neuroscience, Journal of Cognitive Neuroscience, Journal of Experimental Social Psychology, Lapjában Memória, illetve a Nyelv, a Journal of Neuroscience, Journal of Personality and Social Psychology, a Természet, a Természet Emberi Magatartás, a Nature Neuroscience, NeuroImage, Neuron, Neuroscience a Tudat, PLOS Biology, Proceedings of the National Academy of Sciences az USA-ban, a Pszichológiai Tudomány, Negyedéves Journal of Experimental Psychology, Science, Social Psychological and Personality Science, and any other journal published by the American Psychological Association, Association for Psychological Science, British Psychological Society or Royal Society. Eseti alapon megfontoljuk továbbá az itt felsorolt folyóiratokban közzétett tanulmányok megismétlésére vonatkozó előzetes benyújtási vizsgálatokat is. Ne feledje, hogy maguk a replikációs vizsgálatok alkalmasak a replikációra.
  1. A szerzők a beadványok megfontolásának két módja között választhatnak: az “eredmény-vak” pálya, ahol a bevezetés és a módszer egy befejezett tanulmány szakértői felülvizsgálják, míg az eredmények és a vita ideiglenesen visszatartott, vagy egy “teljesen előre regisztrált” pálya, ahol a vizsgálati protokoll felülvizsgálják és előre elfogadott megkezdése előtt adatgyűjtés.
  1. eredmények-blind track

3.1. Ez a pálya olyan szerzők számára készült, akik már befejezték a Royal Society Open Science-ben közzétett tanulmány közvetlen (közeli) replikációs kísérletét, az 1.szakaszban felsorolt forrás folyóiratok egyikén belül, vagy bármely más, a szerkesztők által eseti alapon jóváhagyott folyóiratból. A szerzőknek először egy részleges kéziratot kell benyújtaniuk, amely tartalmazza az absztrakt, bevezető és módszer szakaszokat, az eredményeket és a vitát pedig minden más információval (pl. absztrakt) együtt kell szerkeszteni, amely meghatározza vagy magában foglalja a kutatási eredményeket. A módszer szakaszt múlt időben kell megírni, és tartalmaznia kell az összes kísérleti eljárás átfogó és részletes beszámolóját (beleértve az adatok felvételére és kizárására vonatkozó kritériumokat) és elemzéseket. Vegye figyelembe, hogy a 2.szakasz későbbi benyújtása nem tartalmazhat olyan elemzések eredményeit, amelyeket az 1. szakasz benyújtása nem tartalmaz az elvi elfogadás helyén. Az 1. szakasz kéziratát a replikációs cikk típusával kell benyújtani. A benyújtás csatolni kell egy motivációs levelet a szerkesztőnek, jelezve, (a) hogy a szerzők be egy Szakasz 1 kéziratot, mint egy Replikációs cikk, (b) a cél tanulmány a replikáció beleértve forrás cikk, napló, (c) az a kézirat, hogy a rajta keresztül benyújtott az eredmények-vak pálya, megjegyezve, hogy kifejezetten az eredményeket, vagy már ismert, hogy a szerzők, (d), hogy a szerzők egyetértenek abban, hogy az archívum minden anonimizált adatokat, a kód, illetve a digitális anyagok egy szabadon hozzáférhető adattár a pont, 2. Szakasz elfogadása, valamint (e), hogy a szerzők egyetértenek abban, hogy a közzététele Visszavont Regisztráció, ha önként visszavonja a benyújtás után Stage 1 elvileg elfogadás (a visszavont regisztrációs álló absztrakt a Stage 1 benyújtás, valamint egy oka a visszavonás által szolgáltatott szerzők vagy szerkesztők). Vegye figyelembe, hogy míg a motivációs levelet kell tüntetni, hogy az eredményeket ismert, hogy a szerzők, a Színpad 1 kézirat magát, nem szabad akként, hogy a szerzők már tudom az eredményt. A várható negatív eredményekkel szembeni esetleges elfogultság minimalizálása érdekében a felülvizsgálat első fordulójában a bírálók mind az eredményekre, mind az eredmények meglétére vakok lesznek. Vegye figyelembe, hogy a replikációs tanulmányt motiváló előzetes kísérleteket nem szabad jelenteni az 1.szakasz kéziratában, bár a szerzők szívesen közzéteszik őket máshol (például külön szakértői cikk, preprint szerver vagy adattár), és hivatkoznak rájuk az 1. szakaszban bevezetés.

3.2. Az 1. Szakaszban a benyújtás tekinthető a bíráló, aki értékeli a tartalom szerint az alábbi Elsődleges, mind a Másodlagos szempontok:

  • 1. Szakasz Elsődleges Kritérium #1: – E a szerzők kellően világos, részletes leírást a módszerek egy másik kutató, hogy szorosan megismételni a javasolt kísérleti eljárások, elemzés csővezeték, illetve, hogy megakadályozza ismeretlen rugalmasság a kísérleti eljárások vagy analitikai csővezeték.
  • 1. szakasz elsődleges kritérium # 2: hogy a kézirat megfelelően érvényes (azaz közeli) és robusztus (pl. statisztikailag erős) az eredeti vizsgálati módszerek replikációja és indoklása A replikabilitás jelzésére.
  • 1. szakasz másodlagos kritérium #1: A javasolt hipotézisek logikája, indoklása és hitelessége.
  • 1. szakasz másodlagos kritérium # 2: a módszertani és elemzési csővezeték megalapozottsága.
  • 1. szakasz másodlagos kritérium # 3: vajon a szerzők megfelelő eredménysemleges körülményeket tartottak-e (pl. padló-vagy mennyezethatások hiánya; pozitív kontrollok; egyéb minőségellenőrzések) annak biztosítására, hogy a kapott eredmények képesek legyenek tesztelni a megadott hipotéziseket.

a fenti 1. szakasz kritériumai közül a szerkesztői döntések kizárólag az elsődleges kritériumokon alapulnak. Bizonyos esetekben előfordulhat, hogy az eredeti tanulmány közzétett módszerei nem nyújtanak elegendő részletet ahhoz, hogy lehetővé tegyék a szoros replikációt (1.szakasz elsődleges kritérium #1), és a tanulmány eredeti szerzői is vonakodhatnak vagy nem tudják megadni a szükséges hiányzó információkat. Ilyen esetekben az eredeti eljárásokra vonatkozó becslések elfogadásra kerülnek, feltéve, hogy a szerzők megállapíthatják, hogy a választott módszer az eredeti megközelítés ésszerű becslése, és (adott esetben) dokumentációs bizonyítékokat szolgáltathatnak a szerkesztőnek, például e-maileket, bizonyítva az ilyen információk megszerzésére irányuló kísérleteket az eredeti szerzőktől.

az alábbiakban tárgyalt konkrét forgatókönyv kivételével a felülvizsgálók észrevételei a másodlagos kritériumokkal kapcsolatban nem befolyásolják a közzétételi döntést. Ehelyett, ha a szerkesztők úgy vélik, hogy az ezekben a kategóriákban felvetett kritikus kérdések érvényesek, további műveletekre lehet szükség. A konkrét intézkedések az aggodalmak súlyosságától függnek, amelyet három “veszélyességi szint” szerint értékelnek: kisebb, nagyobb és súlyos. A közzétételi elfogultság megelőzése érdekében ezeket az értékeléseket Az eredmények ismerete előtt kell elvégezni.

a szerkesztők által kisebbnek ítélt aggályok esetén a szerzőknek meg kell vitatniuk a bevezetéshez szükséges korlátozásokat (és / vagy később a 2. szakaszban folytatott vitában).

az esetleges megállapítások értelmezhetőségét jelentősen korlátozó (de nem kiküszöbölő) főbb aggályok esetén a zárójelentés mellett szerkesztői figyelmeztető feljegyzés is közzétehető. Például, ha a bírálók hibát azonosítanak az eredeti tanulmány módszertanával a replikáció alatt (1.szakasz másodlagos kritérium #1 vagy #2), akkor a szerzők korlátozásának kötelező megvitatása mellett szerkesztői megjegyzés is közzétehető a végső dokumentummal, kiemelve az eredeti mű korlátozását. Ilyen esetekben a szerzőket arra is ösztönöznék (de nem kötelező), hogy egy további replikációs vizsgálatot kezdeményezzenek a teljesen előre regisztrált pályán keresztül (lásd alább), amelyben az eljárás a lehető legszorosabban illeszkedik az eredeti tanulmányhoz, de a hibát kijavítják. Ugyanezek a szerzői követelmények és lehetőségek alkalmazandók azokban az esetekben, amikor a replikáció nem rendelkezik megfelelő pozitív ellenőrzéssel vagy más független minőség-ellenőrzéssel (1.szakasz másodlagos kritérium #3).

súlyos aggályok esetén, amelyek megakadályozzák az eredmények értelmes értelmezését, a cselekvés menetét az eredeti tanulmány forráskiadása határozza meg. A Royal Society Open Science-en kívüli folyóiratokban közzétett tanulmányok esetében az 1. szakasz súlyos hibákkal járó beadványokat csak akkor fogadják el, ha a szerzők beleegyeznek abba, hogy egy további korrekciós tanulmányt készítenek ugyanazon a tanulmányon belül, amely megpróbálja kijavítani az azonosított problémákat. Azokban az esetekben, amikor a szerzők nem hajlandók vagy nem képesek erre, az ilyen 1.szakasz beadványait valószínűleg elutasítják. Annak érdekében azonban, hogy a Royal Society Nyitott a Tudomány továbbra is felelős a standard munka, hogy közzéteszi, replikáció kísérletek is súlyosan hibás tanulmányok, amelyek eredetileg megjelent belül a napló lesz engedélyezett, anélkül, hogy a követelmény, hogy a szerzők, hogy preregister további korrekciós vizsgálatban. Ehelyett, mint a jelentős (de nem súlyos) aggályokat tartalmazó beadványok esetében, a szerzőknek be kell vonniuk a súlyos hiba megvitatását, a végső cikket pedig figyelmeztető szerkesztői megjegyzés kíséri.

ezeket a vészhelyzeteket az alábbi táblázat foglalja össze (Lásd még az alábbi munkafolyamat ábrát).

Ez a táblázat letölthető.

Egyéb, mint a forgatókönyv fent leírt súlyos aggályokat, 1. Szakasz kéziratok elutasításra kerül végleges következő alapos felülvizsgálatra csak akkor, ha az értékelés azt jelzi, hogy a replikáció nem sikerült találkozni elegendő módszertani szabványok, például elégtelen statisztikai erő vagy kritikus eltérések az eredeti módszertan (Stage 1 az Elsődleges Szempontok #1, #2). Nincs szükség rögzített szintű statisztikai teljesítményre, de ahol a szerzők frekventista statisztikai módszereket javasoltak, a teljesítményt eseti alapon értékelik az eredmények ismerete előtt. A szerzők is szükség lehet, hogy vizsgálja felül a Stage 1 benyújtása hozzá szükséges részletességgel a jelentett módszertan vagy megváltoztatni az elemzéseket. A módszerek leírásának kellően kidolgozottnak kell lennie ahhoz, hogy belsőleg teljes körű beszámolót nyújtson az összes alkalmazott módszerről anélkül, hogy az olvasónak meg kellene vizsgálnia az eredeti vizsgálat konkrét módszertani részleteit.

ahol a replikációs kísérletet előzetes kísérletek sorozata motiválja, a szerzők szívesen közzéteszik ezeket máshol (például egy preprint szerveren vagy egy másik folyóiratban), majd röviden hivatkoznak rájuk az 1.szakasz kéziratában, például a közvetlen replikáció folytatására vonatkozó döntés igazolására. Ne feledje azonban, hogy a replikáció indoklása nem szükséges, vagy az elfogadás indokaként nem kell értékelni. Az 1. szakasz kézirata nem tartalmazhat részletes leírást a replikációs tanulmányon kívül más tanulmányok módszereiről, és nem tartalmazhat kísérleti vagy előzetes adatokat (de természetesen hivatkozhat más, másutt közölt eredményekre). Az 1. szakasz beadványai szigorúan a replikációs kísérlet(ek) bevezetésére és módszereire korlátozódnak, és a szerzőknek is ügyelniük kell arra, hogy a kapcsolódó külső anyagok ne előre jelezzék a közvetlen replikáció eredményeit.

Ha a kéziratot az 1.szakasz elsődleges kritériumai szerint kedvezően felülvizsgálják, akkor azt elvben elfogadják (IPA). Szerzők akkor szükséges, hogy hivatalosan preregister a jóváhagyott kéziratot a OSF a https://osf.io/rr/ (megjegyezve, hogy ez egy Replikációs – Eredmények Vak. cikk típus RSOS), valamint felkérte, hogy nyújtson be egy Szakasz 2 a kézirat, amely magában foglalja a tartalmat a jóváhagyott Szakasz 1 kézirat, ráadásul az eredmények megvitatása, valamint az URL-t, hogy a megírt jegyzőkönyv. Ha a szerzők visszavonják kéziratukat az IPA odaítélése után, a folyóirat Visszavonott regisztrációt tesz közzé, beleértve az 1.szakaszból származó absztraktot, egy linket az előjegyzett protokoll URL-jéhez, valamint a szerzők vagy a szerkesztők által szolgáltatott visszavonás okát.

3.3. A 2. szakaszban a kézirat visszakerül az eredeti 1. szakasz bírálói közé, akik a következő elsődleges és másodlagos kritériumok alapján értékelik a tartalmat:

  • 2. szakasz elsődleges kritérium #1: Függetlenül attól, hogy a bevezetés és a módszerek megegyeznek-e a jóváhagyott 1.szakasz benyújtásával (kötelező).
  • 2. szakasz elsődleges kritérium #2: a szerzők következtetései indokoltak-e az adatok alapján.
  • 2. szakasz másodlagos kritérium # 1: hogy az adatok képesek-e tesztelni a szerzők által javasolt hipotéziseket a jóváhagyott eredménysemleges kritériumok (például a padló-és mennyezethatások hiánya vagy a pozitív ellenőrzések vagy egyéb minőségellenőrzések sikere) átadásával. E feltételek elmulasztása nem vezet a kézirat elutasításához, de megkövetelheti a szerzőktől, hogy vitájukban kifejezetten ismerjék el ezeket a korlátozásokat, súlyos esetekben pedig kísérő szerkesztői figyelmeztető megjegyzés közzétételéhez is vezethet.

a fenti 2. szakasz kritériumai közül a szerkesztői döntések kizárólag az elsődleges kritériumokon alapulnak. Az 1. másodlagos kritériumra vonatkozó megjegyzések nem befolyásolják a közzétételi döntést, de további figyelmeztetéseket igényelhetnek a szerzők (a vitában), vagy a szerkesztők egy kísérő figyelmeztető megjegyzésben megjegyezhetik.

2. Szakasz kéziratok fogja utasítani, csak akkor, ha a beadvány tartalmazza a nem jóváhagyott módosítások a jóváhagyott Szakasz 1 kéziratot, vagy ahol a szerzők következtetései ítélik lépheti túl azok által megengedett az eredmények PEDIG, ahol ilyen véleménykülönbségek között a szerzők, illetve a kritikusok/szerkesztők nem lehet összeegyeztetni.

3.4. Az utolsó szakaszban 2 papír jelenik meg, mint a replikáció-eredmények vak.

  1. teljesen regisztrált pálya

4.1. Ez a pálya hasonló az eredményekhez-vak folyamat, de olyan szerzők számára készült, akik még nem próbálták meg megismételni a Royal Society Open Science-ben közzétett tanulmányt, a szakaszban felsorolt forrás folyóiratok egyikén belül 1, vagy bármely más folyóirat, amelyet a szerkesztők jóváhagytak. A szerzőknek először egy részleges kéziratot kell benyújtaniuk, amely tartalmazza az absztrakt, bevezető és módszer szakaszokat. Annak ellenére, hogy a protokoll előre látható, a kéziratot és a módszereket múlt időben kell megírni. Minden más szempontból a lehetőségek és követelmények ugyanazok, mint az eredmények-blind pálya. Az 1. szakasz kéziratát a replikációs cikk típusán keresztül kell benyújtani. A benyújtás csatolni kell egy motivációs levelet a szerkesztőnek, jelezve, (a) hogy a szerzők benyújtása 1. Szakasz kézirat keresztül a Replikációs cikk lehetőség, (b) a cél tanulmány a replikáció beleértve forrás cikk, napló, valamint (c) az a kézirat, hogy benyújtott előzetes adatgyűjtés, (d), hogy a szerzők egyetértenek abban, hogy az archívum az összes adatot, a kódot, a digitális anyagok egy szabadon hozzáférhető adattár a pont, 2. Szakasz elfogadása, valamint (e) a szerzők egyetértenek abban, hogy a kiadvány egy Visszavont Regisztráció, ha önként vonja vissza a benyújtás után 1. szakasz elvben elfogadás (a visszavont regisztrációval, amely az 1. szakaszból származó kivonatból áll, valamint a szerzők vagy szerkesztők által nyújtott visszavonás oka). Vegye figyelembe, hogy míg a kísérőlevélnek meg kell jelölnie, hogy az eredmények ismertek-e, maga a Stage 1 kézirat nem állíthatja kifejezetten, hogy a szerzők nem ismerik az eredményeket. Amint azt a 3.1-ben megjegyeztük, ez azért van, mert az első felülvizsgálati fordulóban a bírálók elvakultak mind az eredmények, mind az eredmények megléte szempontjából.

az 1. és a 2.szakasz beadványait ugyanazon elsődleges és másodlagos kritériumok alapján kell értékelni, mint az eredmény-vak pályán (lásd a fenti 3.2-3.3. pontot). Az IPA-t követően a szerzőknek hivatalosan elő kell írniuk jóváhagyott kéziratukat az OSF-en (megjegyezve ,hogy ez egy replikáció – teljesen előre regisztrált cikktípus az RSOS-nál). A szerzők ezután felkérik, hogy nyújtson be egy Stage 2 kézirat, ha a tanulmány befejeződött, amely magában foglalja a tartalom a jóváhagyott Stage 1 kézirat, valamint az eredmények és a vita, valamint az URL-t, hogy az előre regisztrált protokoll.

4.2. Az utolsó szakaszban 2 papír jelenik meg, mint a replikáció-teljesen előre regisztrált.

replikációs házirend munkafolyamat

Ez a munkafolyamat megtekintésre is letölthető.

a Recenzenseknek szóló iránymutatások

a replikációk a folyóirat replikációs politikájának részeként kínált kutatási cikk új formátuma. E politika, a folyóirat vállalja, hogy közzéteszi szoros replikációs kísérletek tanulmányok területén a pszichológia vagy kognitív idegtudomány, amelyek korábban megjelent Royal Society Open Science vagy egy másik nagy folyóiratok.

1. szakasz replikációs vizsgálatok benyújthatók a szerzők által ismert (és ideiglenesen szerkesztett) eredményekkel, vagy az adatok összegyűjtése előtt. A szakértői felülvizsgálati folyamat kezdetben elvakult, hogy e két forgatókönyv közül melyik alkalmazandó, és az összes 1. szakasz kéziratát múlt időben nyújtják be, függetlenül attól, hogy az adatokat már összegyűjtötték-e. A kéziratokat ezután újra felülvizsgálják a 2. szakaszban, miután az eredmények ismertek.

az 1. szakaszban a benyújtást a következő elsődleges és másodlagos kritériumok alapján értékelik. A legtöbb esetben, a közzétételi döntés az elsődleges kritériumok értékelésén alapul, a másodlagos kritériumok értékelésével annak meghatározása, hogy az esetleges replikációs kísérletet közzéteszik-e egy szerkesztői figyelmeztető megjegyzés mellett. A másodlagos kritériumok súlyos hibái azonban elutasításhoz vezethetnek, ha a megismételt munkát a Royal Society Open Science-től eltérő folyóiratban tették közzé.

  • 1. szakasz elsődleges kritérium #1: Hogy a szerzők kellően világos, részletes leírást a módszerek egy másik kutató, hogy szorosan megismételni a javasolt kísérleti eljárások, elemzés csővezeték, illetve, hogy megakadályozza ismeretlen rugalmasság a kísérleti eljárások vagy analitikai csővezeték.

  • 1. szakasz elsődleges kritérium # 2: hogy a kézirat leírja-e az eredeti vizsgálati módszerek kellően érvényes (azaz közeli) és robusztus (pl. statisztikailag erős) replikációját és indokolását a replikabilitás jelzésére.

  • 1. szakasz másodlagos kritérium # 1: A javasolt hipotézisek logikája, indoklása és hitelessége.

  • 1. szakasz másodlagos kritérium # 2: a módszertani és elemzési csővezeték megalapozottsága.

  • 1. szakasz másodlagos kritérium # 3: vajon a szerzők megfelelő eredménysemleges feltételeket tartottak-e (pl. padló-vagy mennyezethatás hiánya; pozitív ellenőrzések; egyéb minőségellenőrzések) annak biztosítására, hogy a kapott eredmények képesek legyenek tesztelni a megadott hipotéziseket.

a 2. szakaszban a kézirat visszakerül az eredeti 1. szakasz bírálóihoz, akik a következő elsődleges és másodlagos kritériumok alapján értékelik a tartalmat. Ismét, a közzétételi döntés az elsődleges kritériumokon alapul, a másodlagos kritérium értékelése befolyásolja, hogy csatolják-e a szerkesztői figyelmeztető megjegyzést.

  • 2. szakasz elsődleges kritérium # 1: hogy a bevezetés és a módszerek megegyeznek-e a jóváhagyott 1.szakasz benyújtásával (kötelező).

  • 2. szakasz elsődleges kritérium #2: Az adatok alapján indokolt-e a szerzők következtetései.

  • 2. Szakasz Másodlagos Kritérium #1: – E az adatok tudja, hogy teszteljék a szerzők által javasolt hipotézisek átadásával a jóváhagyott eredmény-semleges kritériumok (például hiánya, padló, illetve mennyezet hatások vagy siker a pozitív kontrollok vagy más minőség-ellenőrzés). E feltételek elmulasztása nem vezet a kézirat elutasításához, de megkövetelheti a szerzőktől, hogy vitájukban kifejezetten ismerjék el ezeket a korlátozásokat, súlyos esetekben pedig kísérő szerkesztői figyelmeztető megjegyzés közzétételéhez is vezethet.