Replikaatiotutkimukset
Replikaatiopolitiikka
Royal Society Open Science uskoo, että kun tieteellinen lehti julkaisee empiirisen tutkimuksen, se ottaa vastuun kyseisen tutkimuksen replikoitavuudesta. Tätä vastuuta kuvastaa se, missä määrin lehti sitoutuu julkaisemaan sivuillaan olevia yritettyjä toisintoja aiemmista tutkimuksista.
lehden Replikaatiopolitiikan mukaisesti Royal Society Open Sciencen Psychology and Cognitive Neuroscience-osasto sitoutuu julkaisemaan replikaatioita tässä lehdessä ja muissa merkittävissä lehdissä aiemmin julkaistuista tutkimuksista. Kirjoittajat voivat joko esittää jo valmistuneen replikaatiotutkimuksen tai ehdotuksen aiemman tutkimuksen toistamisesta. Sen varmistamiseksi, että tulokset eivät vaikuta arviointiprosessiin puolueettomasti, toimitetut tiedot tarkistetaan joko ennen tulosten olemassaoloa tai siten, että olemassa olevia tuloksia on alun perin muutettu. Ennakoituihin negatiivisiin tuloksiin kohdistuvan puolueellisuuden minimoimiseksi arvioijat eivät ainoastaan sokaistu (jos ne ovat jo olemassa) vaan sokaistuvat sen suhteen, ovatko tulokset (laatijoiden tiedossa) olemassa. Periaatteessa hyväksytään väitteet, joissa kuvataan alkuperäisen menetelmän läheisiä, selkeitä ja päteviä toisintoja, mikä käytännössä takaa toisinnon julkaisemisen tutkimuksen tuloksista riippumatta.
Replikointiohjeet tekijöille
Replikointiohjeet suosittelijoille
ohjeistukset tekijöille
- Tulossokea kappale
3.1. Tämä kappale on tarkoitettu kirjoittajille, jotka ovat jo suorittaneet suoran (läheisen) replikointiyrityksen tutkimuksesta, joka on julkaistu Royal Society Open Sciencessa, jossakin kohdassa 1 luetelluista lähdejulkaisuista tai mistä tahansa muusta lehdestä, jonka toimittajat ovat hyväksyneet tapauskohtaisesti. Laatijoiden olisi aluksi toimitettava osittainen käsikirjoitus, joka sisältää abstraktit, johdantoon ja menetelmään liittyvät osiot ja jonka tulokset ja keskustelu on korjattu yhdessä muiden (esim.abstraktien) tietojen kanssa, joissa todetaan tai annetaan ymmärtää tutkimustuloksia. Menetelmäosio on kirjoitettava menneessä aikamuodossa, ja siihen on sisällyttävä kattava ja yksityiskohtainen selvitys kaikista kokeellisista menettelyistä (mukaan lukien tietojen sisällyttämistä ja poissulkemista koskevat perusteet) ja analyyseistä. On huomattava, että myöhempään vaiheen 2 toimittamiseen ei voi sisältyä sellaisten analyysien tuloksia, joita ei ole esitetty vaiheen 1 toimittamisessa periaatteessa hyväksymisajankohtana. Vaiheen 1 käsikirjoitus on toimitettava käyttäen Replikointiartikkelityyppiä. Toimitukseen on liitettävä toimittajalle osoitettu saatekirje, jossa ilmoitetaan A) että tekijät toimittavat 1. vaiheen käsikirjoituksen Replikointiartikkelina, B) replikoinnin kohdetutkimus mukaan lukien lähdeartikkeli ja-lehti, c) että käsikirjoitus toimitetaan tulossokeiden kautta ja jossa todetaan nimenomaisesti, että tulokset ovat jo tekijöiden tiedossa, d) että tekijät suostuvat arkistoimaan kaikki anonymisoidut tiedot, koodin ja digitaalisen aineiston vapaasti saatavilla olevaan arkistoon vaiheen 2 hyväksymispisteessä ja e) että tekijät suostuvat julkaisemaan Peruutettu rekisteröinti, jos he vapaaehtoisesti peruuttavat jättämisen vaiheen 1 jälkeen periaatteessa hyväksymisen (peruutettu rekisteröinti, joka koostuu tiivistelmästä vaiheen 1 jättämisestä sekä tekijöiden tai toimittajien ilmoittamasta peruutuksen syystä). Huomaa, että vaikka saatekirjeessä pitäisi ilmoittaa, ovatko tulokset tekijöiden tiedossa, vaiheen 1 käsikirjoituksessa itsessään ei saa mainita tai antaa ymmärtää, että tekijät jo tietävät tulokset. Jotta ennakoituihin negatiivisiin havaintoihin kohdistuva mahdollinen puolueellisuus minimoitaisiin, ensimmäisen tarkastelukierroksen arvioijat sokaistetaan sekä tuloksilta että tulosten olemassaololta. Huomaa, että mitään alustavia kokeita, jotka motivoivat replikaatiotutkimusta, ei tule raportoida vaiheen 1 käsikirjoituksessa, vaikka kirjoittajat ovat tervetulleita julkaisemaan ne muualla (esim.erillinen vertaisarvioitu Artikkeli, preprint-palvelin tai arkisto) ja viitata niihin vaiheen 1 johdannossa.
3, 2. Vaiheessa 1 toimittamista harkitsevat arvioijat, jotka arvioivat sisältöä seuraavien ensisijaisten ja toissijaisten kriteerien mukaisesti:
- vaiheen 1 ensisijainen kriteeri #1: antavatko kirjoittajat riittävän selkeän ja yksityiskohtaisen kuvauksen menetelmistä, jotta toinen tutkija voi jäljitellä ehdotettuja kokeellisia menetelmiä ja analyysiputkistoa, ja estää julkistamattoman joustavuuden kokeellisissa menettelyissä tai analyysiputkistossa.
- Vaihe 1 ensisijainen kriteeri #2: kuvaako käsikirjoitus riittävän pätevän (eli tiiviin) ja vankan (esim. tilastollisesti tehokas) alkuperäisten tutkimusmenetelmien ja perustelujen replikointi toistettavuuden osoittamiseksi.
- Vaihe 1 toissijainen kriteeri #1: ehdotettujen hypoteesien logiikka, perustelut ja uskottavuus.
- Vaihe 1 toissijainen kriteeri #2: menetelmän ja analyysiputken luotettavuus.
- Vaihe 1 toissijainen kriteeri #3: ovatko tekijät pitäneet riittäviä tulosneutraaleja olosuhteita (esim. lattia-tai kattovaikutusten puuttuminen; positiiviset kontrollit; muut laatutarkastukset) sen varmistamiseksi, että saaduilla tuloksilla voidaan testata ilmoitettuja hypoteeseja.
edellä mainituista vaiheen 1 kriteereistä toimitukselliset päätökset perustuvat yksinomaan ensisijaisiin kriteereihin. Joissakin tapauksissa alkuperäisen tutkimuksen julkaistut menetelmät eivät välttämättä ole riittävän yksityiskohtaisia, jotta ne voitaisiin toistaa tarkasti (vaiheen 1 ensisijainen kriteeri #1), ja tutkimuksen alkuperäiset tekijät voivat myös olla haluttomia tai kykenemättömiä toimittamaan tarvittavia puuttuvia tietoja. Tällaisissa tapauksissa arviot alkuperäisistä menettelyistä hyväksytään edellyttäen, että kirjoittajat voivat osoittaa, että valittu menetelmä on kohtuullinen arvio alkuperäisestä lähestymistavasta, ja edellyttäen (tarvittaessa) he voivat toimittaa toimittajalle asiakirjatodisteita, kuten sähköposteja, jotka todistavat mahdolliset yritykset saada tällaisia tietoja alkuperäisiltä tekijöiltä.
yhtä jäljempänä käsiteltyä skenaariota lukuun ottamatta Uudelleentarkastelijoiden huomautukset toissijaisista perusteista eivät vaikuta julkaisupäätökseen. Sen sijaan, jos toimittajat uskovat, että kaikki kriittiset kysymykset, jotka on esitetty näissä luokissa, ovat päteviä, lisätoimia voidaan vaatia. Erityistoimet riippuvat huolien vakavuudesta, ja niitä arvioidaan kolmen ”uhkatason” mukaan: pienet, suuret ja vakavat. Julkaisuharhojen välttämiseksi nämä arviot tehdään ennen kuin tulokset ovat tiedossa.
Jos toimittajat arvioivat huolenaiheet vähäisiksi, kirjoittajat joutuvat keskustelemaan tarvittavista rajoituksista johdannossa (ja / tai myöhemmässä vaiheessa 2).
sellaisten merkittävien huolenaiheiden osalta, jotka merkittävästi rajoittavat (mutta eivät poista) mahdollisten havaintojen tulkinnanvaraisuutta, voidaan loppuraportin rinnalla julkaista myös pääkirjoituksellinen varoitus. Esimerkiksi, jos arvioijat tunnistavat virheen alkuperäisen tutkimuksen metodologiasta replikoinnin yhteydessä (vaiheen 1 toissijainen kriteeri #1 tai # 2), Sen lisäksi, että tekijät ovat käyneet pakollisen keskustelun rajoituksesta, voidaan julkaista toimituksellinen kommentti, jossa lopullinen paperi korostaa alkuperäisen teoksen rajoittamista. Tällaisissa tapauksissa tekijöitä kannustettaisiin myös (mutta ei vaadita) kirjaamaan lisäkopiointitutkimus etukäteen täysin ennalta rekisteröidyn kappaleen kautta (ks.jäljempänä), jossa menettely sovitetaan mahdollisimman lähelle alkuperäistä tutkimusta, mutta virhe korjataan. Samoja tekijävaatimuksia ja-vaihtoehtoja sovellettaisiin tapauksissa, joissa toistosta puuttuu asianmukainen positiivinen kontrolli tai muu riippumaton laatutarkastus (vaiheen 1 toissijainen arviointiperuste #3).
niiden vakavien ongelmien osalta, jotka estävät tulosten mielekkään tulkinnan, toimintatapa määräytyy alkuperäisen tutkimuksen lähdejulkaisun perusteella. Muissa kuin Royal Society Open Science-lehdissä julkaistuihin tutkimuksiin 1. vaihe, jossa on vakavia puutteita, hyväksytään vain, jos kirjoittajat suostuvat kirjaamaan (täysin ennalta rekisteröidyn kappaleen kautta) ylimääräisen korjaavan tutkimuksen samaan paperiin, joka yrittää korjata havaittuja ongelmia. Tapauksissa, joissa kirjoittajat eivät halua tai voi tehdä niin, tällainen vaiheessa 1 väitteet todennäköisesti hylätään. Kuitenkin sen varmistamiseksi, että Royal Society Open Science on edelleen vastuussa julkaisemansa työn tasosta, kopiointiyritykset jopa vakavasti puutteellisista tutkimuksista, jotka alun perin julkaistiin lehdessä, sallitaan ilman, että kirjoittajilta edellytetään ylimääräistä korjaavaa tutkimusta. Sen sijaan, kuten huomautuksia, joiden katsotaan sisältävän suuria (mutta ei vakavia) huolenaiheita, kirjoittajat on sisällytettävä keskusteluun vakava virhe, ja lopullinen artikkeli on liitettävä varoittava toimituksellinen huomautus.
nämä ennakoimattomat tapahtumat on esitetty alla olevassa taulukossa (KS.myös työnkulkukaavio alla).
Tämä taulukko on myös ladattavissa.
edellä kuvattua vakavien huolenaiheiden skenaariota lukuun ottamatta vaiheen 1 käsikirjoitukset hylätään kokonaan perusteellisen tarkastelun jälkeen vain, jos uudelleentarkastelut osoittavat, että replikointiyritys ei täyttänyt riittäviä menetelmästandardeja, kuten puutteellista tilastollista tehoa tai kriittisiä poikkeamia alkuperäisestä menetelmästä (vaiheen 1 ensisijaiset kriteerit #1 ja #2). Tilastollista tehoa ei vaadita, mutta jos laatijat ehdottavat tilastollisia menetelmiä, teho arvioidaan tapauskohtaisesti ennen kuin tulokset ovat tiedossa. Laatijoita voidaan myös vaatia tarkistamaan 1.vaiheen toimittamiaan tietoja lisätäkseen tarvittavia yksityiskohtia raportoituun menetelmään tai muuttaakseen analyysejä. Menetelmien kuvauksen olisi oltava riittävän yksityiskohtainen, jotta voidaan antaa sisäisesti täydellinen selvitys kaikista käytetyistä menetelmistä ilman, että lukijan tarvitsee tutkia alkuperäisen tutkimuksen erityisiä metodologisia yksityiskohtia.
Jos replikointiyrityksen taustalla on sarja alustavia kokeita, tekijät voivat julkaista ne muualla (esim.preprint-palvelimella tai toisessa lehdessä) ja viitata niihin lyhyesti 1. vaiheen käsikirjoituksessa esimerkiksi perustellakseen päätöstä jatkaa suoraa replikointia. On kuitenkin huomattava, että hyväksynnän perusteeksi ei vaadita eikä sitä arvioida. Vaiheen 1 käsikirjoitukseen ei saisi sisältyä yksityiskohtaisia kuvauksia muiden tutkimusten menetelmistä kuin itse replikaatiotutkimuksesta, eikä siinä pitäisi ilmoittaa pilotti-tai alustavia tietoja (mutta se voi tietenkin viitata muualla raportoituihin havaintoihin). Vaiheen 1 lähetykset rajoittuvat tiukasti toisintoyritysten käyttöönottoon ja menetelmiin, ja tekijöiden tulisi myös olla varovaisia varmistaakseen, että kaikki linkitetyt ulkoiset materiaalit eivät ennakoi suoran toisinnon tuloksia.
Jos käsikirjoitusta tarkastellaan suotuisasti vaiheen 1 ensisijaisten kriteerien mukaisesti, se hyväksytään periaatteessa (IPA). Tämän jälkeen tekijöiden on virallisesti esivarattava hyväksytty käsikirjoituksensa SVT: lle osoitteeseen https://osf.io/rr/ (huomatessaan, että kyseessä on Replikointitulosten sokea artikkelityyppi RSOS: ssä) ja heitä pyydetään toimittamaan vaiheen 2 käsikirjoitus, joka sisältää hyväksytyn vaiheen 1 käsikirjoituksen sisällön sekä tulokset ja keskustelut sekä rekisteröidyn protokollan URL – osoitteen. Jos kirjoittajat vetävät käsikirjoituksensa pois IPA: n myöntämisen jälkeen, lehti julkaisee peruutetun rekisteröinnin, joka sisältää tiivistelmän vaiheen 1 lähetyksestä, linkin ennalta rekisteröidyn protokollan URL-osoitteeseen sekä joko tekijöiden tai toimittajien ilmoittaman peruutuksen syyn.
3, 3. Vaiheessa 2 käsikirjoitus palautetaan alkuperäiseen vaiheeseen 1 arvioijat, jotka arvioivat sisältöä seuraavien ensisijaisten ja toissijaisten kriteerien mukaan:
- Vaihe 2 ensisijainen kriteeri #1: Ovatko johdanto ja menetelmät samat kuin hyväksytyn vaiheen 1 toimittaminen (pakollinen).
- Vaihe 2 ensisijainen kriteeri #2: Ovatko tekijöiden johtopäätökset perusteltuja tietojen perusteella.
- Vaihe 2 toissijainen kriteeri #1: pystyykö aineisto testaamaan tekijöiden ehdottamia hypoteeseja läpäisemällä hyväksytyt tulosneutraalit kriteerit (kuten lattia-ja kattovaikutusten puuttuminen tai positiivisten kontrollien tai muiden laatutarkastusten onnistuminen). Näiden ehtojen läpäisemättömyys ei johda käsikirjoituksen hylkäämiseen, mutta se voi vaatia kirjoittajia nimenomaisesti tunnustamaan tällaiset rajoitukset keskustelussaan, ja vaikeissa tapauksissa se voi myös johtaa siihen liittyvän toimituksellisen varoitusmuistion julkaisemiseen.
edellä mainituista vaiheen 2 kriteereistä toimitukselliset päätökset perustuvat yksinomaan ensisijaisiin kriteereihin. Toissijaista kriteeriä #1 koskevat kommentit eivät vaikuta julkaisupäätökseen, mutta ne voivat vaatia kirjoittajilta (keskustelussa) Lisähuomautuksia, tai toimittajat voivat huomata ne oheisessa varoittavassa huomautuksessa.
vaiheen 2 käsikirjoitukset hylätään vain, jos toimitukseen sisältyy hyväksymättömiä muutoksia vaiheen 1 käsikirjoitukseen tai jos tekijöiden päätelmien katsotaan ulottuvan tulosten sallimia pitemmälle ja jos tekijöiden ja arvostelijoiden / toimittajien välisiä mielipide-eroja ei voida sovittaa yhteen.
3, 4. Viimeinen vaihe 2 paperi julkaistaan replikaatio-tulokset sokea.
- täysin rekisteröity kappale
4.1. Tämä kappale on samanlainen kuin tulos-sokea prosessi, mutta tarkoitettu tekijöille, jotka eivät ole vielä yrittää replikointi tutkimuksen julkaistu Royal Society Open Science, sisällä yksi lähde lehdissä lueteltu jaksossa 1, tai muu lehti hyväksynyt editors. Kirjoittajat olisi aluksi toimitettava osittainen käsikirjoitus, joka sisältää Abstrakti, johdanto ja menetelmä osiot. Vaikka protokolla on mahdollinen, käsikirjoitus ja menetelmät tulisi kirjoittaa menneessä aikamuodossa. Muilta osin vaihtoehdot ja vaatimukset ovat samat kuin tulossokealla radalla. Vaiheen 1 käsikirjoitus on toimitettava Replikaatioartikkelityyppiä käyttäen. Toimitukseen on liitettävä toimittajalle osoitettu saatekirje, jossa ilmoitetaan A) että tekijät lähettävät vaiheen 1 käsikirjoituksen Replikointiartikkeli-vaihtoehdon kautta, b) replikoinnin kohdetutkimus, mukaan lukien lähdeartikkeli ja-lehti, ja c) että käsikirjoitus toimitetaan ennen tiedonkeruuta, d) että tekijät suostuvat arkistoimaan kaikki tiedot, koodin ja digitaalisen aineiston vapaasti käytettävissä olevaan arkistoon vaiheen 2 hyväksymispisteessä ja e) että tekijät suostuvat peruutetun rekisteröinnin julkaisemiseen, jos he vapaaehtoisesti peruuttavat hakemuksen sen jälkeen, kun Vaihe 1 periaatteessa hyväksyminen (peruutettu rekisteröinti, joka koostuu tiivistelmästä vaiheen 1 toimittamisesta sekä tekijöiden tai toimittajien ilmoittamasta peruutuksen syystä). Huomaa, että vaikka saatekirjeessä olisi ilmoitettava, ovatko tulokset tiedossa, vaiheen 1 käsikirjoituksessa itsessään ei pitäisi mainita nimenomaisesti, että kirjoittajat eivät tiedä tuloksia. Kuten kohdassa 3.1 todetaan, tämä johtuu siitä, että ensimmäisellä tarkastelukierroksella arvioijat ovat sokaistuneet sekä tuloksista että tulosten olemassaolosta.
vaiheen 1 ja vaiheen 2 lähetykset arvioidaan samojen ensisijaisten ja toissijaisten kriteerien mukaisesti kuin sokkoraiteen tulokset (KS.edellä 3.2-3.3 kohta). IPA: n jälkeen kirjoittajien on virallisesti esivarattava hyväksytty käsikirjoituksensa SVT at: hen (huomaa, että se on replikaatio – täysin ennalta rekisteröity artikkelityyppi RSOS: ssä). Kirjoittajat ovat sitten pyydetään toimittamaan vaiheen 2 käsikirjoitus, kun tutkimus on valmis, joka sisältää sisällön hyväksytyn vaiheen 1 käsikirjoitus sekä tulokset ja keskustelu ja URL ennalta rekisteröidyn protokollan.
4, 2. Viimeinen vaihe 2-paperi julkaistaan Replikaationa – täysin Ennakkorekisteröitynä.
Replikaatiopolitiikan työnkulku
tämä työnkulku voidaan myös ladata katseltavaksi.
ohjeet arvostelijoille
Replikaatiot ovat uusi tutkimusartikkelin muoto, jota tarjotaan osana lehden Replikointipolitiikkaa. Tämän politiikan mukaisesti lehti sitoutuu julkaisemaan psykologian tai kognitiivisen neurotieteen alojen tutkimuksia, jotka on aiemmin julkaistu Royal Society Open Sciencessa tai yhdessä useista muista merkittävistä lehdistä.
vaiheen 1 replikaatiotutkimukset voidaan toimittaa tulosten ollessa joko tekijöiden tiedossa (ja väliaikaisesti redusoituja) tai ennen kuin tiedot on kerätty. Vertaisarvioinnissa sokaistaan aluksi, kumpaan näistä kahdesta skenaariosta sovelletaan, ja kaikki vaiheen 1 käsikirjoitukset toimitetaan menneessä aikamuodossa riippumatta siitä, onko tietoja jo kerätty. Käsikirjoitukset tarkistetaan uudelleen Vaiheessa 2, Kun tulokset ovat tiedossa.
vaiheessa 1 toimittamista arvioidaan seuraavien ensisijaisten ja toissijaisten kriteerien perusteella. Useimmissa tapauksissa julkaisupäätös perustuu ensisijaisten kriteerien arviointiin, toissijaisten kriteerien arviointiin, joka määrittää, julkaistaanko mahdollinen kopiointiyritys pääkirjoituksellisen varoituksen ohella. Toissijaisten kriteerien vakavat puutteet voivat kuitenkin johtaa hylkäämiseen, jos toistettava teos on julkaistu muussa kuin Royal Society Open Science-lehdessä.
-
Vaihe 1 ensisijainen kriteeri #1: Antavatko laatijat riittävän selkeän ja yksityiskohtaisen kuvauksen menetelmistä, jotta toinen tutkija voi jäljitellä ehdotettuja kokeellisia menettelyjä ja analyysiputkea tiiviisti ja estää paljastamattoman joustavuuden kokeellisissa menettelyissä tai analyysiputkessa.
-
Vaihe 1 toissijainen kriteeri #1: Ehdotettujen hypoteesien logiikka, perustelut ja uskottavuus.
-
Vaihe 1 toissijainen kriteeri #2: menetelmän ja analyysiputken luotettavuus.
-
Vaihe 1 toissijainen kriteeri #3: ovatko tekijät pitäneet riittäviä tulosneutraaleja ehtoja (esim.lattia-tai kattovaikutusten puuttuminen; positiiviset kontrollit; muut laatutarkastukset) sen varmistamiseksi, että saaduilla tuloksilla voidaan testata ilmoitettuja hypoteeseja.
Vaihe 1 ensisijainen kriteeri #2: kuvaillaanko käsikirjoituksessa alkuperäisten tutkimusmenetelmien ja-perustelujen riittävän pätevää (eli tiivistä) ja vankkaa (esim.tilastollisesti tehokasta) toistoa, jotta voidaan antaa viitteitä toistettavuudesta.
vaiheessa 2 käsikirjoitus palautetaan alkuperäisen vaiheen 1 arvioijille, jotka arvioivat sisältöä seuraavien ensisijaisten ja toissijaisten kriteerien mukaan. Julkaisupäätös perustuu jälleen ensisijaisiin kriteereihin, ja toissijaisen kriteerin arviointi vaikuttaa siihen, liittyykö siihen toimituksellinen varoitus.
-
Vaihe 2 ensisijainen kriteeri #1: Ovatko käyttöönotto ja menetelmät samat kuin hyväksytty vaiheen 1 toimittaminen (pakollinen).
-
Vaihe 2 ensisijainen kriteeri #2: Ovatko tekijöiden johtopäätökset perusteltuja tietojen valossa.
- Vaihe 2 toissijainen kriteeri #1: pystyykö aineisto testaamaan tekijöiden ehdottamia hypoteeseja läpäisemällä hyväksytyt tulosneutraalit kriteerit (kuten lattia-ja kattovaikutusten puuttuminen tai positiivisten kontrollien tai muiden laatutarkastusten onnistuminen). Näiden ehtojen läpäisemättömyys ei johda käsikirjoituksen hylkäämiseen, mutta se voi vaatia kirjoittajia nimenomaisesti tunnustamaan tällaiset rajoitukset keskustelussaan, ja vaikeissa tapauksissa se voi myös johtaa siihen liittyvän toimituksellisen varoitusmuistion julkaisemiseen.
ylös
Leave a Reply