Articles

studii de replicare

Politica de replicare

Royal Society Open Science consideră că atunci când o revistă științifică publică un studiu empiric își asumă responsabilitatea pentru replicabilitatea acelui studiu. Această responsabilitate este reflectată de măsura în care revista se angajează să publice încercări de replicare a studiilor anterioare care apar în paginile sale.

conform Politicii de replicare a revistei, secțiunea Psihologie și neuroștiințe Cognitive a Royal Society Open Science se va angaja să publice replici ale studiilor publicate anterior în această revistă și în alte reviste majore. Autorii pot trimite fie un studiu de replicare care este deja finalizat, fie o propunere de replicare a unui studiu anterior. Pentru a se asigura că procesul de revizuire este imparțial de rezultate, observațiile vor fi revizuite fie înainte de existența rezultatelor, fie cu rezultatele existente redactate inițial. Pentru a minimiza părtinirea față de rezultatele negative anticipate, recenzorii nu numai că vor fi orbiți de rezultate (acolo unde există deja), dar vor fi orbiți dacă rezultatele sunt cunoscute (de către autori) să existe. Observațiile care descriu replicări apropiate, clare și valide ale metodologiei originale vor fi oferite în principiu acceptare, ceea ce garantează practic publicarea replicării indiferent de rezultatul studiului.

  1. replicare de orientare pentru autori

  2. replicare de orientare pentru arbitri

linii directoare pentru autori

  1. Royal Society Open Science se angajează să publice orice încercare de sunet metodologic de a reproduce orice studiu care a fost publicat în cadrul secțiunii Psihologie și neuroștiințe Cognitive a revistei, precum publicat în oricare dintre următoarele reviste: Psihiatrie biologică, creier, Cortex Cerebral, dezvoltarea copilului, Cortex, psihologie cognitivă, cogniție, Biologie actuală, Psihologia dezvoltării, știința dezvoltării, Jurnalul European de Neuroștiințe, Jurnalul de neuroștiințe Cognitive, Jurnalul de Psihologie Socială Experimentală, Jurnalul de memorie și limbaj, Jurnalul de Neuroștiințe, Jurnalul de personalitate și psihologie socială, natură, natura comportamentului uman, neuroștiința naturii, NeuroImage, Neuron, neuroștiința conștiinței, PLOS Biology, Proceedings of the National Academy of Sciences of the Journal of Experimental Psychology, Science, Social Psychological and Personality Science și orice altă revistă publicată de American Psychological Association, Association for Psychological Science, British Psychological Society sau Royal Society. De asemenea, vom lua în considerare, de la caz la caz, cereri de pre-depunere pentru replicări ale studiilor publicate în reviste suplimentare celor enumerate aici. Rețineți că studiile de replicare în sine sunt ținte adecvate pentru replicare.
  1. autorii au posibilitatea de a alege între două căi de examinare a trimiterilor: o pistă ” rezultate-orb „în care introducerea și metoda unui studiu finalizat sunt revizuite de colegi în timp ce rezultatele și discuția sunt reținute temporar sau o pistă” complet preînregistrată ” în care protocolul de studiu este revizuit și pre-acceptat înainte de începerea colectării datelor.
  1. rezultate-pistă oarbă

3.1. Această piesă este destinată autorilor care au finalizat deja o încercare directă (apropiată) de replicare a unui studiu publicat în cadrul Royal Society Open Science, în cadrul uneia dintre revistele sursă enumerate în secțiunea 1 sau din orice altă revistă aprobată de la caz la caz de către editori. Autorii ar trebui să prezinte inițial un manuscris parțial care conține secțiunile rezumat, introducere și metodă, cu rezultatele și discuțiile redactate împreună cu orice alte informații (de exemplu, în rezumat) care afirmă sau implică rezultatele cercetării. Secțiunea metodă trebuie să fie scrisă la timpul trecut și trebuie să includă o prezentare cuprinzătoare și detaliată a tuturor procedurilor experimentale (inclusiv criteriile de includere și excludere a datelor) și a analizelor. Rețineți că depunerea ulterioară din Etapa 2 nu poate include rezultatele analizelor care nu sunt menționate în depunerea din Etapa 1 în momentul acceptării în principiu. Manuscrisul din Etapa 1 trebuie trimis folosind tipul de articol de replicare. Trimiterea trebuie să fie însoțită de o scrisoare de intenție adresată editorului care să indice (a) că autorii trimit un manuscris din Etapa 1 ca articol de replicare, (b) studiul țintă pentru replicare, inclusiv articolul sursă și jurnalul, (c) că manuscrisul este transmis prin rezultatele-blind track, menționând în mod explicit că rezultatele sunt deja cunoscute autorilor, (d) că autorii sunt de acord să arhiveze toate datele, codurile și materialele digitale anonimizate într-un depozit accesibil liber la punctul de acceptare din Etapa 2 și (e) că autorii sunt de acord cu publicarea unui manuscris Retrasă înregistrarea în cazul în care se retrage în mod voluntar depunerea după etapa 1, în principiu, acceptarea (cu o înregistrare retrasă constând din rezumatul din Etapa 1 depunerea plus un motiv pentru retragerea furnizate de autori sau editori). Rețineți că, deși scrisoarea de intenție ar trebui să indice dacă rezultatele sunt cunoscute autorilor, manuscrisul din Etapa 1 în sine nu trebuie să precizeze sau să sugereze că autorii cunosc deja rezultatele. Pentru a minimiza potențialele prejudecăți față de constatările negative anticipate, recenzenții din prima rundă de revizuire vor fi orbiți atât de rezultate, cât și de existența rezultatelor. Rețineți că orice experimente preliminare care au motivat studiul de replicare nu ar trebui raportate în manuscrisul din Etapa 1, deși autorii sunt bineveniți să le publice în altă parte (de exemplu, articol separat evaluat de colegi, server de preimprimare sau depozit) și să le facă referire în introducerea din Etapa 1.

3.2. În Etapa 1 Prezentarea este luată în considerare de către recenzori care evaluează conținutul în conformitate cu următoarele criterii primare și secundare:

  • Etapa 1 criteriul Primar #1: dacă autorii oferă o descriere suficient de clară și detaliată a metodelor pentru ca un alt cercetător să reproducă îndeaproape procedurile experimentale propuse și conducta de analiză și să prevină flexibilitatea nedivulgată în procedurile experimentale sau conducta de analiză.
  • Etapa 1 criteriul Primar # 2: dacă manuscrisul descrie o suficient de validă (adică apropiată) și robustă (de ex. statistic puternic) replicarea metodelor originale de studiu și a raționamentului pentru a oferi o indicație a reproductibilității.
  • Etapa 1 criteriul secundar # 1: logica, rațiunea și plauzibilitatea ipotezelor propuse.
  • Etapa 1 criteriul secundar # 2: soliditatea metodologiei și a conductei de analiză.
  • Etapa 1 criteriul secundar # 3: dacă autorii au luat în considerare suficiente condiții neutre pentru rezultate (de exemplu, absența efectelor de podea sau tavan; controale pozitive; alte verificări de calitate) pentru a se asigura că rezultatele obținute sunt capabile să testeze ipotezele declarate.din criteriile etapei 1 de mai sus, deciziile editoriale se vor baza exclusiv pe criteriile primare. În unele cazuri, metodele publicate ale studiului original pot să nu ofere suficiente detalii pentru a permite o replicare strânsă (Etapa 1 criteriul Primar #1), iar autorii originali ai studiului pot, de asemenea, să nu dorească sau să nu poată furniza informațiile lipsă necesare. În astfel de cazuri, estimările procedurilor originale vor fi acceptate cu condiția ca autorii să poată stabili că metoda aleasă este o estimare rezonabilă a abordării originale și cu condiția (dacă este cazul) să poată furniza editorului documente justificative, cum ar fi e-mailuri, dovedind orice încercare de a obține astfel de informații de la autorii originali.

    cu excepția unui scenariu specific discutat mai jos, comentariile recenzorilor cu privire la criteriile secundare nu vor influența decizia de publicare. În schimb, în cazul în care editorii consideră că orice probleme critice ridicate în cadrul acestor categorii sunt valabile, pot fi necesare acțiuni suplimentare. Acțiunile specifice vor depinde de gravitatea preocupărilor, evaluate în funcție de trei niveluri de amenințare: minore, majore și severe. Pentru a preveni părtinirea publicării, aceste evaluări vor fi făcute înainte ca rezultatele să fie cunoscute.

    pentru preocupările considerate de editori ca fiind minore, autorii vor fi obligați să discute limitările necesare în introducere (și / sau mai târziu în discuția din Etapa 2).

    pentru preocupări majore care limitează substanțial (dar nu elimină) interpretabilitatea oricăror constatări potențiale, o notă editorială de avertizare poate fi publicată, de asemenea, alături de raportul final. De exemplu, în cazul în care recenzorii identifică un defect cu metodologia studiului original sub replicare (Etapa 1 criteriul secundar #1 sau #2), atunci pe lângă o discuție obligatorie a limitării de către autori, poate fi publicat un comentariu editorial cu lucrarea finală subliniind limitarea lucrării originale. În astfel de cazuri, autorii ar fi, de asemenea, încurajați (dar nu obligați) să preînregistreze un studiu suplimentar de replicare prin intermediul pistei complet preînregistrate (a se vedea mai jos) în care procedura este potrivită cât mai aproape de studiul original, dar cu defectul corectat. Aceleași cerințe și opțiuni de autor s-ar aplica în cazurile în care replicarea nu are un control pozitiv adecvat sau un alt control independent al calității (Etapa 1 criteriul secundar #3).

    pentru preocupări grave care împiedică interpretarea semnificativă a rezultatelor, cursul acțiunii va fi determinat de publicarea sursă a studiului original. Pentru studiile publicate în alte reviste decât Royal Society Open Science, observațiile din Etapa 1 cu defecte grave vor fi acceptate numai dacă autorii sunt de acord să preînregistreze (prin intermediul piesei complet preînregistrate) un studiu corectiv suplimentar în cadrul aceleiași lucrări care încearcă să corecteze problemele identificate. În cazurile în care autorii nu doresc sau nu pot face acest lucru, este probabil ca aceste trimiteri din Etapa 1 să fie respinse. Cu toate acestea, pentru a se asigura că Royal Society Open Science rămâne responsabilă pentru standardul de lucru pe care îl publică, încercările de replicare chiar și a studiilor grav eronate care au fost publicate inițial în cadrul revistei vor fi permise fără cerința ca autorii să preînregistreze un studiu corectiv suplimentar. În schimb, ca și în cazul trimiterilor care sunt considerate a conține preocupări majore (dar nu severe), autorilor li se va cere să includă o discuție despre defectul sever, iar articolul final va fi însoțit de o notă editorială de avertizare.

    aceste situații neprevăzute sunt rezumate în tabelul de mai jos (și a se vedea, de asemenea, diagrama fluxului de lucru de mai jos).

Acest tabel este de asemenea disponibil pentru descărcare.

în afară de scenariul descris mai sus pentru preocupări grave, manuscrisele din Etapa 1 vor fi respinse direct în urma unei analize aprofundate numai dacă analizele indică faptul că încercarea de replicare nu a îndeplinit suficiente standarde metodologice, cum ar fi puterea statistică insuficientă sau abaterile critice de la metodologia inițială (criteriile primare din Etapa 1 #1 și #2). Nu este necesar un nivel fix de putere statistică, dar acolo unde autorii au propus metode statistice frecventiste, puterea va fi evaluată de la caz la caz înainte ca rezultatele să fie cunoscute. Autorii pot fi, de asemenea, obligați să își revizuiască prezentarea din Etapa 1 pentru a adăuga detaliile necesare metodologiei raportate sau pentru a modifica analizele. Descrierea metodelor ar trebui să fie suficient de elaborată pentru a oferi o relatare internă completă a tuturor metodelor utilizate, fără ca cititorul să fie nevoit să examineze detaliile metodologice specifice studiului inițial.în cazul în care încercarea de replicare este motivată de o serie de experimente preliminare, autorii sunt bineveniți să le publice în altă parte (de exemplu, pe un server de preimprimare sau într-un alt jurnal) și apoi să le facă referire pe scurt în manuscrisul din Etapa 1, de exemplu pentru a justifica decizia de a urmări o replicare directă. Rețineți, totuși, că nicio justificare pentru o replicare nu este necesară sau evaluată ca motive de acceptare. Manuscrisul din Etapa 1 nu ar trebui să includă descrieri detaliate ale metodelor altor studii decât studiul de replicare în sine și nu ar trebui să raporteze date pilot sau preliminare (dar se poate referi, desigur, la constatările raportate în altă parte). Etapa 1 trimiterile sunt strict limitate la introducerea și metodele încercării(încercărilor) de replicare, iar autorii ar trebui, de asemenea, să fie atenți să se asigure că orice materiale externe legate nu anticipează rezultatele replicării directe.

dacă manuscrisul este revizuit favorabil în conformitate cu criteriile primare din Etapa 1, atunci acesta va fi acordat în acceptare de principiu (IPA). Autorii sunt apoi obligați să preînregistreze în mod oficial manuscrisul aprobat pe OSF la https://osf.io/rr/ (menționând că este un tip de articol orb de replicare – rezultate la RSOS) și invitați să prezinte un manuscris din Etapa 2 care include conținutul manuscrisului aprobat din Etapa 1 plus rezultatele și discuția și adresa URL a protocolului preînregistrat. În cazul în care autorii își retrag manuscrisul după acordarea IPA, revista va publica o înregistrare retrasă, inclusiv rezumatul din Etapa 1 de depunere, un link către adresa URL a protocolului preînregistrat, plus un motiv de retragere furnizat fie de autori, fie de editori.

3.3. În etapa a 2-a manuscrisul este returnat referenților originali din etapa a 1-A care evaluează conținutul în conformitate cu următoarele criterii primare și secundare:

  • etapa a 2-a criteriul Primar # 1: Dacă introducerea și metodele sunt identice cu depunerea aprobată în Etapa 1 (necesară).
  • Etapa 2 criteriul Primar # 2: dacă concluziile autorilor sunt justificate având în vedere datele.
  • Etapa 2 criteriul secundar # 1: Dacă datele sunt capabile să testeze ipotezele propuse de autori prin trecerea criteriilor neutre aprobate pentru rezultate (cum ar fi absența efectelor podelei și tavanului sau succesul controalelor pozitive sau al altor verificări de calitate). Nerespectarea acestor condiții nu va duce la respingerea manuscrisului, dar ar putea impune autorilor să recunoască în mod explicit astfel de limitări în discuția lor și, în cazuri grave, ar putea duce, de asemenea, la publicarea unei note editoriale de avertizare însoțitoare.

din criteriile etapei 2 de mai sus, deciziile editoriale se vor baza exclusiv pe criteriile primare. Comentariile privind criteriul secundar nr.1 nu vor influența decizia de publicare, dar ar putea necesita avertismente suplimentare din partea autorilor (în discuție) sau pot fi notate de editori într-o notă de avertizare însoțitoare.

manuscrisele din Etapa 2 vor fi respinse numai în cazul în care trimiterea include modificări neaprobate ale manuscrisului aprobat din Etapa 1 sau în cazul în care concluziile autorilor sunt considerate a se extinde dincolo de cele permise de rezultate și în cazul în care orice astfel de diferențe de opinie între autori și recenzori / editori nu pot fi reconciliate.

3.4. Etapa finală 2 lucrarea va fi publicată ca o replicare – rezultate orb.

  1. piesa complet preînregistrată

4.1. Această piesă este similară cu procesul orb de rezultate, dar destinată autorilor care încă nu au încercat o replicare a unui studiu publicat în cadrul Royal Society Open Science, într-una dintre revistele sursă enumerate în secțiunea 1 sau în orice altă revistă aprobată de editori. Autorii ar trebui să prezinte inițial un manuscris parțial care conține secțiunile rezumat, introducere și metodă. În ciuda faptului că protocolul este prospectiv, manuscrisul și metodele ar trebui scrise la timpul trecut. În toate celelalte privințe, opțiunile și cerințele sunt aceleași ca și pentru rezultate-blind track. Manuscrisul din Etapa 1 trebuie trimis prin tipul de articol de replicare. Trimiterea trebuie să fie însoțită de o scrisoare de intenție adresată editorului care să indice (a) că autorii trimit un manuscris din Etapa 1 prin opțiunea de replicare a articolului, (b) studiul țintă pentru replicare, inclusiv articolul sursă și jurnalul și (c) că manuscrisul este trimis înainte de colectarea datelor, (d) că autorii sunt de acord să arhiveze toate datele, codurile și materialele digitale într-un depozit accesibil liber la momentul acceptării etapei a 2-a și (e) că autorii sunt de acord cu publicarea unei înregistrări retrase dacă retrag în mod voluntar Etapa 1 în principiu acceptare (cu o înregistrare retrasă constând din rezumatul din Etapa 1 depunere plus un motiv de retragere furnizat de autori sau editori). Rețineți că, deși scrisoarea de intenție ar trebui să indice dacă rezultatele sunt cunoscute, manuscrisul din Etapa 1 în sine nu ar trebui să precizeze în mod explicit că autorii nu cunosc rezultatele. După cum sa menționat la punctul 3.1, acest lucru se datorează faptului că recenzenții din prima rundă de revizuire sunt orbiți atât de rezultate, cât și de existența rezultatelor.

observațiile din Etapa 1 și Etapa 2 vor fi evaluate în conformitate cu aceleași criterii primare și secundare ca și pentru rezultate-pistă oarbă (a se vedea 3.2-3.3 de mai sus). În urma IPA, autorii sunt obligați să preînregistreze în mod oficial manuscrisul aprobat pe OSF at (menționând că este un tip de articol preînregistrat complet la RSOS). Autorii sunt apoi invitați să trimită un manuscris din Etapa 2 Odată ce studiul este finalizat, care include conținutul manuscrisului aprobat din Etapa 1, plus rezultatele și discuția și adresa URL a protocolului preînregistrat.

4.2. Lucrarea finală Etapa 2 va fi publicată ca o replicare – complet preînregistrată.

Replication Policy workflow

Acest flux de lucru poate fi descărcat și pentru vizualizare.

liniile directoare pentru recenzori

Replicările sunt un nou format de articol de cercetare oferit ca parte a politicii de replicare a revistei. Conform acestei Politici, revista se angajează să publice încercări strânse de replicare a studiilor din domeniile psihologiei sau neuroștiinței cognitive care au fost publicate anterior în Royal Society Open Science sau într-una din mai multe alte reviste majore.

studiile de replicare din Etapa 1 pot fi trimise cu rezultate cunoscute fie de autori (și redactate temporar), fie înainte de colectarea datelor. Procesul de evaluare inter pares este inițial orbit la care dintre aceste două scenarii se aplică și toate manuscrisele din Etapa 1 sunt trimise la timpul trecut, indiferent dacă datele au fost deja colectate. Manuscrisele sunt apoi re-revizuite în etapa 2 După ce rezultatele sunt cunoscute.

în Etapa 1, Prezentarea este evaluată pe baza următoarelor criterii primare și secundare. În majoritatea cazurilor, decizia de publicare se bazează pe evaluarea criteriilor primare, cu evaluarea criteriilor secundare care determină dacă eventuala încercare de replicare este publicată sau nu alături de o notă editorială de avertizare. Cu toate acestea, defectele severe ale criteriilor secundare pot duce la respingere dacă lucrarea reprodusă a fost publicată într-un alt jurnal decât Royal Society Open Science.

  • Etapa 1 criteriul Primar # 1: Dacă autorii oferă o descriere suficient de clară și detaliată a metodelor pentru ca un alt cercetător să reproducă îndeaproape procedurile experimentale propuse și conducta de analiză și să prevină flexibilitatea nedivulgată în procedurile experimentale sau conducta de analiză.

  • Etapa 1 criteriul Primar # 2: dacă manuscrisul descrie o replicare suficient de validă (adică apropiată) și robustă (de exemplu, puternică din punct de vedere statistic) a metodelor de studiu originale și a raționamentului pentru a oferi o indicație a reproductibilității.

  • Etapa 1 criteriul secundar # 1: Logica, raționamentul și plauzibilitatea ipotezelor propuse.

  • Etapa 1 criteriul secundar # 2: soliditatea metodologiei și a conductei de analiză.

  • Etapa 1 criteriul secundar #3: dacă autorii au considerat suficiente condiții neutre pentru rezultate (de exemplu, absența efectelor de podea sau tavan; controale pozitive; alte verificări de calitate) pentru a se asigura că rezultatele obținute sunt capabile să testeze ipotezele declarate.

în etapa 2 manuscrisul este returnat referenților originali din Etapa 1 care evaluează conținutul în conformitate cu următoarele criterii primare și secundare. Din nou, decizia de publicare se bazează pe criteriile primare, evaluarea criteriului secundar influențând dacă este anexată sau nu o notă de avertizare editorială.

  • Etapa 2 criteriul Primar #1: dacă introducerea și metodele sunt identice cu prezentarea aprobată Etapa 1 (necesară).

  • Etapa 2 criteriul Primar # 2: Dacă concluziile autorilor sunt justificate având în vedere datele.

  • Etapa 2 criteriul secundar #1: Dacă datele sunt capabile să testeze ipotezele propuse de autori prin trecerea criteriilor neutre aprobate pentru rezultate (cum ar fi absența efectelor podelei și tavanului sau succesul controalelor pozitive sau al altor verificări de calitate). Nerespectarea acestor condiții nu va duce la respingerea manuscrisului, dar ar putea impune autorilor să recunoască în mod explicit astfel de limitări în discuția lor și, în cazuri grave, ar putea duce, de asemenea, la publicarea unei note editoriale de avertizare însoțitoare.

Mergi sus