Articles

replikacja studia

by admin

replikacja Polityka

Royal Society Open Science wierzy, że kiedy czasopismo naukowe publikuje badanie empiryczne, przyjmuje odpowiedzialność za replikację tego badania. Odpowiedzialność ta znajduje odzwierciedlenie w zakresie, w jakim czasopismo zobowiązuje się do publikowania prób replikacji wcześniejszych badań, które pojawiają się na jego łamach.

zgodnie z Polityką replikacji czasopisma sekcja psychologii i kognitywnej neuronauki Royal Society Open Science zobowiąże się do publikowania replik badań opublikowanych wcześniej w tym czasopiśmie i innych głównych czasopismach. Autorzy mogą przesłać badanie replikacji, które jest już zakończone lub propozycję replikacji poprzedniego badania. Aby upewnić się, że wyniki nie są obiektywne, zgłoszenia zostaną poddane przeglądowi przed ich powstaniem lub po uprzednim zredagowaniu istniejących wyników. Aby zminimalizować uprzedzenia wobec przewidywanych negatywnych wyników, recenzenci nie tylko będą zaślepieni na wyniki (tam, gdzie już istnieją), ale także będą zaślepieni na temat tego, czy wyniki są znane (przez autorów). Zgłoszenia opisujące ścisłe, jasne i poprawne replikacje oryginalnej metodologii będą zasadniczo akceptowane, co praktycznie gwarantuje publikację replikacji niezależnie od wyniku badania.

  1. Replication guidance for authors

  2. Replication guidance for referees

Guidelines for Authors

  1. Royal Society Open Science zobowiązuje się do publikacji wszelkich metodologicznie uzasadnionych prób replikacji jakichkolwiek badań, które zostały opublikowane w sekcji Psychology and Cognitive Neuroscience czasopisma, jak również wszelkich badań w ramach sekcji Psychology and Cognitive Neuroscience które zostały opublikowane w jednym z następujących czasopism: Biological Psychiatry, Brain, Cerebral Cortex, Child Development, Cortex, Cognitive Psychology, Cognition, Current Biology, Developmental Psychology, Developmental Science, European Journal of Neuroscience, Journal of Cognitive Neuroscience, Journal of Experimental Social Psychology, Journal of Memory and Language, Journal of Neuroscience, Journal of Personality and Social Psychology, Nature, Nature Human Behaviour, Nature Neuroscience, NeuroImage, Neuron, Neuroscience of Consciousness, PLOS Biology, Proceedings of the National Academy of Sciences of the USA, Psychological Science, Quarterly Journal of Experimental Psychology, Science, Social Psychological and Personality Science oraz wszelkie inne czasopisma wydawane przez American Psychological Association, Association for Psychological Science, British Psychological Society lub Royal Society. Rozpatrzymy również, indywidualnie dla każdego przypadku, zapytania wstępne dotyczące replikacji badań opublikowanych w czasopismach oprócz wymienionych tutaj. Należy zauważyć, że same badania replikacji są odpowiednimi celami replikacji.
  1. autorzy mają do wyboru dwie drogi rozpatrywania zgłoszeń: ścieżka” ślepa na wyniki”, w której wprowadzenie i metoda zakończonego badania są recenzowane, podczas gdy wyniki i dyskusja są tymczasowo wstrzymane, lub ścieżka” w pełni zarejestrowana”, w której protokół badania jest recenzowany i wstępnie akceptowany przed rozpoczęciem zbierania danych.
  1. Wyniki-ślepa ścieżka

3.1. Ta ścieżka jest przeznaczona dla autorów, którzy ukończyli już bezpośrednią (bliską) próbę replikacji badania opublikowanego w Royal Society Open Science, w jednym z czasopism źródłowych wymienionych w sekcji 1 lub w dowolnym innym czasopiśmie zatwierdzonym indywidualnie przez redaktorów. Autorzy powinni wstępnie przesłać częściowy manuskrypt zawierający sekcje abstraktu, wstępu i metody, z redagowaniem wyników i dyskusji wraz z wszelkimi innymi informacjami (np. w abstrakcie), które stwierdzają lub implikują wyniki badań. Sekcja Metody powinna być napisana w czasie przeszłym i musi zawierać wyczerpujący i szczegółowy opis wszystkich procedur eksperymentalnych (w tym kryteriów włączenia danych i wykluczenia) oraz analiz. Należy zauważyć, że późniejsze przedłożenie etapu 2 nie może obejmować wyników jakichkolwiek analiz, które nie są określone w przedłożeniu etapu 1 w punkcie co do zasady akceptacji. Artykuł etapu 1 należy przesłać przy użyciu artykułu replikacyjnego. Do zgłoszenia należy dołączyć list motywacyjny do redakcji, w którym zaznacza się (a), że autorzy przedkładają manuskrypt etapu 1 jako artykuł Replikacyjny, (b) badanie docelowe replikacji, w tym artykuł źródłowy i czasopismo, (c) że manuskrypt jest przesyłany za pomocą ślepej ścieżki wyników, zaznaczając wyraźnie, że wyniki są już znane autorom, (d) że autorzy zgadzają się na archiwizowanie wszystkich zanonimizowanych danych, kodu i materiałów cyfrowych w ogólnodostępnym repozytorium w momencie akceptacji etapu 2, oraz (e) że autorzy zgadzają się na publikację artykułu. Cofnięcie rejestracji, jeżeli dobrowolnie wycofają zgłoszenie po I etapie co do zasady (przy cofnięciu rejestracji składającej się z abstraktu z zgłoszenia I etapu wraz z podaniem przyczyny wycofania przez autorów lub redaktorów). Należy pamiętać, że podczas gdy list motywacyjny powinien wskazywać, czy wyniki są znane autorom, sam rękopis etapu 1 nie może stwierdzać ani sugerować, że autorzy już znają wyniki. Aby zminimalizować potencjalne uprzedzenia wobec przewidywanych negatywnych wyników, recenzenci w pierwszej rundzie przeglądu będą zaślepieni zarówno na wyniki, jak i na istnienie wyników. Należy pamiętać, że wszelkie wstępne eksperymenty, które motywowały do badania replikacji, nie powinny być zgłaszane w rękopisie etapu 1, chociaż autorzy są mile widziane, aby opublikować je w innym miejscu (np. osobny artykuł recenzowany, serwer preprint lub repozytorium) i odnieść się do nich w wstępie etapu 1.

3.2. Na etapie 1 nadesłanie jest rozpatrywane przez recenzentów, którzy oceniają treść według następujących kryteriów pierwotnych i wtórnych:

  • Etap 1 kryterium pierwotne #1: Czy autorzy zapewniają wystarczająco jasny i szczegółowy opis metod dla innego badacza, aby dokładnie odtworzyć proponowane procedury eksperymentalne i rurociąg analizy oraz zapobiec nieujawnionej elastyczności w procedurach eksperymentalnych lub rurociągu analizy.
  • Etap 1 kryterium Podstawowe #2: Czy rękopis opisuje wystarczająco poprawny (tj. bliski) i solidny (np. statystycznie silny) replikacja oryginalnych metod badania i uzasadnienie w celu zapewnienia wskazania replikacji.
  • Etap 1 kryterium wtórne #1: logika, uzasadnienie i wiarygodność proponowanych hipotez.
  • Etap 1 kryterium drugorzędne #2: solidność metodologii i procesu analizy.
  • Etap 1 kryterium drugorzędne #3: czy autorzy uznali za wystarczające warunki neutralne wynikowo (np. brak efektów podłogowych lub sufitowych; kontrola pozytywna; inne kontrole jakości) w celu zapewnienia, że uzyskane wyniki są w stanie przetestować podane hipotezy.

z powyższych kryteriów etapu 1, decyzje redakcyjne będą oparte wyłącznie na kryteriach podstawowych. W niektórych przypadkach opublikowane metody oryginalnego badania mogą nie dostarczać wystarczających szczegółów, aby umożliwić ścisłą replikację (podstawowe kryterium etapu 1 #1), A pierwotni autorzy badania mogą również nie chcieć lub nie być w stanie dostarczyć niezbędnych brakujących informacji. W takich przypadkach zaakceptowane zostaną szacunki oryginalnych procedur, pod warunkiem, że autorzy mogą ustalić, że wybrana metoda jest rozsądną oceną oryginalnego podejścia i pod warunkiem, że (w stosownych przypadkach) mogą dostarczyć redaktorowi dowody w postaci dokumentów, takie jak wiadomości e-mail, potwierdzające wszelkie próby uzyskania takich informacji od oryginalnych autorów.

z wyjątkiem jednego konkretnego scenariusza omówionego poniżej, komentarze recenzentów dotyczące kryteriów drugorzędnych nie będą miały wpływu na decyzję o publikacji. Zamiast tego, jeśli redaktorzy uważają, że wszelkie krytyczne kwestie poruszane w tych kategoriach są ważne, mogą być wymagane dodatkowe działania. Konkretne działania będą zależeć od wagi obaw, ocenianych według trzech „poziomów zagrożenia”: małego, dużego i poważnego. Aby zapobiec tendencjom publikacyjnym, oceny te zostaną przeprowadzone przed poznaniem wyników.

w przypadku wątpliwości uznanych przez redaktorów za drobne, autorzy będą zobowiązani do omówienia niezbędnych ograniczeń we wstępie (i/lub później w dyskusji na etapie 2).

w przypadku poważnych problemów, które w znacznym stopniu ograniczają (ale nie eliminują) możliwość interpretacji ewentualnych ustaleń, wraz z raportem końcowym może zostać również opublikowana Uwaga redakcyjna. Na przykład, gdy recenzenci zidentyfikują wadę z metodologią oryginalnego badania w ramach replikacji (kryterium wtórne etapu 1 #1 lub #2), to oprócz obowiązkowego omówienia ograniczenia przez autorów, komentarz redakcyjny może zostać opublikowany wraz z ostatecznym artykułem podkreślającym ograniczenie oryginalnej pracy. W takich przypadkach autorzy byliby również zachęcani (ale nie wymagani) do wstępnego zarejestrowania dodatkowego badania replikacji za pomocą w pełni zarejestrowanej ścieżki (patrz poniżej), w której procedura jest jak najbardziej dopasowana do oryginalnego badania, ale z poprawioną wadą. Te same wymagania i opcje dotyczące autora miałyby zastosowanie w przypadkach, gdy replikacja nie byłaby odpowiednio kontrolowana pozytywnie lub w inny sposób niezależna kontrola jakości(kryterium wtórne etapu 1 #3).

w przypadku poważnych obaw, które uniemożliwiają miarodajną interpretację wyników, przebieg działania zostanie określony przez publikację źródłową oryginalnego badania. W przypadku badań opublikowanych w czasopismach innych niż Royal Society Open Science, zgłoszenia etapu 1 z poważnymi wadami będą akceptowane tylko wtedy, gdy autorzy zgodzą się wstępnie zarejestrować (za pośrednictwem w pełni zarejestrowanej ścieżki) dodatkowe badanie korygujące w tym samym artykule, które próbuje naprawić zidentyfikowane problemy. W przypadkach, gdy autorzy nie chcą lub nie są w stanie tego zrobić, takie zgłoszenia etapu 1 mogą zostać odrzucone. Jednak, aby zapewnić, że Royal Society Open Science pozostaje odpowiedzialny za standard pracy, którą publikuje, próby replikacji nawet poważnie wadliwych badań, które zostały pierwotnie opublikowane w czasopiśmie, będą dozwolone bez wymogu, aby autorzy przedrukowali dodatkowe badania korygujące. Zamiast tego, podobnie jak w przypadku zgłoszeń, które są oceniane jako zawierające poważne (ale nie poważne) obawy, autorzy będą zobowiązani do uwzględnienia dyskusji na temat poważnej wady, a końcowemu artykułowi towarzyszyć będzie uwaga redakcyjna.

te nieprzewidziane okoliczności są podsumowane w poniższej tabeli (patrz również schemat przepływu pracy poniżej).

Ta tabela jest również dostępna do pobrania.

poza scenariuszem opisanym powyżej w przypadku poważnych obaw, rękopisy etapu 1 zostaną odrzucone bezpośrednio po szczegółowym przeglądzie tylko wtedy, gdy recenzje wskazują, że próba replikacji nie spełniła wystarczających standardów metodologicznych, takich jak niewystarczająca moc statystyczna lub krytyczne odchylenia od pierwotnej metodologii (podstawowe kryteria etapu 1 #1 i #2). Nie jest wymagany stały poziom mocy statystycznej, ale w przypadku, gdy autorzy zaproponowali częste metody statystyczne, moc będzie oceniana indywidualnie, zanim wyniki będą znane. Autorzy mogą być również zobowiązani do zmiany zgłoszenia etapu 1 w celu dodania niezbędnych szczegółów do zgłoszonej metodologii lub zmiany analiz. Opis metod powinien być wystarczająco rozbudowany, aby zapewnić wewnętrzny pełny opis wszystkich zastosowanych metod, bez konieczności analizowania przez czytelnika szczegółowych szczegółów metodologicznych oryginalnego badania.

Jeśli próba replikacji jest motywowana serią wstępnych eksperymentów, autorzy mogą opublikować je w innym miejscu (np. na serwerze preprint lub w innym czasopiśmie), a następnie krótko odnieść się do nich w rękopisie etapu 1, na przykład w celu uzasadnienia decyzji o kontynuacji bezpośredniej replikacji. Należy jednak pamiętać, że żadne uzasadnienie replikacji nie jest wymagane ani oceniane jako podstawa do akceptacji. Manuskrypt etapu 1 nie powinien zawierać szczegółowych opisów metod badań innych niż samo badanie replikacji i nie powinien zgłaszać żadnych danych pilotażowych ani wstępnych (ale może oczywiście odnosić się do ustaleń zgłoszonych gdzie indziej). Zgłoszenia etapu 1 są ściśle ograniczone do wprowadzenia i metod prób replikacji, a autorzy powinni również uważać, aby wszelkie powiązane materiały zewnętrzne nie przewidywały wyników bezpośredniej replikacji.

Jeśli artykuł zostanie pozytywnie oceniony zgodnie z kryteriami podstawowymi etapu 1, zostanie on przyznany w zasadzie akceptacji (IPA). Autorzy są następnie zobowiązani do formalnego wstępnego zarejestrowania zatwierdzonego rękopisu na OSF pod adresem https://osf.io/rr/ (zauważając, że jest to typ artykułu ślepego na replikację wyników w RSO) i poproszeni o przesłanie rękopisu etapu 2, który zawiera treść zatwierdzonego rękopisu etapu 1 wraz z wynikami i dyskusją oraz adres URL do wcześniej zarejestrowanego protokołu. Jeśli autorzy wycofają swój manuskrypt po przyznaniu IPA, czasopismo opublikuje wycofaną rejestrację zawierającą abstrakt z zgłoszenia etapu 1, link do adresu URL wcześniej zarejestrowanego protokołu oraz przyczynę wycofania dostarczoną przez autorów lub redaktorów.

3.3. Na etapie 2 tekst zostaje zwrócony do oryginału recenzentom etapu 1, którzy oceniają treść według następujących kryteriów pierwotnych i wtórnych:

  • kryterium pierwotne etapu 2 # 1: Czy wprowadzenie i metody są takie same jak zatwierdzone przedłożenie etapu 1 (wymagane).
  • Etap 2 podstawowe kryterium #2: czy wnioski autorów są uzasadnione w oparciu o dane.
  • Etap 2 kryterium drugorzędne #1: Czy dane są w stanie przetestować zaproponowane przez autorów hipotezy, przechodząc zatwierdzone kryteria neutralne dla wyniku (takie jak brak efektów podłogowych i sufitowych lub powodzenie kontroli pozytywnych lub innych kontroli jakości). Nieprzestrzeganie tych warunków nie doprowadzi do odrzucenia manuskryptu, ale może wymagać od autorów wyraźnego uznania takich ograniczeń w ich dyskusji, aw ciężkich przypadkach może również prowadzić do opublikowania towarzyszącej mu Ostrzeżenia redakcyjnego.

z powyższych kryteriów etapu 2, decyzje redakcyjne będą oparte wyłącznie na kryteriach podstawowych. Uwagi dotyczące drugorzędnego kryterium #1 nie będą miały wpływu na decyzję o publikacji, ale mogą wymagać dodatkowych zastrzeżeń ze strony autorów (w dyskusji) lub mogą być odnotowane przez redakcję w dołączonej do nich nocie ostrzegawczej.

prace etapu 2 zostaną odrzucone tylko wtedy, gdy prace zawierają niezatwierdzone zmiany do zatwierdzonego artykułu etapu 1 lub gdy wnioski autorów są oceniane jako wykraczające poza te dozwolone przez wyniki i gdy nie można pogodzić takich różnic w opiniach między autorami a recenzentami/redaktorami.

3.4. Ostatni etap 2 zostanie opublikowany jako replikacja-wyniki niewidomych.

  1. w pełni zarejestrowany utwór

4.1. Ta ścieżka jest podobna do procesu „results-blind”, ale przeznaczona dla autorów, którzy jeszcze nie podjęli próby replikacji badania opublikowanego w Royal Society Open Science, w jednym z czasopism źródłowych wymienionych w sekcji 1 lub w jakimkolwiek innym czasopiśmie zatwierdzonym przez redaktorów. Autorzy powinni wstępnie przesłać częściowy manuskrypt zawierający sekcje abstraktu, wstępu i metody. Pomimo tego, że protokół jest perspektywiczny, rękopis i metody powinny być napisane w czasie przeszłym. Pod wszystkimi innymi względami opcje i wymagania są takie same jak w przypadku wyników-ślepy Tor. Artykuł etapu 1 należy przesłać za pomocą artykułu replikacyjnego. Do zgłoszenia należy dołączyć list motywacyjny do redakcji, w którym zaznacza się (a), że autorzy przesyłają manuskrypt etapu 1 za pomocą opcji replikacji artykułu, (b) badanie docelowe dla replikacji, w tym artykuł źródłowy i czasopismo, oraz (c) że manuskrypt jest przesyłany przed zebraniem danych, (d) że autorzy wyrażają zgodę na archiwizowanie wszystkich danych, kodu i materiałów cyfrowych w ogólnodostępnym repozytorium w momencie akceptacji etapu 2 oraz (e) że autorzy wyrażają zgodę na publikację wycofanej rejestracji, jeśli dobrowolnie wycofają zgłoszenie po zatwierdzeniu artykułu. Etap 1 w zasadzie akceptacja (z wycofaną rejestracją składającą się z abstraktu z etapu 1 zgłoszenia plus powód wycofania podany przez autorów lub redaktorów). Należy pamiętać, że chociaż list motywacyjny powinien wskazywać, czy wyniki są znane, sam rękopis etapu 1 nie powinien wyraźnie stwierdzać, że autorzy nie znają wyników. Jak zauważono w 3.1, dzieje się tak dlatego, że recenzenci w pierwszej rundzie recenzji są zaślepieni zarówno na wyniki, jak i na ich istnienie.

zgłoszenia etapu 1 I Etapu 2 będą oceniane według tych samych kryteriów pierwotnych i wtórnych, co wyniki-ślepa ścieżka (patrz 3.2-3.3 powyżej). Po IPA, autorzy są zobowiązani do formalnego wstępnego zarejestrowania zatwierdzonego rękopisu na OSF at (zauważając, że jest to replikowany w pełni wstępnie zarejestrowany Typ artykułu w RSOS). Autorzy są następnie proszeni o przesłanie manuskryptu etapu 2 po zakończeniu badania, który zawiera treść zatwierdzonego manuskryptu etapu 1 wraz z wynikami i dyskusją oraz adres URL do wcześniej zarejestrowanego protokołu.

4.2. Artykuł z ostatniego etapu 2 zostanie opublikowany jako replikacja-w pełni zarejestrowana.

obieg pracy zasad replikacji

Ten obieg pracy można również pobrać do przeglądania.

wytyczne dla recenzentów

replikacje to nowy format artykułu badawczego oferowany w ramach Polityki replikacji czasopisma. Zgodnie z tą Polityką czasopismo zobowiązuje się do publikowania bliskich prób replikacji badań z zakresu psychologii lub neuronauki kognitywnej, które były wcześniej publikowane w Royal Society Open Science lub jednym z kilku innych głównych czasopism.

badania replikacji etapu 1 mogą być przedłożone z wynikami znanymi przez autorów (i tymczasowo zredagowanymi) lub przed zebraniem danych. Proces wzajemnej oceny jest początkowo zaślepiony, do którego z tych dwóch scenariuszy ma zastosowanie, a wszystkie rękopisy etapu 1 są przedkładane w czasie przeszłym, niezależnie od tego, czy dane zostały już zebrane. Manuskrypty są następnie ponownie przeglądane na etapie 2 Po znane wyniki.

na etapie 1 zgłoszenie oceniane jest pod kątem następujących kryteriów pierwotnych i wtórnych. W większości przypadków decyzja o publikacji opiera się na ocenie kryteriów pierwotnych, przy czym ocena kryteriów wtórnych określa, czy ostateczna próba replikacji jest publikowana wraz z ostrzeżeniem redakcyjnym. Jednak poważne wady drugorzędnych kryteriów mogą prowadzić do odrzucenia, jeśli powielana praca została opublikowana w czasopiśmie innym niż Royal Society Open Science.

  • Etap 1 kryterium podstawowe nr 1: Czy autorzy zapewniają wystarczająco jasny i szczegółowy opis metod dla innego badacza, aby ściśle replikować proponowane procedury eksperymentalne i rurociągu analizy, oraz aby zapobiec nieujawnionej elastyczności w procedurach eksperymentalnych lub rurociągu analizy.

  • Etap 1 podstawowe kryterium #2: Czy manuskrypt opisuje wystarczająco poprawną (tj. bliską) i solidną (np. statystycznie silną) replikację oryginalnych metod badania i uzasadnienie, aby zapewnić wskazanie replikalności.

  • Etap 1 kryterium drugorzędne # 1: Logika, uzasadnienie i wiarygodność proponowanych hipotez.

  • Etap 1 kryterium drugorzędne #2: solidność metodyki i procesu analizy.

  • Etap 1 kryterium drugorzędne #3: czy autorzy uznali za wystarczające warunki neutralne wynikowo (np. brak efektów podłogowych lub sufitowych; kontrole pozytywne; inne kontrole jakości) w celu zapewnienia, że uzyskane wyniki są w stanie przetestować przedstawione hipotezy.

na etapie 2 manuskrypt jest zwracany do recenzentów etapu 1, którzy oceniają treść według następujących kryteriów pierwotnych i wtórnych. Ponownie, decyzja o publikacji opiera się na kryteriach pierwotnych, przy czym ocena kryterium wtórnego ma wpływ na to, czy dołączona jest uwaga redakcyjna.

  • podstawowe kryterium etapu 2 #1: czy wprowadzenie i metody są takie same jak zatwierdzone przedłożenie etapu 1 (wymagane).

  • Etap 2 kryterium podstawowe nr 2: Czy wnioski autorów są uzasadnione w oparciu o dane.

  • Etap 2 kryterium drugorzędne #1: Czy dane są w stanie przetestować zaproponowane hipotezy autorów, przechodząc zatwierdzone kryteria neutralne dla wyniku (takie jak brak efektów podłogowych i sufitowych lub powodzenie kontroli pozytywnych lub innych kontroli jakości). Nieprzestrzeganie tych warunków nie doprowadzi do odrzucenia manuskryptu, ale może wymagać od autorów wyraźnego uznania takich ograniczeń w ich dyskusji, aw ciężkich przypadkach może również prowadzić do opublikowania towarzyszącej mu Ostrzeżenia redakcyjnego.

do góry