Articles

Replicação de estudos

by admin

Diretiva de Replicação

Royal Society Abra a Ciência acredita que quando uma revista científica publica um estudo empírico que pressupõe a prestação de contas para a replicabilidade do estudo. Esta responsabilidade reflete-se na medida em que a revista se compromete a publicar tentativas de replicação de estudos anteriores que aparecem em suas páginas.sob a Política de replicação da revista, a seção de Psicologia e Neurociência Cognitiva da Royal Society Open Science se comprometerá a publicar réplicas de estudos publicados anteriormente dentro desta revista e outras revistas importantes. Os autores podem submeter um estudo de replicação que já esteja concluído ou uma proposta para replicar um estudo anterior. Para garantir que o processo de revisão é imparcial com os resultados, as submissões serão revistas antes dos resultados existirem ou com os resultados existentes inicialmente editados. Para minimizar o viés contra os resultados negativos esperados, os revisores não só serão cegos para os resultados (onde já existem), mas serão cegos quanto à existência dos resultados (pelos autores). Serão apresentadas observações que descrevem réplicas próximas, claras e válidas da metodologia original, em princípio aceites, O que garante praticamente a publicação da replicação, independentemente do resultado do estudo.

  1. Replicação de orientação para os autores

  2. Replicação orientações para os árbitros

Diretrizes para Autores

  1. Real Sociedade de Ciências compromete-se a publicação de qualquer metodologicamente som tentativa de replicar qualquer estudo que foi publicado dentro da Psicologia e da Neurociência Cognitiva seção da revista, assim como qualquer estudo no âmbito da Psicologia e da Neurociência Cognitiva secção que tenha sido publicado em qualquer um dos seguintes periódicos: Psiquiatria biológica, o Cérebro, o Córtex Cerebral, o Desenvolvimento da Criança, Córtex, a Psicologia Cognitiva, a Cognição, a Atual Biologia, Psicologia do Desenvolvimento, a Ciência do Desenvolvimento, European Journal of Neuroscience, Jornal de Neurociência Cognitiva, Journal of Experimental Social Psychology, Jornal de Memória e Linguagem, Journal of Neuroscience, Journal of personality and Social Psychology, a Natureza, a Natureza do Comportamento Humano, a Natureza Neurociência, NeuroImage, Neurônio, Neurociência da Consciência, PLOS Biology, Proceedings, da Academia Nacional de Ciências dos estados unidos, a Ciência Psicológica, Trimestral Journal of Experimental Psychology, Science, Social Psychological and Personality Science, and any other journal published by the American Psychological Association, Association for Psychological Science, British Psychological Society or Royal Society. Consideraremos também, caso a caso, pedidos de informação pré-apresentação para replicações de estudos publicados em revistas, para além dos aqui indicados. Note que os próprios estudos de replicação são alvos adequados para replicação.os autores têm a escolha entre duas vias para a análise de propostas.: uma faixa ” results-blind “em que a introdução e o método de um estudo completo são revistos por pares enquanto os resultados e discussão são temporariamente retidos, ou uma faixa” totalmente pré-registrada ” em que o protocolo do estudo é revisto e pré-aceito antes do início da coleta de dados.
  1. Resultados-pista cega

3.1. Esta faixa destina-se a autores que já tenham completado uma tentativa de replicação direta (próxima) de um estudo publicado dentro da Royal Society Open Science, dentro de uma das revistas-fonte listadas na seção 1, ou de qualquer outra revista aprovada caso a caso pelos editores. Os autores devem inicialmente apresentar um manuscrito parcial contendo as seções abstrata, introdução e método, com os resultados e discussão redigidos juntamente com qualquer outra informação (por exemplo, no resumo) que declare ou implique os resultados da pesquisa. A secção do método deve ser escrita no tempo passado e incluir uma descrição completa e pormenorizada de todos os procedimentos experimentais (incluindo critérios de inclusão de dados e exclusão) e análises. Note-se que as observações apresentadas na fase 2 não podem incluir os resultados de quaisquer análises que não estejam indicadas na Fase 1 no momento da aceitação em princípio. O manuscrito da fase 1 deve ser submetido utilizando o tipo de artigo de replicação. A submissão deve ser acompanhada por uma carta de apresentação ao editor, indicando (a) de que os autores estão apresentando uma Etapa 1 manuscrito como um artigo de Replicação, (b) o alvo de estudo para a replicação, incluindo a fonte do artigo e do periódico, (c) que o manuscrito está sendo submetido, através dos resultados-cego pista, observando-se explicitamente que os resultados já são conhecidos os autores, (d) que os autores concordam arquivar todos os dados anónimos, código e materiais digitais em um repositório de acesso livre no ponto de Estágio 2 de aceitação, e (e) que os autores concordam com a publicação de um Registo retirado se voluntariamente retirar a apresentação após a primeira fase, em princípio, aceitação (com um registo retirado que consiste no resumo da apresentação da primeira fase, acrescido de uma razão para a retirada fornecida pelos autores ou editores). Note – se que, embora a carta de capa deva indicar se os resultados são conhecidos pelos autores, o manuscrito da fase 1 em si não deve indicar ou implicar que os autores já conhecem os resultados. Para minimizar o potencial viés contra os achados negativos esperados, os revisores na primeira rodada de revisão serão cegos tanto para os resultados quanto para a existência de resultados. Note que quaisquer experimentos preliminares que motivaram o estudo de replicação não devem ser relatados no manuscrito da fase 1, embora os autores sejam bem-vindos a publicá-los em outros lugares (por exemplo, artigo separado revisado por pares, servidor de pré-impressão ou repositório) e se referem a eles na introdução da fase 1.3, 2. Na Fase 1 para a apresentação é considerado pela crítica, que avaliam o conteúdo de acordo com o seguinte Primário e Secundário critérios de:

  • Fase 1 Principal Critério #1: Se os autores fornecem uma forma suficientemente clara e detalhada descrição dos métodos para outro pesquisador de perto replicar a proposta de procedimentos experimentais e análise de pipeline, e para evitar undisclosed flexibilidade nos procedimentos experimentais ou de análise de pipeline.
  • Fase 1 critério primário # 2: se o manuscrito descreve um suficientemente válido (ou seja, próximo) e robusto (e.g. estatisticamente poderosa) replicação dos métodos de estudo originais e fundamentação para fornecer uma indicação de replicabilidade.
  • Fase 1 critério secundário #1: a lógica, lógica e plausibilidade das hipóteses propostas.critério secundário # 2: solidez da metodologia e da conduta de análise.critério secundário #3: Se os autores consideraram suficientes condições neutras em termos de resultado (por exemplo, ausência de efeitos no chão ou no tecto); controlos positivos; outras verificações de qualidade) para garantir que os resultados obtidos são capazes de testar as hipóteses indicadas.

dos critérios da fase 1 acima, as decisões editoriais serão baseadas apenas nos critérios primários. Em alguns casos, os métodos publicados do estudo original podem não fornecer detalhes suficientes para permitir uma replicação próxima (critério primário da Fase 1 #1), e os autores originais do estudo também podem não estar dispostos ou não podem fornecer as informações em falta necessárias. Nesses casos, serão aceitas estimativas dos procedimentos originais, desde que os autores possam estabelecer que o método escolhido é uma estimativa razoável da abordagem original, e desde que (quando aplicável) possam fornecer provas documentais ao editor, tais como e-mails, provando quaisquer tentativas de obter tais informações dos autores originais.com exceção de um cenário específico discutido abaixo, os comentários dos revisores sobre os critérios secundários não influenciarão a decisão de publicar. Em vez disso, quando os editores acreditam que quaisquer questões críticas levantadas dentro destas categorias são válidas, ações adicionais podem ser necessárias. As acções específicas dependerão da gravidade das preocupações, avaliadas de acordo com três “níveis de ameaça”: menor, maior e grave. Para evitar distorções de publicação, estas avaliações serão feitas antes dos resultados serem conhecidos.

para preocupações julgadas pelos editores como sendo menores, os autores serão obrigados a discutir as limitações necessárias na introdução (e/ou mais tarde na discussão na fase 2).no caso de grandes preocupações que limitam substancialmente (mas não eliminam) a interpretação de quaisquer potenciais descobertas, uma nota de advertência editorial Pode também ser publicada juntamente com o relatório final. Por exemplo, onde os revisores de identificar uma falha com a metodologia do estudo original em replicação (Fase 1 Critério Secundário #1 ou #2), então, além de obrigatório, em discussão sobre a limitação pelos autores, um comentário editorial pode ser lançado com a versão final do trabalho, destacando a limitação do trabalho original. Em tais casos, os autores também seriam incentivados (mas não necessários) a pré-listar um estudo adicional de replicação através da via totalmente pré-registrada (ver abaixo) na qual o procedimento é compatível o mais próximo possível do estudo original, mas com a falha corrigida. Os mesmos requisitos e opções do autor aplicar-se-iam nos casos em que a replicação carece de um controlo positivo adequado ou de outro controlo de qualidade independente (critério secundário da Fase 1 #3).para preocupações graves que impedem uma interpretação significativa dos resultados, o curso de ação será determinado pela publicação da fonte do estudo original. Para estudos publicados em revistas que não a Royal Society Open Science, submissões de Fase 1 com falhas graves só serão aceitas se os autores concordarem com o pré-registro (via a faixa totalmente pré-registrada) um estudo corretivo adicional dentro do mesmo artigo que tenta corrigir os problemas identificados. Nos casos em que os autores não estão dispostos ou não podem fazê-lo, tais submissões da fase 1 são susceptíveis de ser rejeitadas. No entanto, para garantir que a Royal Society Open Science continua a ser responsável pelo padrão de trabalho que publica, tentativas de replicação mesmo de estudos severamente falhos que foram originalmente publicados na revista serão permitidas sem a exigência de autores para pré-listar um estudo corretivo adicional. Em vez disso, como com as submissões que são julgadas conter grandes preocupações (mas não graves), os autores serão obrigados a incluir uma discussão sobre a falha grave, e o artigo final será acompanhado por uma nota editorial advertência.

estas contingências estão resumidas na tabela abaixo (e ver também o diagrama de fluxo de trabalho abaixo).

Esta tabela também está disponível para download.para além do cenário acima descrito para preocupações graves, os manuscritos da fase 1 serão rejeitados imediatamente após uma revisão aprofundada apenas se as revisões indicarem que a tentativa de replicação não conseguiu cumprir padrões metodológicos suficientes, tais como poder estatístico insuficiente ou desvios críticos da metodologia original (critérios primários da Fase 1 #1 e #2). Não é necessário um nível fixo de poder estatístico, mas quando autores propuseram métodos estatísticos freqüentes, o poder será avaliado caso a caso antes que os resultados sejam conhecidos. Os autores também podem ser obrigados a revisar sua submissão da fase 1 para adicionar detalhes necessários à metodologia relatada ou para alterar as análises. A descrição dos métodos deve ser suficientemente elaborada para fornecer uma descrição interna completa de todos os métodos utilizados, sem que o leitor necessite de examinar os detalhes metodológicos específicos do estudo original.

Quando a tentativa de replicação é motivada por uma série de experimentos preliminares, os autores são bem-vindos a publicá-los em outros lugares (por exemplo, em um servidor preprint ou em outra revista) e, em seguida, brevemente se referem a eles no manuscrito da fase 1, por exemplo, para justificar a decisão de prosseguir uma replicação direta. Note-se, no entanto, que não é necessária qualquer justificação para uma replicação ou é avaliada como motivo de aceitação. O manuscrito da fase 1 não deve incluir descrições detalhadas dos métodos de quaisquer estudos para além do próprio estudo de replicação, e não deve reportar quaisquer dados piloto ou preliminares (mas pode, naturalmente, referir-se a resultados comunicados noutros locais). As submissões da fase 1 estão estritamente limitadas à introdução e métodos da(S) tentativa (ões) de replicação e os autores devem também ter o cuidado de garantir que quaisquer materiais externos ligados não antecipem os resultados da replicação direta.se o manuscrito for revisto favoravelmente de acordo com os critérios primários da primeira fase, será concedido em princípio de aceitação (IPA). Os autores são, então, necessárias para formalizar a pré-inscrição aprovado manuscrito sobre o OSF em: https://osf.io/rr/ (lembrando que é uma Replicação de Resultados Cegos tipo de artigo em RSOS) e convidado a apresentar uma Fase 2 manuscrito, que inclui o conteúdo do Estágio aprovado 1 manuscrito, mais os resultados, a discussão e a URL para o protocolo de pré-inscritos. Se os autores retirarem o seu manuscrito após a atribuição do IPA, a revista publicará um registo retirado, incluindo o resumo da submissão da fase 1, um link para a URL do protocolo pré-registrado, mais uma razão para a retirada fornecida quer pelos autores quer pelos editores.3, 3. Na fase 2, o manuscrito é devolvido aos revisores originais da fase 1 que avaliam o conteúdo de acordo com os seguintes critérios primários e secundários:

  • critério primário da Fase 2 #1: Se a introdução e os métodos são idênticos aos da Fase 1 aprovada (exigida).critério primário #2: se as conclusões dos autores são justificadas, dados os dados.critério secundário # 1: se os dados são capazes de testar as hipóteses propostas pelos autores através da aprovação dos critérios neutros (como a ausência de efeitos no chão e no tecto ou o sucesso de controlos positivos ou outros controlos de qualidade). A não aprovação destas condições não levará à rejeição do manuscrito, mas pode exigir que os autores reconheçam explicitamente tais limitações em sua discussão, e em casos graves também pode levar à publicação de uma nota editorial que acompanha.

dos critérios da fase 2 acima, as decisões editoriais serão baseadas apenas nos critérios primários. Comentários sobre o critério secundário #1 não influenciarão a decisão de publicar, mas podem exigir advertências adicionais pelos autores (na discussão) ou podem ser anotados pelos editores em uma nota de advertência.os manuscritos da fase 2 só serão rejeitados se a submissão incluir alterações não aprovadas ao manuscrito aprovado da fase 1 ou se as conclusões dos autores forem julgadas para além das permitidas pelos resultados e se não forem conciliáveis quaisquer diferenças de opinião entre os autores e revisores/editores.3, 4. O artigo final da fase 2 será publicado como uma réplica – resultados cegos.

  1. via completamente pré-registrada

4.1. Esta faixa é semelhante ao processo de análise de resultados, mas destina-se a autores que ainda não tentaram uma réplica de um estudo publicado dentro da Royal Society Open Science, dentro de uma das revistas-fonte listadas na seção 1, ou qualquer outra revista aprovada pelos editores. Os autores devem inicialmente enviar um manuscrito parcial contendo as seções resumo, introdução e método. Apesar do protocolo ser prospectivo, o manuscrito e os métodos devem ser escritos no tempo passado. Em todos os outros aspectos, as opções e requisitos são os mesmos que para o resultado-pista cega. O manuscrito da fase 1 deve ser submetido através do tipo de artigo de replicação. A submissão deve ser acompanhada por uma carta de apresentação ao editor, indicando (a) de que os autores estão apresentando uma Etapa 1 manuscrito através do artigo de Replicação de opção, (b) o alvo de estudo para a replicação, incluindo a fonte do artigo e do periódico, e (c) que o manuscrito está sendo submetido antes da coleta de dados, (d) que os autores concordam arquivar todos os dados, código e materiais digitais em um repositório de acesso livre no ponto de Estágio 2 de aceitação, e (e) que os autores concordam com a publicação de uma Retirada Registo se retirar voluntariamente a apresentação após Fase 1 em princípio aceitação (com um registo retirado que consiste no resumo da apresentação da fase 1 mais uma razão para a retirada fornecida pelos autores ou editores). Note que, embora a carta de apresentação deva indicar se os resultados são conhecidos, o manuscrito da fase 1 em si não deve afirmar explicitamente que os autores não conhecem os resultados. Tal como referido no ponto 3.1, isto deve-se ao facto de os revisores na primeira ronda de revisão estarem cegos para os resultados e para a existência de resultados.

As observações das fases 1 e 2 serão avaliadas de acordo com os mesmos critérios primários e secundários que para os resultados-pista cega (ver 3.2-3.3 supra). Após o IPA, os autores são obrigados a pré-listar formalmente seu manuscrito aprovado no OSF at (notando que é um tipo de artigo de replicação totalmente pré – registrada no RSO). Os autores são então convidados a apresentar um manuscrito da fase 2, uma vez que o estudo esteja completo, que inclua o conteúdo do manuscrito aprovado da fase 1, mais os resultados e discussão e a URL do protocolo pré-registrado.4. 2. O artigo final da fase 2 será publicado como uma réplica-totalmente pré-registrada.

fluxo de trabalho da Política de replicação

Este fluxo de trabalho também pode ser baixado para visualização.

Guidelines for Reviewers

Replications are a new format of research article offered as part of the journal’s Replication Policy. Sob esta política, a revista se compromete a publicar tentativas de replicação de estudos dentro dos campos da psicologia ou neurociência cognitiva que foram publicados anteriormente na Royal Society Open Science ou um de vários outros jornais importantes.os estudos de replicação da fase 1 podem ser submetidos com resultados conhecidos pelos autores (e temporariamente editados) ou antes da recolha de dados. O processo de revisão por pares é inicialmente cego para qual destes dois cenários se aplica e todos os manuscritos de Fase 1 são submetidos no tempo passado, independentemente de os dados já terem sido coletados. Os manuscritos são então re-revisados na fase 2 Depois que os resultados são conhecidos.

na fase 1, a apresentação é avaliada com base nos seguintes critérios primários e secundários. Na maioria dos casos, a decisão de publicar baseia-se na avaliação dos critérios primários, com a avaliação dos critérios secundários determinando se a eventual tentativa de replicação é publicada ao lado de uma nota de advertência editorial. No entanto, falhas graves nos critérios secundários podem levar à rejeição se o trabalho que está sendo replicado foi publicado em uma revista diferente da Royal Society Open Science.

  • Fase 1 critério primário #1: Se os autores fornecem uma descrição suficientemente clara e detalhada dos métodos para outro pesquisador replicar de perto os procedimentos experimentais propostos e pipeline de análise, e para evitar flexibilidade não revelada nos procedimentos experimentais ou pipeline de análise.

  • Fase 1 critério primário #2: se o manuscrito descreve uma replicação suficientemente válida (ou seja, próxima) e robusta (ou seja, estatisticamente poderosa) dos métodos de estudo originais e dos fundamentos para fornecer uma indicação de replicabilidade.critério secundário # 1: The logic, rationale, and plausibility of the proposed hypotheses.critério secundário #2: solidez da metodologia e da conduta de análise.critério secundário # 3: Se os autores consideraram suficientes condições neutras em termos de resultado (por exemplo, ausência de efeitos no chão ou no tecto; controlos positivos; outros controlos de qualidade) para garantir que os resultados obtidos são capazes de testar as hipóteses indicadas.

na fase 2 o manuscrito é devolvido aos revisores da fase 1 original que avaliam o conteúdo de acordo com os seguintes critérios primários e secundários. Mais uma vez, a decisão de publicar baseia-se nos critérios primários, com a avaliação do critério secundário a influenciar se é ou não apensa uma nota de advertência editorial.critério primário #1: se a introdução e os métodos são os mesmos que a apresentação aprovada para a fase 1 (obrigatório).critério primário #2: Se as conclusões dos autores se justificam, tendo em conta os dados.critério secundário # 1: se os dados são capazes de testar as hipóteses propostas pelos autores através da aprovação dos critérios neutros (como a ausência de efeitos no chão e no tecto ou o sucesso de controlos positivos ou outros controlos de qualidade). A não aprovação destas condições não levará à rejeição do manuscrito, mas pode exigir que os autores reconheçam explicitamente tais limitações em sua discussão, e em casos graves também pode levar à publicação de uma nota editorial que acompanha.

ir para o topo