Articles

Replication studies

Replication Policy

Royal Society Open Scienceは、科学雑誌が実証的な研究を発表するとき、その研究の複製可能性についての説明責任を負うと考えています。 この責任は、ジャーナルがそのページ内に表示される以前の研究の試みられた複製を出版することにコミットする程度によって反映されます。

ジャーナルの複製ポリシーの下で、ロイヤルソサエティオープンサイエンスの心理学と認知神経科学セクションは、以前にこのジャーナルや他の主要なジャーナル内で出版された研究の複製を出版することにコミットします。 作成者は、すでに完了している複製研究または以前の研究を複製するための提案を提出することができます。 審査プロセスが結果に公平であることを保証するために、提出物は、結果が存在する前に、または最初に編集された既存の結果で審査されます。 予想される否定的な結果に対するバイアスを最小限に抑えるために、査読者は結果(既に存在する場合)に盲目になるだけでなく、結果が存在することが(著者によって)知られているかどうかについて盲目になる。 元の方法論の近く、明確かつ有効な複製を記述する提出物は、原則として受け入れられ、研究結果にかかわらず複製の出版を事実上保証する。

  1. 著者のための複製ガイダンス

  2. 審判のための複製ガイダンス

著者のためのガイドライン

  1. Royal Society Open Scienceは、ジャーナルのPsychology and Cognitive Neuroscienceセクション内で出版された研究、および出版されたPsychology and Cognitive Neuroscienceセクション内の研究を複製する方法論的に健全な試みを出版することにコミットしている。以下のジャーナルのいずれかで: 生物学的精神医学、脳、大脳皮質、子どもの発達、皮質、認知心理学、認知、現在の生物学、発達心理学、発達科学、神経科学のヨーロッパジャーナル、認知神経科学のジャーナル、実験社会心理学のジャーナル、メモリと言語のジャーナル、神経科学のジャーナル、人格と社会心理学のジャーナル、自然、自然人間の行動、自然神経科学、ニューロイメージ、ニューロン、意識の神経科学、PLOS生物学、米国の国立科学アカデミーの議事録、心理学、季刊 実験心理学、科学、社会心理学および人格科学のジャーナル、およびアメリカ心理学会、心理科学協会、英国心理学会または王立協会によって出版された また、ここに記載されているものに加えて、ジャーナルに掲載されている研究の複製については、ケースバイケースで事前提出の問い合わせを検討します。 複製研究自体が複製のための適切な標的であることに注意してください。
  1. 著者は、提出を検討するための二つのルートの間の選択を持っています: 結果と議論が一時的に保留されている間に完了した研究の導入と方法が査読される”結果ブラインド”トラック、またはデータ収集の開始前に研究プロトコ
  1. 結果-ブラインドトラック

3.1. このトラックは、Royal Society Open Science内、セクション1に記載されているソースジャーナルのいずれか、または編集者によってケースバイケースで承認された他のジャーナルから出版された研究の直接(近い)複製の試みをすでに完了している著者を対象としています。 著者は、最初に、要約、紹介、方法のセクションを含む部分的な原稿を提出し、結果と議論は、研究成果を述べたり暗示したりする他の情報(要約など)と一緒に編集されるべきである。 方法セクションは過去時制で書かれ、すべての実験手順(データの包含と除外基準を含む)と分析の包括的かつ詳細な説明を含める必要があります。 なお、第2段階以降の提出には、原則として受け入れの時点で第1段階の提出に記載されていない分析の結果を含めることはできません。 第1段階の原稿は、複製記事タイプを使用して提出する必要があります。 提出には、(a)著者がステージ1の原稿を複製記事として提出していること、(b)ソース記事とジャーナルを含む複製の対象研究、(c)原稿が結果ブラインドトラックを介して提出されていること、(d)著者がステージ2の受け入れ時点で自由にアクセスできるリポジトリにすべての匿名データ、コード、デジタル資料をアーカイブすることに同意すること、および(e)著者がステージ2の受け入れ時点で自由にアクセスできるリポジトリにアーカイブすることに同意することを示すカバーレターが添付されている必要があります。 撤回登録原則として第1段階以降に自発的に提出を撤回した場合(第1段階の提出からの抄録と著者または編集者から提供された撤回理由からなる撤回登録を含む)。 カバーレターは、結果が著者に知られているかどうかを示すべきであるが、ステージ1原稿自体は、著者がすでに結果を知っていることを述べたり、暗示してはならないことに注意してください。 予想される否定的な所見に対する潜在的なバイアスを最小限に抑えるために、レビューの最初のラウンドのレビュアーは、結果と結果の存在の両方に目 複製研究を動機とした予備実験は、ステージ1の原稿で報告すべきではないことに注意してください。3.2.

3.2. ステージ1では、提出は、以下の一次および二次基準に従ってコンテンツを評価する査読者によって検討されます。

  • ステージ1一次基準#1:著者が、提案された実験手順および分析パイプラインを密接に複製し、実験手順または分析パイプラインにおける未公開の柔軟性を防止するために、他の研究者が方法の十分に明確かつ詳細な説明を提供するかどうか。
  • ステージ1の主な基準#2:原稿が十分に有効(すなわち近い)と堅牢(例えば)を記述しているかどうか 統計的に強力な)複製可能性の指標を提供するための元の研究方法および理論的根拠の複製。
  • ステージ1二次基準#1:提案された仮説の論理、理論的根拠、および妥当性。
  • ステージ1二次基準#2:方法論と分析パイプラインの健全性。
  • ステージ1二次基準#3:著者が十分な結果中立条件(例えば、床や天井の影響の欠如、肯定的なコントロール)を考慮しているかどうか; 得られた結果が記載された仮説をテストすることができることを保証するための他の品質チェック)。

上記のステージ1の基準のうち、編集上の決定は主な基準にのみ基づいて行われます。 いくつかのケースでは、元の研究の公開された方法は、近い複製を可能にするのに十分な詳細を提供していない可能性があります(ステージ1一次基準#1)、 このような場合、選択された方法が元のアプローチの合理的な推定であることを著者が確立できる場合、元の手順の推定は受け入れられ、(該当する場

以下で説明する特定のシナリオを除いて、二次基準に関する査読者のコメントは、公開の決定に影響を与えません。 代わりに、編集者がこれらのカテゴリ内で提起された重要な問題が有効であると信じる場合は、追加のアクションが必要になる場合があります。 具体的な行動は、懸念の重大度に依存し、マイナー、メジャー、および重度の三つの”脅威レベル”に従って評価されます。 出版バイアスを防ぐために、これらの評価は結果が知られている前に行われます。

編集者が軽微であると判断した懸念については、著者は導入(および/またはステージ2の議論の後半)で必要な制限について議論する必要があります。

潜在的な調査結果の解釈可能性を実質的に制限する(ただし排除しない)主要な懸念については、最終報告書と一緒に編集上の注意点を公表するこ 例えば、レビュアーが複製の下で元の研究の方法論に欠陥を特定する場合(第1段階の二次基準#1または#2)、著者による制限の必須の議論に加えて、元の研究の制限を強調する最終的な論文とともに編集コメントを掲載することができる。 このような場合、著者は、完全に事前登録されたトラック(下記参照)を介して追加の複製研究を事前登録することも奨励されます(ただし、必須ではあり 複製が適切な陽性対照または他の独立した品質チェックを欠いている場合には、同じ著者要件およびオプションが適用される(ステージ1二次基準#3)。

結果の意味のある解釈を妨げる深刻な懸念については、行動の経過は元の研究のソース出版物によって決定されます。 Royal Society Open Science以外の雑誌に掲載された研究については、深刻な欠陥を持つステージ1の提出は、著者が特定された問題を修正しようとする同じ論文内の追加の是正研究を(完全に事前登録されたトラックを介して)事前登録することに同意した場合にのみ受け入れられる。 著者がそうしたくない、またはそうすることができない場合、そのようなステージ1の提出は拒否される可能性があります。 しかし、Royal Society Open Scienceが出版する標準的な研究について責任を負うことを確実にするために、最初にジャーナル内で出版された深刻な欠陥のある研究であっても、著者が追加の是正研究を事前登録する必要なしに複製の試みが許可されます。 代わりに、主要な(しかし深刻ではない)懸念が含まれていると判断された提出と同様に、著者は深刻な欠陥の議論を含める必要があり、最終的な記事には

これらの不測の事態は、下の表に要約されています(下のワークフロー図も参照)。

このテーブルはダウンロードすることもできます。

深刻な懸念のために上記のシナリオを除いて、ステージ1の原稿は、レプリケーションの試みが不十分な統計的パワーや元の方法論からの重大な偏差など、十分な方法論的基準を満たしていないことをレビューが示している場合にのみ、詳細なレビューの後に完全に拒否されますステージ1の主要基準#1および#2。 一定のレベルの統計的検出力は必要ありませんが、著者が頻度統計的方法を提案した場合、結果が知られる前にケースバイケースで検出力を評価します。 著者はまた、報告された方法論に必要な詳細を追加したり、分析を変更したりするために、ステージ1の提出を修正する必要があるかもしれません。 方法の説明は、読者が元の研究の特定の方法論的詳細を調べる必要なしに、使用されているすべての方法の内部的に完全な説明を提供するのに十分

複製の試みが一連の予備実験によって動機づけられている場合、著者はこれらを他の場所(プレプリントサーバーや別のジャーナルなど)に公開し、第1段階の原稿で簡単に参照することを歓迎します。 ただし、複製の正当性は、受け入れの根拠として必要または評価されないことに注意してください。 ステージ1原稿には、複製研究自体以外の研究の方法の詳細な説明を含めるべきではなく、パイロットまたは予備的なデータを報告すべきではありません(もちろん、他の場所で報告された調査結果を参照することもできます)。 ステージ1の提出は、複製の試みの導入と方法に厳密に限定されており、著者はまた、リンクされた外部資料が直接複製の結果を予期しないように注意

原稿が第1段階の主な基準に従って好意的に審査された場合、それは原則受け入れ(IPA)で授与されます。 著者は、承認された原稿をOSFに正式に事前登録する必要がありますhttps://osf.io/rr/(RSOSでは複製結果ブラインド記事タイプであることに注意)、承認されたステージ1原稿の内容に加え、結果と議論、および事前登録されたプロトコルへのURLを含むステージ2原稿を提出するよう招待されます。 IPAの受賞後に著者が原稿を撤回した場合、ジャーナルは第1段階の提出からの抄録、事前登録されたプロトコルのURLへのリンク、および著者または編集者3.3.

3.3. ステージ2で原稿は、次の一次および二次基準に従ってコンテンツを評価する元のステージ1レビュアーに戻されます。

  • ステージ2プライマリ基準#1: 導入と方法が承認されたステージ1提出と同じかどうか(必須)。
  • ステージ2の主な基準#2:著者の結論がデータを与えられて正当化されるかどうか。
  • Stage2Secondary Criterion#1:承認された結果中立的な基準(床や天井の影響の欠如、陽性対照またはその他の品質チェックの成功など)を通過することによって、データが著者の提案された仮説をテストできるかどうか。 これらの条件を満たさないと原稿の拒否につながることはありませんが、著者が議論の中でそのような制限を明示的に認める必要があり、重篤な場合には付随する編集上の注意事項の出版につながる可能性があります。

上記のステージ2の基準のうち、編集上の決定は主な基準にのみ基づいて行われます。 第二の基準#1に関するコメントは、公開の決定に影響を与えませんが、(議論の中で)著者による追加の警告を必要とするか、添付の注意事項で編集者によ

ステージ2原稿は、提出が承認されたステージ1原稿への未承認の変更を含んでいる場合、または著者の結論が結果によって許可されているものを超えていると判断され、著者と査読者/編集者との間の意見の相違が和解できない場合にのみ拒否されます。3.4.

3.4. 最終段階の2つの論文は、複製結果として出版されます。

  1. 完全に登録されたトラック

4.1. このトラックは結果ブラインドプロセスに似ていますが、Royal Society Open Science、セクション1に記載されているソースジャーナル、または編集者によって承認された他のジャーナル内で出版された研究の複製をまだ試みていない著者を対象としています。 著者は最初に要約、導入および方法セクションを含んでいる部分的な原稿を堤出するべきである。 プロトコルは将来的であるにもかかわらず、原稿と方法は過去時制で書かれるべきです。 他のすべての点で、オプションと要件は、結果ブラインドトラックの場合と同じです。 第1段階の原稿は、複製記事タイプを介して提出する必要があります。 提出には、(a)著者が複製記事オプションを介してステージ1原稿を提出していること、(b)ソース記事とジャーナルを含む複製の対象研究、および(c)原稿がデータ収集前に提出されていること、(d)著者がステージ2受け入れの時点で自由にアクセスできるリポジトリにすべてのデータ、コード、デジタル資料をアーカイブすることに同意すること、および(e)著者が提出後に自発的に提出を撤回した場合、撤回された登録の公開に同意することを示すカバーレターが添付されている必要があります。 原則として第1段階の受け入れ(第1段階の提出からの抄録と著者または編集者によって提供された撤回理由からなる撤回登録を伴う)。 カバーレターは結果が知られているかどうかを示すべきであるが、ステージ1の原稿自体は、著者が結果を知らないことを明示的に示すべきではないことに注意してください。 3.1に記載されているように、これは、レビューの最初のラウンドのレビュー担当者が結果と結果の存在の両方に盲目になっているためです。

ステージ1およびステージ2の提出物は、結果-ブラインドトラック(上記3.2-3.3を参照)と同じ一次および二次基準に従って評価されます。 IPAに続いて、著者はOSF atで承認された原稿を正式に事前登録する必要があります(RSOSでは複製完全に事前登録された記事タイプであることに注意)。 その後、研究が完了すると、承認されたステージ1原稿の内容に加え、結果と議論、および事前登録されたプロトコルへのURLを含むステージ2原稿を提出す4.2.

4.2. 最終段階2の論文は、複製として公開されます–完全に事前登録されています。

レプリケーションポリシーワークフロー

このワークフローは、表示用にダウンロードすることもできます。

査読者のためのガイドライン

複製は、ジャーナルの複製ポリシーの一部として提供される研究論文の新しい形式です。 この方針の下で、ジャーナルは、以前に王立協会オープンサイエンスまたは他のいくつかの主要な雑誌のいずれかに掲載されていた心理学や認知神経科学の分野での研究の密接な複製の試みを出版することにコミットしています。

ステージ1複製研究は、著者によって知られている(および一時的に編集された)結果を提出するか、データが収集される前に提出することができます。

査読プロセスは、最初はこれら二つのシナリオのどれが適用されるかを盲目にし、データが既に収集されているかどうかにかかわらず、すべてのステージ1 原稿は、結果が判明した後、ステージ2で再レビューされます。

ステージ1では、提出は以下の一次および二次基準に対して評価されます。 ほとんどの場合、公開の決定は一次基準の評価に基づいており、二次基準の評価は、最終的な複製の試みが編集上の注意事項と一緒に公開されるかどう しかし、複製された作品がRoyal Society Open Science以外の雑誌に掲載された場合、二次的な基準の重大な欠陥は拒絶につながる可能性があります。

  • ステージ1の主な基準#1: 著者らが、提案された実験手順と分析パイプラインを密接に複製し、実験手順または分析パイプラインの未公開の柔軟性を防ぐために、他の研究者のための方法の十分に明確かつ詳細な説明を提供するかどうか。

  • ステージ1主な基準#2:原稿が、元の研究方法と複製可能性の指標を提供するための理論的根拠の十分に有効な(すなわち、近い)と堅牢な(例えば、統計的に強力な)複製を記述しているかどうか。

  • li: 提案された仮説の論理、理論的根拠、および妥当性。

  • ステージ1二次基準#2:方法論と分析パイプラインの健全性。

  • ステージ1二次基準#3:得られた結果が記載された仮説をテストできることを保証するための十分な結果中立条件(例えば、床や天井の影響の欠如、正のコントロール、その他の品質チェック)を著者が考慮しているかどうか。

ステージ2では、原稿は元のステージ1レビュアーに戻され、以下の一次および二次基準に従ってコンテンツを評価します。 ここでも、出版の決定は一次基準に基づいており、二次基準の評価は編集上の注意事項が添付されているかどうかに影響を与えます。

  • ステージ2の主な基準#1:導入と方法が承認されたステージ1の提出と同じかどうか(必須)。

  • : 著者の結論がデータを与えられて正当化されるかどうか。

  • ステージ2二次基準#1:データが承認された結果中立的な基準(床や天井の影響の欠如、陽性対照またはその他の品質チェックの成功など)を通過するこ これらの条件を満たさないと原稿の拒否につながることはありませんが、著者が議論の中でそのような制限を明示的に認める必要があり、重篤な場合には付随する編集上の注意事項の出版につながる可能性があります。

トップに移動します。