科学的批判的評価とピアレビュー

概要

ピアレビューは科学論文を評価するための体系的なプロセスです。方法論、統計解析、設計、再現性、倫理、報告基準を評価します。このスキルを使用して、学際的な原著論文と助成金申請のレビューに適用し、建設的で厳密な評価を行います。

このスキルを使用すべき場合

このスキルは以下の場合に使用してください：

• 学術誌の科学論文のピアレビューを実施する
• 助成金提案と研究申請を評価する
• 方法論と実験設計の厳密性を評価する
• 統計解析と報告基準をレビューする
• 再現性とデータ利用可能性を評価する
• 報告ガイドライン（CONSORT、STROBE、PRISMA）への準拠状況をチェックする
• 科学的執筆に対する建設的なフィードバックを提供する

科学的図表を使用した視覚的強化

このスキルでドキュメントを作成する際には、視覚的コミュニケーションを強化するために、常に科学的図表と図式の追加を検討してください。

ドキュメントにすでに図表や図式が含まれていない場合：

• scientific-schematics スキルを使用して、AI生成の出版品質図表を作成する
• 希望する図表を自然言語で説明するだけで十分です
• Nano Banana Pro が自動的に図式を生成、レビュー、改善します

新規ドキュメント用： 科学的図表はデフォルトで生成され、テキストで説明されている主要概念、ワークフロー、アーキテクチャ、または関係を視覚的に表現する必要があります。

図表の生成方法：

python scripts/generate_schematic.py "your diagram description" -o figures/output.png

AI は自動的に：

• 適切なフォーマットを備えた出版品質の画像を作成します
• 複数の反復を通じてレビューと改善を行います
• アクセシビリティを確保します（色盲対応、高コントラスト）
• 出力をfigures/ディレクトリに保存します

図表を追加すべき場合：

• ピアレビューワークフロー図
• 評価基準の決定木
• レビュープロセスフローチャート
• 方法論的評価フレームワーク
• 品質評価ビジュアライゼーション
• 報告ガイドライン準拠図
• 視覚化により利益が得られる複雑な概念

図式の作成に関する詳細なガイダンスについては、scientific-schematics スキルのドキュメントを参照してください。

---

ピアレビュー・ワークフロー

以下のステージを通じて、原稿タイプと分野に応じて深さと焦点を調整しながら、体系的にピアレビューを実施します。

ステージ1：初期評価

原稿の範囲、新規性、全体的な品質を決定するために、高レベルの評価から開始します。

主要な質問：

• 中心となる研究質問または仮説は何か？
• 主な知見と結論は何か？
• 研究は科学的に健全かつ重要か？
• 意図された場所に適切な研究か？
• 出版を不可能にするような重大な欠陥はあるか？

出力： 原稿の本質と初期印象を捉えた簡潔なサマリー（2～3文）

ステージ2：詳細なセクション別レビュー

各原稿セクションを徹底的に評価し、特定の懸念事項と強みを記録します。

抄録とタイトル

• 正確性： 抄録は研究の内容と結論を正確に反映しているか？
• 明確性： タイトルは具体的で正確かつ有用か？
• 完全性： 主な知見と方法が適切に要約されているか？
• アクセシビリティ： 抄録は広い科学的聴衆に理解できるか？

序論

• 文脈： 背景情報は十分かつ最新か？
• 根拠： 研究質問は明確に動機付けられ正当化されているか？
• 新規性： 研究の独創性と重要性は明確に説明されているか？
• 文献： 関連する先行研究は適切に引用されているか？
• 目的： 研究目標/仮説は明確に述べられているか？

方法

• 再現性： 提供された記述から別の研究者が研究を複製できるか？
• 厳密性： 方法は研究質問に対処するために適切か？
• 詳細： プロトコル、試薬、機器、パラメータは十分に記述されているか？
• 倫理： 倫理的承認、同意、データ処理は適切に記録されているか？
• 統計： 統計的方法は適切で明確に説明され正当化されているか？
• 検証： 対照実験、反復実験、検証アプローチは適切か？

検証する重要な要素：

• サンプルサイズと検定力計算
• 無作為化とブラインド化の手順
• 包含/除外基準
• データ収集プロトコル
• 計算方法とソフトウェアバージョン
• 統計検定と多重比較の補正

結果

• 提示： 結果は論理的かつ明確に提示されているか？
• 図表： ビジュアライゼーションは適切で明確かつ適切にラベル付けされているか？
• 統計： 統計結果は適切に報告されているか（効果量、信頼区間、p値）？
• 客観性： 結果は過度な解釈なしに提示されているか？
• 完全性： ネガティブな結果を含むすべての関連結果が含まれているか？
• 再現性： 生データまたは要約統計量が提供されているか？

特定すべき一般的な問題：

• 結果の選別的報告
• 不適切な統計検定
• エラーバーまたは変動性の尺度の欠落
• 過剰適合または循環解析
• バッチ効果または交絡変数
• 対照実験または検証実験の欠落

考察

• 解釈： 結論はデータでサポートされているか？
• 制限： 研究の制限は認識され議論されているか？
• 文脈： 知見は既存の文献の中に適切に位置付けられているか？
• 推測： 推測はデータでサポートされた結論と区別されているか？
• 重要性： 含意と重要性は明確に説明されているか？
• 今後の方向： 次のステップまたは未解決の質問が議論されているか？

警告信号：

• 過度な結論
• 矛盾する証拠を無視
• 相関データからの因果関係の主張
• 制限の不十分な議論
• 機構証拠のない機構的主張

参考文献

• 完全性： 主要な関連論文は引用されているか？
• 最新性： 最近の重要な研究が含まれているか？
• バランス： 対立する見方は適切に引用されているか？
• 正確性： 引用は正確で適切か？
• 自己引用： 過度または不適切な自己引用があるか？

ステージ3：方法論的および統計的厳密性

特に一般的な落とし穴に注意を払いながら、研究の技術的品質と厳密性を評価します。

統計的評価：

• 統計的仮定は満たされているか（正規性、独立性、分散の均一性）？
• p値とともに効果量が報告されているか？
• 複数検定の補正は適切に適用されているか？
• 信頼区間は提供されているか？
• サンプルサイズは検定力解析で正当化されているか？
• パラメトリック対ノンパラメトリック検定は適切に選択されているか？
• 欠損データは適切に処理されているか？
• 探索的対確認的解析は区別されているか？

実験設計：

• 対照実験は適切かつ十分か？
• 反復は十分か（生物学的および技術的）？
• 潜在的な交絡因子が特定され管理されているか？
• 無作為化は適切に実装されているか？
• ブラインド化の手順は適切か？
• 実験設計は研究質問に最適か？

計算/バイオインフォマティクス：

• 計算方法は明確に説明され正当化されているか？
• ソフトウェアバージョンとパラメータは記録されているか？
• 再現性のためにコードが利用可能か？
• アルゴリズムと モデルは適切に検証されているか？
• 計算方法の仮定は満たされているか？
• バッチ補正は適切に適用されているか？

ステージ4：再現性と透明性

研究が再現性とオープンサイエンスの現代的基準を満たしているかどうかを評価します。

データ利用可能性：

• 生データは適切なリポジトリにデポジットされているか？
• パブリックデータベース用のアクセッション番号が提供されているか？
• データ共有の制限は正当化されているか（患者のプライバシーなど）？
• データフォーマットは標準的かつアクセス可能か？

コードと素材：

• 解析コードは利用可能か（GitHub、Zenodo等）？
• 独自の素材は利用可能または再作成に十分に説明されているか？
• プロトコルは十分な深さで詳細に記述されているか？

報告基準：

• 原稿は分野固有の報告ガイドライン（CONSORT、PRISMA、ARRIVE、MIAME、MINSEQE等）に従っているか？
• references/reporting_standards.md を参照して一般的なガイドラインを確認してください
• 適切なチェックリストのすべての要素に対処されているか？

ステージ5：図表とデータの提示

データビジュアライゼーションの品質、明確性、整合性を評価します。

品質チェック：

• 図は高解像度で明確にラベル付けされているか？
• 軸は単位とともに適切にラベル付けされているか？
• エラーバーは定義されているか（SD、SEM、CI）？
• 統計的有意性インジケータは説明されているか？
• カラースキームは適切かつアクセス可能か（色盲対応）？
• スケールバーは画像に含まれているか？
• データビジュアライゼーションはデータ型に適切か？

整合性チェック：

• 画像操作の兆候があるか（重複、スプライシング）？
• ウェスタンブロットとゲルは適切に提示されているか？
• 代表的な画像は本当に代表的か？
• すべての条件が表示されているか（選別的提示はないか）？

明確性：

• 図はその凡例だけで独立して理解できるか？
• 各図のメッセージは即座に明確か？
• 冗長な図またはパネルがあるか？
• データは図表よりも表として提示した方がよいか？

ステージ6：倫理的配慮

研究が倫理的基準とガイドラインを満たしているかどうかを検証します。

人間の対象者：

• IRB/倫理的承認は記録されているか？
• インフォームドコンセントは説明されているか？
• 脆弱な集団は適切に保護されているか？
• 患者のプライバシーは適切に保護されているか？
• 潜在的な利益相反が開示されているか？

動物実験：

• IACUC またはそれ同等の承認は記録されているか？
• 手順は人道的で正当化されているか？
• 3Rs（代替、削減、精緻化）は検討されているか？
• 安楽死の方法は適切か？

研究の完全性：

• データ改ざんまたは改変の懸念はあるか？
• 著者資格は適切かつ正当化されているか？
• 競争上の利益は開示されているか？
• 資金源は開示されているか？
• 盗用または重複出版の懸念はあるか？

ステージ7：執筆品質と明確性

原稿の明確性、構成、アクセシビリティを評価します。

構成と組織：

• 原稿は論理的に構成されているか？
• セクションは一貫性を持つか？
• 概念間の遷移は明確か？
• 物語は説得力があり明確か？

執筆品質：

• 言語は明確で正確かつ簡潔か？
• 専門用語と頭字語は最小化され定義されているか？
• 文法とスペルは正しいか？
• 文は不必要に複雑か？
• 受動態は過剰に使用されているか？

アクセシビリティ：

• 非専門家は主な知見を理解できるか？
• 技術用語は説明されているか？
• 重要性は広い聴衆に明確か？

ピアレビュー報告書の構成

問題を優先順位付けし、実行可能なガイダンスを提供する階層的な構造でフィードバックを整理します。

サマリー・ステートメント

簡潔な全体的評価（1～2段落）を提供します：

• 研究の簡潔な概要
• 全体的な推奨（受理、軽微な修正、大幅な修正、拒否）
• 主な強み（2～3点）
• 主な弱み（2～3点）
• 重要性と健全性の最終評価

主要なコメント

原稿の妥当性、解釈可能性、または重要性に大きな影響を与える重大な問題をリストアップします。簡単に参照できるよう順序付けします。

主要なコメントは通常以下を含みます：

• 基本的な方法論的欠陥
• 不適切な統計解析
• サポートされていない、または過度な結論
• 欠落している重要な対照実験または実験
• 深刻な再現性への懸念
• 文献カバレッジの主要なギャップ
• 倫理的懸念

各主要なコメント：

1. 問題を明確に述べる
2. 何が問題なのかを説明する
3. 特定の解決策または追加実験を提案する
4. それが出版に不可欠かどうかを示す

軽微なコメント

明確性、完全性、または提示を改善する、より重大でない問題をリストアップします。簡単に参照できるよう順序付けします。

軽微なコメントは通常以下を含みます：

• 不明確な図のラベルまたは凡例
• 欠落している方法論の詳細
• 誤字または文法上の誤り
• 改善されたデータ提示の提案
• 軽微な統計報告の問題
• 結論を強化する補助的な解析
• 明確化のリクエスト

各軽微なコメント：

1. 特定の場所を特定します（セクション、段落、図）
2. 問題を明確に述べる
3. それに対処する方法を提案する

詳細な行ごとのコメント（オプション）

詳細なフィードバックが必要な原稿については、セクション固有または行ごとのコメントを提供します：

• 特定のページ/行番号またはセクションを参照する
• 事実誤認、不明確な記述、または欠落している引用を記述する
• 明確性のための特定の編集を提案する

著者への質問

明確化が必要な特定の質問をリストアップします：

• 不明確な方法論の詳細
• 矛盾しているように見える結果
• 研究を評価するために必要な欠落情報
• 追加のデータまたは解析のリクエスト

トーンとアプローチ

レビュー全体を通じて、建設的で専門的かつ同僚的なトーンを維持します。

ベストプラクティス：

• 建設的である： 批判を改善の機会としてフレーム化する
• 具体的である： 具体的な例と実行可能な提案を提供する
• バランスしている： 強みだけでなく弱みも認める
• 尊重する： 著者が重大な努力を投資したことを思い出す
• 客観的である： 科学に焦点を当て、科学者ではない
• 徹底的である： 問題を見落とさないが、適切に優先順位を付ける
• 明確である： 曖昧または曖昧な批判を避ける

避けるべきこと：

• 人身攻撃または軽蔑的な言語
• 皮肉または上から目線
• 具体的な例のない曖昧な批判
• 範囲外の不必要な実験のリクエスト
• 個人的な好みとベストプラクティスの区別の要求
• レビューがダブルブラインドの場合、身元の開示

原稿タイプ別の特別な配慮

原著論文

• 厳密性、再現性、新規性を強調する
• 重要性と影響を評価する
• 結論がデータ駆動であることを検証する
• 完全な方法と適切な対照実験を確認する

レビューとメタ解析

• 文献カバレッジの包括性を評価する
• 検索戦略と包含/除外基準を評価する
• 体系的なアプローチとバイアスの欠落を検証する
• 批判的解析対単なる要約を確認する
• メタ解析については、統計的アプローチと異質性を評価する

方法論文

• 検証と既存の方法との比較を強調する
• 再現性とプロトコル/コードの利用可能性を評価する
• 既存のアプローチに対する改善を評価する
• 実装に十分な詳細さを確認する

短編レポート/レター

• 簡潔性の期待を適応させる
• 中心的な知見が依然として厳密で重要であることを確認する
• フォーマットが知見に適切であることを検証する

プレプリント

• これらが正式なピアレビューを受けていないことを認識する
• ジャーナル投稿より洗練されていない可能性があります
• 科学的妥当性について依然として厳密な基準を適用する
• ジャーナル投稿前に改善するために、著者に建設的なフィードバックを提供することを検討する

プレゼンテーションとスライドデッキ

⚠️ 重大警告：プレゼンテーション用の PDF は直接読み込まないでください。必ず最初に画像に変換してください。

科学的プレゼンテーション（PowerPoint、Beamer、スライドデッキ）をレビューする場合：

必須の画像ベースのレビューワークフロー

プレゼンテーション PDF を直接読み込もうとしないでください。 これはバッファオーバーフローエラーを引き起こし、視覚的フォーマットの問題を表示しません。

必須のプロセス：

1. Python を使用して PDF を画像に変換します：

   python skills/scientific-slides/scripts/pdf_to_images.py presentation.pdf review/slide --dpi 150
   # 作成: review/slide-001.jpg, review/slide-002.jpg, など
   

2. 各スライド画像ファイルを順序に読み込んで検査します
3. 特定のスライド番号で問題を記録します
4. ビジュアルフォーマットと内容に関するフィードバックを提供します

レビュー開始時に出力してください：

[HH:MM:SS] PEER REVIEW: Presentation detected - converting to images for review
[HH:MM:SS] PDF REVIEW: NEVER reading PDF directly - using image-based inspection

プレゼンテーション固有の評価基準

ビジュアルデザインと読みやすさ：

• テキストは十分に大きい（最小18pt、理想的にはボディテキストで24pt以上）
• テキストと背景の間に高コントラスト（最小4.5:1、推奨7:1）
• カラースキームはプロフェッショナルで色盲対応
• すべてのスライドでビジュアルデザインが一貫している
• ホワイトスペースは十分（密集していない）
• フォントは明確でプロフェッショナル

レイアウトとフォーマット（すべてのスライド画像をチェック）：

• テキストのオーバーフローやスライド端での切り詰めなし
• 要素の重複なし（テキストが画像上にない、図形が重ならない）
• タイトルの位置が一貫している
• コンテンツが適切にアライン されている
• 箇条書きとテキストが切り取られていない
• 図がスライド境界内に収まっている
• キャプションとラベルが見え、読める

コンテンツ品質：

• 1スライド1つの主要アイデア（オーバーロードされていない）
• 最小限のテキスト（1スライドあたり最大3～6個の箇条書き）
• �条書きは簡潔（1つ5～7単語）
• 図は単純で明確（論文からのコピーペーストではない）
• データビジュアライゼーションは大きく読みやすいラベル付け
• 引用が存在し適切にフォーマットされている
• 結果/データスライドが優位（コンテンツの40～50%）

構造とフロー：

• 明確な物語構造（序論→方法→結果→考察）
• スライド間の論理的な進行
• スライド数がトーク期間に適切（約1分あたり1スライド）
• タイトルスライドに著者、所属、日付を含む
• 序論が関連する背景文献を引用（3～5論文）
• 考察が比較論文を引用（3～5論文）
• 結論スライドが主要な知見を要約
• 最後に謝辞/資金スライド

科学的コンテンツ：

• 研究質問が明確に述べられている
• 方法が適切に要約されている（過度な詳細ではない）
• 結果が論理的に明確なビジュアライゼーションで提示されている
• 統計的有意性は適切に示されている
• 結論は表示されたデータでサポートされている
• 制限は適切に認識されている
• 今後の方向またはより広い影響が議論されている

チェックすべき一般的なプレゼンテーションの問題：

重大な問題（必ず修正）：

• テキストのオーバーフロー（内容が読めない）
• フォントサイズが小さすぎる（<18pt）
• 要素の重複（データが隠されている）
• コントラスト不足（テキストが読みにくい）
• 図が複雑または判読不可
• 引用なし（完全にサポートされていないクレーム）
• スライド数がトーク期間と大幅に不一致

主要な問題（修正すべき）：

• スライド間でデザインが一貫していない
• テキストが多すぎる（テキストの壁、箇条書きではない）
• 図が不十分に単純化（軸ラベルが小さい）
• レイアウトが密集でホワイトスペースが不十分
• 主要な構造要素が欠落（結論スライドがない）
• 色選択が不良（色盲対応ではない）
• 結果コンテンツが最小限（スライドの30%未満）

軽微な問題（改善の提案）：

• より多くのビジュアル/図表の利用
• いくつかのスライドにやや多いテキスト
• わずかなアライメント不一致
• より多くのホワイトスペースの利用が可能
• 追加の引用がクレームを強化する
• カラースキームはより最新の可能性がある

プレゼンテーション用レビュー報告書の形式

サマリー・ステートメント：

• プレゼンテーション品質の全体的な印象
• ターゲット聴衆と期間への適切性
• 主な強み（ビジュアルデザイン、コンテンツ、明確性）
• 主な弱み（フォーマットの問題、コンテンツギャップ）
• 推奨（プレゼンテーションの準備完了、軽微な修正、大幅な修正）

レイアウトとフォーマットの問題（スライド番号別）：

Slide 3: Text overflow - bullet point 4 extends beyond right margin
Slide 7: Element overlap - figure overlaps with caption text
Slide 12: Font size - axis labels too small to read from distance
Slide 18: Alignment - title not centered

コンテンツと構造フィードバック：

• 背景文脈と引用の適切性
• 研究質問と目的の明確性
• 方法要約の品質
• 結果プレゼンテーションの効果
• 結論と含意の強さ

デザインとアクセシビリティ：

• 全体的なビジュアルアピールと専門性
• カラーコントラストと読みやすさ
• 色盲アクセシビリティ
• スライド間の一貫性

タイミングとスコープ：

• スライド数が意図された期間に一致しているか
• トークのタイプに対する詳細レベルが適切
• セクション間のバランス

画像ベースのレビュープロセスの例

[14:30:00] PEER REVIEW: Starting review of presentation
[14:30:05] PEER REVIEW: Presentation detected - converting to images
[14:30:10] PDF REVIEW: Running pdf_to_images.py on presentation.pdf
[14:30:15] PDF REVIEW: Converted 25 slides to images in review/ directory
[14:30:20] PDF REVIEW: Inspecting slide 1/25 - title slide
[14:30:25] PDF REVIEW: Inspecting slide 2/25 - introduction
...
[14:35:40] PDF REVIEW: Inspecting slide 25/25 - acknowledgments
[14:35:45] PDF REVIEW: Completed image-based review
[14:35:50] PEER REVIEW: Found 8 layout issues, 3 content issues
[14:35:55] PEER REVIEW: Generating structured feedback by slide number

重要： プレゼンテーションの場合、画像を使用した視覚的検査は必須です。プレゼンテーション PDF をテキストとして読み込もうとしないでください。失敗し、すべてのビジュアルフォーマットの問題を見落とします。

リソース

このスキルには、包括的なピアレビューをサポートするリファレンス資料が含まれています：

references/reporting_standards.md

分野全体の主要な報告基準（CONSORT、PRISMA、ARRIVE、MIAME、STROBE等）のガイドライン。方法と結果報告の完全性を評価します。

references/common_issues.md

ピアレビューで頻繁に遭遇する方法論的および統計的問題のカタログ。それらの識別と対処に関するガイダンスが含まれています。

最終チェックリスト

レビューを最終化する前に、以下を確認してください：

• サマリー・ステートメントが全体的な評価を明確に伝えている
• 主な懸念が明確に特定され正当化されている
• 提案されている修正は具体的で実行可能
• 軽微な問題が記述されているが、適切に分類されている
• 統計的方法が評価されている
• 再現性とデータ利用可能性が評価されている
• 倫理的配慮が検証されている
• 図表が品質と整合性について評価されている
• 執筆品質が評価されている
• トーンは全体を通じて建設的でプロフェッショナル
• レビューは徹底的だが原稿の範囲に相応
• 推奨が特定された問題と一貫している