科学的批判的思考

概要

批判的思考は、科学的厳密性を評価するための体系的なプロセスです。GRADE および Cochrane ROB フレームワークを使用して、方法論、実験設計、統計的妥当性、バイアス、交絡、および証拠品質を評価します。科学的主張の批判的分析にこのスキルを適用します。

このスキルを使用する場合

このスキルは以下の場合に使用すべきです:

• 研究方法論と実験設計を評価する
• 統計的妥当性と証拠品質を評価する
• 研究におけるバイアスと交絡を特定する
• 科学的主張と結論をレビューする
• システマティックレビューまたはメタアナリシスを実施する
• GRADE または Cochrane リスク・オブ・バイアス評価を適用する
• 研究論文の批判的分析を提供する

科学図表による視覚的向上

このスキルでドキュメントを作成する際は、常に科学図表やスキーマティックスを追加して視覚的コミュニケーションを強化することを検討してください。

ドキュメントにスキーマティックスまたは図がまだ含まれていない場合:

• scientific-schematics スキルを使用して AI 駆動の出版品質図を生成する
• 希望する図を自然言語で説明するだけ
• Nano Banana Pro が自動的にスキーマティックスを生成、レビュー、改善します

新規ドキュメント用: 科学図表はテキストに記載されている主要概念、ワークフロー、アーキテクチャ、または関係を視覚的に表すため、デフォルトで生成すべきです。

スキーマティックスを生成する方法:

python scripts/generate_schematic.py "your diagram description" -o figures/output.png

AI は自動的に:

• 適切なフォーマットで出版品質の画像を作成する
• 複数の反復を通じてレビューと改善を行う
• アクセシビリティを確保する (色覚異常対応、高コントラスト)
• 出力を figures/ ディレクトリに保存する

スキーマティックスを追加する場合:

• 批判的思考フレームワーク図
• バイアス特定の意思決定木
• 証拠品質評価フローチャート
• GRADE 評価方法論図
• リスク・オブ・バイアス評価フレームワーク
• 妥当性評価の視覚化
• 視覚化から利益を得られる複雑な概念

スキーマティックス作成の詳細ガイダンスについては、scientific-schematics スキルドキュメントを参照してください。

---

コア機能

1. 方法論批評

研究方法論の厳密性、妥当性、および潜在的な欠陥を評価します。

以下の場合に適用:

• 研究論文をレビューする
• 実験設計を評価する
• 研究プロトコルを評価する
• 新しい研究を計画する

評価フレームワーク:

1. 研究設計評価

   • 設計は研究問題に適切か?
   • 設計は主張している因果関係を支持できるか?
   • 比較グループは適切で十分か?
   • 実験的、準実験的、観察的設計が正当化されるかを検討する

2. 妥当性分析

   • 内的妥当性: 因果推論は信頼できるか?
     • ランダム化品質を確認する
     • 交絡制御を評価する
     • 選択バイアスを評価する
     • 脱落/中止パターンをレビューする
   • 外的妥当性: 結果は一般化できるか?
     • サンプル代表性を評価する
     • 設定の生態学的妥当性を検討する
     • 条件がターゲット応用と一致するかを評価する
   • 構成概念妥当性: 測定は意図した構成概念を捉えているか?
     • 測定検証をレビューする
     • 操作的定義をチェックする
     • 測定が直接的か代理的かを評価する
   • 統計結論妥当性: 統計推論は正当か?
     • 十分なパワー/サンプルサイズを確認する
     • 仮定遵守をチェックする
     • テスト適切性を評価する

3. 対照とブラインド化

   • ランダム化は適切に実装されたか (系統的生成、割り当て隠蔽)?
   • ブラインド化は実行可能で実装されたか (参加者、提供者、評価者)?
   • 対照条件は適切か (プラセボ、アクティブ対照、治療なし)?
   • パフォーマンスまたは検出バイアスが結果に影響する可能性があるか?

4. 測定品質

   • 測定器は検証済みで信頼性があるか?
   • 測定は可能な限り客観的か、または主観的だが制限が認められているか?
   • 結果評価は標準化されているか?
   • 複数の測定を使用して発見を三角測量しているか?

参照: references/scientific_method.md で詳細な原則、および references/experimental_design.md で包括的な設計チェックリストを参照してください。

2. バイアス検出

発見を歪める可能性のあるバイアスの潜在的な源を特定して評価します。

以下の場合に適用:

• 発表された研究をレビューする
• 新しい研究を設計する
• 矛盾する証拠を解釈する
• 研究品質を評価する

体系的なバイアスレビュー:

1. 認知バイアス (研究者)

   • 確認バイアス: 支持する発見のみが強調されているか?
   • HARKing: 仮説は事前に述べられたか、結果を見た後に形成されたか?
   • 公開バイアス: 文献から否定的な結果が欠けているか?
   • チェリーピッキング: 証拠が選別的に報告されているか?
   • 事前登録と分析計画の透明性を確認する

2. 選択バイアス

   • サンプリングバイアス: サンプルはターゲット母集団の代表か?
   • ボランティアバイアス: 参加者は体系的な方法で自己選別しているか?
   • 脱落バイアス: グループ間で脱落に差があるか?
   • 生存者バイアス: サンプルに「生存者」のみが見えるか?
   • 参加者フロー図を検証し、ベースライン特性を比較する

3. 測定バイアス

   • 観察者バイアス: 期待が観察に影響を与える可能性があるか?
   • 想起バイアス: 遡及的報告は体系的に不正確か?
   • 社会的望ましさ: 反応は受け入れ可能性に偏っているか?
   • 測定器バイアス: 測定ツールは体系的に誤るか?
   • ブラインド化、検証、および測定客観性を評価する

4. 分析バイアス

   • P値ハッキング: 有意性が出現するまで複数の分析が実施されたか?
   • 結果転換: 有意でない結果が有意な結果に置き換えられたか?
   • 選別的報告: 計画されたすべての分析が報告されたか?
   • 部分群フィッシング: 修正せずに部分群分析が実施されたか?
   • 研究登録をチェックし、発表結果と比較する

5. 交絡

   • どの変数がリスク要因と結果の両方に影響する可能性があるか?
   • 交絡因子は測定されて制御されたか (統計的にまたは設計的に)?
   • 測定されていない交絡が発見を説明する可能性があるか?
   • もっともらしい代替説明がないか?

参照: references/common_biases.md で検出および軽減戦略を備えた包括的なバイアス分類法を参照してください。

3. 統計分析評価

統計的方法、解釈、および報告を批判的に評価します。

以下の場合に適用:

• 定量研究をレビューする
• データ駆動型の主張を評価する
• 臨床試験結果を評価する
• メタアナリシスをレビューする

統計レビューチェックリスト:

1. サンプルサイズとパワー

   • 事前パワー分析は実施されたか?
   • サンプルは意味のある効果を検出するのに十分か?
   • 研究の検力が不足しているか (一般的な問題)?
   • 小さなサンプルからの有意な結果は膨張した効果サイズについて警告を発するか?

2. 統計検定

   • 検定はデータタイプと分布に適切か?
   • 検定仮定をチェックして満たしたか?
   • パラメトリック検定は正当化されるか、またはノンパラメトリック代替案を使用すべきか?
   • 分析は研究設計に合致しているか (例: 対応のあるもの対独立)?

3. 多重比較

   • 複数の仮説がテストされたか?
   • 修正が適用されたか (Bonferroni, FDR, その他)?
   • 主要結果は二次/探索的結果と区別されているか?
   • 発見は多重検定からの偽陽性である可能性があるか?

4. P値解釈

   • P値は正しく解釈されているか (帰無仮説が真である場合のデータの確率)?
   • 有意でないことは誤って「効果なし」と解釈されているか?
   • 統計的有意性は実践的重要性と混同されているか?
   • 正確なP値が報告されるか、それとも「p < .05」のみか?
   • .05 直下に疑わしいクラスタリングがあるか?

5. 効果サイズと信頼区間

   • 有意性とともに効果サイズは報告されているか?
   • 精度を示す信頼区間が提供されているか?
   • 効果サイズは実践的な観点から意味があるか?
   • 標準化された効果サイズは分野固有の文脈で解釈されているか?

6. 欠損データ

   • どの程度のデータが欠損しているか?
   • 欠損データのメカニズムが検討されているか (MCAR, MAR, MNAR)?
   • 欠損データはどのように処理されるか (削除、補完、最大尤度)?
   • 欠損データは結果にバイアスを与える可能性があるか?

7. 回帰とモデリング

   • モデルは過剰適合しているか (予測変数が多すぎる、クロスバリデーションなし)?
   • 予測はデータ範囲外で行われているか (外挿)?
   • 多重共線性の問題は対処されているか?
   • モデル仮定はチェックされているか?

8. 一般的な落とし穴

   • 相関を因果関係として扱う
   • 平均への回帰を無視する
   • 基本比率無視
   • テキサス・シャープシューター・フォールシー (ノイズのパターン探索)
   • シンプソンのパラドックス (部分群による交絡)

参照: references/statistical_pitfalls.md で詳細な落とし穴と正しい実践を参照してください。

4. 証拠品質評価

証拠の強度と品質を体系的に評価します。

以下の場合に適用:

• 決定のための証拠を比較衡量する
• 文献レビューを実施する
• 矛盾する発見を比較する
• 結論への信頼を決定する

証拠評価フレームワーク:

1. 研究設計階層

   • システマティックレビュー/メタアナリシス (介入効果に対して最高)
   • ランダム化対照試験
   • コホート研究
   • ケースコントロール研究
   • 横断研究
   • ケースシリーズ/報告
   • 専門家意見 (最低)

   重要: より高度な設計が常にいい品質とは限りません。よく設計された観察研究は、不十分に実施された RCT より強力です。

2. 設計タイプ内の品質

   • リスク・オブ・バイアス評価 (適切なツール使用: Cochrane ROB, Newcastle-Ottawa など)
   • 方法論的厳密性
   • 透明性とレポーティング完全性
   • 利益相反

3. GRADE 考慮事項 (該当する場合)

   • 設計タイプから開始 (RCT = 高, 観察 = 低)
   • 以下の場合はダウングレード:
     • バイアスのリスク
     • 研究間の不一貫性
     • 間接性 (誤った母集団/介入/結果)
     • 不正確さ (幅広い信頼区間、小さなサンプル)
     • 出版バイアス
   • 以下の場合はアップグレード:
     • 大きな効果サイズ
     • 用量反応関係
     • 交絡因子は効果を低下させる (増加させない)

4. 証拠の収束

   • より強い場合:
     • 複数の独立した再現
     • 異なる研究グループと設定
     • 異なる方法論が同じ結論に収束
     • メカニズム的および経験的証拠が整合
   • より弱い場合:
     • 単一の研究または研究グループ
     • 文献での矛盾する発見
     • 出版バイアスが明白
     • 再現試行がない

5. 文脈要因

   • 生物学的/理論的尤度
   • 確立された知識との一貫性
   • 時間的順序 (原因が結果に先行)
   • 関係の特異性
   • 関連の強度

参照: references/evidence_hierarchy.md で詳細な階層、GRADE システム、および品質評価ツールを参照してください。

5. 論理的誤謬の特定

科学的な議論と主張における論理的エラーを検出して名付けます。

以下の場合に適用:

• 科学的主張を評価する
• 考察/結論セクションをレビューする
• ポップサイエンス・コミュニケーションを評価する
• 欠陥のある推論を特定する

科学における一般的な誤謬:

1. 因果関係の誤謬

   • ポスト・ホック・エルゴ・プロプター・ホック: 「B は A の後に続いた、したがって A は B を引き起こした」
   • 相関 = 因果関係: 関連を因果関係と混同する
   • 逆因果: 原因を結果と誤認する
   • 単一原因の誤謬: 複雑な結果を1つの要因に帰属させる

2. 一般化の誤謬

   • 急いての一般化: 小さなサンプルから広く結論を引き出す
   • 逸話的誤謬: 個人の話を証拠として使用する
   • チェリーピッキング: 支持する証拠のみを選択する
   • 生態学的誤謬: グループパターンを個人に適用する

3. 権威とソースの誤謬

   • 権威への訴え: 「専門家がそう言った、だから本当だ」 (証拠なし)
   • 人身攻撃: 論拠を攻撃するのではなく人を攻撃する
   • 遺伝的誤謬: 出所で判断する、メリットではなく
   • 自然への訴え: 「自然 = 良い/安全」

4. 統計的誤謬

   • 基本比率無視: 事前確率を無視する
   • テキサス・シャープシューター: ランダムデータのパターン探索
   • 多重比較: 複数のテストに修正を加えない
   • 検察官の誤謬: P(E|H) を P(H|E) と混同する

5. 構造的誤謬

   • 偽りの二者択一: 「A または B」 (他の選択肢が存在する場合)
   • ゴールポストの移動: 達成後に証拠基準を変更する
   • 循環論法: 循環論法
   • 藁人形: 論拠を攻撃するために誤表示する

6. 科学特有の誤謬

   • ガリレオ・ギャンビット: 「彼らはガリレオを笑った、だから私の傍流的な考えは正しい」
   • 無知からの議論: 「偽と証明されていない、だから本当」
   • ニルヴァーナの誤謬: 不完全な解決策を拒否する
   • 偽証性: テストできない主張をする

誤謬を特定する場合:

• 特定の誤謬を名付ける
• 推論が欠陥があるのかを説明する
• 有効な推論に必要なものを特定する
• 欠陥のある推論は結論が偽であることを証明しない—この議論がそれを支持しないというだけ

参照: references/logical_fallacies.md で例と検出戦略を備えた包括的な誤謬カタログを参照してください。

6. 研究設計ガイダンス

厳密な研究計画のための建設的なガイダンスを提供します。

以下の場合に適用:

• 新しい実験を設計するのを支援する
• 研究プロジェクトを計画する
• 研究提案をレビューする
• 研究プロトコルを改善する

設計プロセス:

1. 研究問題の改善

   • 問題が具体的で回答可能かつ検証可能であることを確認する
   • 文献の間隙または矛盾に対処することを確認する
   • 実行可能性 (リソース、倫理、時間) を確認する
   • 変数を操作的に定義する

2. 設計選択

   • 設計を問題に合致させる (因果 → 実験; 関連 → 観察)
   • 実行可能性と倫理的制約を検討する
   • 被験者内、被験者間、または混合設計を選択する
   • 複数の要因をテストする場合は要因計画を計画する

3. バイアス最小化戦略

   • 可能な場合はランダム化を実装する
   • すべての実行可能なレベルでブラインド化を計画する (参加者、提供者、評価者)
   • 交絡因子を特定して制御を計画する (ランダム化、マッチング、階層化、統計的調整)
   • すべての手順を標準化する
   • 脱落を最小化するための計画

4. サンプル計画

   • 事前パワー分析を実施 (期待される効果、望ましいパワー、アルファを指定)
   • サンプルサイズ計算で脱落を考慮する
   • 明確な包含/除外基準を定義する
   • リクルートメント戦略と実行可能性を検討する
   • サンプル代表性を計画する

5. 測定戦略

   • 検証済みで信頼性のある測定器を選択する
   • 可能な限り客観的な測定を使用する
   • 主要な構成概念の複数の測定を計画する (三角測量)
   • 測定が期待される変化に敏感であることを確認する
   • 評価者間信頼性手順を確立する

6. 分析計画

   • すべての仮説と分析を事前指定する
   • 主要アウトカムを明確に指定する
   • 仮定チェック付き統計検定を計画する
   • 欠損データがどのように処理されるかを指定する
   • 効果サイズと信頼区間をレポートすることを計画する
   • 複数比較修正を検討する

7. 透明性と厳密性

   • 研究と分析計画を事前登録する
   • レポーティングガイドラインを使用 (CONSORT, STROBE, PRISMA)
   • すべてのアウトカムをレポートすることを計画する (有意なもののみではなく)
   • 確認的分析と探索的分析を区別する
   • データ/コード共有にコミットする

参照: references/experimental_design.md で問題から普及まですべての段階をカバーする包括的な設計チェックリストを参照してください。

7. 主張評価

科学的主張の妥当性と支持を体系的に評価します。

以下の場合に適用:

• 論文の結論を評価する
• 研究のメディア報道を評価する
• 要約または序論の主張をチェックする
• データが結論を支持するかどうかを確認する

主張評価プロセス:

1. 主張の特定

   • 正確には何が主張されているか?
   • これは因果関係、関連関係、または記述的主張か?
   • 主張はどの程度強いか (証明、可能性が高い、示唆されている、可能)?

2. 証拠の評価

   • どのような証拠が提供されているか?
   • 証拠は直接的か間接的か?
   • 証拠は主張の強さに十分か?
   • 代替説明は除外されているか?

3. 論理的接続のチェック

   • 結論はデータから従うか?
   • 論理的飛躍があるか?
   • 相関データは因果関係を支持するために使用されているか?
   • 制限は認識されているか?

4. 相称性の評価

   • 信頼度は証拠強度に相応しているか?
   • ヘッジ言葉は適切に使用されているか?
   • 制限は軽視されているか?
   • 推測は明確にラベル付けされているか?

5. 過度な一般化のチェック

   • 主張は研究されたサンプルを超えて拡張しているか?
   • 母集団制限は認識されているか?
   • 文脈依存性は認識されているか?
   • 一般化に関する注意は含まれているか?

6. 危険信号

   • 相関研究からの因果用語
   • 「証明」または絶対的確実性
   • チェリーピック引用
   • 矛盾する証拠を無視する
   • 制限を却下する
   • データを超えた外挿

具体的なフィードバックを提供:

• 問題のある主張を引用する
• それを支持するために必要な証拠を説明する
• 必要に応じて適切なヘッジ言語を提案する
• データ (何が見つかったか) と解釈 (それが何を意味するか) を区別する

適用ガイドライン

一般的なアプローチ

1. 建設的であること

   • 弱点だけでなく強みも特定する
   • 批評するだけでなく、改善を提案する
   • 致命的な欠陥と軽微な制限を区別する
   • すべての研究に制限があることを認識する

2. 具体的であること

   • 特定のインスタンスを指す (例: 「表2は...を示している」または「方法セクションで...")
   • 問題のある陳述を引用する
   • 問題の具体例を提供する
   • 違反された特定の原則または基準を参照する

3. 相応しく批判すること

   • 批評の厳しさを問題の重要性に合わせる
   • 主要な妥当性への脅威と軽微な懸念を区別する
   • 問題が主な結論に影響するかどうかを検討する
   • あなた自身の評価における不確実性を認識する

4. 一貫した基準を適用すること

   • すべての研究全体で同じ基準を使用する
   • 不快な発見に対してより厳しい基準を適用しない
   • あなた自身の潜在的なバイアスを認識する
   • 結果ではなく方法論に基づいて判断を下す

5. 文脈を検討すること

   • 実用的および倫理的制約を認識する
   • 分野固有の規範を効果サイズおよび方法に対して検討する
   • 探索的対確認的文脈を認識する
   • リソース制限を評価する際に説明する

フィードバック提供時

フィードバックを以下のように構成:

1. 要約: 評価されたことの簡単な概要
2. 強み: 何がよく行われたか (信頼性と学習に重要)
3. 懸念: 重要度別に整理された問題
   • 重要な問題 (主な結論の妥当性を脅かす)
   • 重要な問題 (解釈に影響するが致命的ではない)
   • 軽微な問題 (注意の価値があるが結論を変えない)
4. 具体的な推奨: 改善のための実行可能な提案
5. 総合的評価: 証拠品質と結論できることについてのバランスの取れた結論

正確な用語を使用:

• 特定のバイアス、誤謬、方法論的問題を名付ける
• 確立された基準とガイドラインを参照する
• 科学方法論からの原則を引用する
• 技術用語を正確に使用する

不確実な場合

• 不確実性を認識: 「これは X または Y である可能性があります; 必要な追加情報は Z です」
• 明確化する質問をする: 「[方法論的詳細]は実施されたか? これは解釈に影響します。」
• 条件付き評価を提供: 「X が実施された場合、Y は続きます; そうでない場合、Z は懸念です」
• 不確実性を解決するために必要な追加情報を指摘する

参考資料

このスキルには、批判的評価のための詳細なフレームワークを提供する包括的な参考資料が含まれています:

• references/scientific_method.md - 科学的方法論の基本原則、科学プロセス、批判的評価基準、科学的主張における危険信号、因果推論基準、ピアレビュー、およびオープンサイエンス原則

• references/common_biases.md - 検出および軽減戦略を備えた認知的、実験的、方法論的、統計的、および分析バイアスの包括的な分類法

• references/statistical_pitfalls.md - P値の誤解、複数比較問題、サンプルサイズの問題、効果サイズの誤り、相関/因果関係の混同、回帰の落とし穴、およびメタアナリシス問題を含む一般的な統計的エラーと誤釈

• references/evidence_hierarchy.md - 伝統的な証拠階層、GRADE システム、研究品質評価基準、領域固有の考慮事項、証拠合成原則、および実用的な決定枠組み

• references/logical_fallacies.md - タイプ別に整理された科学的言説における一般的な論理的誤謬 (因果関係、一般化、権威、関連性、構造、統計) と例および検出戦略

• references/experimental_design.md - 研究問題、仮説、研究設計選択、変数、サンプリング、ブラインド化、ランダム化、対照グループ、手順、測定、バイアス最小化、データ管理、統計計画、倫理的考慮、妥当性の脅威、およびレポーティング基準をカバーする包括的な実験設計チェックリスト

参考資料をいつ参照するか:

• 詳細なフレームワークが必要な場合はコンテキストに参考資料をロードする
• grep を使用して特定のトピックについて参考資料を検索: grep -r "pattern" references/
• 参考資料は深さを提供し、SKILL.md は手順的なガイダンスを提供する
• 包括的なリスト、詳細な基準、および特定の例については参考資料を参照する

覚えておくこと

科学的批判的思考は以下に関するものです:

• 確立された原則を使用した体系的な評価
• 科学を改善する建設的な批評
• 証拠強度に相応した相称的な信頼
• 不確実性と制限について透明性
• 基準の一貫した適用
• すべての研究に制限があることの認識
• 懐疑心と証拠への開放性のバランス

常に以下を区別:

• データ (観察されたもの) と解釈 (それが何を意味するか)
• 相関と因果関係
• 統計的有意性と実践的重要性
• 探索的および確認的発見
• 既知のものと不確実なもの
• 主張に対する証拠と帰無仮説に対する証拠

批判的思考の目標:

1. 強みと弱みを正確に特定する
2. どの結論が支持されているかを決定する
3. 制限と不確実性を認識する
4. 将来の研究の改善を提案する
5. 科学的理解を進める