ファクトチェック・スキル

生成されたコンテンツ内の主張を体系的に検証する。幻覚、つじつま合わせ、裏付けのない主張を捉えるために設計されている。

別々のパスが重要な理由

根本的な問題： LLMは次に何が来るべきかを予測することで、もっともらしく聞こえるコンテンツを生成する。このメカニズムが幻覚を生み出す。つまり、本当のように感じるが実際には真実でない自信に満ちた陳述である。生成モード中のLLMは自分自身の幻覚を確実に捉えることができない理由は以下の通り：

1. 注意は生成に向かっている。検証ではなく
2. 一貫性の圧力が偽りの主張を文脈内で正しく感じさせる
3. 同じウェイトがエラーを生み出し、それを確認する
4. 外部の根拠がないつじつま合わせに矛盾する

解決策： 検証は以下を備えた別の認知パスである必要がある：

• 各主張にのみ焦点を当てた新鮮な注意
• 明示的なソース確認（メモリ/トレーニングデータではなく）
• コンテンツに対する批判的な姿勢
• 可能な限り外部の根拠

診断状態

F1：検証パスなし

症状： コンテンツが生成されて配信されるが、ファクトチェックは一切行われていない。 リスク： 幻覚が検出されないまま通過する。 対策： 配信前に検証パスを実行する。主張を抽出し、各主張をソースと照らし合わせる。

F2：自己検証（無効）

症状： 生成中に「事実を確認してください」と尋ねられるのと同じパス。 リスク： 偽の自信—エラーは同じプロセスで確認される。それらが生成された。 対策： まず生成を完了してから、明示的なソース要件を備えた別の検証パスを実行する。

F3：メモリベースの検証（信頼できない）

症状： 外部ソースなしで「私が知っていること」に対して主張がチェックされる。 リスク： 幻覚が幻覚のような知識で検証される。 対策： 各検証主張に明示的なソース引用を要求する。ソースが利用可能でない場合は、未検証とマークする。

F4：選択的検証

症状： 一部の主張のみがチェックされ、その他は正しいと想定される。 リスク： チェックされていない主張にエラーが含まれている可能性がある。 対策： すべての検証可能な主張の体系的な抽出。各主張をチェックするか、明示的にチェック対象外の項目をマークする。

F5：検証完了

症状： すべての主張が抽出され、各主張がソースに対してチェックされ、信頼レベルが割り当てられている。 指標： ソース引用が存在し、未検証の主張がマークされ、信頼が明確である。

検証プロセス

フェーズ 1：主張の抽出

コンテンツから検証可能なあらゆるステートメントを抽出する。

抽出する主張の種類：

• 事実主張（「XはYである」、「XはYを引き起こす」）
• 統計と数字（「...の40%」、「2023年に...」）
• 帰属（「Xによれば...」、「研究によると...」）
• 定義（「Xは...を意味する」、「Xは...として定義されている」）
• 歴史的主張（「Xは...に起こった」、「Xは...によって設立された」）
• 因果関係の主張（「Xは Yにつながる」、「Xはyを防ぐ」）
• 比較主張（「XはYより優れている」、「Xが最大...」）

スキップするもの：

• そのように明確にマークされた意見
• 仮説と推測（ラベル付きの場合）
• 述べられた前提からの論理的演繹
• 直接引用（内容ではなく帰属を検証）

フェーズ 2：主張の分類

検証可能性別に各主張を分類する：

カテゴリー	説明	検証戦略
Verifiable-Hard	数字、日付、名前、引用	ソースと完全に一致する必要がある
Verifiable-Soft	一般的な事実、プロセス、メカニズム	ソースが主張を実質的に支持すべき
Attribution	「Xが言った...」、「...によると」	ソースが存在し、何か同様のことを述べているか検証
Inference	証拠から引き出された結論	前提を検証し、推論を評価
Opinion-as-Fact	主観的主張が客観的として述べられている	言い換えまたは修飾のためにフラグを立てる

フェーズ 3：ソース検証

各主張について、検証を試みる：

## 主張検証ログ

### 主張 1：「[正確な主張テキスト]」
- **カテゴリー：** [Verifiable-Hard/Soft/Attribution/Inference]
- **チェックされたソース：** [具体的なソース]
- **検出結果：** [確認済み/部分的に支持/見つからず/矛盾]
- **信頼度：** [高/中/低]
- **注記：** [相違点、必要な修飾]

### 主張 2：...

検証結果：

結果	意味	対応
Confirmed	ソースが主張を明示的に支持	キープ、ソース引用
Partially supported	ソースが一部を支持するが、すべてではない	主張を限定または修飾
Not found	ソースが見つからない	未検証とマーク、削除を検討
Contradicted	ソースが反対のことを述べている	削除または修正
Outdated	ソースが古い；現在の状態は異なる可能性がある	更新または最近性の警告を追加

フェーズ 4：信頼度の割り当て

コンテンツ全体に信頼度を割り当てる：

レベル	基準
High	主要な主張はすべて検証済み；矛盾なし
Medium	ほとんどの主張は検証済み；未検証だが妥当な部分もある
Low	重要な主張の一部が未検証；修正が必要なもののがある
Unreliable	複数の矛盾が見つかった；大きな改訂が必要

幻覚パターン

注視すべき一般的な幻覚の種類：

1. もっともらしい捏造

パターン： 正しく聞こえるが存在しない具体的な詳細。 例： 偽の論文引用、実在しない統計、創作された引用。 検出： 具体的な主張をプライマリソースに対して検証。

2. 自信に満ちた外挿

パターン： 確立された事実として述べられた妥当な推測。 例： 「研究によると...」（具体的な研究なし）、「専門家は同意している...」（引用なし）。 検出： 外部支援の主張に対して具体的なソースを要求。

3. 時間的混乱

パターン： 異なる時期の情報を混ぜる。 例： 古い統計が現在のものとして提示される、廃止された組織がアクティブと説明される。 検出： ソースの日付を確認し、現在の状態を検証。

4. 帰属のドリフト

パターン： 正しい情報が間違ったソースに帰属される。 例： 間違った人に割り当てられた引用、間違った研究に帰属された発見。 検出： コンテンツではなく、帰属を具体的に検証。

5. 統合

パターン： 複数のソースからの詳細を1つの架空のソースに結合。 例： 別の論文からの実際の発見を組み合わせた発明された研究。 検出： 具体的なソースが存在し、帰属されたすべての主張が含まれているか検証。

6. 精密性インフレーション

パターン： 曖昧な知識に偽の精密性を追加。 例： 「約47.3%」「約半分」サポートされている場合のみ。 検出： ソースが実際にそのレベルの精密性を提供するか確認。

検証チェックリスト

ファクトチェック済みコンテンツをリリースする前に：

• 主張は抽出されましたか？ すべての検証可能なステートメントが特定されている
• ソースはチェックされていますか？ 各主張は外部ソースに対して検証済み
• 具体的で、メモリではありませんか？ 検証は実際のソース、LLMトレーニングデータではなく使用
• 矛盾にフラグが立てられていますか？ 主張とソース間の競合が注記されている
• 未検証がマークされていますか？ ソースのない主張が明示的に特定されている
• 信頼度が述べられていますか？ 全体的な信頼性レベルが伝えられている
• 別個のパスですか？ 検証は生成中ではなく生成後に実行された

リサーチ・スキルとの統合

リサーチフェーズ	ファクトチェック・ロール
リサーチ中	ソース自体の主張を検証
統合後	統合がソースを正確に表現しているか検証
配信前	出力内の幻覚を捉えるための最終パス

ハンドオフパターン：

1. リサーチスキルが情報を収集および統合
2. リサーチに基づいてコンテンツが生成される
3. ファクトチェック・スキルが別のパスとして実行される
4. 修正が加えられ、信頼度が割り当てられる
5. 出力が検証ステータスとともに配信される

運用上の制約

このスキルができないこと

1. 生成中に検証する — 別のパスである必要がある
2. すべての幻覚を捕捉する — 一部は通過する可能性がある
3. ソースなしで検証する — ソースなし = 未検証、「知識によって検証」ではない
4. ドメイン専門知識を置き換える — ソースの存在をチェックできるが、品質を評価できない

検証が最も重要な場合

コンテキスト	検証レベル
公開コンテンツ	完全な検証が必要
意思決定サポート	主要な主張は検証が必要
教育的コンテンツ	高い精度が期待される
カジュアルな会話	軽い検証が可能
クリエイティブフィクション	N/A（異なる基準）

アンチパターン

パターン	問題	修正
「確信しています」	信頼度 ≠ 正確性	ソース引用を要求
「私の知識では」	メモリは信頼できない	外部ソースを確認
「一般的に言えば」	曖昧さは不確実性を隠す	具体的にするか未検証とマーク
「研究によると」	どの研究か？	具体的なソースを引用
生成中に検証	同じパスは独自のエラーを捉えられない	別のパスが必須
1 つをチェック、残りを想定	部分的な検証	すべてをチェックするか未チェックとマーク

出力形式

ファクトチェック済みコンテンツを配信する場合：

## [コンテンツタイトル]

[主張を含むコンテンツ本文]

---

### 検証ステータス

**全体的な信頼度：** [高/中/低]

**検証済みの主張：**
- [主張 1] — ソース：[引用]
- [主張 2] — ソース：[引用]

**未検証の主張：**
- [主張 3] — ソースが見つかりません；不確実として扱う

**実施した修正：**
- [元の主張] → [修正された主張]（ソース：[引用]）

**警告：**
- [制限または修飾]

出力永続性

このスキルは、セッション間で作業が永続するようにプライマリ出力をファイルに書き込む。

出力検出

他の作業をする前に：

1. プロジェクトで context/output-config.md を確認
2. 見つかった場合、このスキルのエントリを探す
3. 見つからないか、このスキルのエントリがない場合、ユーザーに最初に尋ねる：
   • 「このファクトチェックセッションからの出力はどこに保存すればよいですか？」
   • 提案：explorations/fact-check/ またはこのプロジェクトにとって合理的な場所
4. ユーザーの設定を保存：
   • context/output-config.md（コンテキストネットワークが存在する場合）
   • .fact-check-output.md（プロジェクトルート）（それ以外の場合）

プライマリ出力

このスキルについて、以下を永続化：

• 抽出された主張 - 特定されたすべての検証可能なステートメント
• 検証結果 - ソースと状態を備えた各主張
• 信頼評価 - 全体的なコンテンツの信頼性
• 実施された修正 - オリジナルからの変更

会話 vs. ファイル

ファイルに移動	会話に留まる
検証ステータスレポート	ソースの議論
クレーム・バイ・クレーム結果	明確にする質問
信頼評価	検証プロセス
修正と警告	リアルタイム フィードバック

ファイル命名

パターン：{content-name}-factcheck-{date}.md 例：research-synthesis-factcheck-2025-01-15.md

ソースフレームワーク

このスキルは、生成後の検証を備えたリサーチクラスターを拡張する。リサーチ（情報を収集する）とは異なり、出力の品質管理として機能する。

関連：skills/research/SKILL.md（生成前）、references/doppelganger/（真実の階層）