コンテキストネットワーク回顧分析

目的

エージェント-ユーザー相互作用のトランスクリプトを分析し、コンテキストネットワークのメンテナンスニーズとガイダンス改善を特定します。ネットワーク構造とエージェント指示の両方を向上させるための実行可能な洞察を抽出します。

コア原則

すべての相互作用から学ぶ。 各トランスクリプトは、コンテキストのギャップ、ナビゲーションの問題、および体系的に修正できるガイダンスの問題を明らかにします。

---

分析の側面

1. 知識ギャップの特定

以下を探す:

• 既存のコンテキストから回答できなかったエージェントの質問
• タスク中に発見された情報で、事前に文書化されるべきもの
• 同じ情報を繰り返し検索すること
• 構造、関係、依存関係についてのエージェントの混乱

問題:

• どのような基礎的な知識が不足していたか?
• どの関係が文書化されなかったか?
• 歴史、決定、または制約に関するどのようなコンテキストが欠落していたか?
• どのドメイン境界が不明確だったか?

出力: 不足している情報ノードと関係ギャップ

---

2. コンテキスト境界違反

以下を探す:

• コンテキストネットワークの外部で作成された計画ドキュメント
• コンテキスト領域に配置された実装ファイル
• 情報をどこに配置するかについてのエージェントの不確実性
• 単一ドキュメント内の関心事の混在

問題:

• エージェントはコンテキストをプロジェクト成果物と区別したか?
• 「計画はコンテキストネットワークに留まる」ルールは守られたか?
• 将来の混乱を防ぐためのガイダンスは何か?

出力: 境界違反と必要なガイダンス改善

---

3. ナビゲーションと発見パターン

以下を探す:

• エージェントが情報を見つけた(または見つけられなかった)方法
• 情報アクセスの順序
• 行き止まりまたは非効率なパス
• 接続されるべきだった情報

問題:

• エージェントはどのナビゲーションパスを辿ったか?
• どの情報がより発見しやすくなるべきか?
• どのような論理的接続が欠落していたか?
• どのハブドキュメントが効率を向上させるか?

出力: ナビゲーション改善と不足している接続

---

4. タスク-コンテキスト整合性

以下を探す:

• タスクのニーズと利用可能なコンテキストの不一致
• 抽象化レベルが間違っている情報
• 詳細すぎるまたは高すぎるコンテキスト
• 組織的な弱点を明かすタスクパターン

問題:

• 情報はタスクに適した抽象化レベルにあったか?
• コンテキストは意思決定ニーズをサポートしたか?
• 組織から発生する認知負荷の問題はあったか?
• このタイプのタスクをサポートするためのどのような再構成が必要か?

出力: 抽象化の調整と再構成ニーズ

---

5. 関係マッピングの欠陥

以下を探す:

• エージェントが依存関係を理解するのの難しさ
• 変更が他の領域に影響を与える方法についての欠落したコンテキスト
• 明確なインターフェース定義の欠如
• 明示的に文書化されるべき暗黙的な関係

問題:

• どのような関係が暗黙的でしたが文書化されていなかったか?
• どの依存関係がタスク中に発見されたか?
• どのインパクト関係が不明確だったか?
• どこで明示的な文書化が役立ったか?

出力: 不足している関係と文書化ニーズ

---

6. ガイダンスの有効性

以下を探す:

• ガイダンスが不明確であることを示唆するエージェントの行動
• 最適なパターンから逸脱するタスクアプローチ
• モード切り替え決定と適切性
• 制限に対するツール使用

問題:

• エージェントはモード適切なパターンに従ったか?
• モード遷移は効果的に処理されたか?
• どのガイダンスが不足または不明確だったか?
• 制限は目的をサポートしたか?

出力: ガイダンスの改善とルール明確化

---

回顧分析プロセス

フェーズ 1: 準備

1. コンテキスト収集

   • 現在のコンテキストネットワーク状態を読み込む
   • 使用されたエージェントモードを特定する
   • タスクタイプと複雑性を記録する
   • 適用可能なルールを確認する

2. ベースライン

   • タスク開始時に利用可能なコンテキストをマップする
   • 有効なガイダンスを特定する
   • 最近のネットワーク変更を記録する
   • 期待される動作と実際の動作を文書化する

フェーズ 2: トランスクリプト審査

1. 時系列分析

   • 情報検索パターンを追跡する
   • コンテキストが選択に影響を与えた決定ポイントを記録する
   • 困難な点を特定する
   • 実際のナビゲーションパスをマップする

2. 重大事象

   • 混乱や非効率性にフラグを立てる
   • 境界違反を特定する
   • 情報の「再発見」を記録する
   • より良いコンテキストが役立ったであろう場所を標記する

3. パターン認識

   • 情報ニーズの反復
   • 知識領域の体系的ギャップ
   • ナビゲーション上の一貫した困難
   • コンテキスト利用の成功例

フェーズ 3: ギャップ分析

1. 情報アーキテクチャ

   • 知識カバレッジのギャップをマップする
   • 抽象化の適切性を評価する
   • 関係の完全性を評価する
   • ナビゲーション効果を確認する

2. ガイダンスシステム

   • モード固有のガイダンスを分析する
   • 境界ルールの明確性を確認する
   • 指示の完全性を評価する
   • プロンプト上書きニーズを評価する

3. 優先順位付け

   • 重大: タスク失敗または大きな非効率を引き起こした
   • 高: リアルタイム発見が必要だった
   • 中: 効率を向上させるであろう
   • 低: あると良い改善

---

分析テンプレート

知識ギャップ

## ギャップ: [名前]

**発見コンテキスト:** [いつ/どのように明かされたか]
**タスクへの影響:** [完了にどのように影響したか]
**情報タイプ:** [ドメイン/プロセス/関係/決定基準]
**推奨アクション:** [追加する特定のノードまたは関係]
**優先度:** [重大/高/中/低]
**関連ギャップ:** [接続されたギャップ]

ナビゲーション問題

## 問題: [名前]

**問題パターン:** [どのような困難が発生したか]
**求める情報:** [エージェントが何を望んだか]
**現在のパス:** [エージェントが実際にそれを見つけた方法]
**最適なパス:** [どのようにして発見可能であるべきか]
**推奨改善:** [具体的な変更]
**影響を受けるタスク:** [他に何が利益を得るか]

ガイダンス評価

## ガイダンス: [モード/ルール領域]

**期待される動作:** [ガイダンスが何を生み出すべきか]
**実際の動作:** [エージェントが何をしたか]
**乖離分析:** [なぜ異なるのか]
**ガイダンス明確性:** [現在の明確性レベル]
**推奨変更:** [具体的な修正]
**テストシナリオ:** [検証方法]

---

品質メトリクス

完全性

• 情報カバレッジ: コンテキストから回答可能な質問の %
• 関係の完全性: 文書化された対発見された関係
• ナビゲーション効率: ステップ対最適なパス
• 境界準拠: 正しいドメイン配置の %

有効性

• タスク完了品質: 利用可能なコンテキストでの成功率
• エージェント信頼度: 不確実性表現の頻度
• コンテキスト利用: 実際に使用された関連コンテキストの %
• 発見対検索: 新しい発見対既存使用

進化

• コンテキストネットワーク成長: 新しいノード/関係の速度
• ガイダンス改善: ルール更新の頻度
• パターン認識: 再現する改善テーマ
• システム成熟度: 減少する構造変更

---

一般的なパターンと解決策

パターン	解決策
同じ情報を繰り返し検索	ハブドキュメントを作成し、リンクを改善
ファイル配置について混乱	例を含む境界ガイダンスを強化
タスクコンテキストが分散	タスク固有のエントリポイントを作成
コンテキストを参照せずに決定	「アクション前に参照」ガイダンスを強化
情報が正しい抽象化レベルにない	プログレッシブ開示を使用した多層ノード

---

実装優先度

フェーズ 1: 重要インフラストラクチャ

• 境界違反を修正
• 不足している基礎知識を追加
• 破損した関係を修復

フェーズ 2: ナビゲーション強化

• 発見可能性を改善
• ハブドキュメントを作成
• ドメイン間接続を強化

フェーズ 3: ガイダンス改善

• モード固有の指示を更新
• あいまいなルールを明確化
• 一般的なタスクのプロンプトを強化

フェーズ 4: 最適化

• 抽象化レベルを微調整
• 発見されたワークフローに最適化
• メタデータシステムを強化

---

アンチパターン

1. 非難ゲーム

パターン: 相互作用の失敗をエージェントの能力ではなくコンテキストのギャップに帰す。「エージェントは知っているべきだった...」 失敗する理由: エージェントはコンテキストから動作します。コンテキストが不完全な場合、有能なエージェントでさえ失敗します。エージェントを非難すると、体系的な改善が阻止されます。 修正: まずコンテキストのギャップを想定します。「なぜエージェントはそれを理解しなかったのか?」の前に「このことを防いだであろう情報は何か?」を問いかけます。

2. 完全性の幻想

パターン: コンテキストネットワークがすべてをキャプチャできると信じ、すべての失敗を防ぐ希望を持ってどんどん情報を追加する。 失敗する理由: コンテキストネットワークは無制限に成長します。ナビゲーションが不可能になります。シグナルノイズ比が低下します。メンテナンスが持続不可能になります。 修正: 高インパクトのギャップに焦点を当てます。実際に失敗を引き起こしたものを優先します。新しい情報を追加する際と同様に積極的に古い情報を削除します。

3. 表面的な修正

パターン: パターンを特定することなく特定の問題を修正する。なぜそれが欠落していたのかを聞かずに欠落していた事実を追加する。 失敗する理由: 症状を治療し、原因を治療しません。ギャップの同じクラスが他の場所に表示されます。ホンモンのようなメンテナンス。 修正: ギャップをタイプ別に分類します。ギャップが「関係文書の欠落」である場合、修正は 1 つの関係を追加することではなく、関係キャプチャを改善することです。

4. 回顧分析のみ

パターン: 回顧分析を実行しますが、変更を実装しません。分析の麻痺またはアクション回避。 失敗する理由: 行動のない洞察は改善を生み出さません。実装のない分析の蓄積は分析努力を無駄にします。 修正: すべての回顧分析は最低 1 つの実行可能な変更を生み出す必要があります。回顧分析を完成させる前に実装をスケジュールします。

5. ガイダンス過剰摂取

パターン: すべての失敗の後にルールと制限を追加する。コンテキストネットワークは制約リストになります。 失敗する理由: 過度なガイダンスは麻痺を引き起こします。エージェントは行動を恐れるようになります。ガイダンス間の紛争が生じます。誰もルールを読みません。 修正: ガイダンスを追加する前に、それを削除することを検討してください。複雑にする前に単純化してください。より多くのルールよりも明確な境界がより多くを達成するかどうかをテストします。

統合ポイント

入力:

• 重大なエージェント相互作用の後
• タスク失敗または非効率の後
• コンテキストネットワークメンテナンス中

出力:

• コンテキストネットワーク更新へ
• ガイダンス/指示改善へ

相互補完:

• コンテキストネットワークフレームワーク
• エージェントモード構成