sf-ai-agentforce-testing: Agentforce テスト実行とカバレッジ分析

ユーザーが公式な Agentforce テストを必要とする場合に、このスキルを使用します。マルチターン会話検証、CLI Testing Center スペック、トピック/アクションカバレッジ分析、プレビューチェック、または公開後の構造化されたテスト修正ループなど。

このスキルがタスクを所有する場合

以下の作業が含まれる場合、sf-ai-agentforce-testing を使用します：

• sf agent test ワークフロー
• マルチターン Agent Runtime API テスト
• トピックルーティング、アクション呼び出し、コンテキスト保存、ガードレール、またはエスカレーション検証
• テストスペック生成とカバレッジ分析
• 公開後/有効化後のテスト修正ループ

ユーザーが以下を行っている場合は他にデリゲートします：

• エージェント自体の構築または編集 → sf-ai-agentforce または sf-ai-agentscript
• Apex ユニットテストを実行 → sf-testing
• アクション用のシードデータを作成 → sf-data
• セッションテレメトリ / STDM トレースを分析 → sf-ai-agentforce-observability

---

コア運用ルール

• テストはデプロイ/公開/有効化の後に実行します。
• 会話の継続性が重要な場合、マルチターン API テストをプライマリパスとして使用します。
• 単一発話とorg サポートのテストセンターワークフローの場合、CLI Testing Center をセカンダリパスとして使用します。
• インタラクティブおよびプログラムの CLI プレビューは標準 sf org login web 認証を使用します。ECA は Agent Runtime API テストにのみ必要であり、ライブプレビューには不要です。
• Agent Script 変更が必要な場合、エージェントへの修正は sf-ai-agentscript にデリゲートします。
• ECA フローの OAuth トークン検証に生の curl を使用しません。提供されている認証情報ツーリングを使用します。

スクリプトパスルール

以下の既存スクリプトを使用します：

• ~/.claude/skills/sf-ai-agentforce-testing/hooks/scripts/

これらのスクリプトは事前承認されています。再作成しないでください。

---

<a id="phase-0-prerequisites--agent-discovery"></a>

最初に収集する必要なコンテキスト

以下について質問するか推測します：

• エージェント API 名/デベロッパー名
• ターゲット org エイリアス
• テストの目標：スモークテスト、リグレッション、カバレッジ拡大、またはバグ再現
• エージェントが既に公開され有効化されているか
• org にAgent Testing Center が利用可能か
• ECA 認証情報が Agent Runtime API テストに利用可能か

プリフライトチェック：

1. エージェントを検出する
2. 公開/有効化状態を確認する
3. 依存関係（Flow、Apex、データ）を確認する
4. テストトラックを選択する

---

デュアルトラックワークフロー

トラック A — マルチターン API テスト（プライマリ）

以下が必要な場合に使用します：

• マルチターン会話テスト
• トピック再マッチング検証
• コンテキスト保存チェック
• ターン全体でのエスカレーションまたはアクションチェーン分析

必須：

• ECA/認証セットアップ
• エージェントランタイムアクセス

トラック B — CLI Testing Center（セカンダリ）

以下が必要な場合に使用します：

• org ネイティブ sf agent test ワークフロー
• テストスペック YAML 実行
• クイック単一発話検証
• Testing Center が利用可能な CLI 中心の CI/CD 使用

クイック手動パス

完全な公式テストなしで手動検証する場合、最初にプレビューワークフローを使用してから、必要に応じてトラック A または B にエスカレートします。

---

推奨ワークフロー

1. 検出と検証

• ターゲット org でエージェントを配置する
• 公開され有効化されていることを確認する
• 必要なアクション/Flow/Apex が存在することを確認する
• トラック A または B がリクエストに適しているかを判断する

2. テストを計画する

以下を少なくともカバーします：

• メイントピック
• 期待されるアクション
• ガードレール/オフトピック処理
• エスカレーション動作
• 表現のバリエーション

3. 正しいトラックを実行する

トラック A

• 提供されているツーリングで ECA 認証情報を検証する
• シナリオ生成に必要なメタデータを取得する
• 提供されている Python スクリプトでマルチターンシナリオを実行する
• ターンごとの失敗とカバレッジを分析する

トラック B

• フラット YAML テストスペックを生成または改善する
• sf agent test コマンドを実行する
• 構造化結果と詳細なアクション出力を検査する

4. 失敗を分類する

典型的な失敗バケット：

• トピックがマッチしない
• 間違ったトピックがマッチした
• アクションが呼び出されない
• 間違ったアクションが選択された
• アクション呼び出しが失敗した
• コンテキスト保存失敗
• ガードレール失敗
• エスカレーション失敗

5. 修正ループを実行する

失敗がエージェント作成の問題を示唆する場合：

• sf-ai-agentscript に修正をデリゲートする
• 必要に応じて再公開/再有効化する
• フルリグレッション前にフォーカスされたテストを再実行する

---

テストガードレール

これらをスキップしないでください：

• 公開/有効化後のみテストする
• 有害/オフトピック/拒否シナリオを含める
• 重要なトピックごとに複数の表現を使用する
• API テスト後にセッションをクリーンアップする
• スワーム実行を小さく制御された状態に保つ

これらのアンチパターンを避けます：

• 未公開エージェントをテストする
• 1つのハッピーパス発話をカバレッジとして扱う
• ECA シークレットをリポジトリファイルに保存する
• もろい shell 拡張 curl コマンドで認証をデバッグする
• 原因を分離せずに同時にテストとエージェントの両方を変更する

---

出力フォーマット

実行が終了したら、この順序でレポートします：

1. 使用されたテストトラック
2. 何が実行されたか
3. 成功/失敗サマリー
4. カバレッジギャップ
5. 根本原因のテーマ
6. 推奨される修正ループ/次のテストステップ

提案されるシェイプ：

Agent: <name>
Track: Multi-turn API | CLI Testing Center | Preview
Executed: <specs / scenarios / turns>
Result: <passed / partial / failed>
Coverage: <topics, actions, guardrails, context>
Issues: <highest-signal failures>
Next step: <fix, republish, rerun, or expand coverage>

---

クロススキル統合

ニーズ	デリゲート先	理由
Agent Script ロジックを修正する	sf-ai-agentscript	作成と決定論的な修正ループ
テストデータを作成する	sf-data	アクション対応データセットアップ
Flow 支援のアクションを修正する	sf-flow	Flow 修復
Apex 支援のアクションを修正する	sf-apex	Apex 修復
Agent Runtime API 用の ECA/OAuth をセットアップする	sf-connected-apps	認証とアプリ設定
セッションテレメトリを分析する	sf-ai-agentforce-observability	STDM/トレース分析

---

リファレンスマップ

ここから開始

• references/interview-wizard.md
• references/multi-turn-testing.md
• references/cli-commands.md
• references/test-spec-reference.md

実行/認証

• references/execution-protocol.md
• references/multi-turn-execution.md
• references/eca-setup-guide.md
• references/credential-convention.md
• references/connected-app-setup.md

カバレッジ/修正ループ

• references/coverage-analysis.md
• references/agentic-fix-loops.md
• references/results-scoring.md
• references/known-issues.md

高度な/特殊化

• references/agentscript-agents.md
• references/agentscript-testing-patterns.md
• references/cli-testing-details.md
• references/deep-conversation-history-patterns.md
• references/swarm-execution.md
• references/trace-analysis.md
• references/agent-api-reference.md

テンプレート/アセット

• references/test-templates.md
• references/test-plan-format.md
• assets/

---

スコアガイド

スコア	意味
90+	本番環境対応テスト信頼性
80–89	マイナーなギャップを持つ強いカバレッジ
70–79	許容可能だがカバレッジ拡大を推奨
60–69	部分的な検証のみ
< 60	不十分な信頼性、リリースをブロック