プロンプトエンジニアリングツールキット

概要

このスキルを使用して、プロンプトをアドホックなドラフトから本番資産に移行できます。反復可能なテスト、バージョニング、リグレッション安全性を備えています。直感よりも測定可能な品質を重視しています。新しいLLM機能の起動で信頼性の高い出力が必要な場合、モデルまたは指示の変更後にプロンプト品質が低下した場合、複数のチームメンバーがプロンプトを編集する際に履歴/差分が必要な場合、本番展開の根拠に基づいたプロンプト選択が必要な場合、または環境全体にわたって一貫したプロンプトガバナンスが必要な場合に適用してください。

コア機能

• 構造化されたテストケースに対するAプロンプトとBプロンプトの評価
• 準拠性、関連性、安全性チェックの定量的スコアリング
• 変更不可能な履歴と変更ログを備えたプロンプトバージョン追跡
• 動作に影響を与える編集をレビューするためのプロンプト差分
• 再利用可能なプロンプトテンプレートと選択ガイダンス
• モデル/プロンプト更新向けのリグレッション対応ワークフロー

主要ワークフロー

1. プロンプトA/Bテストを実行

JSONテストケースを準備して実行します:

python3 scripts/prompt_tester.py \
  --prompt-a-file prompts/a.txt \
  --prompt-b-file prompts/b.txt \
  --cases-file testcases.json \
  --runner-cmd 'my-llm-cli --prompt {prompt} --input {input}' \
  --format text

入力はstdin または --input JSONペイロードからも取得できます。

2. エビデンスに基づいて勝者を選択

テスターはケースごとに出力をスコアリングして集約します:

• 期待されるコンテンツカバレッジ
• 禁止コンテンツの違反
• 正規表現/フォーマット準拠性
• 出力長の妥当性

より高いスコアのプロンプトを候補ベースラインとして使用し、その後リグレッションスイートを実行します。

3. プロンプトをバージョニング

# バージョンを追加
python3 scripts/prompt_versioner.py add \
  --name support_classifier \
  --prompt-file prompts/support_v3.txt \
  --author alice

# バージョンを比較
python3 scripts/prompt_versioner.py diff --name support_classifier --from-version 2 --to-version 3

# 変更ログを表示
python3 scripts/prompt_versioner.py changelog --name support_classifier

4. リグレッションループ

1. ベースラインバージョンを保存します。
2. プロンプト編集を提案します。
3. A/Bテストを再実行します。
4. スコアと安全性制約が改善された場合のみ昇格させます。

スクリプトインターフェース

• python3 scripts/prompt_tester.py --help
  • stdinまたは --input からプロンプト/ケースを読み込み
  • オプションの外部ランナーコマンド
  • テキストまたはJSONメトリクスを出力
• python3 scripts/prompt_versioner.py --help
  • プロンプト履歴を管理(add、list、diff、changelog)
  • メタデータとコンテンツスナップショットをローカルに保存

落とし穴、ベストプラクティス、レビューチェックリスト

これらの間違いを避けてください:

1. 単一ケースの出力からプロンプトを選択する — 現実的でエッジケースが豊富なテストスイートを使用してください。
2. プロンプトとモデルを同時に変更する — 常に変数を分離してください。
3. 評価基準に must_not_contain(禁止コンテンツ)チェックを含めない。
4. バージョンメタデータ、作成者、変更理由なしでプロンプトを編集する。
5. 新しいプロンプトバージョン展開前のセマンティック差分をスキップする。
6. 1つのベンチマークを最適化しながらエッジケースを損なう — 全スイートを追跡してください。
7. モデルスワップなしでベースラインA/Bスイートを再実行しない。

プロンプトを昇格させる前に、以下を確認してください:

• タスクの意図は明確で曖昧さがない。
• 出力スキーマ/フォーマットは明確である。
• 安全性と除外制約は明確である。
• 矛盾する指示がない。
• 不要な冗長トークンがない。
• A/Bスコアが改善され、違反数がゼロのままである。

リファレンス

• references/prompt-templates.md
• references/technique-guide.md
• references/evaluation-rubric.md
• README.md

評価設計

各テストケースは以下を定義する必要があります:

• input: 本番環境に似た現実的な入力
• expected_contains: 必要なマーカー/コンテンツ
• forbidden_contains: 許可されないフレーズまたは安全でないコンテンツ
• expected_regex: 必要な構造パターン

これにより、プロンプトバリアント全体で決定論的な採点が可能になります。

バージョニングポリシー

• 機能ごとにセマンティックなプロンプト識別子を使用してください(support_classifier、ad_copy_shortform)。
• すべての改版について作成者と変更メモを記録してください。
• 過去のバージョンを上書きしないでください。
• 新しいプロンプトを本番環境に昇格させる前に差分を確認してください。

ロールアウト戦略

1. ベースラインプロンプトバージョンを作成します。
2. 候補プロンプトを提案します。
3. 同じケースに対してA/Bスイートを実行します。
4. 勝者が平均を改善し、違反数がゼロのままである場合のみ昇格させます。
5. リリース後のフィードバックを追跡し、新しい失敗ケースをテストスイートにフィードバックしてください。