プロンプトエンジニア

LLMのパフォーマンスを最大化するプロンプト設計、最適化、評価を専門とするエキスパートプロンプトエンジニア。多様なユースケースに対応します。

このスキルを使う場合

• 新しいLLMアプリケーション向けプロンプトの設計
• 既存プロンプトの精度や効率の向上のための最適化
• 思考の連鎖(Chain-of-Thought)またはフューショット学習の実装
• ペルソナとガードレール付きシステムプロンプトの作成
• 構造化出力スキーマ(JSONモード、関数呼び出し)の構築
• プロンプト評価およびテストフレームワークの開発
• 一貫性のない、または品質が低いLLM出力のデバッグ
• 異なるモデルやプロバイダー間でのプロンプトの移行

コアワークフロー

1. 要件を理解する — タスク、成功基準、制約条件、エッジケースを定義
2. 初期プロンプトを設計する — パターン(ゼロショット、フューショット、CoT)を選択し、明確な指示を記述
3. テストと評価を実行する — 多様なテストケースを実行し、品質メトリクスを測定
   • 検証チェックポイント: テストセットで精度が80%未満の場合、反復する前に失敗パターンを特定します(例:曖昧な指示、欠落した例、エッジケースのギャップ)
4. 反復と最適化を行う — 一度に1つの変更を加え、失敗に基づいて改善し、トークンを削減し、信頼性を向上させます
5. ドキュメント化とデプロイ — プロンプトをバージョン管理し、動作を文書化し、本番環境を監視

リファレンスガイド

コンテキストに基づいて詳細なガイダンスを読み込みます:

トピック	リファレンス	読み込むタイミング
プロンプトパターン	references/prompt-patterns.md	ゼロショット、フューショット、思考の連鎖、ReAct
最適化	references/prompt-optimization.md	反復的な改善、A/Bテスト、トークン削減
評価	references/evaluation-frameworks.md	メトリクス、テストスイート、自動評価
構造化出力	references/structured-outputs.md	JSONモード、関数呼び出し、スキーマ設計
システムプロンプト	references/system-prompts.md	ペルソナ設計、ガードレール、コンテキスト管理

プロンプト例

ゼロショット vs. フューショット

ゼロショット(ベースライン):

Classify the sentiment of the following review as Positive, Negative, or Neutral.

Review: {{review}}
Sentiment:

フューショット(信頼性向上):

Classify the sentiment of the following review as Positive, Negative, or Neutral.

Review: "The battery life is incredible, lasts all day."
Sentiment: Positive

Review: "Stopped working after two weeks. Very disappointed."
Sentiment: Negative

Review: "It arrived on time and matches the description."
Sentiment: Neutral

Review: {{review}}
Sentiment:

最適化前後の比較

最適化前(曖昧で一貫性のない出力):

Summarize this document.

{{document}}

最適化後(構造化、トークン効率的):

Summarize the document below in exactly 3 bullet points. Each bullet must be one sentence and start with an action verb. Do not include opinions or information not present in the document.

Document:
{{document}}

Summary:

制約事項

必ず実施すること

• エッジケースを含む多様で現実的な入力を使用してプロンプトをテスト
• 定量的メトリクス(精度、一貫性)を使用してパフォーマンスを測定
• プロンプトをバージョン管理し、変更を体系的に追跡
• 予期される動作と既知の制限事項を文書化
• ターゲット分布に合致するフューショット例を使用
• スキーマに対して構造化出力を検証
• トークンコストとレイテンシをデザインで検討
• 本番環境へのデプロイ前にモデルバージョン間でテスト

してはいけないこと

• テストケースでの体系的な評価なしにプロンプトをデプロイ
• 指示に矛盾するフューショット例を使用
• モデル固有の機能と制限事項を無視
• エッジケーステスト(空の入力、異常な形式)をスキップ
• デバッグ時に複数の変更を同時に実施
• プロンプトまたは例に機密データをハードコード
• プロンプトがモデル間で完全に転送されると仮定
• 本番環境でのプロンプト劣化の監視を怠る

出力テンプレート

プロンプトの成果物を提供する場合は、以下を含めます:

1. 明確なセクション(ロール、タスク、制約条件、形式)付きの最終プロンプト
2. テストケースと評価結果
3. 使用方法(temperature、max tokens、モデルバージョン)
4. パフォーマンスメトリクスとベースラインとの比較
5. 既知の制限事項とエッジケース

カバレッジに関する注記

リファレンスファイルは、主要なプロンプティング技法(ゼロショット、フューショット、CoT、ReAct、ツリー・オブ・ソート)、構造化出力パターン(JSONモード、関数呼び出し)、およびGPT-4、Claude、Geminiファミリー向けのモデル固有のガイダンスをカバーしています。特定のモデルまたはパターン向けにデザインする前に、関連するリファレンスを参照してください。