プロンプト・エンジニアリング

概要

このスキルを使用して、明確でテスト可能で再利用可能なプロンプト・システムを設計します。プロンプト・ドラフト、最適化、評価、および Few-Shot プロンプティング、推論ワークフロー、テンプレート、システム・プロンプト用の本番環境向けパターンについて説明しています。

メイン・ワークフローはこのファイルに保持し、適用するパターンに対してのみ対象となるリファレンス・ファイルをロードしてください。

使用時期

以下の場合にこのスキルを使用してください:

• ユーザーがプロンプトの作成、改めて作成、または改善をリクエストする
• プロンプトがより優れた構造、信頼性、または出力フォーマットが必要である
• Few-Shot 例または推論スキャフォルドが必要である
• システム・プロンプトまたは再利用可能なプロンプト・テンプレートを作成する必要がある
• 既存のプロンプトに測定可能な最適化とテストが必要である

特定のパターンについてより詳細なガイダンスが必要な場合は、references/ 内の関連ファイルを参照してください。

コア・パターン

1. Few-Shot ラーニング

例の選択戦略

• 包括的な選択フレームワークについては references/few-shot-patterns.md を使用してください
• 例の数 (最適は 3-5) とコンテキスト・ウィンドウの制限のバランスを取ってください
• 例セットに境界ケースと限界条件を含めてください
• 問題スペースの変動をカバーする多様な例を優先してください
• シンプルから複雑な順に例を配列して段階的な学習を実現してください

Few-Shot 例 (感情分類)

Classify the sentiment as Positive, Negative, or Neutral.

Text: "I love this product! It exceeded my expectations."
Sentiment: Positive
Reasoning: Enthusiastic language, positive adjectives, satisfaction

Text: "The app keeps crashing when I upload large files."
Sentiment: Negative
Reasoning: Complaint about functionality, frustration indicator

Text: "It arrived on time, as described."
Sentiment: Neutral
Reasoning: Factual statement, no strong emotion either way

Text: "{user_input}"
Sentiment:
Reasoning:

2. チェーン・オブ・ソート推論

実装パターン

• 詳細な推論フレームワークについては references/cot-patterns.md を参照してください
• Zero-Shot CoT 開始には「Let's think step by step」を使用してください
• Few-Shot CoT デモンストレーション用に完全な推論トレースを提供してください
• 複数の推論パスをサンプリングして自己一貫性を実装してください
• 推論チェーンに検証とバリデーション・ステップを含めてください

CoT テンプレート構造

Let's approach this step-by-step:

Step 1: {break_down_the_problem}
Analysis: {detailed_reasoning}

Step 2: {identify_key_components}
Analysis: {component_analysis}

Step 3: {synthesize_solution}
Analysis: {solution_justification}

Final Answer: {conclusion_with_confidence}

3. プロンプト最適化

最適化プロセス

• 包括的な最適化戦略については references/optimization-frameworks.md を使用してください
• 最適化の試行前にベースライン・パフォーマンスを測定してください
• 正確な帰属性のための単一変数の変更を実装してください
• メトリクスを追跡: 精度、一貫性、レイテンシ、トークン効率
• A/B 検証用の統計的有意性テストを使用してください
• 最適化の繰り返しと影響を文書化してください

これらのメトリクスを追跡: 精度、一貫性、トークン効率、堅牢性、セーフティ。測定ユーティリティについては references/optimization-frameworks.md を参照してください。

4. テンプレート・システム

テンプレート設計の原則

• モジュール型テンプレート・フレームワークについては references/template-systems.md を参照してください
• 明確な変数命名規約を使用してください (例: {user_input}、{context})
• 異なるシナリオ処理用の条件付きセクションを実装してください
• 特定のユースケース用のロール・ベース・テンプレートを設計してください
• 階層的なテンプレート合成パターンを作成してください

テンプレート構造の例

# System Context
You are a {role} with {expertise_level} expertise in {domain}.

# Task Context
{if background_information}
Background: {background_information}
{endif}

# Instructions
{task_instructions}

# Examples
{example_count}

# Output Format
{output_specification}

# Input
{user_query}

5. システム・プロンプト設計

システム・プロンプト・コンポーネント

• 詳細な設計ガイドラインについては references/system-prompt-design.md を使用してください
• 明確なロール指定と専門知識の境界を定義してください
• 出力形式の要件と構造的制約を確立してください
• セーフティ・ガイドラインとコンテンツ・ポリシーの遵守を含めてください
• 背景情報とドメイン知識のコンテキストを設定してください

システム・プロンプト・フレームワーク

You are an expert {role} specializing in {domain} with {experience_level} of experience.

## Core Capabilities
- List specific capabilities and expertise areas
- Define scope of knowledge and limitations

## Behavioral Guidelines
- Specify interaction style and communication approach
- Define error handling and uncertainty protocols
- Establish quality standards and verification requirements

## Output Requirements
- Specify format expectations and structural requirements
- Define content inclusion and exclusion criteria
- Establish consistency and validation requirements

## Safety and Ethics
- Include content policy adherence
- Specify bias mitigation requirements
- Define harm prevention protocols

実装ワークフロー

ワークフロー 1: 要件からの新規プロンプト作成

1. 要件の分析

   • タスク複雑性と推論要件を特定してください
   • ターゲット・モデルの機能と制限事項を決定してください
   • 成功基準と評価メトリクスを定義してください
   • Few-Shot ラーニングまたは CoT 推論の必要性を評価してください

2. パターン戦略の選択

   • 分類または変換タスク用に Few-Shot ラーニングを使用してください
   • 複雑な推論または多段階の問題に CoT を適用してください
   • 再利用可能なプロンプト・アーキテクチャ用にテンプレート・システムを実装してください
   • 一貫した動作要件用にシステム・プロンプトを設計してください

3. 初期プロンプトの作成

   • 明確なセクションと論理的フローを備えたプロンプト構造
   • 関連する例または推論デモンストレーションを含めてください
   • 出力フォーマットと品質要件を指定してください
   • セーフティ・ガイドラインと制約を組み込んでください

4. バリデーションとテスト

   • 最低 3 つの入力でテスト: 1 つの正常なパス、1 つのエッジケース、1 つの対抗的入力
   • 定義された成功基準に対する精度とトークン使用量を測定してください
   • 一度に 1 つの変数を変更し、再テストし、メトリクスを改善する場合のみ保持してください
   • 最適化の決定と理論的根拠を文書化してください

ワークフロー 2: 既存プロンプトの最適化

1. パフォーマンス分析

   • 現在のプロンプト・パフォーマンス・メトリクスを測定してください
   • 障害モードとエラー・パターンを特定してください
   • トークン効率と応答レイテンシを分析してください
   • 複数回の実行間で一貫性を評価してください

2. 最適化戦略

   • 単一変数の変更を使用した体系的な A/B テストを適用してください
   • Few-Shot ラーニングを使用してタスク準拠を改善してください
   • 複雑なタスク・コンポーネント用に CoT 推論を実装してください
   • テンプレート構造をリファインして明確性を高めてください

3. 実装とテスト

   • ステップ 1 から同じテスト・ケースを最適化されたプロンプトに対して再実行してください
   • 精度 < ベースラインの場合、変更を元に戻して別の仮説を試してください
   • 精度 >= ベースラインだが < 90% の場合、新しい戦略を使用してステップ 2 に戻ってください
   • 勝利した変更と測定された影響を文書化してください

ワークフロー 3: プロンプト・システムのスケール化

1. モジュール型アーキテクチャ設計

   • 複雑なプロンプトを再利用可能なコンポーネントに分解してください
   • テンプレート継承階層を作成してください
   • 動的な例選択システムを実装してください
   • 自動品質保証フレームワークを構築してください

2. 本番環境への統合

   • プロンプト・バージョニングとロールバック機能を実装してください
   • パフォーマンス監視とアラート・システムを作成してください
   • プロンプト検証用の自動テスト・フレームワークを構築してください
   • 更新とデプロイメント・ワークフローを確立してください

品質ゲート

• 出荷前の 10 以上の多様なテスト・ケースで > 90% の精度
• 3 回以上の繰り返し実行間で < 5% の分散
• すべてのエッジケースと対抗的入力を優雅に処理
• すべてのテスト・ケースで出力形式が仕様に一致

ベスト・プラクティス

• 一度に 1 つの変数を最適化して結果の帰属可能性を維持してください
• 多くの反復的なものより少ない数の強力な例を優先してください
• タスク、コンテキスト、制約、および出力形式に関して明確なプロンプトを保持してください
• 正常なパス、エッジケース、および対抗的入力に対してプロンプトをテストしてください
• 長いパターンの詳細を references/ に移動して SKILL.md をふくよかにしないようにしてください

制約と警告

• より長いプロンプトが良いと仮定しないでください; 余分な詳細はしばしば曖昧さを追加します
• 簡潔な論理で十分な場合は、隠れた推論要件を曝露することを避けてください
• 改善を主張する前に、代表的な入力でプロンプトを検証してください
• モデル固有の仮定を明示的に保持してください。これはモデル間で動作が変わるため

他のスキルとの統合

このスキルは以下とシームレスに統合されます:

• langchain4j-ai-services-patterns: インターフェース・ベースのプロンプト設計
• langchain4j-rag-implementation-patterns: コンテキスト拡張プロンプティング
• langchain4j-testing-strategies: プロンプト検証フレームワーク
• unit-test-parameterized: 体系的なプロンプト・テスト・アプローチ

リソースとリファレンス

• references/few-shot-patterns.md: 包括的な Few-Shot ラーニング・フレームワーク
• references/cot-patterns.md: チェーン・オブ・ソート推論パターンと例
• references/optimization-frameworks.md: 体系的なプロンプト最適化方法論
• references/template-systems.md: モジュール型テンプレート設計と実装
• references/system-prompt-design.md: システム・プロンプト・アーキテクチャとベスト・プラクティス

よくある落とし穴と解決方法

落とし穴	対処方法
誤った出力形式	プロンプトの最後に具体的な出力例を追加してください
一貫しない回答	予期される推論を示す 2-3 の Few-Shot 例を追加してください
幻覚	「不確かな場合は『わかりません』と言う」を追加して回答ドメインを制約してください
冗長すぎる	明確な単語/文の制限を追加して「簡潔に」という指示を追加してください
エッジケースの見落とし	エッジケース Few-Shot 例を追加してください

制約

• ターゲット・モデル全体でテストしてください - 機能とトークン制限は異なります
• Few-Shot 例を 3-5 に保ってコンテキスト使用を管理してください
• 本番環境前にドメイン固有のテスト・ケースで検証してください