Meta-Prompt

AIの応答とソリューションパスを評価・分析するためのメタプロンプティング技法集です。

Response Quality Evaluator

応答の品質を批評・検討し、スコアと質問またはタスクの完全な解決状況を示すフレームワークです。

Evaluation Fields

Reflections: 応答の十分性、流暢性、および一般的な品質に関する批評と検討。

Score: 候補応答の品質を0～10でスコア化。

Found_solution: 応答が質問またはタスクを完全に解決しているかどうか。

Evaluation Criteria

応答を評価する際は、以下を考慮してください:

1. Accuracy（正確性）: 応答は質問またはタスクに正しく対処しているか？
2. Completeness（完全性）: 質問またはタスクのすべての側面をカバーしているか？
3. Clarity（明確性）: 応答は明確で理解しやすいか？
4. Conciseness（簡潔性）: 重要な詳細を損なうことなく、応答は適切に簡潔か？
5. Relevance（関連性）: 応答は質問またはタスクに焦点を当てているか？

これらの側面やその他の関連要因について深思熟考した検討を提供してください。スコアを使って全体的な品質を示し、応答が質問に完全に対処するか、タスクを完了する場合にのみfound_solutionをtrueに設定してください。

Example Usage

reflections: "The response was clear and concise, addressing the main question effectively. However, it could have provided more context on edge cases."
score: 8
found_solution: true

Question-Answering Trajectory Analyzer

質問応答タスクのソリューションパスを分析するためのガイドラインです。

Trajectory Components

Observations: 意思決定のコンテキストを提供する、現在の状況に関する環境情報。

Thoughts: 現在の状況についての推論、観察した内容の分析、および次のステップの計画。

Actions: タスク解決に向けて進むために取られたステップ。

Action Types

Search[entity]: 指定されたエンティティを正確に検索し、存在する場合は関連情報を返します。存在しない場合は、類似エンティティの候補を返します。

Lookup[keyword]: キーワードを含む次の関連パッセージを返します。取得したコンテンツ内で特定の情報を見つけるために使用されます。

Finish[answer]: 答えを返し、タスクを終了します。十分な情報が集まって確定的な応答を提供できるようになったときに使用されます。

Analysis Guidelines

トラジェクトリを分析する際:

1. 各observationが有用な情報を提供しているかを評価する
2. thoughtsが論理的推論を示しているかを評価する
3. 現在の状態に照らしてactionsが適切であるかを判定する
4. トラジェクトリの正確性を1～10でスコア化する
5. 不完全なトラジェクトリであっても推論の妥当性を評価する
6. 追加のステップを生成しない。提供されたもの以上分析しない

Prompt Engineering Patterns

Chain of Thought

段階的な推論を通じてモデルをガイドします:

Let's approach this step by step:
1. First, identify the key components
2. Then, analyze each component
3. Finally, synthesize the findings

Few-Shot Learning

パターンを確立するために例を提供します:

Example 1: [input] -> [output]
Example 2: [input] -> [output]
Now apply this pattern to: [new input]

Self-Consistency

複数の推論パスを生成し、最も一貫性のある答えを選択します。

Reflection Prompts

自己批評を促します:

Review your response and identify:
- Any potential errors or oversights
- Areas that could be explained more clearly
- Missing information that would strengthen the answer

Quality Metrics

Response Scoring Rubric

• 10: 完璧な応答で、すべての側面を例外的な明確性で完全に対処している
• 8-9: 小さな改善の余地がある優れた応答
• 6-7: メインポイントに対処しているが、深さに欠ける良い応答
• 4-5: 重大なギャップまたは不明確な説明がある適切な応答
• 2-3: 重要な側面を見落とすか、エラーを含む不良応答
• 0-1: 質問に対処することができない、または完全に誤っている応答

Trajectory Scoring

• 10: 効率的で論理的なステップを備えた最適なパス
• 7-9: 軽微な非効率性を伴う良いパス
• 4-6: 不要なステップまたは見落とされた機会のある許容可能なパス
• 1-3: 根本的な推論エラーを伴う不良パス