LLM評価

自動メトリクス、LLM-as-judgeパターン、標準化されたベンチマークを使用して、大規模言語モデル(LLM)システムを評価し、本番環境の品質と安全性を確保します。

このスキルを使用する時期

以下の場合に、このスキルを適用してください:

• 個々のプロンプトの正確性とフォーマットをテストする
• RAG(検索拡張生成)パイプラインの品質を検証する
• LLM出力の幻覚、バイアス、有害性を測定する
• 異なるモデルやプロンプト設定を比較する(A/Bテスト)
• ベンチマークテスト(MMLU、HumanEval)を実行してモデル機能を評価する
• LLMアプリケーション用に本番監視を設定する
• LLM品質チェックをCI/CDパイプラインに統合する

一般的なトリガー:

• 「RAGシステムが正しく動作しているかテストするにはどうしたらいいですか?」
• 「LLM出力の幻覚を測定するにはどうしたらいいですか?」
• 「生成品質を評価するためにどのメトリクスを使用すべきですか?」
• 「自分のユースケースでGPT-4とClaudeを比較するにはどうしたらいいですか?」
• 「LLM応答のバイアスを検出するにはどうしたらいいですか?」

評価戦略の選択

決定フレームワーク: どの評価アプローチを選ぶか?

タスクタイプ別:

| タス

...