evaluating-llms
LLMシステムを自動メトリクス、LLM-as-judge、ベンチマークを用いて評価します。プロンプト品質のテスト、RAGパイプラインの検証、安全性測定（ハルシネーション、バイアス）、本番環境へのモデル比較検討の際に活用できます。
description の原文を見る
Evaluate LLM systems using automated metrics, LLM-as-judge, and benchmarks. Use when testing prompt quality, validating RAG pipelines, measuring safety (hallucinations, bias), or comparing models for production deployment.
SKILL.md 本文
LLM評価
自動メトリクス、LLM-as-judgeパターン、標準化されたベンチマークを使用して、大規模言語モデル(LLM)システムを評価し、本番環境の品質と安全性を確保します。
このスキルを使用する時期
以下の場合に、このスキルを適用してください:
- 個々のプロンプトの正確性とフォーマットをテストする
- RAG(検索拡張生成)パイプラインの品質を検証する
- LLM出力の幻覚、バイアス、有害性を測定する
- 異なるモデルやプロンプト設定を比較する(A/Bテスト)
- ベンチマークテスト(MMLU、HumanEval)を実行してモデル機能を評価する
- LLMアプリケーション用に本番監視を設定する
- LLM品質チェックをCI/CDパイプラインに統合する
一般的なトリガー:
- 「RAGシステムが正しく動作しているかテストするにはどうしたらいいですか?」
- 「LLM出力の幻覚を測定するにはどうしたらいいですか?」
- 「生成品質を評価するためにどのメトリクスを使用すべきですか?」
- 「自分のユースケースでGPT-4とClaudeを比較するにはどうしたらいいですか?」
- 「LLM応答のバイアスを検出するにはどうしたらいいですか?」
評価戦略の選択
決定フレームワーク: どの評価アプローチを選ぶか?
タスクタイプ別:
| タス
...
詳細情報
- 作者
- majiayu000
- ライセンス
- unknown
- 最終更新
- 2026/5/9
Source: https://github.com/majiayu000/claude-skill-registry-data / ライセンス: unknown
関連スキル
agent-browser
AI エージェント向けのブラウザ自動化 CLI です。ウェブサイトとの対話が必要な場合に使用します。ページ遷移、フォーム入力、ボタンクリック、スクリーンショット取得、データ抽出、ウェブアプリのテスト、ブラウザ操作の自動化など、あらゆるブラウザタスクに対応できます。「ウェブサイトを開く」「フォームに記入する」「ボタンをクリックする」「スクリーンショットを取得する」「ページからデータを抽出する」「このウェブアプリをテストする」「サイトにログインする」「ブラウザ操作を自動化する」といった要求や、プログラマティックなウェブ操作が必要なタスクで起動します。
anyskill
AnySkill — あなたのプライベート・スキルクラウド。GitHubを基盤としたリポジトリからエージェントスキルを管理、同期、動的にロードできます。自然言語でクラウドスキルを検索し、オンデマンドでプロンプトを自動ロード、カスタムスキルのアップロードと共有、スキルバンドルの一括インストールが可能です。OpenClaw、Antigravity、Claude Code、Cursorに対応しています。
engram
AIエージェント向けの永続的なメモリシステムです。バグ修正、意思決定、発見、設定変更の後はmem_saveを使用してください。ユーザーが「覚えている」「記憶している」と言及した場合、または以前のセッションと重複する作業を開始する際はmem_searchを使用します。セッション終了前にmem_session_summaryを使用して、コンテキストを保持してください。
skyvern
AI駆動のブラウザ自動化により、任意のウェブサイトを自動化できます。フォーム入力、データ抽出、ファイルダウンロード、ログイン、複数ステップのワークフロー実行など、ユーザーがウェブサイトと連携する必要があるときに使用します。Skyvernは、LLMとコンピュータビジョンを活用して、未知のサイトも自動操作可能です。Python SDK、TypeScript SDK、REST API、MCPサーバー、またはCLIを通じて統合できます。
pinchbench
PinchBenchベンチマークを実行して、OpenClawエージェントの実世界タスクにおけるパフォーマンスを評価できます。モデルの機能テスト、モデル間の比較、ベンチマーク結果のリーダーボード提出、またはOpenClawのセットアップがカレンダー、メール、リサーチ、コーディング、複数ステップのワークフローにどの程度対応しているかを確認する際に使用します。
openui
OpenUIとOpenUI Langを使用してジェネレーティブUIアプリを構築できます。これらはLLM生成インターフェースのためのトークン効率的なオープン標準です。OpenUI、@openuidev、ジェネレーティブUI、LLMからのストリーミングUI、AI向けコンポーネントライブラリ、またはjson-render/A2UIの置き換えについて述べる際に使用します。スキャフォルディング、defineComponent、システムプロンプト、Renderer、およびOpenUI Lang出力のデバッグに対応しています。