llm-evaluation
LLMアプリケーションに対して、自動メトリクス、人間によるフィードバック、ベンチマーキングを組み合わせた包括的な評価戦略を実装できます。LLMの性能テスト、AIアプリケーションの品質測定、評価フレームワークの構築が必要な際に活用します。
description の原文を見る
Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.
SKILL.md 本文
LLM評価
自動メトリクスからヒューマン評価、A/Bテストまで、LLMアプリケーションの包括的な評価戦略をマスターしてください。
このスキルを使用する場合
- LLMアプリケーションのパフォーマンスを体系的に測定する
- 異なるモデルまたはプロンプトを比較する
- デプロイメント前のパフォーマンス低下を検出する
- プロンプト変更による改善を検証する
- 本番システムへの信頼を構築する
- ベースラインの確立と時間経過に伴う進捗を追跡する
- 予期しないモデル動作をデバッグする
コア評価タイプ
1. 自動メトリクス
計算されたスコアを使用した高速で反復可能でスケーラブルな評価。
テキスト生成:
- BLEU: N-グラム重複度（翻訳）
- ROUGE: リコール志向（要約）
- METEOR: セマンティック類似度
- BERTScore: 埋め込みベースの類似度
- パープレキシティ: 言語モデルの信頼度
分類:
- 精度: 正解の割合
- 適合率/再現率/F1: クラス固有のパフォーマンス
- 混同行列: エラーパターン
- AUC-ROC: ランキング品質
検索（RAG）:
- MRR: 平均相互ランク
- NDCG: 正規化
...
詳細情報
- 作者
- synqing
- リポジトリ
- synqing/K1.node1
- ライセンス
- unknown
- 最終更新
- 2026/1/8
Source: https://github.com/synqing/K1.node1 / ライセンス: unknown
関連スキル
agent-browser
AI エージェント向けのブラウザ自動化 CLI です。ウェブサイトとの対話が必要な場合に使用します。ページ遷移、フォーム入力、ボタンクリック、スクリーンショット取得、データ抽出、ウェブアプリのテスト、ブラウザ操作の自動化など、あらゆるブラウザタスクに対応できます。「ウェブサイトを開く」「フォームに記入する」「ボタンをクリックする」「スクリーンショットを取得する」「ページからデータを抽出する」「このウェブアプリをテストする」「サイトにログインする」「ブラウザ操作を自動化する」といった要求や、プログラマティックなウェブ操作が必要なタスクで起動します。
anyskill
AnySkill — あなたのプライベート・スキルクラウド。GitHubを基盤としたリポジトリからエージェントスキルを管理、同期、動的にロードできます。自然言語でクラウドスキルを検索し、オンデマンドでプロンプトを自動ロード、カスタムスキルのアップロードと共有、スキルバンドルの一括インストールが可能です。OpenClaw、Antigravity、Claude Code、Cursorに対応しています。
engram
AIエージェント向けの永続的なメモリシステムです。バグ修正、意思決定、発見、設定変更の後はmem_saveを使用してください。ユーザーが「覚えている」「記憶している」と言及した場合、または以前のセッションと重複する作業を開始する際はmem_searchを使用します。セッション終了前にmem_session_summaryを使用して、コンテキストを保持してください。
skyvern
AI駆動のブラウザ自動化により、任意のウェブサイトを自動化できます。フォーム入力、データ抽出、ファイルダウンロード、ログイン、複数ステップのワークフロー実行など、ユーザーがウェブサイトと連携する必要があるときに使用します。Skyvernは、LLMとコンピュータビジョンを活用して、未知のサイトも自動操作可能です。Python SDK、TypeScript SDK、REST API、MCPサーバー、またはCLIを通じて統合できます。
pinchbench
PinchBenchベンチマークを実行して、OpenClawエージェントの実世界タスクにおけるパフォーマンスを評価できます。モデルの機能テスト、モデル間の比較、ベンチマーク結果のリーダーボード提出、またはOpenClawのセットアップがカレンダー、メール、リサーチ、コーディング、複数ステップのワークフローにどの程度対応しているかを確認する際に使用します。
openui
OpenUIとOpenUI Langを使用してジェネレーティブUIアプリを構築できます。これらはLLM生成インターフェースのためのトークン効率的なオープン標準です。OpenUI、@openuidev、ジェネレーティブUI、LLMからのストリーミングUI、AI向けコンポーネントライブラリ、またはjson-render/A2UIの置き換えについて述べる際に使用します。スキャフォルディング、defineComponent、システムプロンプト、Renderer、およびOpenUI Lang出力のデバッグに対応しています。