Ground Truth Management
AI評価用のグラウンドトゥルースデータセットの作成、管理、保守に関する包括的なガイドです。アノテーション、品質管理、バージョニングを含めた、データセットの構築から運用まで一連のプロセスをカバーしています。このガイドを通じて、AIモデルの性能を正確に評価するための信頼性の高いデータセットを構築・維持できます。
description の原文を見る
Comprehensive guide to creating, managing, and maintaining ground truth datasets for AI evaluation including annotation, quality control, and versioning
SKILL.md 本文
グラウンドトゥルース管理
グラウンドトゥルースとは
定義: 評価用の正解データ - AI性能を測定するためのゴールドスタンダードとして機能する、人間が検証したデータです。
例
質問: "フランスの首都は何ですか？"
グラウンドトゥルース: "パリ"
AIの回答: "パリ" → 正解 ✓
AIの回答: "リヨン" → 不正解 ✗
グラウンドトゥルースが重要な理由
客観的に精度を測定する
グラウンドトゥルースなし: 「この回答は良さそうだ」（主観的）
グラウンドトゥルースあり: 「精度: 85%」（客観的）
モデルの訓練と検証
訓練: グラウンドトゥルースの例から学習
検証: グラウンドトゥルースのテストセット上で性能を測定
回帰テスト
変更前: 精度 90%
変更後: 精度 85%
→ 回帰が検出された！
ベンチマーキング
モデルA: グラウンドトゥルース上で精度 90%
モデルB: グラウンドトゥルース上で精度 85%
→ モデルAの方が優れている
グラウンドトゥルースの種類
完全一致: 単一の正解
{
"question": "2+2は？",
"answer"
...
詳細情報
- 作者
- majiayu000
- ライセンス
- unknown
- 最終更新
- 2026/5/9
Source: https://github.com/majiayu000/claude-skill-registry-data / ライセンス: unknown
関連スキル
agent-browser
AI エージェント向けのブラウザ自動化 CLI です。ウェブサイトとの対話が必要な場合に使用します。ページ遷移、フォーム入力、ボタンクリック、スクリーンショット取得、データ抽出、ウェブアプリのテスト、ブラウザ操作の自動化など、あらゆるブラウザタスクに対応できます。「ウェブサイトを開く」「フォームに記入する」「ボタンをクリックする」「スクリーンショットを取得する」「ページからデータを抽出する」「このウェブアプリをテストする」「サイトにログインする」「ブラウザ操作を自動化する」といった要求や、プログラマティックなウェブ操作が必要なタスクで起動します。
anyskill
AnySkill — あなたのプライベート・スキルクラウド。GitHubを基盤としたリポジトリからエージェントスキルを管理、同期、動的にロードできます。自然言語でクラウドスキルを検索し、オンデマンドでプロンプトを自動ロード、カスタムスキルのアップロードと共有、スキルバンドルの一括インストールが可能です。OpenClaw、Antigravity、Claude Code、Cursorに対応しています。
engram
AIエージェント向けの永続的なメモリシステムです。バグ修正、意思決定、発見、設定変更の後はmem_saveを使用してください。ユーザーが「覚えている」「記憶している」と言及した場合、または以前のセッションと重複する作業を開始する際はmem_searchを使用します。セッション終了前にmem_session_summaryを使用して、コンテキストを保持してください。
skyvern
AI駆動のブラウザ自動化により、任意のウェブサイトを自動化できます。フォーム入力、データ抽出、ファイルダウンロード、ログイン、複数ステップのワークフロー実行など、ユーザーがウェブサイトと連携する必要があるときに使用します。Skyvernは、LLMとコンピュータビジョンを活用して、未知のサイトも自動操作可能です。Python SDK、TypeScript SDK、REST API、MCPサーバー、またはCLIを通じて統合できます。
pinchbench
PinchBenchベンチマークを実行して、OpenClawエージェントの実世界タスクにおけるパフォーマンスを評価できます。モデルの機能テスト、モデル間の比較、ベンチマーク結果のリーダーボード提出、またはOpenClawのセットアップがカレンダー、メール、リサーチ、コーディング、複数ステップのワークフローにどの程度対応しているかを確認する際に使用します。
openui
OpenUIとOpenUI Langを使用してジェネレーティブUIアプリを構築できます。これらはLLM生成インターフェースのためのトークン効率的なオープン標準です。OpenUI、@openuidev、ジェネレーティブUI、LLMからのストリーミングUI、AI向けコンポーネントライブラリ、またはjson-render/A2UIの置き換えについて述べる際に使用します。スキャフォルディング、defineComponent、システムプロンプト、Renderer、およびOpenUI Lang出力のデバッグに対応しています。