Research Quality Audit

研究コーパスの浅いスタブ、不完全なドキュメンテーション、欠落しているソースファイルを監査します。抽象文のみから作成された分析ドキュメントを検出し(88スタブインシデントの根本原因)、コーパス全体のドキュメント深度メトリクスをレポートします。

トリガー

• "audit research quality"
• "check for stubs"
• "find shallow docs"
• "research quality audit"
• "how deep are the analysis docs?"
• /research-quality-audit

パラメータ

--range REF-XXX:YYY (オプション)

REF識別子の特定の範囲を監査します。デフォルト: コーパス全体。

--fix (オプション)

スタブを拡張するためのエージェントを自動的にディスパッチします。各スタブは、フルPDF/ソースを読み込んで分析ドキュメントを改稿するフォーカスされたエージェントを取得します。

--threshold N (オプション)

ドキュメントがスタブ以外と見なされるための最小行数。デフォルト: 80。

--format (オプション)

出力形式: full(デフォルト)、summary、または json。

--pdf-check (オプション)

各REFにメタデータだけでなく、実際のPDFまたはソースファイルが存在するかどうかも検証します。

実行フロー

フェーズ1: コーパススキャン

1. Glob すべての検出ドキュメント: .aiwg/research/findings/REF-*.md (および/またはコーパスレイアウトに応じて documentation/references/REF-*.md)
2. 各ドキュメントについて以下を収集:
   • 行数 (全行)
   • コンテンツ行 (空白行、フロントマター、見出し以外の行)
   • セクション数 (## 見出しの数)
   • 主要引用数 (ブロック引用またはインライン引用)
   • ソース可用性 — 参照される pdf_location でPDFが存在するか?
   • フルテキスト可用性 — sources/text/REF-XXX.txt が存在するか?
   • フロントマター完全性 — 必須フィールドが存在するか?

フェーズ2: 分類

各ドキュメントを品質レベルに分類:

レベル	コンテンツ行	セクション	引用	判定
Full	>= 150	>= 8	>= 3	包括的な分析
Adequate	80-149	>= 5	>= 1	最小深度を満たしている
Stub	40-79	>= 3	0	抽象文から作成 — 拡張が必要
Skeleton	< 40	任意	0	プレースホルダーのみ — 完全な改稿が必要

追加フラグ:

• No PDF: 分析は存在するがソースPDFが欠落
• No full text: PDFは存在するがテキスト抽出が実行されていない
• Abstract-only indicators: ドキュメントが「abstract」に言及しているが、方法論/結果セクションがない

フェーズ3: レポート

Research Quality Audit
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

Corpus: 372 documents
Threshold: 80 content lines

Quality Distribution:
  Full (150+):      124 (33%)  ████████████████░░░░░░░░░░
  Adequate (80-149): 89 (24%)  ████████████░░░░░░░░░░░░░░
  Stub (40-79):      98 (26%)  █████████████░░░░░░░░░░░░░
  Skeleton (<40):    61 (16%)  ████████░░░░░░░░░░░░░░░░░░

Statistics:
  Mean content lines:  112
  Median:              94
  Min:                 12 (REF-299)
  Max:                 591 (REF-018)

Source Availability:
  PDF present:         348 / 372 (94%)
  Full text extracted:  201 / 372 (54%)
  Missing PDF:          24 papers
  Missing text:        171 papers

Stubs Requiring Expansion (159):
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

  REF-253  22 lines  skeleton  No PDF    "Agentic Design Patterns"
  REF-254  35 lines  skeleton  Has PDF   "Multi-Agent Debate"
  REF-255  45 lines  stub      Has PDF   "Language Agent Tree Search"
  REF-256  48 lines  stub      No text   "ReAct: Synergizing Reasoning"
  ...

Top 10 Shallowest (candidates for immediate expansion):
  1. REF-299  12 lines  skeleton  "Toolformer: Language Models Can..."
  2. REF-312  15 lines  skeleton  "WebArena: A Realistic Web..."
  3. REF-253  22 lines  skeleton  "Agentic Design Patterns..."
  ...

フェーズ4: オート修正 (--fix の場合)

--fix が指定されている場合:

1. 修正可能なスタブをフィルター — PDFまたはフルテキストが利用可能なドキュメントのみ拡張
2. 優先度順にバッチ化 — 最も浅いドキュメントから、10個ごとのグループにバッチ化
3. 拡張エージェントをディスパッチ — 各エージェント:
   • ソースのフルPDF/抽出されたテキストを読み込む
   • 包括的なコンテンツで分析ドキュメントを改稿
   • 目標: 方法論、知見、制限事項、主要引用を含む150行以上のコンテンツ行
4. 拡張後に再監査 — フェーズ1-3を再実行して改善を確認
5. レポート — 拡張されたドキュメント、平均行数の改善、残りのスタブ

Auto-Fix Results:
  Dispatched: 10 expansion agents (batch 1 of 16)
  Expanded: 10 / 10
  Mean improvement: 77 → 161 lines (+109%)
  Remaining stubs: 149

  Run again with --fix to process next batch.

インテグレーションポイント

コンポーネント	関係
induct-research	品質監査はバッチ取り込み後に自動実行される必要があります
corpus-snapshot	スタブレート > 10% でゲートする (#814)
research-lint	ref-frontmatter ルールは不完全なメタデータをキャッチ; quality-audit は浅いコンテンツをキャッチ
research-status	ドキュメント深度はコーパスヘルススコアリングの構成要素です
research-acquire	PDFが欠落しているスタブの場合、拡張前に取得をトリガーします

他のツールとの違い

ツール	チェック内容
research-lint	構造 — フロントマターフィールド、命名、参照の解決
research-quality-audit	深度 — コンテンツは実質的か? ソースは実際に読まれたか?
research-quality	証拠 — ソースの研究品質のGRADE評価
corpus-health	集計 — 深度、構造、カバレッジを含む全体的なコーパスメトリクス

使用例

# コーパス全体を監査
/research-quality-audit

# 特定の範囲を監査
/research-quality-audit --range REF-253:372

# スタブを自動拡張 (10個のバッチ)
/research-quality-audit --fix

# 厳密な閾値 (最小120行)
/research-quality-audit --threshold 120

# ソースファイルの可用性を確認
/research-quality-audit --pdf-check

# プログラム的な使用のためにJSON形式で出力
/research-quality-audit --format json

参考資料

• @$AIWG_ROOT/agentic/code/frameworks/research-complete/skills/induct-research/SKILL.md — 取得をスキップした場合のスタブのソース
• @$AIWG_ROOT/agentic/code/frameworks/research-complete/skills/research-acquire/SKILL.md — スタブ拡張のためのPDFを取得
• @$AIWG_ROOT/agentic/code/frameworks/research-complete/skills/research-lint/SKILL.md — 構造の検証 (補完的)
• @$AIWG_ROOT/agentic/code/frameworks/research-complete/skills/research-quality/SKILL.md — GRADE証拠評価 (補完的)
• @$AIWG_ROOT/agentic/code/frameworks/research-complete/skills/research-status/SKILL.md — ヘルススコアリングに深度メトリクスを含む