web-research-labeler

任意のトピックについて、並列化されたClaudeエージェントを使用してリサーチを実施します。結果はPostgres（Ghost経由）に保存され、ライブダッシュボードで確認できます。

前提条件

• Ghost CLI がインストールされている（curl -fsSL https://install.ghost.build | sh）
• Ghost データベースが作成されている（ghost create --name web-research）
• .env に ANTHROPIC_API_KEY と DATABASE_URL が設定されている
• Python の依存ライブラリがインストールされている（pip install -r scripts/requirements.txt）
• テーブルが作成されている（python scripts/setup_db.py）

コマンド

トピックをクロール

python scripts/crawl.py --topic "<topic>" --agents 3 --max-results 50

並列エージェントを起動し、異なる視点（ニュース、学術、実用的など）からウェブ検索を実行して、結果を results テーブルにストリーミング保存します。

結果にラベルを付ける

python scripts/label.py --schema "relevance:high/medium/low, type:article/study/news" --agents 3

並列エージェントが SELECT FOR UPDATE SKIP LOCKED を使用してスキーマに対してラベル未付与の結果を分類し、二重ラベリングを回避します。

ライブダッシュボード

bash scripts/start_dashboard.sh

localhost:3000 でNext.js ダッシュボードを開きます。2秒ごとにデータベースをポーリングし、統計情報、アクティブエージェント、アクティビティログ、ラベルバッジ付きの結果を表示します。

結果をエクスポート

python scripts/export.py                          # すべてを export.json にエクスポート
python scripts/export.py --labeled-only -o out.json  # ラベル付きの結果のみ
python scripts/export.py --topic "coral reef restoration"

結果とそのラベルを JSON ファイルにダンプします。呼び出し元のエージェントが読み込むことができます。

データベースを検査

ghost psql <db-id>

典型的なワークフロー

1. python scripts/crawl.py --topic "coral reef restoration" --agents 5
2. bash scripts/start_dashboard.sh（別のターミナルで実行）
3. python scripts/label.py --schema "relevance:high/medium/low, type:article/study/news" --agents 3
4. ダッシュボードでリアルタイムに結果とラベルが表示されるのを確認
5. python scripts/export.py --labeled-only -o research.json — ダウンストリームで使用するためにエクスポート