Daily News Report v3.0

Architecture Upgrade: Main Agent Orchestration + SubAgent Execution + Browser Scraping + Smart Caching

コアアーキテクチャ

┌─────────────────────────────────────────────────────────────────────┐
│                        Main Agent (Orchestrator)                    │
│  Role: Scheduling, Monitoring, Evaluation, Decision, Aggregation    │
├─────────────────────────────────────────────────────────────────────┤
│                                                                      │
│   ┌─────────────┐    ┌─────────────┐    ┌─────────────┐    ┌─────────────┐     │
│   │ 1. Init     │ → │ 2. Dispatch │ → │ 3. Monitor  │ → │ 4. Evaluate │     │
│   │ Read Config │    │ Assign Tasks│    │ Collect Res │    │ Filter/Sort │     │
│   └─────────────┘    └─────────────┘    └─────────────┘    └─────────────┘     │
│         │                  │                  │                  │           │
│         ▼                  ▼                  ▼                  ▼           │
│   ┌─────────────┐    ┌─────────────┐    ┌─────────────┐    ┌─────────────┐     │
│   │ 5. Decision │ ← │ Enough 20?  │    │ 6. Generate │ → │ 7. Update   │     │
│   │ Cont/Stop   │    │ Y/N         │    │ Report File │    │ Cache Stats │     │
│   └─────────────┘    └─────────────┘    └─────────────┘    └─────────────┘     │
│                                                                      │
└──────────────────────────────────────────────────────────────────────┘
         ↓ Dispatch                          ↑ Return Results
┌─────────────────────────────────────────────────────────────────────┐
│                        SubAgent Execution Layer                      │
├─────────────────────────────────────────────────────────────────────┤
│                                                                      │
│   ┌─────────────┐   ┌─────────────┐   ┌─────────────┐              │
│   │ Worker A    │   │ Worker B    │   │ Browser     │              │
│   │ (WebFetch)  │   │ (WebFetch)  │   │ (Headless)  │              │
│   │ Tier1 Batch │   │ Tier2 Batch │   │ JS Render   │              │
│   └─────────────┘   └─────────────┘   └─────────────┘              │
│         ↓                 ↓                 ↓                        │
│   ┌─────────────────────────────────────────────────────────────┐   │
│   │                    Structured Result Return                 │   │
│   │  { status, data: [...], errors: [...], metadata: {...} }    │   │
│   └─────────────────────────────────────────────────────────────┘   │
│                                                                      │
└─────────────────────────────────────────────────────────────────────┘

設定ファイル

このスキルは以下の設定ファイルを使用します:

ファイル	目的
sources.json	ソース設定、優先度、スクレイプ方法
cache.json	キャッシュデータ、履歴統計、重複排除フィンガープリント

実行プロセスの詳細

フェーズ 1: 初期化

Steps:
  1. 日付を決定 (ユーザー引数または現在の日付)
  2. sources.json を読み込んでソース設定を取得
  3. cache.json を読み込んで履歴データを取得
  4. 出力ディレクトリ NewsReport/ を作成
  5. 本日の部分レポートが存在するかチェック (追記モード)

フェーズ 2: SubAgent をディスパッチ

戦略: 並列ディスパッチ、バッチ実行、早期停止メカニズム

Wave 1 (並列):
  - Worker A: Tier1 Batch A (HN, HuggingFace Papers)
  - Worker B: Tier1 Batch B (OneUsefulThing, Paul Graham)

結果を待機 → 品質カウントを評価

15 未満の高品質アイテムの場合:
  Wave 2 (並列):
    - Worker C: Tier2 Batch A (James Clear, FS Blog)
    - Worker D: Tier2 Batch B (HackerNoon, Scott Young)

それでも 20 アイテム未満の場合:
  Wave 3 (ブラウザ):
    - ブラウザ Worker: ProductHunt, Latent Space (JS レンダリング必須)

フェーズ 3: SubAgent タスク形式

各 SubAgent が受け取るタスク形式:

task: fetch_and_extract
sources:
  - id: hn
    url: https://news.ycombinator.com
    extract: top_10
  - id: hf_papers
    url: https://huggingface.co/papers
    extract: top_voted

output_schema:
  items:
    - source_id: string      # ソース識別子
      title: string          # タイトル
      summary: string        # 2～4 文の要約
      key_points: string[]   # 最大 3 ポイント
      url: string            # 元の URL
      keywords: string[]     # キーワード
      quality_score: 1-5     # 品質スコア

constraints:
  filter: "最先端技術/ディープテック/生産性/実用的情報"
  exclude: "一般科学/マーケティング誇大広告/過度に学術的/求人広告"
  max_items_per_source: 10
  skip_on_error: true

return_format: JSON

フェーズ 4: Main Agent 監視とフィードバック

Main Agent の責任:

監視:
  - SubAgent の戻り状態をチェック (成功/部分/失敗)
  - 収集したアイテムをカウント
  - ソースごとの成功率を記録

フィードバックループ:
  - SubAgent が失敗した場合、再試行またはスキップを判定
  - ソースが継続的に失敗した場合、無効化を記録
  - 後続のバッチに対してソース選択を動的に調整

判定:
  - アイテム >= 25 かつ HighQuality >= 20 → スクレイピング停止
  - アイテム < 15 → 次のバッチに続行
  - すべてのバッチ完了だが < 20 → 利用可能なコンテンツで生成 (品質重視)

フェーズ 5: 評価とフィルタリング

重複排除:
  - 完全な URL マッチ
  - タイトルの類似度 (80% 以上は重複と判定)
  - cache.json をチェックして過去の重複を回避

スコア調整:
  - SubAgent 全体でスコア標準を統一
  - ソース信頼度に基づいて重みを調整
  - 手動キュレーション高品質ソースにボーナスポイント

ソート:
  - quality_score で降順
  - スコアが同じ場合はソースの優先度でソート
  - Top 20 を抽出

フェーズ 6: ブラウザスクレイピング (MCP Chrome DevTools)

JS レンダリングが必要なページは、ヘッドレスブラウザを使用:

プロセス:
  1. mcp__chrome-devtools__new_page を呼び出してページを開く
  2. mcp__chrome-devtools__wait_for を呼び出してコンテンツ読み込みを待機
  3. mcp__chrome-devtools__take_snapshot を呼び出してページ構造を取得
  4. スナップショットをパースして必要なコンテンツを抽出
  5. mcp__chrome-devtools__close_page を呼び出してページを閉じる

適用シナリオ:
  - ProductHunt (WebFetch では 403)
  - Latent Space (Substack JS レンダリング)
  - その他の SPA アプリケーション

フェーズ 7: レポート生成

出力:
  - ディレクトリ: NewsReport/
  - ファイル名: YYYY-MM-DD-news-report.md
  - フォーマット: 標準 Markdown

コンテンツ構成:
  - タイトル + 日付
  - 統計サマリー (ソース数、収集アイテム数)
  - 20 個の高品質アイテム (テンプレートベース)
  - 生成情報 (バージョン、タイムスタンプ)

フェーズ 8: キャッシュ更新

cache.json を更新:
  - last_run: このラン情報を記録
  - source_stats: ソースごとの統計を更新
  - url_cache: 処理済み URL を追加
  - content_hashes: コンテンツフィンガープリントを追加
  - article_history: 含まれる記事を記録

SubAgent 呼び出しの例

汎用 Agent を使用

カスタム Agent は検出されるために セッション再起動が必要なため、汎用 Agent を使用してワーカープロンプトをインジェクト:

Task Call:
  subagent_type: general-purpose
  model: haiku
  prompt: |
    You are a stateless execution unit. Only do the assigned task and return structured JSON.

    Task: Scrape the following URLs and extract content

    URLs:
    - https://news.ycombinator.com (Extract Top 10)
    - https://huggingface.co/papers (Extract top voted papers)

    Output Format:
    {
      "status": "success" | "partial" | "failed",
      "data": [
        {
          "source_id": "hn",
          "title": "...",
          "summary": "...",
          "key_points": ["...", "...", "..."],
          "url": "...",
          "keywords": ["...", "..."],
          "quality_score": 4
        }
      ],
      "errors": [],
      "metadata": { "processed": 2, "failed": 0 }
    }

    Filter Criteria:
    - Keep: Cutting-edge Tech/Deep Tech/Productivity/Practical Info
    - Exclude: General Science/Marketing Puff/Overly Academic/Job Posts

    Return JSON directly, no explanation.

Worker Agent を使用 (セッション再起動が必須)

Task Call:
  subagent_type: worker
  prompt: |
    task: fetch_and_extract
    input:
      urls:
        - https://news.ycombinator.com
        - https://huggingface.co/papers
    output_schema:
      - source_id: string
      - title: string
      - summary: string
      - key_points: string[]
      - url: string
      - keywords: string[]
      - quality_score: 1-5
    constraints:
      filter: Cutting-edge Tech/Deep Tech/Productivity/Practical Info
      exclude: General Science/Marketing Puff/Overly Academic

出力テンプレート

# Daily News Report (YYYY-MM-DD)

> 本日 N 個のソースからキュレーションされた 20 個の高品質アイテムを含む
> 生成時間: X 分 | バージョン: v3.0
>
> **警告**: Sub-agent 'worker' は検出されません。汎用モードで実行中 (シリアル実行)。パフォーマンスが低下する可能性があります。

---

## 1. Title

- **Summary**: 2～4 行の概要
- **Key Points**:
  1. ポイント1
  2. ポイント2
  3. ポイント3
- **Source**: Link
- **Keywords**: `keyword1` `keyword2` `keyword3`
- **Score**: ⭐⭐⭐⭐⭐ (5/5)

---

## 2. Title
...

---

*Generated by Daily News Report v3.0*
*Sources: HN, HuggingFace, OneUsefulThing, ...*

制約と原則

1. 品質重視: 低品質なコンテンツはレポートに含まれません。
2. 早期停止: 20 個の高品質アイテムに達したらスクレイピングを停止します。
3. 並列優先: 同じバッチ内の SubAgent は並列実行されます。
4. フォールトトレランス: 単一ソースの失敗がプロセス全体に影響しません。
5. キャッシュ再利用: 同じコンテンツの再スクレイピングを回避します。
6. Main Agent 制御: すべての決定は Main Agent が行います。
7. フォールバック認識: Sub-Agent の可用性を検出し、利用不可の場合は適切に性能を低下させます。

予想されるパフォーマンス

シナリオ	予想時間	注釈
最適	~2 分	Tier1 で十分、ブラウザ不要
通常	~3～4 分	Tier2 による補足が必要
ブラウザ必要	~5～6 分	JS レンダリングページを含む

エラーハンドリング

エラータイプ	ハンドリング
SubAgent タイムアウト	エラーをログ、次に進む
ソース 403/404	無効化をマーク、sources.json を更新
抽出失敗	生のコンテンツを返す、Main Agent が判定
ブラウザクラッシュ	ソースをスキップ、ログエントリを記録

互換性とフォールバック

異なる Agent 環境での使いやすさを保証するために、以下のチェックを実行する必要があります:

1. 環境チェック:

   • フェーズ 1 初期化で worker sub-agent が存在するかを検出しようとします。
   • 存在しない場合 (またはプラグインがインストールされていない場合)、自動的に シリアル実行モード に切り替えます。

2. シリアル実行モード:

   • 並列ブロックを使用しません。
   • Main Agent は各ソースのスクレイピングタスクを順序に実行します。
   • 遅い代わりに、基本的な機能を保証します。

3. ユーザーアラート:

   • 生成されたレポートヘッダーに、現在の低下モードを示す明確な警告を 含める必要があります。

使用時期

このスキルは、概要で説明されたワークフローまたはアクションを実行するために適用されます。