AI クローラー Robots.txt 監査

サイトの robots.txt を AI クローラーのアクセスポリシーに特化して分析します。 /seo-technical（robots.txt の広範なチェック）を補完する形で、AI 固有の詳細な分析を実施します。

@skills/seo/references/ai-crawlers-guide.md

AI クローラー レジストリ

ボット名	所有者	目的
GPTBot	OpenAI	トレーニングデータ + ChatGPT ウェブ検索
OAI-SearchBot	OpenAI	ChatGPT 検索のみ（トレーニング対象外）
ChatGPT-User	OpenAI	ChatGPT ブラウジング（リアルタイム）
ClaudeBot	Anthropic	トレーニングデータ収集
anthropic-ai	Anthropic	Anthropic ウェブクローラー
PerplexityBot	Perplexity	AI 検索エンジン
Google-Extended	Google	Gemini / AI トレーニング（Search 対象外）
Bytespider	ByteDance	TikTok / AI トレーニング
CCBot	Common Crawl	多くの AI モデルで使用されるオープンデータセット
Applebot-Extended	Apple	Apple Intelligence トレーニング
cohere-ai	Cohere	AI モデルトレーニング
FacebookBot	Meta	Meta AI トレーニング
Meta-ExternalAgent	Meta	Meta AI ブラウジングエージェント
Amazonbot	Amazon	Alexa / AI トレーニング
Diffbot	Diffbot	AI ナレッジグラフ
ImagesiftBot	ImagesiftBot	AI 画像トレーニング
Omgili	Webz.io	AI データフィード

入力

• url: 監査するウェブサイトの URL（サイトルートから /robots.txt を取得）
  • ドメインルートに正規化: example.com/page → https://example.com/robots.txt

実行手順

1. robots.txt の取得: WebFetch <domain>/robots.txt

   • 404 の場合 → 「robots.txt が見つかりません。デフォルトではすべてのクローラーが許可されています」と報告
   • 200 の場合 → 解析に進む

2. User-agent ブロックの解析: すべての User-agent ディレクティブおよび関連する Allow / Disallow ルールを抽出

3. 各 AI クローラーの確認: レジストリ内の各ボットについて、アクセス状況を判定

   • 許可 — 特定ブロックがない、または明示的な Allow: / がある
   • ブロック — このユーザーエージェントに対する Disallow: / がある
   • 部分的 — 一部パスがブロック、他は許可（詳細を記載）
   • 継承 — User-agent: * ルールの下にある（注記する）

4. ワイルドカード ルールの確認: User-agent: * に Disallow: / がある場合、明示的に許可されていない限りすべてのボット（AI 含む）がブロックされることを注記

5. ai.txt の確認: WebFetch <domain>/ai.txt — AI クローラーポリシー用の新興標準です。発見された場合は報告し、内容をまとめる

6. llms.txt の確認: WebFetch <domain>/llms.txt — 発見された場合は報告（/seo llms-txt による完全監査とクロスリファレンス）

7. クロール遅延の分析: AI ボット固有、またはワイルドカード経由で影響する Crawl-delay ディレクティブを記載

8. サイトマップ宣言の確認: Sitemap: ディレクティブが存在するかどうかを記載（AI クローラーがコンテンツ発見を支援）

出力形式

## AI クローラー監査: [domain]

### クローラー アクセス マトリックス

| クローラー | 所有者 | ステータス | ルール出典 | 詳細 |
|---|---|---|---|---|
| GPTBot | OpenAI | 許可/ブロック/部分的 | 行 [#] | [特定ルール] |
| ClaudeBot | Anthropic | 許可/ブロック/部分的 | 行 [#] | [特定ルール] |
| PerplexityBot | Perplexity | 許可/ブロック/部分的 | 行 [#] | [特定ルール] |
| Google-Extended | Google | 許可/ブロック/部分的 | 行 [#] | [特定ルール] |
| ... | ... | ... | ... | ... |

### AI オープン度スコア: X/10

スコアリング:
- 10/10 = すべての AI クローラーが許可、ai.txt 存在、llms.txt 存在
- 7-9 = ほとんどのクローラーが許可、軽微なギャップあり
- 4-6 = 混在ポリシー — 一部許可、一部ブロック
- 1-3 = ほとんどの AI クローラーがブロック
- 0/10 = すべての AI クローラーがブロック（または包括的な Disallow: /）

### 主な発見

- **AI クローラー明示的ブロック**: [合計]中[数]
- **AI クローラー明示的許可**: [数]
- **ワイルドカードルール対象**: [数]
- **ai.txt 存在**: はい/いいえ
- **llms.txt 存在**: はい/いいえ
- **サイトマップ宣言**: はい/いいえ

### 推奨事項

サイトの目的に基づいた推奨:

**目的が最大限の AI 可視性の場合:**
- [AI クローラーを許可するための具体的な推奨]
- [必要に応じて llms.txt 作成を提案]

**目的が AI 保護の場合:**
- [まだブロックされていないクローラーを記載]
- [ai.txt の採用を提案]

**目的が選別アクセスの場合:**
- [検索フォーカス型ボットの許可を推奨: OAI-SearchBot、PerplexityBot]
- [トレーニング専用ボットのブロックを推奨: CCBot、Bytespider]
- [トレーニング型と検索型クローラーを区別]

### 業界の文脈

サイトのポリシーがどのように共通パターンと比較されるかを記載:
- 大手出版社の大多数はトレーニングボットはブロックするが検索ボットは許可
- ほとんどの SaaS 企業は可視性向上のためすべての AI クローラーを許可
- eコマースサイトは通常すべてのクローラーを許可
- メディア/ニュースサイトはトレーニング専用ボットのブロックを増加させている

### robots.txt スニペット

ユーザーが変更を実装したい場合、選択した戦略に対応する robots.txt ブロックを提供:

**すべての AI クローラーを許可:**

AI クローラー — 許可

User-agent: GPTBot Allow: /

User-agent: ClaudeBot Allow: /

User-agent: PerplexityBot Allow: /

User-agent: Google-Extended Allow: /

**トレーニングはブロック、検索は許可:**

AI 検索 — 許可

User-agent: OAI-SearchBot Allow: /

User-agent: PerplexityBot Allow: /

AI トレーニング — ブロック

User-agent: GPTBot Disallow: /

User-agent: ClaudeBot Disallow: /

User-agent: CCBot Disallow: /

User-agent: Google-Extended Disallow: /

User-agent: Bytespider Disallow: /