Technical SEO Audit

カテゴリ

1. クローラビリティ

• robots.txt: 存在する、有効である、重要なリソースをブロックしていない
• XMLサイトマップ: 存在する、robots.txtで参照されている、有効な形式である
• Noindexタグ: 意図的か偶然か
• クロール深度: ホームページから3クリック以内に重要なページがある
• JavaScript レンダリング: 重要なコンテンツがJS実行を必要とするかどうかを確認
• クロール予算: 大規模サイト（10,000ページ以上）の場合、効率が重要

AI クローラー管理

2025-2026年現在、AI企業は積極的にウェブをクロールしてモデルを訓練し、AI検索に活用しています。robots.txtを通じてこれらのクローラーを管理することは、重要なtechnical SEO考慮事項です。

既知のAIクローラー:

クローラー	企業	robots.txt トークン	目的
GPTBot	OpenAI	GPTBot	モデル訓練
ChatGPT-User	OpenAI	ChatGPT-User	リアルタイム閲覧
ClaudeBot	Anthropic	ClaudeBot	モデル訓練
PerplexityBot	Perplexity	PerplexityBot	検索インデックス + 訓練
Bytespider	ByteDance	Bytespider	モデル訓練
Google-Extended	Google	Google-Extended	Gemini訓練（検索ではない）
CCBot	Common Crawl	CCBot	オープンデータセット

重要な区別:

• Google-Extended をブロックすると Gemini 訓練の使用は防げますが、Google検索インデックスやAI Overviews（これらは Googlebot を使用）には影響しません
• GPTBot をブロックするとOpenAI訓練は防げますが、ChatGPTが閲覧を通じてあなたのコンテンツを引用すること（ChatGPT-User）は防げません
• 現在、約3～5%のウェブサイトがAI固有のrobots.txtルールを使用しています

例：AI クローラーを選別してブロックする:

# 検索インデックスを許可、AI訓練クローラーをブロック
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

# その他すべてのクローラーを許可（検索用Googlebotを含む）
User-agent: *
Allow: /

推奨: ブロックする前に、AIの可視性戦略を検討してください。AIシステムに引用されることはブランド認知度と参照トラフィックを促進します。完全なAI可視性最適化については、seo-geo スキルを参照してください。

2. インデックス可能性

• 正規タグ: 自己参照、noindexとの競合なし
• 重複コンテンツ: 近似重複、パラメータURL、wwwの有無
• 薄いコンテンツ: タイプ別の最小単語数を下回るページ
• ページネーション: rel=next/prevまたはload-moreパターン
• Hreflang: 多言語・多地域サイトの場合は正確に
• インデックスブロート: クロール予算を消費する不要なページ

3. セキュリティ

• HTTPS: 強制、有効なSSL証明書、混合コンテンツなし
• セキュリティヘッダー:
  • Content-Security-Policy (CSP)
  • Strict-Transport-Security (HSTS)
  • X-Frame-Options
  • X-Content-Type-Options
  • Referrer-Policy
• HSTSプリロード: 高セキュリティサイトの場合、プリロードリストに含まれているか確認

4. URL構造

• クリーンなURL: わかりやすい、ハイフン区切り、コンテンツのクエリパラメータなし
• 階層構造: サイトアーキテクチャを反映した論理的なフォルダ構造
• リダイレクト: チェーンなし（最大1ホップ）、永続的な移動は301
• URL長: 100文字以上をフラグ
• 末尾スラッシュ: 一貫した使用

5. モバイル最適化

• レスポンシブデザイン: viewportメタタグ、レスポンシブCSS
• タッチターゲット: 最小48x48px、8pxのスペーシング
• フォントサイズ: 最小16pxベース
• 水平スクロールなし
• モバイルファースト インデックス: Googleはモバイル版をインデックスします。モバイルファースト インデックスは2024年7月5日時点で100%完了しています。 Googleは現在、すべてのウェブサイトをモバイル Googlebot ユーザーエージェントのみでクロール・インデックスしています。

6. Core Web Vitals

• LCP (Largest Contentful Paint): 目標 <2.5秒
• INP (Interaction to Next Paint): 目標 <200ms
  • INP は2024年3月12日に FID に代わりました。FID は2024年9月9日にすべての Chrome ツール（CrUX API、PageSpeed Insights、Lighthouse）から完全に削除されました。FID は一切参照しないでください。
• CLS (Cumulative Layout Shift): 目標 <0.1
• 評価は実ユーザーデータの75パーセンタイルを使用
• MCP が利用可能な場合は PageSpeed Insights API または CrUX データを使用

7. 構造化データ

• 検出: JSON-LD（推奨）、Microdata、RDFa
• Google がサポートするタイプに対する検証
• 完全な分析については seo-schema スキルを参照

8. JavaScript レンダリング

• 初期HTML で表示されるコンテンツか、JS が必要かを確認
• クライアントサイドレンダリング（CSR）対サーバーサイドレンダリング（SSR）を識別
• インデックス問題を引き起こす可能性のある SPA フレームワーク（React、Vue、Angular）をフラグ
• 該当する場合は動的レンダリング設定を確認

JavaScript SEO: 正規タグ & インデックス ガイダンス（2025年12月）

Googleは2025年12月にJavaScript SEOドキュメントを更新し、重要な明確化を行いました：

1. 正規タグの競合: 生のHTML内の正規タグと JavaScript によって挿入されたタグが異なる場合、Google は どちらかを使用する可能性があります。正規タグはサーバーレンダリング HTML と JS レンダリング出力の間で同じになるようにしてください。
2. noindex と JavaScript: 生のHTML が <meta name="robots" content="noindex"> を含んでいるが、JavaScript がそれを削除する場合、Google は生のHTML からの noindex を仍然尊重する可能性があります。初期HTML レスポンスで正しいロボット指令を配信してください。
3. 非200ステータスコード: Google は200以外の HTTP ステータスコードを返すページで JavaScript をレンダリングしません。エラーページで JS 経由で挿入されたコンテンツまたはメタタグは、Googlebot に見えません。
4. JavaScript内の構造化データ: JS 経由で挿入される Product、Article その他の構造化データは、処理が遅延する可能性があります。時間に敏感な構造化データ（特に e コマース Product マークアップ）については、初期サーバーレンダリング HTML に含めてください。

ベストプラクティス: JavaScript 挿入に頼るのではなく、重要な SEO 要素（正規タグ、メタロボット、構造化データ、タイトル、メタディスクリプション）を初期サーバーレンダリング HTML で配信してください。

9. IndexNow プロトコル

• サイトが Bing、Yandex、Naver 対応 IndexNow をサポートしているかどうか確認
• Google 以外の検索エンジンによってサポート
• Google 以外のエンジンでのより高速なインデックス作成のための実装をお勧めします

出力

Technical スコア: XX/100

カテゴリ別内訳

カテゴリ	ステータス	スコア
クローラビリティ	pass/warn/fail	XX/100
インデックス可能性	pass/warn/fail	XX/100
セキュリティ	pass/warn/fail	XX/100
URL構造	pass/warn/fail	XX/100
モバイル	pass/warn/fail	XX/100
Core Web Vitals	pass/warn/fail	XX/100
構造化データ	pass/warn/fail	XX/100
JS レンダリング	pass/warn/fail	XX/100
IndexNow	pass/warn/fail	XX/100

重要な問題（すぐに修正）

優先度が高い（1週間以内に修正）

優先度が中程度（1か月以内に修正）

優先度が低い（バックログ）

DataForSEO 統合（オプション）

DataForSEO MCP ツールが利用可能な場合は、実際のページ分析（ステータスコード、ページタイミング、リンク切れ、ページ上のチェック）には on_page_instant_pages を、Lighthouse 監査（パフォーマンス、アクセシビリティ、SEO スコア）には on_page_lighthouse を、技術スタック検出には domain_analytics_technologies_domain_technologies を使用してください。

Google API 統合（オプション）

Google API 認証情報が構成されている場合は、実際の PSI + CrUX フィールドデータ（ラボのみの CWV 推定値に代わる）には python scripts/pagespeed_check.py <url> --json を、25週間の CWV トレンドには python scripts/crux_history.py <url> --json を、URL ごとの実際のインデックス状態には python scripts/gsc_inspect.py <url> --json を使用してください。

エラー処理

シナリオ	アクション
URL到達不可	ステータスコード付きの接続エラーを報告します。URL の確認、DNS解決の確認、サイトが公開アクセス可能であることの確認を提案します。
robots.txtが見つからない	ルートドメインで robots.txt が検出されなかったことに注意してください。適切な指令で作成することをお勧めします。残りのカテゴリで監査を継続します。
HTTPS が構成されていない	重大な問題としてフラグします。HTTP がリダイレクトなしで配信されているか、混合コンテンツが存在するか、SSL 証明書が不足/期限切れかを報告します。
Core Web Vitals データが利用不可	CrUX データが利用できないことに注意してください（低トラフィックサイトでは一般的です）。Lighthouse ラボデータを代理として使用することを提案し、再テスト前にトラフィックを増やすことをお勧めします。