ウェブコンテンツの取得

ウェブコンテンツを以下の順序で取得します:

1. マークダウン形式のエンドポイント (content-type: text/markdown) を優先
2. 既知のサイト向けのセレクタベースのHTML抽出を使用
3. セレクタが失敗した場合はバンドルされているBunフォールバックスクリプトを使用

前提条件

抽出する前に必要なツールを確認してください:

command -v curl >/dev/null || echo "curl is required"
command -v html2markdown >/dev/null || echo "html2markdown is required for HTML extraction"
command -v bun >/dev/null || echo "bun is required for fetch.ts fallback"

バンドルされているスクリプトのBun依存関係をインストールします:

cd ~/.claude/skills/web-fetch && bun install

デフォルトワークフロー

任意のURLに対してこれをデフォルトフローとして使用します:

URL="<url>"
CONTENT_TYPE="$(curl -sIL "$URL" | awk -F': ' 'tolower($1)=="content-type"{print tolower($2)}' | tr -d '\r' | tail -1)"

if echo "$CONTENT_TYPE" | grep -q "markdown"; then
  curl -sL "$URL"
else
  curl -sL "$URL" \
    | html2markdown \
        --include-selector "article,main,[role=main]" \
        --exclude-selector "nav,header,footer,script,style"
fi

既知サイトのセレクタ

サイト	インクルードセレクタ	エクスクルードセレクタ
platform.claude.com	#content-container	-
docs.anthropic.com	#content-container	-
developer.mozilla.org	article	-
github.com (docs)	article	nav,.sidebar
汎用	article,main,[role=main]	nav,header,footer,script,style

例:

curl -sL "<url>" \
  | html2markdown \
      --include-selector "#content-container" \
      --exclude-selector "nav,header,footer"

適切なセレクタを見つける

サイトがパターンリストにない場合:

# 存在するコンテンツコンテナを確認
curl -s "<url>" | grep -o '<article[^>]*>\|<main[^>]*>\|id="[^"]*content[^"]*"' | head -10

# セレクタをテスト
curl -sL "<url>" | html2markdown --include-selector "<selector>" | head -30

# 行数を確認
curl -sL "<url>" | html2markdown --include-selector "<selector>" | wc -l

ユニバーサルフォールバックスクリプト

セレクタの出力が悪い場合は、バンドルされているパーサーを実行します:

bun ~/.claude/skills/web-fetch/fetch.ts "<url>"

既にスキルディレクトリ内にいる場合:

bun fetch.ts "<url>"

オプションリファレンス

--include-selector "CSS"  # マッチする要素のみを保持
--exclude-selector "CSS"  # マッチする要素を削除
--domain "https://..."    # 相対リンクを絶対URLに変換

トラブルシューティング

セレクタで空の出力が返される: ページがマークダウン形式かもしれません。最初にヘッダーを確認してください:

curl -sIL "<url>" | grep -i '^content-type:'

間違ったコンテンツが選択される: サイトに複数のarticle/main領域がある可能性があります:

curl -s "<url>" | grep -o '<article[^>]*>'

html2markdown が見つからない: インストール後、セレクタベースの抽出を再実行してください。

bun またはスクリプト依存関係がない: cd ~/.claude/skills/web-fetch && bun install を実行してください。

コードブロックがない: サイトが非標準的なコードフォーマットを使用していないか確認してください。

クライアントレンダリングコンテンツ: HTMLに「Loading...」プレースホルダーのみが含まれている場合、コンテンツはJS環境でレンダリングされています。curlもBunスクリプトも抽出できません。ブラウザベースのツールを使用してください。