Web Scraper

BeautifulSoup と requests を使用してウェブサイトから構造化データを抽出 - あらゆるウェブページを使用可能なデータに変換します。

このスキルをいつ使用するか

• 競合調査 - 価格設定、機能、ポジショニングをスクレイピング
• リード生成 - ディレクトリから連絡先情報を抽出
• コンテンツ監査 - 見出し、リンク、メタデータを取得
• 価格監視 - 競合企業の価格変動を追跡
• データ収集 - 複数のソースから研究データを収集

Claude が実施することと、あなたが決めること

Claude が実施すること	あなたが決めること
分析フレームワークを構築	戦略的優先事項
市場データを統合	競争ポジショニング
機会を特定	リソース配分
戦略的オプションを作成	最終戦略選択
実装アプローチを提案	実行の意思決定

依存関係

pip install beautifulsoup4 requests pandas click lxml

コマンド

要素をスクレイピング

python scripts/main.py scrape https://example.com --selector "h1,h2,p"
python scripts/main.py scrape https://example.com --selector ".product-price"

リンクを抽出

python scripts/main.py links https://example.com
python scripts/main.py links https://example.com --internal-only

メールアドレスを抽出

python scripts/main.py emails https://example.com
python scripts/main.py emails https://example.com --depth 2

構造化データを抽出

python scripts/main.py structured https://example.com/article --schema article
python scripts/main.py structured https://example.com/product --schema product

例

例1: 競合企業の価格設定をスクレイピング

python scripts/main.py scrape https://competitor.com/pricing --selector ".price,.plan-name"

# 出力:
# Extracted 6 elements
# 1. Starter - $29/mo
# 2. Pro - $99/mo
# 3. Enterprise - Contact us

例2: 記事コンテンツを抽出

python scripts/main.py structured https://blog.example.com/post --schema article

# 出力: article_data.json
# {
#   "title": "How to Scale Your Startup",
#   "author": "Jane Doe",
#   "date": "2024-01-15",
#   "content": "...",
#   "word_count": 1523
# }

CSSセレクター リファレンス

セレクター	説明	例
tag	要素タイプ	h1, p, div
.class	クラス名	.price, .title
#id	要素ID	#main-content
tag.class	クラス付きタグ	div.product
tag[attr]	属性を持つ	a[href]
parent > child	直下の子要素	ul > li
tag1, tag2	複数選択	h1, h2, h3

倫理的なスクレイピングガイドライン

1. robots.txt をチェック - サイトのスクレイピングポリシーを尊重
2. レート制限 - サーバーに過負荷をかけない(1～2 req/秒)
3. 自己識別 - わかりやすい User-Agent を使用
4. キャッシュリクエスト - 変更されていないページを再スクレイピングしない
5. 利用規約を確認 - スクレイピングが許可されているか確認

スキルの範囲

このスキルが得意なこと

• 戦略分析の構築
• 市場機会の特定
• 戦略的フレームワークの作成
• 競争データの統合

このスキルができないこと

• 市場調査の代替
• 戦略的成功の保証
• 競合企業の非公開情報の把握
• 経営判断の実施

関連スキル

• competitor-monitor - 競合企業の変化を監視
• pdf-extractor - PDF から抽出

スキルメタデータ

• モード: centaur

category: automation
subcategory: data-extraction
dependencies: [beautifulsoup4, requests, pandas]
difficulty: intermediate
time_saved: 5+ hours/week