Crawl4AI Skill - Webクローラー＆スクレーパー

Web クローリング 网页爬虫 | Web スクレイピング 网页爬取 | LLM 最適化出力

インテリジェントな Web クローラーおよびスクレイピングツール。検索、全サイトクローリング、動的ページスクレイピングに対応。LLM最適化Markdown出力を備えた無料の Web クローラーおよびスクレイパーです。

コア機能 | Core Features

• 🔍 Web 検索 网页搜索 - DuckDuckGo 検索、API キー不要
• 🕷️ Web クローリング 网页爬虫 - サイトクローラー、スパイダー、サイトマップ認識
• 📝 Web スクレイピング 网页抓取 - スマートスクレイパー、データ抽出
• 📄 LLM最適化出力 - Markdown 形式、トークン使用量 80% 削減
• ⚡ 動的ページスクレイピング - JavaScript レンダリングページのクローリング

---

クイックスタート | Quick Start

インストール | Installation

pip install crawl4ai-skill

Web 検索 | 网页搜索

# Search the web with DuckDuckGo
crawl4ai-skill search "python web scraping"

Web スクレイピング | 单页爬取

# Scrape a single web page
crawl4ai-skill crawl https://example.com

Web クローリング | 全站爬虫

# Crawl entire website / spider
crawl4ai-skill crawl-site https://docs.python.org --max-pages 50

---

ユースケース | Use Cases

シナリオ 1：ドキュメントサイト用 Web クローラー | 文档站爬虫

# Crawl documentation site with spider
crawl4ai-skill crawl-site https://docs.fastapi.com --max-pages 100

クローラー出力 | Crawler Output:

• ❌ 削除：ナビゲーションバー、サイドバー、広告
• ✅ 保持：見出し、本文、コードブロック
• 📊 トークン：50,000 → 10,000（-80%）

シナリオ 2：検索 + スクレイピング | 搜索+爬取

# Search and scrape top results
crawl4ai-skill search-and-crawl "Vue 3 best practices" --crawl-top 3

シナリオ 3：動的ページスクレイピング | 动态页面抓取

JavaScript でレンダリングされたページのスクレイピング（Xueqiu、Zhihu など）:

# Scrape JavaScript-heavy pages
crawl4ai-skill crawl https://xueqiu.com/S/BIDU --wait-until networkidle --delay 2

---

コマンドリファレンス | Commands

コマンド Command	説明 Description
search <query>	Web 検索 网页搜索
crawl <url>	Web スクレイピング 单页爬取
crawl-site <url>	Web クローリング 全站爬虫
search-and-crawl <query>	検索とスクレイピング 搜索并爬取

よく使用されるオプション | Common Options

# Web 検索 搜索
--num-results 10          # Number of results

# Web スクレイピング 爬取
--format fit_markdown     # Output format
--output result.md        # Output file
--wait-until networkidle  # Wait strategy for dynamic pages
--delay 2                 # Additional wait time (seconds)
--wait-for ".selector"    # Wait for specific element

# Web クローリング 爬虫
--max-pages 100          # Max pages to crawl
--max-depth 3            # Max crawl depth

---

出力形式 | Output Formats

fit_markdown（推奨 Recommended）

インテリジェント抽出、80% のトークン節約。Smart extraction, save 80% tokens.

crawl4ai-skill crawl https://example.com --format fit_markdown

raw_markdown

完全な構造を保持。Preserve full structure.

crawl4ai-skill crawl https://example.com --format raw_markdown

---

このクローラーを選ぶ理由 | Why This Crawler?

✅ 無料クローラー Free Crawler - API キー不要、すぐに利用可能
✅ スマートスクレイパー Smart Scraper - ノイズを自動除去し、コアコンテンツを抽出
✅ 全サイトクローラー Site Crawler - サイトマップ対応、再帰的クローリング
✅ 動的スクレイピング Dynamic Scraping - JavaScript レンダリングページ対応
✅ 検索統合 Search Integration - DuckDuckGo 検索内蔵

---

リンク | Links

• 📦 PyPI
• 💻 GitHub
• 🦞 ClawHub