web-scraping

ウェブページのスクレイピングを依頼された場合、scpr コマンドラインインターフェースを使用してください。

基本的な使用方法(単一ページのスクレイピング):

scpr --url https://example.com --output ./scraped

これはページをスクレイピングし、マークダウンファイルとして ./scraped フォルダに保存します。

再帰的なスクレイピング

ページとそのページ内の同じドメイン内の全てのリンク先ページをスクレイピングするには:

scpr --url https://example.com --output ./scraped --recursive --allowed example.com --max 3

並列スクレイピング

複数のスレッドで再帰的なスクレイピングを高速化します:

scpr --url https://example.com --output ./scraped --recursive --allowed example.com --max 2 --parallel 5

その他のオプション

• --log - ログレベルを設定します(info、debug、warn、error)
• --max - フォローするページの最大深さ(デフォルト: 1)
• --parallel - 並行スレッド数(デフォルト: 1)
• --allowed - 再帰的なスクレイピングに許可するドメイン(複数回指定可能)

詳細については、以下を実行してください:

scpr --help

スクレイピングが完了したら、出力フォルダをスキャンしてユーザーが依頼した内容を見つけてください。以下は使用例です:

scpr --url https://example.com --output ./scraped --recursive --allowed example.com --max 2
cd ./scraped
grep -r "pattern of interest"