web-to-markdown

ローカルにインストールされたブラウザ (web2md 経由) を操作することで、ウェブページをクリーンな Markdown に変換します。

ハード トリガー ゲート (必須)

このスキルは、ユーザーが以下のような形で明確にスキルを名前指定して要求した場合のみ使用してください:

• use the skill web-to-markdown ...
• use a skill web-to-markdown ...

ユーザーが名前を明記してこのスキルをリクエストしなかった場合は、中断して、リクエストに use the skill web-to-markdown を含めて再発行するよう求めてください。

このスキルの機能

• JavaScript でレンダリングされたページに対応 (Puppeteer → ユーザーの Chrome)。
• Chromium 系ブラウザ (Chrome/Chromium/Brave/Edge) で puppeteer-core 経由で最も効果的に動作。
• メインコンテンツを抽出 (Readability)。
• Markdown に変換 (Turndown) し、リンクをクリーンアップし、オプションで YAML frontmatter を追加。

非目標

• Playwright やその他のブラウザオートメーションスタックを使用しないでください。メカニズムは web2md です。

収集すべき入力 (不足している場合のみ確認)

• url (または複数の URL のリスト)
• 出力方式:
  • stdout に出力 (--print)、または
  • ファイルに保存 (--out ./file.md)、または
  • ディレクトリに保存 (--out ./some-dir/ でページタイトルで自動命名)
• トリッキーなページ用のオプションレンダリングコントロール:
  • --chrome-path <path> (Chrome の自動検出に失敗した場合)
  • --interactive (Chrome を表示して一時停止し、ユーザーが人間による確認/ログインを完了してから Enter キーを押せるようにする)
  • --wait-until load|domcontentloaded|networkidle0|networkidle2
  • --wait-for '<css selector>'
  • --wait-ms <milliseconds>
  • --headful (デバッグ)
  • --no-sandbox (コンテナ/CI では時々必須)
  • --user-data-dir <dir> (ログイン/セッション; 専用プロファイルディレクトリを使用)

ワークフロー

1. ユーザーが明確にスキルを呼び出したことを確認 (use the skill web-to-markdown)。
2. URL が http:// または https:// で始まることを検証。
3. web2md がインストールされていることを確認:
   • 実行: command -v web2md
   • インストールされていない場合、ユーザーにインストールを指示 (プロジェクトは ~/workspace/softaworks/projects/web2md にあると想定):
     • cd ~/workspace/softaworks/projects/web2md && npm install && npm run build && npm link
     • または: cd ~/workspace/softaworks/projects/web2md && npm install && npm run build && npm install -g .
4. 変換:
   • 単一 URL → ファイル:
     • web2md '<url>' --out ./page.md
   • 単一 URL → ディレクトリ内の自動命名ファイル:
     • mkdir -p ./out && web2md '<url>' --out ./out/
   • 人間による検証/ログインの壁 (インタラクティブ):
     • mkdir -p ./out && web2md '<url>' --interactive --user-data-dir ./tmp/web2md-profile --out ./out/
     • その後: ブラウザウィンドウで確認を完了し、ターミナルで Enter キーを押して続行。
   • stdout に出力:
     • web2md '<url>' --print
   • 複数 URL (バッチ):
     • 出力ディレクトリを作成 (例: ./out/) してから、--out ./out/ を使用して各 URL に対して 1 つの web2md コマンドを実行
5. 出力を検証:
   • ファイルに書き込む場合は、ファイルが存在し、空でないことを確認 (例: ls -la <path> および wc -c <path>)。
6. 返す:
   • 保存されたファイルパス、またはMarkdown (stdout モード)。

デフォルト (推奨)

• ほとんどのページ: --wait-until networkidle2
• 負荷の大きいアプリ: --wait-until domcontentloaded --wait-ms 2000 で開始し、必要に応じて --wait-for 'main' (または別の安定したセレクタ) を追加。