96 lines
3.0 KiB
Markdown
96 lines
3.0 KiB
Markdown
|
---
|
|||
|
|
name: web-to-markdown
|
|||
|
|
description: 將網頁（單頁或多頁爬取）轉換為乾淨的 Markdown 格式，方便 AI 分析理解。支援單頁模式和爬蟲模式（追蹤連結、同域抓取）。
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# Web to Markdown Skill
|
|||
|
|
|
|||
|
|
將任意網頁轉換成結構清晰的 Markdown，讓 AI 能更有效率讀取網頁內容。適合用於：
|
|||
|
|
- 分析競品功能頁、定價頁
|
|||
|
|
- 爬取文件站點（docs site）
|
|||
|
|
- 將整個網站的主要頁面轉換為 AI 可讀格式
|
|||
|
|
|
|||
|
|
## 前置需求
|
|||
|
|
|
|||
|
|
使用前先確認 Python 套件已安裝：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
pip install requests beautifulsoup4 html2text lxml
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 兩種使用模式
|
|||
|
|
|
|||
|
|
### 模式一：單頁轉換
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
python claude/skills/web-to-markdown/scripts/web_to_md.py \
|
|||
|
|
--url "https://example.com/features" \
|
|||
|
|
--output "scraped/features.md"
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 模式二：爬蟲模式（追蹤同域連結）
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
python claude/skills/web-to-markdown/scripts/web_to_md.py \
|
|||
|
|
--url "https://example.com" \
|
|||
|
|
--crawl \
|
|||
|
|
--depth 2 \
|
|||
|
|
--output-dir "scraped/example-com/"
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
參數說明：
|
|||
|
|
- `--url`：起始 URL（必填）
|
|||
|
|
- `--crawl`：啟用爬蟲模式，追蹤同域連結
|
|||
|
|
- `--depth N`：爬蟲深度，預設為 2（首頁=0，首頁連結的頁面=1，以此類推）
|
|||
|
|
- `--same-path`：只爬取相同路徑前綴下的連結（例如只爬 `/docs/` 目錄下的頁面）
|
|||
|
|
- `--output`：單頁模式的輸出檔案路徑
|
|||
|
|
- `--output-dir`：爬蟲模式的輸出目錄，每個頁面存成獨立 `.md` 檔
|
|||
|
|
- `--max-pages N`：最多爬取 N 頁，防止無限爬取（預設 50）
|
|||
|
|
- `--delay N`：每次請求間隔秒數，避免對伺服器造成壓力（預設 1.0）
|
|||
|
|
- `--exclude`：排除含有特定關鍵字的 URL（可多次使用）
|
|||
|
|
|
|||
|
|
## 在 Agent 中使用
|
|||
|
|
|
|||
|
|
當 pm-competitor-analyst 需要分析競品網站時：
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
# 1. 先用爬蟲模式抓取競品網站
|
|||
|
|
Bash: python .claude/skills/web-to-markdown/scripts/web_to_md.py \
|
|||
|
|
--url "https://competitor.com" \
|
|||
|
|
--crawl --depth 2 \
|
|||
|
|
--output-dir "docs/prd/drafts/competitor-site/" \
|
|||
|
|
--exclude "/blog" --exclude "/login" --exclude "/signup"
|
|||
|
|
|
|||
|
|
# 2. 讀取轉換好的 Markdown 檔案進行分析
|
|||
|
|
Read: docs/prd/drafts/competitor-site/index.md
|
|||
|
|
Read: docs/prd/drafts/competitor-site/features.md
|
|||
|
|
Read: docs/prd/drafts/competitor-site/pricing.md
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 輸出格式說明
|
|||
|
|
|
|||
|
|
每個轉換後的 Markdown 文件開頭包含：
|
|||
|
|
```
|
|||
|
|
---
|
|||
|
|
title: [頁面標題]
|
|||
|
|
url: [原始 URL]
|
|||
|
|
crawled_at: [抓取時間]
|
|||
|
|
---
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
接著是清理過的正文 Markdown，包含：
|
|||
|
|
- 標題層級（H1-H6）
|
|||
|
|
- 段落文字
|
|||
|
|
- 連結（保留為 `[文字](URL)`）
|
|||
|
|
- 列表
|
|||
|
|
- 表格（轉為 Markdown 表格）
|
|||
|
|
- 移除：廣告、導航列、頁腳、Cookie 提示等雜訊
|
|||
|
|
|
|||
|
|
## 注意事項
|
|||
|
|
|
|||
|
|
- 爬蟲只抓取**同一域名**下的連結（不會跨到外部網站）
|
|||
|
|
- 自動跳過圖片、PDF、ZIP 等非 HTML 資源
|
|||
|
|
- 遇到 JavaScript 渲染的 SPA 網站，部分內容可能無法抓到（這個腳本使用靜態 HTTP 請求）
|
|||
|
|
- 有些網站會封鎖爬蟲，遇到 403/429 時請手動儲存網頁後用 `--file` 模式
|
|||
|
|
- 請遵守網站的 robots.txt 和使用條款
|