webfetch

封装 webfetch 命令行工具，用于抓取网页内容并转换为多种格式。

核心能力

1. 1. 网页抓取 - 获取指定 URL 的网页内容
2. 格式转换 - 支持 Markdown（默认）、纯文本、原始 HTML 三种输出格式
3. 代理支持 - 自动读取环境变量代理配置，支持手动指定代理
4. 文件保存 - 支持将抓取内容保存到指定文件

工作流程

🌐 抓取网页内容

当用户表达抓取网页、获取网页内容、网页转 Markdown 意图时，执行如下命令：

webfetch https://example.com

视需要也可以使用如下常见用法：

webfetch https://example.com # 默认输出 Markdown
webfetch https://example.com -f text # 输出纯文本
webfetch https://example.com -f html # 输出原始 HTML
webfetch https://example.com -o article.md # 保存到文件
webfetch https://example.com -q > output.md # 静默模式，适合管道

🔧 代理配置

当网络环境需要代理时，有两种方式：

方式一：环境变量（推荐）

export HTTPS_PROXY=http://proxy:8080
webfetch https://example.com

方式二：命令行参数

webfetch https://example.com --proxy http://proxy:8080

🔓 跳过证书验证

当遇到 TLS 证书问题（如自签名证书）时：

webfetch https://example.com --insecure

⏱️ 超时设置

当目标网站响应较慢时：

webfetch https://example.com --timeout 60

🛠️ 错误排查

如果执行失败，按照以下步骤排查：

1. 1. 检查安装 → 2. 检查网络 → 3. 检查代理配置

Step 1: 检查是否安装 webfetch

command -v webfetch

如果未安装，执行：

npm install -g @lyhue1991/webfetch

Step 2: 检查网络连接

curl -I https://example.com

Step 3: 检查代理配置

printenv HTTPPROXY HTTPSPROXY

如果需要代理但未配置：

webfetch https://example.com --proxy http://proxy:8080

📄 不同输出格式

Markdown 格式（默认）

webfetch https://mp.weixin.qq.com/s/xxx -o article.md

纯文本格式

webfetch https://example.com -f text

原始 HTML

webfetch https://example.com -f html

参数说明