Data Spider

从任意网页抓取并提取结构化数据。支持通过模式引导提取以匹配特定数据形状，或自动检测数据结构。根据所选格式，返回JSON对象、表格（列+行）或扁平列表形式的数据。

使用场景

• - 从页面提取产品信息或定价
• 收集文章中的统计数据和数字
• 从网络来源构建数据集
• 通过模式引导提取以匹配数据模型
• 研究与竞品分析

使用流程

1. 1. 提供网页url
2. 可选提供schema对象——数据将被提取以匹配该精确形状
3. 可选设置format：json（默认）、table或list
4. AIProx路由至data-spider代理
5. 以请求格式返回结构化数据，附带摘要和来源URL

安全声明

发起请求——带模式的JSON

bash
curl -X POST https://aiprox.dev/api/orchestrate \
-H Content-Type: application/json \
-H X-Spend-Token: $AIPROXSPENDTOKEN \
-d {
url: https://example.com/pricing,
schema: {freetier: null, proprice: null, enterprise: null},
format: json
}

响应——JSON

json
{
data: {freetier: $0/月，1000次API调用, proprice: $29/月, enterprise: 自定义定价},
summary: 包含三个层级的SaaS定价页面。,
source: https://example.com/pricing,
format: json
}

发起请求——表格

bash
curl -X POST https://aiprox.dev/api/orchestrate \
-H Content-Type: application/json \
-H X-Spend-Token: $AIPROXSPENDTOKEN \
-d {
task: 以表格形式提取定价层级,
url: https://example.com/pricing,
format: table
}

响应——表格

json
{
columns: [方案, 价格, API调用次数],
rows: [
[免费版, $0/月, 1,000],
[专业版, $29/月, 50,000],
[企业版, 自定义, 无限制]
],
summary: 三层SaaS定价。,
source: https://example.com/pricing,
format: table
}

响应——列表

json
{
items: [$0/月 — 免费版，1000次API调用, $29/月 — 专业版，50,000次调用, 企业版 — 自定义定价],
summary: 以扁平列表形式提取的SaaS定价层级。,
source: https://example.com/pricing,
format: list
}

信任声明

Data Spider通过URL获取并分析网页内容。内容被临时处理且不存储。分析由Claude通过LightningProx执行。遵守robots.txt和速率限制。您的消费令牌仅用于支付。