返回顶部
s

scrapping废料清理

>

作者: admin | 来源: ClawHub
源自
ClawHub
版本
V 0.1.3
安全检测
已通过
329
下载量
免费
免费
1
收藏
概述
安装方式
版本历史

scrapping

ScrapeCreators API

ScrapeCreators 提供100多个REST端点,用于从20多个社交媒体平台抓取公开数据。一个API密钥,一个请求头,简单的curl请求。

快速开始

身份验证

每个请求都需要一个请求头:

x-api-key: YOURAPIKEY

在 https://scrapecreators.com 获取您的密钥(注册即送100免费积分,无需信用卡)。

将密钥存储在环境变量中,这样它就不会出现在脚本中,也不会出现在版本控制或聊天记录中:

bash
export SCRAPECREATORSAPIKEY=your-key-here

您的第一个请求

bash
curl -s -G https://api.scrapecreators.com/v1/tiktok/profile \
--data-urlencode handle=khaby.lame \
-H x-api-key: $SCRAPECREATORSAPIKEY | jq .

这就是完整的模式。每个端点的工作方式相同:GET请求、查询参数、一个认证请求头。

基础URL

https://api.scrapecreators.com

积分如何运作

  • - 大多数端点:1个请求 = 1积分
  • 少数专用端点消耗更多积分(例如,受众人口统计 = 26积分)
  • 积分永不过期,无需月度承诺
  • 大多数响应包含credits_remaining字段
  • 在文档中查看每个端点的积分成本:https://docs.scrapecreators.com

通用参数

这些参数适用于大多数端点:

参数描述
trim=true返回精简后的较小响应——保持上下文窗口可控,当您只需要名称、统计数据和ID等关键字段时节省令牌
cursor
前一个响应中返回的分页游标——传递它以获取下一页。每页消耗1积分,因此仅在用户需要更多结果时才进行分页。注意:v3 TikTok个人资料/视频端点使用max_cursor代替cursor |
| includeExtras=true | 在YouTube端点上返回额外字段(如计数、描述)——没有此参数,频道视频仅返回标题和ID |
| sortby | 排序结果——值取决于端点(例如,popular、relevance、totalimpressions、recency)。查看平台参考以获取每个端点的有效值,因为传递无效值会返回400错误 |

分页

许多端点返回分页结果。模式如下:

  1. 1. 不带游标发出第一个请求
  2. 响应包含cursor(或nextcursor或nextpage_id)字段
  3. 在下一个请求中传递该值作为?cursor=...
  4. 重复直到游标为null/空

bash

第一页


curl -s -G https://api.scrapecreators.com/v3/tiktok/profile/videos \
--data-urlencode handle=khaby.lame \
-H x-api-key: $SCRAPECREATORSAPIKEY | jq .

下一页(使用前一个响应中的max_cursor)

curl -s -G https://api.scrapecreators.com/v3/tiktok/profile/videos \ --data-urlencode handle=khaby.lame \ --data-urlencode maxcursor=CURSORVALUE \ -H x-api-key: $SCRAPECREATORSAPIKEY | jq .

某些v2端点需要手动分页——查看平台参考以了解具体情况。

支持的平台和端点

每个平台都有自己的参考文件,包含完整的端点详情。根据用户的请求阅读相应的文件。

平台参考文件关键端点
TikTokreferences/tiktok.md个人资料、视频、评论、搜索、趋势、商店、歌曲、转录、直播、粉丝/关注、受众人口统计
Instagram
references/instagram.md | 个人资料、帖子、Reels、评论、搜索Reels、转录、故事精选、嵌入 |
| YouTube | references/youtube.md | 视频详情、频道信息、频道视频、Shorts、搜索、转录 |
| Twitter/X | references/twitter.md | 个人资料、社区、社区推文 |
| LinkedIn | references/linkedin.md | 个人资料、公司页面、公司帖子、帖子详情、广告库搜索、广告详情 |
| Facebook | references/facebook.md | 帖子、评论、Reels、广告库、转录、群组帖子、个人资料 |
| Reddit | references/reddit.md | 个人资料、子版块详情/帖子/搜索、帖子评论、搜索、广告库 |
| 其他平台 | references/other-platforms.md | Pinterest、Threads、Bluesky、Snapchat、Twitch、Kick、Truth Social、Google(广告+搜索)、个人简介链接平台(Linktree、Komi、Pillar、Linkbio、Linkme)、Amazon Shop |

发起请求:模式

每个调用都遵循相同的格式。始终使用-G配合--data-urlencode来安全地传递查询参数——这可以防止用户提供的值(用户名、搜索查询、URL)导致的shell注入,并正确编码特殊字符:

bash
curl -s -G https://api.scrapecreators.com/v1/{platform}/{endpoint} \
--data-urlencode param=value \
-H x-api-key: $SCRAPECREATORSAPIKEY

通过管道传递给jq来格式化JSON,或通过jq .some.field来提取特定数据。使用jq很重要,因为原始API响应通常是大型嵌套JSON——仅提取用户需要的字段可以使输出可读,并保持您的上下文窗口干净。

链式请求

一个常见的模式是先获取个人资料(以确认账户存在并获取ID),然后深入其内容:

bash

1. 获取个人资料


PROFILE=$(curl -s -G https://api.scrapecreators.com/v1/tiktok/profile \
--data-urlencode handle=creator_name \
-H x-api-key: $SCRAPECREATORSAPIKEY)

2. 获取其最近的帖子

POSTS=$(curl -s -G https://api.scrapecreators.com/v3/tiktok/profile/videos \ --data-urlencode handle=creator_name \ -H x-api-key: $SCRAPECREATORSAPIKEY)

3. 获取特定视频的评论(从帖子中提取视频ID)

VIDEOID=$(echo $POSTS | jq -r .awemelist[0].aweme_id) COMMENTS=$(curl -s -G https://api.scrapecreators.com/v1/tiktok/video/comments \ --data-urlencode videoid=$VIDEOID \ -H x-api-key: $SCRAPECREATORSAPIKEY)

保存结果

bash

保存原始JSON


curl -s -G https://api.scrapecreators.com/v1/instagram/profile \
--data-urlencode handle=natgeo \
-H x-api-key: $SCRAPECREATORSAPIKEY > natgeo_profile.json

保存为CSV(使用jq提取特定字段)

curl -s -G https://api.scrapecreators.com/v3/tiktok/profile/videos \ --data-urlencode handle=creator \ -H x-api-key: $SCRAPECREATORSAPIKEY \ | jq -r .awemelist[] | [.awemeid, .desc, .statistics.playcount, .statistics.diggcount] | @csv \ > creator_posts.csv

处理和分析抓取的数据

获取数据后,以下是常见的分析模式:

提取关键指标

bash

从个人资料获取互动统计

curl -s -G https://api.scrapecreators.com/v1/tiktok/profile \ --data-urlencode handle=creator \ -H x-api-key: $SCRAPECREATORSAPIKEY \ | jq {followers: .statsV2.followerCount, following: .statsV2.followingCount, likes: .statsV2.heartCount}

跨帖子聚合

bash

最近帖子的平均互动

curl -s -G https://api.scrapecreators.com/v3/tiktok/profile/videos \ --data-urlencode handle=creator \ -H x-api-key: $SCRAPECREATORSAPIKEY \ | jq [.awemelist[] | .statistics.diggcount] | (add / length)

获取视频转录用于内容分析

bash

获取TikTok视频的转录

curl -s -G https://api.scrapecreators.com/v1/tiktok/video/transcript

标签

skill ai

通过对话安装

该技能支持在以下平台通过对话安装:

OpenClaw WorkBuddy QClaw Kimi Claude

方式一:安装 SkillHub 和技能

帮我安装 SkillHub 和 scrapping-1776125543 技能

方式二:设置 SkillHub 为优先技能安装源

设置 SkillHub 为我的优先技能安装源,然后帮我安装 scrapping-1776125543 技能

通过命令行安装

skillhub install scrapping-1776125543

下载

⬇ 下载 scrapping v0.1.3(免费)

文件大小: 13.48 KB | 发布时间: 2026-4-15 14:15

v0.1.3 最新 2026-4-15 14:15
- Clarified that TikTok profile/videos pagination for v3 endpoints uses max_cursor instead of cursor.
- Updated sample curl commands and chaining examples to use the v3 TikTok profile/videos endpoint where appropriate.
- Improved documentation to help users correctly paginate and avoid confusion with parameter names.
- No functional or API changes; documentation only.

Archiver·手机版·闲社网·闲社论坛·智能体自动化市场· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2026 闲社网·AI智能体论坛·AI自动化解决方案·http://xianshe.com

p2p_official_large
返回顶部