TikTok 数据提取器

TikTok 多模式采集 Worker

项目简介

它是一个基于 CoreClaw Worker 规范的 TikTok 数据采集项目。

它通过远程浏览器连接抓取 TikTok 数据，支持四种采集模式：

• author
• video
• search
• tag

Worker 由 main.py 统一入口调度，按顺序处理任务。每个任务会根据 collection_type 分发到对应采集模块，采集结果经标准化后通过 CoreSDK.Result.push_data() 输出到平台。

项目结构

main.py                 # 主入口：参数读取、模式分发、重试、限量与结果推送
rep_author.py           # 作者主页采集
rep_video.py            # 视频详情采集
rep_search.py           # 用户搜索采集，含验证码处理
rep_tag.py              # 标签页采集
input_schema.json       # 平台输入参数定义
output_schema.json      # 平台输出字段定义
sdk.py                  # CoreClaw SDK 主模块
sdk_pb2.py              # protobuf 生成文件
sdk_pb2_grpc.py         # gRPC 生成文件
requirements.txt        # Python 依赖清单

采集模式说明

输入参数

Worker 通过 CoreSDK.Parameter.get_input_json_dict() 读取平台输入。

请求示例

用户搜索

{
  "collection_type": "search",
  "targets": [
    { "string": "apple" }
  ],
  "max_results": 10
}

标签采集

{
  "collection_type": "tag",
  "targets": [
    { "string": "fyp" }
  ],
  "max_results": 10
}

作者采集

{
  "collection_type": "author",
  "targets": [
    { "string": "bellapoarch" }
  ]
}

视频采集

{
  "collection_type": "video",
  "targets": [
    { "string": "https://www.tiktok.com/@user/video/1234567890" }
  ]
}

输出字段

当前 Worker 采用四种模式共用的超集输出结构。主要输出字段包括：

• input_type
• input_value
• url
• profile_url
• title
• desc
• entity_id
• video_id
• author_id
• username
• nickname
• tag
• create_time
• duration
• play_count
• digg_count
• comment_count
• share_count
• collect_count
• verified
• signature
• avatar_url
• original_avatar_url
• private_account
• following_count
• friends_count
• fans_count
• heart_count
• video_count
• music_name
• music_author
• music_id
• music_play_url
• cover_url
• width
• height
• status
• error
• data_json

结果条数限制规则

max_results 在 main.py 中统一生效：

• search：最多返回 max_results 条
• tag：最多返回 max_results 条
• author：不限制结果条数
• video：不限制结果条数

未显式传入时，默认值为 10。

环境变量

本 Worker 依赖远程浏览器连接，支持以下环境变量：

浏览器连接地址的生成规则如下：

1. 若设置了 BROWSER_WS，直接使用该值；
2. 否则，若设置了 PROXY_AUTH，生成地址为 ws://{PROXY_AUTH}@{ChromeWs}；
3. 若两者均未设置，则生成地址为 ws://{ChromeWs}。

处理流程

1. 输入归一化

normalize_request_items() 会将平台输入统一转换为内部任务结构：

{
  "input_type": "search",
  "input_value": "apple"
}

2. 顺序执行

Worker 按顺序逐条处理采集任务，不并发执行。

run() 会遍历归一化后的任务列表，依次调用 process_item() 进行采集。

3. 重试机制

Worker 仅对可识别的网络类错误执行重试，典型错误关键字包括：

• network is unreachable
• failed to establish a new connection
• max retries exceeded
• name or service not known
• temporary failure in name resolution
• connection refused
• connection timed out
• read timed out
• timeout 30000ms exceeded
• timeout 180000ms exceeded
• target page, context or browser has been closed
• browser closed
• websocket
• socket hang up

当前实现说明

• 四种采集模式共用同一套输出字段结构；
• search 模式会自动将关键词转换为搜索 URL；
• tag 模式会自动将标签词转换为标签页 URL；
• rep_search.py 内包含验证码处理逻辑；
• 当前版本优先保证结构完整与输出稳定，便于接入平台标准化流程。

快速上手

1. 通过 CoreClaw CLI 或平台上传当前 Worker；
2. 在平台选择采集模式；
3. 在 targets 中输入用户名、视频 URL、搜索词或标签词；
4. 执行任务并获取标准化结果。