Product Hunt 抓取器

什么是Product Hunt 抓取器？

Product Hunt 抓取器是一个用于按关键词发现 Product Hunt 热门产品的 CoreClaw Worker，适合市场调研、竞品跟踪、线索挖掘、产品 Newsletter、AI/创业趋势监控等场景。

本 Worker 基于开源项目 ph_ai_tracker / ProductHunt-Scraper 改造，但移除了长期服务、本地数据库和调度器，使其更适合 CoreClaw 的一次性 Worker 运行模型。

核心功能

• 支持多个商业关键词搜索，例如 AI agents、developer tools、sales automation、data analytics。
• 使用 search_terms 作为 CoreClaw 任务拆分字段。
• 推荐使用 auto 策略：
  • 如果提供 Product Hunt API Token，优先使用官方 API。
  • 使用 Product Hunt 公共 Atom feed 和 Product Hunt 产品页站内搜索作为有界兜底；浏览器 / HTTP 页面抓取只在显式选择对应策略时使用。
• 自动使用 CoreClaw 的 SOCKS5 代理：PROXY_DOMAIN + PROXY_AUTH。
• 每个产品输出一行结构化数据。
• 如果所有抓取路径失败，会输出结构化失败行，便于查看原因。

文件结构

producthunt-scraper/
├── main.py              # CoreClaw Worker 入口
├── scraper.py           # Product Hunt 抓取逻辑：浏览器、HTTP、API、feed、搜索兜底
├── input_schema.json    # CoreClaw 输入表单
├── output_schema.json   # CoreClaw 输出表结构
├── requirements.txt     # Python 依赖
├── README.md            # 英文说明
├── README_CN.md         # 中文说明
├── sdk.py               # CoreClaw SDK
├── sdk_pb2.py
└── sdk_pb2_grpc.py

输入参数

推荐输入

{
  "search_terms": [
    { "string": "AI agents" },
    { "string": "developer tools" },
    { "string": "sales automation" }
  ],
  "limit": 20,
  "strategy": "auto",
  "api_token": "",
  "recent_days": 30,
  "max_enrich": 0,
  "timeout_seconds": 45
}

CoreClaw 在拆分 search_terms 后，可能只给子任务传入 {"string": "AI agents"}。本 Worker 已兼容这种扁平化输入。

输出字段

策略说明

CoreClaw 网络要求

CoreClaw 云端通常不能可靠直连外网，必须使用平台提供的代理和远程浏览器能力：

PROXY_DOMAIN=<platform proxy endpoint>
PROXY_AUTH=<username:password>
ChromeWs=<remote fingerprint browser endpoint>

Worker 会自动构建：

socks5://<PROXY_AUTH>@<PROXY_DOMAIN>
ws://<PROXY_AUTH>@<ChromeWs>

不要在代码中硬编码代理账号或密码。

本地验证

语法检查：

python -m py_compile main.py scraper.py

main.py 入口依赖 CoreClaw SDK 的 gRPC 服务，完整端到端测试应在 CoreClaw 平台上运行。

改造说明

从原项目移除：

• SQLite 持久化
• HTTP API 服务
• 调度器 / Cron 模式
• AI 标签
• Docker 长期服务模式

保留并改造：

• Product Hunt 结构化产品模型
• __NEXT_DATA__ 解析
• DOM fallback 解析
• Product Hunt GraphQL API、公共 Atom feed 和站内搜索兜底路径
• CoreClaw 代理和远程浏览器支持

常见问题

这是什么工具？

按关键词抓取 Product Hunt 热门产品，用于市场调研、竞品跟踪、线索挖掘与创业趋势监控。

为什么出现 403 / 访问被拦截？

切换到 browser 策略，使用远程指纹浏览器 + 代理即可解决。

search_terms 参数作用是什么？

是关键词列表，CoreClaw 会按此字段自动拆分任务。