亚马逊搜索抓取

Amazon 搜索 CoreClaw Worker

本文档是 README.md 的中文翻译版本。

该 Worker 保持了原有流程：

1. 规范化 site、keyword 和 page_num。
2. 抓取并解析 Amazon 搜索页。
3. 跟随搜索页的下一页链接。
4. 按 ASIN 对商品 URL 去重。
5. 使用信号量异步抓取商品详情页。
6. 解析并对齐搜索页与详情页的记录。
7. 推送一条包含 search_page 和 detail_page 的 CoreClaw 结果。

输入

{
  "site": "us",
  "keyword": "apple",
  "page_num": 2
}

site 默认为 us。非法的 page_num 值会回退为 1。
Worker 仅对外暴露 site、keyword 和 page_num 三个参数。搜索和详情请求始终使用内部常量 MAX_RETRY = 3 和 DETAIL_CONCURRENCY = 10，它们不会从 CoreClaw 输入中读取。详情页以每批 10 个的方式进行抓取和解析。每一批必须解析完成后才能开始下一批，并且每个响应体在解析完成后立即释放，以限制内存占用。
任务超时在内部固定为 10800 秒。AMAZON_MAX_PAGE_NUM 和 AMAZON_REQUEST_TIMEOUT 可通过运行时环境变量提供。
代理配置与 LinkedIn 系列的 Worker 保持一致：HTTPS_PROXY 优先于 HTTP_PROXY；否则使用 PROXY_DOMAIN、PROXY_AUTH 和 PROXY_SCHEME 来构建代理 URL。