SHEIN 产品发现与数据提取解决方案

SHEIN 商品发现

项目概述

本项目支持 3 种 SHEIN 商品发现模式：

• shein_products_by-keyword
• shein_products_by-category-url
• shein_products_by-category-id

Worker 会根据输入模式打开对应的 SHEIN 页面，自动尝试通过 SHEIN 风控验证，解析商品列表，并返回结构化商品数据。

适用场景包括：

• 按关键词发现商品
• 按类目落地页发现商品
• 按类目 ID 发现商品
• 列表页监控
• 价格跟踪
• 竞品调研
• 趋势与标签分析

发现模式

1. shein_products_by-keyword

通过关键词组装 SHEIN 搜索 URL：

https://{country}.shein.com/pdsearch/{keyword}/?sort=...&page=...&limit=...

2. shein_products_by-category-url

直接使用完整类目 URL，再拼接公共查询参数：

{category_url}?sort=...&page=...&limit=...

3. shein_products_by-category-id

通过类目 ID 组装类目页 URL：

https://{country}.shein.com/{category_id}.html?sort=...&page=...&limit=...

执行流程

1. 从输入参数中读取 type 和 value。
2. 根据所选模式组装目标 SHEIN URL。
3. 通过 ChromeWs 连接远程 Chromium 浏览器。
4. 打开 SHEIN 页面，并在需要时自动尝试通过 SHEIN 风控验证。
5. 等待页面真正进入商品列表状态。
6. 解析商品卡片。
7. 输出标准化商品数组。

运行依赖

项目依赖：

• playwright
• selectolax
• httpx
• grpcio
• protobuf

运行时会读取以下环境变量：

• ChromeWs：必填，远程 Chromium 的 CDP WebSocket 地址
• PROXY_AUTH：可选，用于拼接 WebSocket 认证信息

如果没有提供 ChromeWs，Worker 会直接返回失败结果。

输入参数

输入 schema 见 input_schema.json。

请求示例

{
  "type": "shein_products_by-keyword",
  "value": "dress",
  "country": "us",
  "sort": "recommend",
  "page": 1,
  "limit": 20,
  "flow_retry_num": 3
}

参数说明

支持的国家站点

排序选项

当前代码中的排序映射如下：

输出结构

输出 schema 见 output_schema.json。

返回示例

{
  "type": "shein_products_by-keyword",
  "url": "https://us.shein.com/pdsearch/dress/?source=sort&sourceStatus=4&page=1&force_suggest=1&limit=20",
  "code": 1,
  "count": 20,
  "products": [
    {
      "goods_id": "123456789",
      "product_url": "https://us.shein.com/example-p-123456789.html",
      "title": "Mock Neck Bodycon Dress",
      "main_image": "https://img.ltwebstatic.com/...",
      "price": 7.51,
      "price_usd": 7.51,
      "currency": "USD",
      "original_price": 17.18,
      "original_price_usd": 17.18,
      "discount_percent": 56,
      "rating": 4.5,
      "reviews_count": 1300,
      "position": 1,
      "sold_count": 1500,
      "is_local": true,
      "is_trending": false,
      "free_shipping": true,
      "quick_ship": true,
      "badges": [
        "Bestseller",
        "#1"
      ],
      "color_count": 12
    }
  ],
  "error": "",
  "error_code": ""
}

顶层返回字段

商品字段说明

products 数组中的每一项对应页面中的一个商品卡片。

字段可用性说明

• 并不是每个商品卡片都会包含全部字段。
• price_usd 和 original_price_usd 依赖 SHEIN 是否在卡片属性中提供美元价格。
• original_price、discount_percent、rating、reviews_count、sold_count、color_count 在页面未展示时可能为 null。
• badges 可能为空数组。

错误码

重要说明

• shein_products_by-category-url 会直接使用输入的类目 URL，再拼接 Worker 自己的查询参数。
• shein_products_by-category-id 会按 https://{country}.shein.com/{category_id}.html 组装类目页地址。
• 当前解析器在商品详情链接为相对路径时，仍然会使用 https://us.shein.com 做补全。
• 文档字段口径以 main.py 的当前实现为准。