Shopify 产品抓取工具

01KRN7A30WDAW5PZSZNJ6E8KN7

爬取任意 Shopify 商店的产品数据，包括标题、价格、描述、SKU、库存、图片等。支持从 sitemap 自动发现产品 URL、并发爬取、扩展输出函数和扩展爬取函数。

by Odin Kael

4.5

50次运行

最后更新:2026-05-20

免费试用

免费 2,000 条结果

什么是Shopify产品抓取工具？

Shopify产品抓取工具通过 JSON API、sitemap 自动发现和浏览器反反爬备选，抓取任意 Shopify 商店的产品数据。可以提取标题、价格、描述、SKU、变体、图片、库存状态及元数据。

Shopify产品抓取工具功能特性

零配置发现：提供商店 URL 即可，Worker 自动解析 robots.txt 发现产品 sitemap
双数据源：优先尝试 /products.json 批量 API（快速），失败时通过浏览器回退请求单个产品端点（稳健）
浏览器指纹集成：使用平台托管的远程浏览器绕过 WAF / Cloudflare，当直接 HTTP 被拦截时自动切换
Sitemap 回退：robots.txt 未声明 sitemap 时，自动尝试 5 种常见路径
本地化 URL 归一化：剥离 Shopify 的 locale 前缀（/es-US/products/ → /products/）以正确访问 JSON API
JSON+HTML 模式：可选先抓 HTML 再抓 JSON，保留原始 HTML 供自定义解析
可扩展输出：注入自定义 JavaScript 函数，转换、过滤或丰富每条产品数据
爬虫生命周期钩子：可在 PRE/POST 导航、URL 过滤、RUN/FINISH 等阶段注入逻辑
并发爬取：可配置并发数（1-20），支持失败自动重试
变体展开：每个 variant 输出为独立行，包含各自的 SKU、价格、选项属性和图片

如何快速开始

输入示例

json

{
    "startUrl": [{ "url": "https://www.gymshark.com" }],
    "maxRequestsPerCrawl": 0,
    "maxConcurrency": 20,
    "checkForBanner": true,
    "fetchHtml": false,
    "debugLog": false,
    "extendOutputFunction": "async ({ data, item, product, images, fns, name, request, variants, context, customData, input, platform }) => {
  return item;
}",
    "extendScraperFunction": "async ({ fns, customData, platform, label }) => {
 
}",
    "customData": {}
}

输出字段

字段	类型	说明
`url`	string	产品页面 URL
`title`	string	产品标题
`id`	string	Shopify 产品 ID（已剥离 GUID 前缀）
`sku`	string	变体 SKU
`description`	string	产品描述（HTML 标签已剥离）
`price`	number	变体价格
`currency`	string	货币（默认 `"USD"`）
`availability`	string	`"in stock"` 或 `"out of stock"`
`color`	string	颜色选项值
`size`	string	尺寸选项值
`material`	string	材质选项值
`display_name`	string	变体显示名称
`product_type`	string	Shopify 产品类型
`images_urls`	string[]	产品及变体图片 URL（去重、去查询参数）
`brand`	string	产品品牌/厂商
`video_urls`	string[]	视频 URL（预留）
`created_at`	string	ISO 8601 创建时间
`updated_at`	string	ISO 8601 更新时间
`published_at`	string	ISO 8601 发布时间
`additional`	object	附加信息：`variant_attributes`、`variant_title`、`scraped_at`、`barcode`、`taxcode`、`stock_count`、`tags`、`weight`、`requires_shipping` 及自定义选项键值

使用示例

示例 1：基础抓取 — 爬取单个商店的全部产品

json

{
    "startUrl": [{ "url": "https://www.gymshark.com" }],
    "maxRequestsPerCrawl": 0,
    "maxConcurrency": 20
}

示例 2：多商店并行抓取

startUrl 数组控制平台如何将任务拆分为并发子任务（通过 b 字段）。

json

{
    "startUrl": [
        { "url": "https://www.gymshark.com" },
        { "url": "https://www.spanx.com" },
        { "url": "https://www.nativecos.com" }
    ],
    "maxRequestsPerCrawl": 0,
    "maxConcurrency": 20
}

示例 3：自定义输出映射 — 价格过滤与打折计算

使用 extendOutputFunction 对每行数据进行转换或过滤。返回 null 跳过。

javascript

async ({ data, item, fns, input, platform }) => {
    // 过滤掉低价产品
    if (item.price < 10) return null;

    // 计算折扣百分比
    const comparePrice = data.product?.variants?.[0]?.compare_at_price;
    if (comparePrice && item.price) {
        item.additional.discount_pct = Math.round((1 - item.price / comparePrice) * 100);
    }

    // 排除礼品卡类产品
    if (item.product_type === 'Gift Card') return null;

    return item;
}

示例 4：爬虫生命周期 — 注入额外 sitemap URL

使用 extendScraperFunction 在爬取的不同阶段注入逻辑。

javascript

async ({ fns, customData, platform, label }) => {
    if (label === 'SETUP') {
        // SETUP 阶段可访问 requestQueue 注入额外 URL
        const extraSitemap = customData.extraSitemapUrl;
        if (extraSitemap) {
            // 通过传入的 { requestQueue } 添加请求
        }
    }

    if (label === 'FILTER_SITEMAP_URL') {
        // this.url 是正在评估的产品/sitemap URL
        // this.filter(false) 可将其排除
    }

    if (label === 'PRENAVIGATION') {
        // this.crawlingContext.request — 修改请求头
    }

    if (label === 'FINISHED') {
        // this.crawler — 访问爬虫统计、持久化状态
    }
}

示例 5：HTML 模式 — 从产品页解析 JSON-LD

启用 fetchHtml 可在 JSON API 响应之外同时获取完整 HTML 页面。 HTML 内容可在输出函数中通过 request.userData.body 访问。

json

{
    "startUrl": [{ "url": "https://www.colourpop.com" }],
    "maxRequestsPerCrawl": 20,
    "fetchHtml": true
}

在 extendOutputFunction 中使用：

javascript

async ({ data, item, request, context }) => {
    const htmlBody = request.userData.body;
    if (htmlBody) {
        // 从 HTML 中解析 JSON-LD 或 meta 标签
        // context.$ 是从 HTML 页面加载的 cheerio 实例
    }
    return item;
}

示例 6：调试模式 — 保存失败的 JSON 响应

开启 debugLog: true 后，失败的响应会保存到存储中供排查。

json

{
    "startUrl": [{ "url": "https://www.kith.com" }],
    "maxRequestsPerCrawl": 5,
    "debugLog": true
}

输入参数参考

参数	类型	默认值	说明
`startUrl`	array	必填	Shopify 商店 URL 列表。也是 `b` 字段（并发拆分键）。
`maxRequestsPerCrawl`	integer	`0`	最大爬取产品数。`0` = 不限。
`maxConcurrency`	integer	`20`	最大并发请求数（1-20）。
`maxRequestRetries`	integer	`3`	请求失败最大重试次数。
`checkForBanner`	boolean	`true`	检查 `robots.txt` 是否包含 `"Shopify"`（非 Shopify 站点仍会继续）。
`fetchHtml`	boolean	`false`	是否先抓取 HTML 页面（会导致请求数翻倍）。
`debugLog`	boolean	`false`	详细日志输出；保存失败的 JSON 响应供排查。
`extendOutputFunction`	string	直通	JavaScript 函数（async），用于转换/过滤输出行。返回 `null` 跳过。
`extendScraperFunction`	string	无操作	JavaScript 函数（async），爬虫生命周期钩子。
`customData`	object	`{}`	可在两个扩展函数中访问的任意数据。

已知限制

WAF 保护的商店：具有激进 WAF（Cloudflare、Akamai）的商店可能返回验证页面而非产品数据。这些会在输出中显示为标题 "Verifying your connection..." 且产品字段为空的条目。在 extendOutputFunction 中过滤它们：
javascript
```
if (!item.sku || item.title === 'Verifying your connection...') return null;
```
仅浏览器模式：当 products.json 被拦截时，所有请求走浏览器，速度较慢（约 1 请求/秒/并发浏览器）。5 个并发浏览器约为 5 产品/秒。
货币检测：始终输出 "USD" — 多币种商店需通过 extendOutputFunction 自定义解析。