

爬取任意 Shopify 商店的产品数据,包括标题、价格、描述、SKU、库存、图片等。支持从 sitemap 自动发现产品 URL、并发爬取、扩展输出函数和扩展爬取函数。
List of Shopify store URLs. The worker parses each store's robots.txt to discover sitemaps and crawl all products.
Maximum output items (products with variants) per store URL. Due to platform task splitting (b=startUrl), this limit applies independently to each subtask. Total max = URLs count × this value. Set to 0 for unlimited (may hit platform timeout).
Maximum number of concurrent requests.
Maximum retries for failed requests before giving up.
Check if the target site is a Shopify store. Even if robots.txt does not contain Shopify keywords, the script will still attempt sitemap parsing.
Fetch HTML pages before JSON API calls (slower, 2x requests). Default: JSON API only.
Enable verbose logging for debugging.
Custom JavaScript function to modify or filter output data. Return null to skip the item.
Custom JavaScript function to extend crawling logic (e.g. URL filtering, custom sitemaps).
Custom data object accessible in both extend functions.
探索商店中更多热门采集工具
by scraper
使用公开的俄勒冈州州务卿企业记录搜索俄勒冈州商业实体。输入企业名称查找匹配的实体,或使用注册编号进行直接查询。获取结构化信息,包括实体类型、注册日期、司法管辖区、地址、注册代理人和授权代表详细信息。
by scraper
从公开的 MEGA 链接下载文件和文件夹,或将文件直接上传到你的 MEGA 账户。选择下载或上传模式,添加你的 MEGA 链接或文件,让 CoreClaw 自动处理传输工作流程。
by scraper
从公开的 Pinterest Pin 中下载视频和图片。粘贴 Pinterest Pin URL、`pin.it` 短链接或 Pin ID,即可获取直接媒体 URL,以及缩略图、标题、描述、发布者数据和画板数据等有用的 Pin 信息。
by scraper
从 FMCSA 记录中批量提取结构化的美国机动车承运商数据。获取 USDOT 和 MC 编号、公司名称、电话号码、邮箱、地址、车队规模、司机、安全评级、运营许可、保险信息和承运商风险信号,无需逐个检查 SAFER 记录。