网页爬虫工具
网页爬虫工具
odin-kael/universal-web-scraper-tong-yong-wang-ye-pa-chong
一款强大灵活的网页爬虫工具，可自动爬取网站、提取结构化数据并发现新链接。
起始 URL | Starting URLs必填
要爬取的起始 URL 列表 | List of starting URLs to crawl
类型: array
最大爬取深度 | Max Depth必填
从起始 URL 开始的最大爬取深度（起始页面深度为 0）| Maximum crawl depth from starting URLs (starting page = depth 0)
类型: integer
默认: 1
最大页面数 | Max Pages可选
每次运行最多爬取的页面数量（0 表示不限制）| Maximum pages to crawl per run (0 = unlimited)
类型: integer
默认: 10
页面加载超时 | Page Timeout (secs)可选
页面加载的最长等待时间（秒）| Maximum time to wait for page load (seconds)
类型: integer
默认: 60
等待条件 | Wait Condition可选
页面导航完成条件 | Navigation completion condition
类型: select
默认: networkidle2
选项：
Load | 页面完全加载DOM Content Loaded | DOM加载完成Network Idle 0 | 网络空闲0连接Network Idle 2 | 网络空闲2连接
注入 jQuery | Inject jQuery可选
是否在每个页面注入 jQuery 库 | Inject jQuery library into each page
类型: boolean
默认: false
忽略 SSL 错误 | Ignore SSL Errors可选
是否忽略 SSL 证书错误 | Ignore SSL certificate errors
类型: boolean
默认: true
下载媒体资源 | Download Media可选
是否下载图片、视频等媒体资源（关闭可提高速度）| Download images, videos and other media (disable for faster crawling)
类型: boolean
默认: false
下载 CSS | Download CSS可选
是否下载 CSS 样式表（关闭可提高速度）| Download CSS stylesheets (disable for faster crawling)
类型: boolean
默认: true
调试日志 | Debug Log可选
是否输出详细的调试日志 | Enable detailed debug logging
类型: boolean
默认: false
你可能也喜欢
探索商店中更多热门采集工具
谷歌搜索结果（SERP）抓取API
by CoreClaw
通过关键词请求， 返回结构化的搜索结果摘要，包括最终搜索参数、自然结果、相关搜索以及 People Also Ask 数据。
4.8
604 次运行
低至 $1.2/1,000 结果
数据集合并和去重工具
by Kael Odin
数据集去重采集器是一款功能强大的工具，用于合并多个 JSON/JSONL 文件中的数据集并进行数据去重。该工具针对 CafeScraper 平台完成全面优化，附加增强功能，并具备完善的异常处理机制。
5.0
15 次运行
低至 $1.2/1,000 结果
Google Sheets 导入导出工具
by Kael Odin
一款功能强大的 Google Sheets 数据导入导出工具，专用于实现 Google Sheets 与外部系统的数据同步、备份和集成。支持三种操作模式、两种认证方式、批量处理、数据去重、自动备份等功能。
5.0
2 次运行
低至 $1.2/1,000 结果
Cheerio网页抓取
by Kael Odin
一款基于 Cheerio 的高速静态页面爬虫工具，专为静态 HTML 页面设计。使用 Cheerio 进行 HTML 解析，速度比完整浏览器渲染快 10-50 倍。
5.0
3 次运行
低至 $1.2/1,000 结果