网页爬虫工具

什么是网页爬虫工具？

网页爬虫工具是一种自动化网站爬取工具，专用于批量爬取网站页面、提取结构化数据（标题、描述、关键词、标题、图片、链接等）并自动发现相关链接。使用 CoreClaw，即可零代码获取网页结构化数据，助力数据采集、SEO 分析、竞品研究和内容监控。

• ✅ 自动链接发现 - 自动发现并爬取同域名内的链接
• ✅ 深度控制 - 可配置爬取深度（起始页深度为 0）
• ✅ 页面限制 - 设置每次爬取的最大页面数，控制成本
• ✅ 资源控制 - 可选择阻止媒体/CSS，加快爬取速度
• ✅ jQuery 注入 - 可选注入 jQuery 库，方便数据提取
• ✅ SSL 支持 - 忽略自签名证书的 SSL 错误
• ✅ 远程浏览器 - 通过 CDP 连接指纹浏览器池
• ✅ 灵活配置 - 支持自定义超时、等待条件和数据提取逻辑

您可以从网站提取哪些数据？

如何使用网页爬虫工具 ？

CoreClaw 网页爬虫工具在后台为您处理代理轮换、任务调度、数据标准化和最终交付。只需几分钟，您就可以通过以下步骤获取数据：

1. 使用您的邮箱创建一个免费的 CoreClaw 帐户
2. 打开网页爬虫工具控制面板
3. 输入起始URL并设置参数（深度、页面限制、资源控制等）
4. 配置高级选项（jQuery注入、SSL设置、调试日志等）
5. 点击 "开始"，让我们的云服务器完成爬取工作
6. 以 JSON 或 CSV 格式下载已清理的数据集

➡️ 输入

主要参数说明

使用示例

示例 1：基础网页爬取

• 起始URL：https://example.com
• 最大深度：1
• 最大页面数：10
• 结果：爬取起始页及其一级链接页面，提取所有页面的标题、描述、关键词等数据

示例 2：深度爬取

• 起始URL：https://blog.example.com
• 最大深度：3
• 最大页面数：50
• jQuery注入：true
• 结果：递归爬取3级深度页面，注入jQuery便于数据提取

示例 3：快速爬取（忽略资源）

• 起始URL：https://example.com
• 下载媒体：false
• 下载CSS：false
• 超时时间：30秒
• 结果：仅爬取页面文本内容，忽略图片、视频和CSS，大幅提升速度

⬅️ 输出

为了方便您查看，输出结果以表格和选项卡的形式显示。您可以选择以 CSV/JSON 的形式下载结果。

输出内容说明

每个爬取的页面将输出以下数据：

基础字段

• url - 页面URL
• depth - 爬取深度
• title - 页面标题
• description - 页面描述
• keywords - 关键词

结构化字段

• h1 - 主标题
• h2List - 副标题列表
• textLength - 文本长度
• imageCount - 图片数量
• linkCount - 链接数量

JSON示例：

{
  "url": "https://example.com/page",
  "depth": 1,
  "title": "页面标题",
  "description": "页面描述文本",
  "keywords": "关键词1, 关键词2",
  "h1": "主标题",
  "h2List": ["副标题1", "副标题2"],
  "textLength": 5000,
  "imageCount": 12,
  "linkCount": 45
}

常见问题

爬取深度是如何计算的？

爬取深度从起始页开始计算：

• 深度 0：仅爬取起始页面
• 深度 1：爬取起始页 + 一级链接页面
• 深度 2-10：递增深度，最多支持10级

如何控制爬取的页面数量？

使用以下两种方式控制：

• maxPagesPerCrawl：设置每次爬取的最大页面数
• maxCrawlingDepth：限制爬取深度

jQuery 注入有什么作用？

jQuery 注入功能可以：

• 方便提取页面特定数据
• 使用 jQuery 选择器查找元素
• 简化 DOM 操作和数据提取逻辑

如何处理 SSL 证书错误？

默认情况下，工具会忽略 SSL 证书错误（ignoreSslErrors: true）。

• ✅ 自签名证书 - 自动忽略
• ✅ 过期证书 - 自动忽略
• ✅ 证书链不完整 - 自动忽略

waitUntil 参数有哪些选项？

支持以下导航完成条件：

• load - 页面完全加载（包括所有资源）
• domcontentloaded - DOM 加载完成（不等待图片等资源）
• networkidle0 - 至少 0 个网络连接持续 500ms
• networkidle2 - 至多 2 个网络连接持续 500ms（默认）

如何加快爬取速度？

使用以下方法提升速度：

• 设置 downloadMedia: false - 不下载图片和视频
• 设置 downloadCss: false - 不下载 CSS 样式表
• 减少 pageLoadTimeoutSecs - 缩短超时时间
• 使用 domcontentloaded 作为等待条件

适用于哪些应用场景？

• SEO 审计 - 检查标题、描述、标题结构、图片和链接数量
• 竞品分析 - 提取产品信息、监控定价和描述、跟踪内容变化
• 内容聚合 - 从多个来源收集新闻文章、博客帖子、产品列表
• 数据采集 - 批量提取网站的结构化数据
• 内容监控 - 跟踪多个页面的内容和结构变化

如何自定义数据提取逻辑？

如果您需要提取特定的页面数据（如价格、作者、日期等），可以通过自定义数据提取逻辑实现。CoreClaw 提供灵活的配置选项，支持根据需求定制提取字段和规则。