网页内容抓取器

什么是网页内容抓取器？

网页内容抓取器是一种自动化数据提取工具，专用于从网站批量抓取页面内容，支持多种输出格式和智能内容清理。使用 CoreClaw，即可零代码获取结构化的网页内容，助力内容聚合、SEO 分析、AI 知识库构建和数据挖掘。

• ✅ 多种输出格式 - 支持 Markdown、HTML、纯文本三种格式
• ✅ 智能链接发现 - 自动检测内部和外部链接
• ✅ 深度控制 - 可配置爬取深度（0-10级）
• ✅ CSS 选择器 - 提取特定页面区域
• ✅ 智能等待 - 等待选择器、动态内容、网络空闲
• ✅ 内容清理 - 自动移除导航，规范化空白
• ✅ 模式匹配 - 使用正则表达式包含/排除 URL
• ✅ 批量处理 - 支持多站点并发抓取，高效构建内容库

您可以从网站提取哪些数据？

如何抓取网页内容？

CoreClaw 网页内容抓取器在后台为您处理代理轮换、任务调度、数据标准化和最终交付。只需几分钟，您就可以通过以下步骤获取数据：

1. 使用您的邮箱创建一个免费的 CoreClaw 帐户
2. 打开网页内容抓取器控制面板
3. 输入起始URL并设置参数（最大页面数、深度、提取模式等）
4. 选择提取模式和CSS选择器（可选）
5. 点击 "开始"，让我们的云服务器来完成数据抓取工作
6. 以 JSON 或 CSV 格式下载数据集

➡️ 输入

主要参数说明

使用示例

示例 1：基础爬取

• 起始URL：https://example.com
• 最大页面数：50
• 最大深度：2
• 提取模式：Markdown
• 结果：提取50个页面的Markdown内容

示例 2：提取特定区域

• 起始URL：https://blog.example.com
• CSS选择器：article
• 等待选择器：.content
• 提取模式：Markdown
• 结果：仅提取文章区域的内容

示例 3：仅发现链接

• 起始URL：https://example.com
• 爬取模式：discover_only
• 包含链接：true
• 结果：发现所有链接，不提取内容

⬅️ 输出

为了方便您查看，输出结果以表格和选项卡的形式显示。您可以选择以 CSV/JSON 的形式下载结果。

输出内容说明

基础字段

• url - 页面URL
• title - 页面标题
• statusCode - HTTP状态码
• depth - 爬取深度

内容字段（根据提取模式返回对应字段）

• markdown - Markdown格式内容
• html - HTML格式内容
• text - 纯文本内容

辅助字段

• excerpt - 内容预览（300字符）
• links_internal - 发现的内部链接
• links_external - 发现的外部链接

示例数据：

{
  "url": "https://example.com/page",
  "title": "页面标题",
  "markdown": "# 页面标题\n\n这里是页面内容...",
  "excerpt": "这里是页面内容的预览，前300个字符...",
  "links_internal": [
    "https://example.com/about",
    "https://example.com/contact"
  ],
  "links_external": [
    "https://external.com/link"
  ],
  "depth": 1,
  "statusCode": 200
}

常见问题

支持哪些输出格式？

• Markdown - 适合文档、知识库、RAG应用
• HTML - 保留原始格式和结构
• 纯文本 - 适合文本分析和数据挖掘

如何控制爬取深度？

使用 maxDepth 参数控制爬取深度：

• 0：仅抓取起始页面
• 1：抓取起始页面+一级链接
• 2-10：递增深度，最多10级

可以只提取页面的特定区域吗？

可以。使用 cssSelector 参数指定要提取的页面区域：

• article - 提取文章内容
• .content - 提取指定类名的内容
• #main - 提取指定ID的内容

如何过滤不想要的URL？

使用以下两种方式过滤：

• includePatterns - 只抓取匹配正则模式的URL
• excludePatterns - 排除匹配正则模式的URL

爬取深度和时间有什么限制？

不同参数的限制：

• maxPages：1-10000 页
• maxDepth：0-10 级
• concurrency：1-50 并发
• requestTimeoutSecs：5-600 秒 建议：根据网站规模和服务器性能合理设置参数。

如何处理动态加载的内容？

使用智能等待参数：

• waitForSelector - 等待特定元素出现
• waitUntil - 控制加载策略（domcontentloaded/load/networkidle）

内容清理功能做了什么？

内容清理功能会自动：

• 移除导航栏、页脚、广告等无关内容
• 规范化空白字符
• 生成内容摘要（excerpt）
• 提高内容可读性

可以用于哪些应用场景？

• RAG流程 - 为AI知识库提取内容
• 内容聚合 - 收集文章和博客帖子
• SEO分析 - 分析页面结构和内容
• 数据挖掘 - 从网站提取结构化数据
• 文档生成 - 从网页创建文档