Puppeteer网页爬虫

什么是Puppeteer网页爬虫？

Puppeteer网页爬虫是一种基于 Puppeteer 的自动化网页抓取工具，专用于处理需要完整浏览器渲染和 JavaScript 执行的复杂网站。使用 CoreClaw，即可零代码抓取动态页面、SPA 应用、无限滚动页面，助力动态内容采集、SPA 数据提取、交互式页面抓取等应用场景。

• ✅ 完整浏览器渲染 - 使用真实浏览器引擎，完美呈现动态内容
• ✅ JavaScript 执行 - 自动执行页面 JavaScript，获取动态生成的内容
• ✅ 智能链接发现 - 使用 CSS 选择器智能发现和跟踪页面链接
• ✅ 自定义页面函数 - 编写自定义 JavaScript 函数，灵活提取数据
• ✅ 无限滚动支持 - 自动滚动加载更多内容，适用于无限滚动页面
• ✅ 自动关闭弹窗 - 自动识别并关闭 Cookie 弹窗等干扰元素
• ✅ URL 过滤功能 - 支持 Glob 模式和正则表达式过滤 URL
• ✅ 深度控制 - 可配置爬取深度，精准控制抓取范围

您可以从网站获取哪些数据？

如何使用Puppeteer网页爬虫？

CoreClaw Puppeteer网页爬虫在后台为您处理浏览器启动、页面加载、JavaScript 执行、链接发现和数据提取。只需几分钟，您就可以通过以下步骤获取数据：

1. 使用您的邮箱创建一个免费的 CoreClaw 帐户
2. 打开Puppeteer网页爬虫控制面板
3. 输入起始 URL 列表
4. 配置爬取参数（深度、链接选择器、URL 过滤等）
5. 编写自定义页面函数（可选，用于提取特定数据）
6. 配置高级选项（无限滚动、Cookie 弹窗处理等）
7. 点击 "开始"，让我们的云服务器完成抓取工作
8. 以 JSON 格式下载已清洗的数据集

➡️ 输入

主要参数说明

使用示例

示例 1：基础爬取

• 起始 URL：https://example.com
• 最大深度：1
• 最大页面数：10
• 结果：爬取起始页及其一级链接页面，提取基础数据

示例 2：爬取 SPA 应用

• 起始 URL：https://spa.example.com
• 页面函数：提取动态生成的产品列表
• 等待选择器：.product-list
• 结果：等待动态内容加载完成后提取数据

示例 3：无限滚动页面

• 起始 URL：https://news.example.com
• 无限滚动：true
• 最大滚动次数：10
• 滚动间隔：3000 毫秒
• 结果：自动滚动加载并提取所有新闻内容

示例 4：自定义数据提取

• 起始 URL：https://blog.example.com
• 页面函数：提取文章标题、作者、发布时间
• 链接选择器：a.article-link
• 结果：提取博客文章的详细元数据

示例 5：URL 过滤

• 起始 URL：https://example.com
• URL 模式：**/article/**
• 正则表达式：^https://example\.com/article/\d+$
• 结果：仅爬取符合模式的文章页面

⬅️ 输出

为了方便您查看，输出结果以表格和选项卡的形式显示。您可以选择以 JSON 的形式下载结果。

输出内容说明

每个抓取的页面将输出以下数据：

基础字段

• url - 页面 URL
• title - 页面标题
• depth - 爬取深度（从 0 开始）
• statusCode - HTTP 状态码

链接信息

• linksFound - 在此页面发现的链接数量
• links - 发现的链接列表（可选）

自定义数据

• 根据 pageFunction 提取的自定义数据

其他信息

• error - 错误信息（如有）
• timestamp - 抓取时间戳

示例数据：

1{
2  "url": "https://example.com/page",
3  "title": "页面标题",
4  "depth": 1,
5  "statusCode": 200,
6  "linksFound": 45,
7  "links": [
8    "https://example.com/page2",
9    "https://example.com/page3"
10  ],
11  "customData": {
12    "author": "作者名",
13    "publishDate": "2024-01-01"
14  },
15  "error": "",
16  "timestamp": "2024-01-01T00:00:00.000Z"
17}

常见问题

全浏览器爬虫和普通爬虫有什么区别？

静态网站使用普通爬虫，动态网站、SPA 应用使用全浏览器爬虫。

如何编写页面函数？

页面函数是自定义 JavaScript 函数，用于从页面提取特定数据；使用 page.evaluate() 在浏览器上下文中执行代码，提高性能。

如何处理无限滚动页面？

先设置较小的 scrollMaxPages 测试，确认效果后再增加。

Cookie 弹窗如何自动关闭？

工具内置自动关闭 Cookie 弹窗功能。

对于特殊弹窗，使用 waitForSelector 等待主要内容加载。

如何设置爬取深度？

• 深度越大，页面数量指数增长
• 建议配合 maxPages 使用，防止爬取过多页面
• 大型网站建议深度不超过 3

建议：大多数场景使用深度 1-2 即可满足需求。

适用于哪些应用场景？

• 动态页面抓取 - 抓取需要 JavaScript 渲染的动态内容
• SPA 数据提取 - 提取 React、Vue、Angular 等单页应用数据
• 无限滚动内容 - 抓取社交媒体、新闻列表等无限滚动页面
• 交互式页面 - 需要点击、滚动等交互才能获取内容的页面
• 电商商品采集 - 抓取电商网站的商品信息、价格、评论
• 社交媒体监控 - 监控社交媒体帖子和动态
• 新闻聚合 - 聚合各大新闻网站的最新资讯
• 数据备份 - 备份网站内容，防止数据丢失

如何处理反爬虫机制？

自动应对：

• 使用真实浏览器，不易被识别
• 自动处理 Cookie 和 Session
• 支持代理轮换（如配置）

建议：合理设置爬取参数，遵守网站使用条款。

爬取数据合法吗？

我们的全浏览器网页爬虫仅公开访问网站并提取可见内容。用户在使用爬取数据时应遵守目标网站的使用条款和服务协议，建议仅用于合法的商业分析和研究用途。