Playwright 网页抓取

什么是 Playwright 网页抓取？

Playwright 网页抓取是一种基于 Playwright 的跨浏览器网页抓取工具，专用于处理需要完整浏览器渲染和 JavaScript 执行的复杂网站。与仅支持 Chromium 的爬虫不同，它支持 Chromium、Firefox 和 WebKit 三大浏览器引擎，可在不同浏览器间测试和抓取数据。使用 CoreClaw，即可零代码抓取动态页面、SPA 应用、无限滚动页面，助力跨浏览器数据采集、兼容性测试、动态内容提取等应用场景。

• ✅ 多浏览器支持 - 支持 Chromium、Firefox、WebKit 三大浏览器引擎
• ✅ 跨浏览器测试 - 在不同浏览器间测试爬取兼容性
• ✅ 完整浏览器渲染 - 使用真实浏览器引擎，完美呈现动态内容
• ✅ JavaScript 执行 - 自动执行页面 JavaScript，获取动态生成的内容
• ✅ 智能链接发现 - 使用 CSS 选择器智能发现和跟踪页面链接
• ✅ 自定义页面函数 - 编写自定义 JavaScript 函数，灵活提取数据
• ✅ 无限滚动支持 - 自动滚动加载更多内容，适用于无限滚动页面
• ✅ 自动等待机制 - 内置智能等待，无需手动处理异步加载

您可以从网站获取哪些数据？

如何使用 Playwright 网页抓取？

CoreClaw Playwright 网页抓取在后台为您处理多浏览器启动、页面加载、JavaScript 执行、链接发现和数据提取。只需几分钟，您就可以通过以下步骤获取数据：

1. 使用您的邮箱创建一个免费的 CoreClaw 帐户
2. 打开 Playwright 网页抓取控制面板
3. 选择浏览器类型（Chromium、Firefox 或 WebKit）
4. 输入起始 URL 列表
5. 配置爬取参数（深度、链接选择器、并发数、超时等）
6. 编写自定义页面函数（可选，用于提取特定数据）
7. 配置高级选项（无限滚动、URL 过滤、等待事件等）
8. 点击 "开始"，让我们的云服务器完成抓取工作
9. 以 JSON 格式下载已清洗的数据集

➡️ 输入

主要参数说明

使用示例

示例 1：基础爬取

• 浏览器类型：Chromium
• 起始 URL：https://example.com
• 最大深度：1
• 最大页面数：10
• 结果：使用 Chromium 浏览器爬取起始页及其一级链接页面

示例 2：跨浏览器测试

• 浏览器类型：Firefox
• 起始 URL：https://spa.example.com
• 页面函数：提取动态生成的产品列表
• 结果：使用 Firefox 浏览器测试 SPA 应用的数据提取

示例 3：Webkit 移动端爬取

• 浏览器类型：WebKit
• 起始 URL：https://mobile.example.com
• 等待事件：networkidle
• 结果：使用 WebKit 引擎模拟移动端浏览器进行爬取

示例 4：无限滚动页面

• 浏览器类型：Chromium
• 起始 URL：https://news.example.com
• 无限滚动：true
• 最大滚动次数：10
• 滚动间隔：3000 毫秒
• 结果：自动滚动加载并提取所有新闻内容

示例 5：自定义数据提取

• 浏览器类型：Chromium
• 起始 URL：https://blog.example.com
• 页面函数：提取文章标题、作者、发布时间
• 并发数：5
• 结果：使用高并发提取博客文章的详细元数据

示例 6：URL 过滤

• 浏览器类型：Firefox
• 起始 URL：https://example.com
• URL 模式：**/article/**
• 正则表达式：^https://example\.com/article/\d+$
• 结果：仅爬取符合模式的文章页面

⬅️ 输出

为了方便您查看，输出结果以表格和选项卡的形式显示。您可以选择以 JSON 的形式下载结果。

输出内容说明

每个抓取的页面将输出以下数据：

基础字段

• url - 页面 URL
• title - 页面标题
• depth - 爬取深度（从 0 开始）
• statusCode - HTTP 状态码

链接信息

• linksFound - 在此页面发现的链接数量

时间信息

• loadedAt - 页面加载时间戳

浏览器信息

• browserType - 使用的浏览器类型

自定义数据

• 根据 pageFunction 提取的自定义数据

其他信息

• error - 错误信息（如有）

示例数据：

1{
2  "url": "https://example.com/page",
3  "title": "页面标题",
4  "depth": 1,
5  "statusCode": 200,
6  "linksFound": 45,
7  "loadedAt": "2024-01-01T00:00:00.000Z",
8  "browserType": "chromium",
9  "customData": {
10    "author": "作者名",
11    "publishDate": "2024-01-01"
12  },
13  "error": ""
14}

常见问题

Playwright 爬虫和 Puppeteer 爬虫有什么区别？

需要跨浏览器测试或支持 Firefox/WebKit 时使用 Playwright，仅需要 Chromium 时使用 Puppeteer。

如何选择浏览器类型？

大多数场景使用 Chromium 即可，特殊需求时选择其他浏览器。

如何选择等待事件？

大多数场景使用 domcontentloaded 或 load，networkidle 仅用于需要确保所有资源加载完成的场景。

Cookie 弹窗如何自动关闭？

工具内置自动关闭 Cookie 弹窗功能。

适用于哪些应用场景？

• 电商产品爬取 - 抓取动态价格、评论、库存信息
• 社交媒体数据提取 - 抓取社交媒体帖子和动态
• SPA 数据提取 - 提取 React、Vue、Angular 等单页应用数据
• 无限滚动内容 - 抓取社交媒体、新闻列表等无限滚动页面
• 跨浏览器测试 - 在不同浏览器间测试网站兼容性
• 动态页面抓取 - 抓取需要 JavaScript 渲染的动态内容
• 移动端测试 - 使用 WebKit 模拟移动端浏览器
• 需要登录的内容 - 处理需要身份验证的页面