页面内容检索器

什么是页面内容检索器？

页面内容检索器是一种自动化网页内容检测工具，专用于监控网页上的特定内容变化并追踪变更历史。使用 CoreClaw，即可零代码监控网页内容，助力电商价格监控、新闻追踪、竞品分析、库存监控等应用场景。

• ✅ 灵活内容监控 - 使用 CSS 选择器监控任意网页的特定内容
• ✅ 预设选择器 - 内置常用选择器下拉菜单，无需手动编写 CSS
• ✅ 自定义选择器 - 高级用户可输入自定义 CSS 选择器，满足复杂需求
• ✅ 自动截图对比 - 自动捕获前后对比截图，直观展示变化
• ✅ 状态持久化 - 通过输入参数传递之前状态，实现连续监控
• ✅ 智能重试机制 - 内置重试功能，自动处理网络问题
• ✅ 动态内容支持 - 支持等待动态内容加载，确保数据准确
• ✅ CDP 远程浏览器 - 支持 CDP 连接远程指纹浏览器，提升稳定性

您可以获取哪些数据？

如何使用页面内容检索器？

CoreClaw 页面内容检索器在后台为您处理网页加载、内容提取、截图生成和变化检测。只需几分钟，您就可以通过以下步骤监控网页内容：

1. 使用您的邮箱创建一个免费的 CoreClaw 帐户
2. 打开网页页面内容检索器控制面板
3. 输入要监控的网页 URL 列表
4. 选择内容选择器（预设或自定义）
5. 配置截图选择器和高级参数（超时、等待时间等）
6. 点击 "开始"，首次运行获取初始内容
7. 下次运行时，将上次的结果作为"之前内容"传入，自动检测变化
8. 以 JSON 格式下载包含变化检测结果的数据

➡️ 输入

主要参数说明

预设选择器

内容选择器预设：

截图选择器预设：

使用示例

示例 1：监控 Hacker News 新闻标题

• URL：https://news.ycombinator.com/
• 内容选择器：新闻标题 (.titleline)
• 截图选择器：使用内容选择器（默认）
• 结果：监控新闻标题变化，自动检测新增或删除的新闻

示例 2：监控电商产品价格

• URL：https://example.com/product/123
• 内容选择器：价格 (.price)
• 截图选择器：产品详情 (.product-detail)
• 结果：监控产品价格变化，记录价格变动时间和幅度

示例 3：监控博客文章更新

• URL：https://blog.example.com
• 内容选择器：文章内容 (article)
• 截图选择器：主内容区 (main)
• 等待动态内容：10 秒
• 结果：监控博客文章内容变化，追踪文章更新

示例 4：自定义选择器监控

• URL：https://example.com
• 内容选择器：自定义
• 自定义 CSS：.stock-status
• 结果：监控自定义元素的内容变化（如库存状态）

⬅️ 输出

为了方便您查看，输出结果以表格和选项卡的形式显示。您可以选择以 JSON 的形式下载结果。

输出内容说明

每个监控请求将输出以下数据：

基础信息

• url - 监控的网页 URL
• currentTimestamp - 当前时间戳

内容对比

• previousContent - 之前的内容（首次运行为空）
• currentContent - 当前内容
• changed - 是否检测到变化（true/false）

运行状态

• isFirstRun - 是否为首次运行（true/false）

截图数据

• currentScreenshot - 当前截图（Base64 编码）
• previousScreenshot - 之前截图（如果有）

JSON示例：

{
  "url": "https://news.ycombinator.com/",
  "previousContent": "旧标题...\n旧标题2...",
  "currentContent": "新标题...\n新标题2...",
  "currentTimestamp": "2026-04-15T10:00:00.000Z",
  "changed": true,
  "isFirstRun": false,
  "currentScreenshot": "base64编码的图片..."
}

变化追踪工作流：

1. 首次运行：

   json复制

   {
     "isFirstRun": true,
     "changed": false,
     "currentContent": "首次内容...",
     "currentScreenshot": "base64..."
   }

2. 保存状态：将 currentContent 和 currentScreenshot 保存到数据库或文件

3. 下次运行：将保存的内容传入 previousContent 字段

4. 检测变化：

   json复制

   {
     "isFirstRun": false,
     "changed": true,
     "previousContent": "旧内容...",
     "currentContent": "新内容..."
   }

常见问题

如何监控网页内容变化？

第一步：首次运行 第二步：定期运行 第三步：查看结果 建议：使用定时任务（如 cron job）定期运行监控。

如何选择合适的选择器？

预设选择器（推荐新手）

• 全页面内容 (body) - 监控整个页面文本
• 页面标题 (h1) - 监控主标题变化
• 价格 (.price) - 监控电商价格
• 新闻标题 (.titleline) - 监控新闻列表

自定义选择器（适合高级用户）

1. 使用浏览器开发者工具（F12）
2. 右键点击要监控的元素
3. 选择"复制" → "复制选择器"
4. 粘贴到 contentSelectorCustom 字段

建议：先尝试预设选择器，如果不符合需求再使用自定义选择器。

如何设置监控频率？

高频率（每小时）

• 股票价格监控
• 限时抢购活动
• 紧急库存监控

中频率（每天 3-5 次）

• 新闻网站更新
• 电商价格监控
• 竞品分析

低频率（每天 1 次）

• 博客文章更新
• 月度报告发布
• 产品上架监控

建议：根据内容更新频率合理设置，避免过度请求导致网站限制。

截图对比有什么作用？

截图对比提供直观的视觉变化检测. 建议：截图选择器范围不要过大，聚焦关键区域以减少文件大小。

适用于哪些应用场景？

• 电商价格监控 - 实时监控竞品价格变化，及时调整策略
• 新闻追踪 - 追踪新闻网站更新，第一时间获取资讯
• 竞品分析 - 监控竞品网站内容变化，了解市场动态
• 库存监控 - 监控产品库存状态，及时补货
• 品牌监控 - 监控品牌在各平台的展示情况
• 政府公告监控 - 实时获取政策法规更新
• 招聘信息监控 - 追踪招聘网站新增职位
• 社交媒体监控 - 监控社交媒体帖子内容变化