RAG 网络浏览器

01KP7AMQT0SSYZ7PFWFTD4BVET

一款专为检索增强生成（RAG）流程和 AI 应用设计的高性能网页抓取工具。结合 Google 搜索功能与智能内容提取，支持快速 HTTP 请求和完整浏览器渲染两种模式，支持并发处理、智能内容过滤、多格式输出。

by Odin Kael

4.7

6次运行

最后更新:2026-04-15

免费试用

免费 2,000 条结果

什么是 RAG 网络浏览器？

RAG 网络浏览器是一种自动化网页内容提取工具，专用于为检索增强生成（RAG）流程和 AI 应用提供实时网页搜索和内容抓取能力。使用 CoreClaw，即可零代码获取结构化的网页内容，助力 AI 聊天机器人、知识库构建、内容聚合和数据挖掘。

✅ Google 搜索集成 - 智能分页的多页搜索结果提取，获取相关网页
✅ 双模式抓取 - 支持 raw-http（快速 HTTP 请求）和 browser-playwright（完整浏览器渲染）
✅ 多格式输出 - 支持 Markdown、纯文本、HTML 三种输出格式
✅ 并发处理 - 可配置并行度，实现多页面并发抓取，提升效率
✅ 智能内容处理 - 自动移除 Cookie 弹窗、元素过滤、可读性提取
✅ 性能监控 - 内置耗时指标和调试模式，实时追踪抓取性能
✅ 动态内容支持 - 支持等待 JavaScript 渲染的动态内容抓取
✅ 生产就绪 - 针对 CoreClaw 云环境优化，稳定可靠

您可以提取哪些数据？

🔍 Google 搜索结果	📄 页面标题与描述
📝 Markdown 格式内容	📄 纯文本内容
🌐 HTML 原始内容	🏷️ 页面元数据
🌍 语言识别	⏱️ 抓取性能指标
📊 HTTP 状态码	🔗 页面 URL 信息

如何使用 RAG 网络浏览器？

CoreClaw RAG 网络浏览器在后台为您处理代理轮换、任务调度、并发控制和数据标准化。只需几分钟，您就可以通过以下步骤获取数据：

使用您的邮箱创建一个免费的 CoreClaw 帐户
打开 RAG 网络浏览器控制面板
输入搜索关键词或直接目标 URL
设置参数（最大结果数、输出格式、抓取模式、并发度等）
配置高级选项（超时时间、重试次数、内容处理等）
点击 "开始"，让我们的云服务器完成抓取工作
以 JSON 格式下载已清洗的数据集

➡️ 输入

主要参数说明

参数	类型	默认值	范围	说明
query	string	-	-	必填。搜索关键词或直接 URL
maxResults	number	3	1-100	最大搜索结果数
outputFormat	string	`"markdown"`	`text`/`markdown`/`html`	输出格式
scrapingTool	string	`"raw-http"`	`raw-http`/`browser-playwright`	抓取引擎
requestTimeoutSecs	number	40	1-300	请求超时秒数
serpMaxRetries	number	2	0-5	Google 搜索重试次数
maxRequestRetries	number	1	0-3	目标页面重试次数
dynamicContentWaitSecs	number	10	0-60	动态内容等待时间
desiredConcurrency	number	3	1-10	并行抓取操作数
removeCookieWarnings	boolean	true	-	移除 Cookie 弹窗
htmlTransformer	string	`"none"`	`none`/`readableText`	HTML 内容转换
removeElementsCssSelector	string	-	-	要移除元素的 CSS 选择器
debugMode	boolean	false	-	启用调试日志和指标

使用示例

示例 1：基于 Google 搜索抓取

搜索关键词：人工智能最新进展
最大结果数：5
输出格式：Markdown
抓取模式：raw-http
结果：提取 5 个搜索结果页面的 Markdown 格式内容

示例 2：直接抓取特定 URL

查询：https://example.com/article
输出格式：text
抓取模式：browser-playwright
动态内容等待：15 秒
结果：抓取指定页面的纯文本内容，等待 JavaScript 渲染完成

示例 3：并发抓取多个页面

搜索关键词：机器学习教程
最大结果数：10
并发度：5
移除 Cookie 弹窗：true
结果：并发抓取 10 个页面，自动移除 Cookie 弹窗，大幅提升抓取速度

示例 4：提取可读性优化内容

查询：https://example.com
HTML 转换器：readableText
移除元素：.advertisement, .sidebar
结果：提取页面主要内容，自动移除广告和侧边栏元素

⬅️ 输出

为了方便您查看，输出结果以表格和选项卡的形式显示。您可以选择以 JSON 的形式下载结果。

输出内容说明

每个抓取的页面将输出以下数据：

爬取信息 (crawl)

httpStatusCode - HTTP 状态码
httpStatusMessage - HTTP 状态消息
loadedAt - 加载时间戳
requestStatus - 请求状态
uniqueKey - 唯一标识符

调试信息 (debug)

timeMeasures - 时间测量指标
totalTimeMs - 总耗时（毫秒）
urlsScraped - 已抓取的 URL 数量

搜索结果 (searchResult)

title - 页面标题
description - 页面描述
url - 页面 URL

元数据 (metadata)

title - 页面标题
url - 页面 URL
description - 页面描述
languageCode - 语言代码

内容输出

markdown - Markdown 格式内容
text - 纯文本内容
html - HTML 原始内容

JSON 示例：

json

{
  "url": "https://example.com",
  "crawl": {
    "httpStatusCode": 200,
    "httpStatusMessage": "OK",
    "loadedAt": "2024-01-01T00:00:00.000Z",
    "requestStatus": "handled",
    "uniqueKey": "abc123",
    "debug": {
      "timeMeasures": [],
      "totalTimeMs": 1654,
      "urlsScraped": 3
    }
  },
  "searchResult": {
    "title": "页面标题",
    "description": "页面描述",
    "url": "https://example.com"
  },
  "metadata": {
    "title": "页面标题",
    "url": "https://example.com",
    "description": "页面描述",
    "languageCode": "zh"
  },
  "markdown": "# 页面内容...",
  "text": "页面内容...",
  "html": "<html>...</html>"
}