Facebook 主页帖子抓取器

什么是 Facebook Posts Scraper？

Facebook Posts Scraper 自动从 Facebook 公开主页抓取帖子并输出结构化数据——正文、时间戳、互动指标、作者信息、媒体附件等一应俱全。无需 Facebook 登录，也不需要 API 令牌，填入一个或多个公开主页 URL 即可开始抓取。

你可以用它来做什么？

• 品牌与竞品监测： 实时追踪竞品或行业主页的发帖动态，重要更新、产品发布、营销活动一个都不漏。
• 内容调研： 从行业头部主页中发现热门话题、高效帖子形式和话题标签策略，获取内容灵感。
• 社媒数据分析： 批量采集互动数据（反应数、评论数、分享数），用于舆情分析、趋势研究或定期报告。
• 发掘合作机会： 从行业主页中提取公开分享的外链和作者信息，发现潜在的合作或推广机会。
• 自动化监测流程： 用稳定的自动化工作流替代手动检查主页，按你的节奏定期运行、自动导出。

Facebook Posts Scraper 会抓取哪些数据？

核心能力

• 公开主页帖子： 从任何可公开访问的 Facebook 主页提取帖子正文、时间戳、互动指标、作者信息、媒体附件和外部链接——无需登录，也不需要 API 令牌。
• GraphQL 实时拦截： 抓取器实时拦截 Facebook 内部 GraphQL API 的响应，直接从源头获取结构化数据。当 GraphQL 拦截无结果时，自动回退到 DOM 解析，确保数据仍能被提取。
• 多种导出格式： 支持 8 种格式导出结果：CSV、JSON、JSONL、XLS、XLSX、HTML、XML 和 RSS。
• 工具集成： 通过 webhook、CoreClaw MCP 服务器或 REST API 连接其他工具，实现工作流自动化。

输入

Facebook 主页 URL（必填）—— startUrls

一个或多个 Facebook 公开主页 URL。每个 URL 应指向一个可公开访问的 Facebook 主页（品牌、创作者、公众人物等）。抓取器会在无头浏览器中打开每个 URL，自动关闭登录弹窗，拦截 GraphQL 响应，并在需要时回退到 DOM 解析。

支持的 URL 格式：

• 标准主页 URL：https://www.facebook.com/humansofnewyork/
• 自定义短链主页：https://www.facebook.com/nasa
• 带路径的 URL：https://www.facebook.com/Meta/

不支持： 私密个人主页、封闭小组、活动页面或个人时间线——本抓取器专为公开主页的时间线设计。

startUrls 接受 JSON 数组。每个元素可以是纯 URL 字符串，也可以是包含 url 字段的对象。

示例——单个 URL：

{
  "startUrls": ["https://www.facebook.com/humansofnewyork/"]
}

示例——多个 URL：

{
  "startUrls": [
    "https://www.facebook.com/humansofnewyork/",
    "https://www.facebook.com/nasa",
    "https://www.facebook.com/Meta/"
  ]
}

结果数量—— resultsLimit

每个入口 URL 最多抓取的帖子数量。设为 0 表示不限制（抓取器会持续滚动直到没有新帖子）。默认值为 20。

包含视频字幕—— captionText

开启后，抓取器会尝试提取视频帖子的字幕/转写文本。这是一个尽力而为的功能——字幕是否可用取决于 Facebook 的 GraphQL 响应中是否包含该视频的字幕数据。默认为 false。

提示： 大多数公开视频帖子的 GraphQL 响应中不包含转写数据。仅在你确实需要视频文本内容时开启此选项，并做好多数视频可能没有转写数据的心理准备。

时间范围过滤

使用以下两个参数按发布时间筛选帖子。可以单独使用，也可以组合使用来定义一个具体的时间窗口。

晚于—— onlyPostsNewerThan

只保留发布时间 ≥ 此值 的帖子。早于此时间的帖子会被跳过。支持以下格式：

相对时间从当前时间起算。例如 3个月 表示"从 3 个月前到现在"。

早于—— onlyPostsOlderThan

只保留发布时间 ≤ 此值 的帖子。晚于此时间的帖子会被跳过。支持与 onlyPostsNewerThan 相同的格式。

示例——抓取特定日期范围的帖子：

{
  "startUrls": ["https://www.facebook.com/humansofnewyork/"],
  "onlyPostsNewerThan": "2025-01-01",
  "onlyPostsOlderThan": "2025-06-30",
  "resultsLimit": 0
}

示例——只抓取近期帖子：

{
  "startUrls": ["https://www.facebook.com/nasa"],
  "onlyPostsNewerThan": "3个月",
  "resultsLimit": 50
}

输出

每次成功运行后，结果数据会显示在输出面板中。默认以表格视图展示，带有分类标签方便分组浏览。你也可以一键切换到 JSON 视图。

导出时支持 CSV、JSON、JSONL、XLS、XLSX、HTML、XML 或 RSS 格式。导出前可以选择或取消选择特定字段，也可以下载包含所有字段的完整视图。

完整 JSON 记录

当抓取器处理一条帖子时，会返回一条完整的记录。以下是一条代表性示例，展示了完整的输出结构：

{
  "facebookUrl": "https://www.facebook.com/humansofnewyork/",
  "postId": "pfbid02xK9ExamplePostId5Tmw",
  "pageName": "Humans of New York",
  "url": "https://www.facebook.com/humansofnewyork/posts/pfbid02xK9ExamplePostId5Tmw",
  "time": "2025-07-14T18:32:00+00:00",
  "timestamp": 1752517920,
  "text": "I was sitting on a bench in Central Park, and this older gentleman sat down next to me. We started talking about life, dreams, and the things we wish we'd done differently.",
  "textReferences": [],
  "likes": 182400,
  "comments": 4320,
  "shares": 2150,
  "media": [
    {
      "url": "https://scontent.fbkk1-1.fbcdn.net/v/example_image.jpg",
      "thumbnail": "https://scontent.fbkk1-1.fbcdn.net/v/example_thumb.jpg",
      "width": 1080,
      "height": 1350,
      "type": "photo"
    }
  ],
  "userId": "10201496316671403",
  "userName": "Humans of New York",
  "userProfileUrl": "https://www.facebook.com/humansofnewyork/",
  "userProfilePic": "https://scontent.fbkk1-1.fbcdn.net/v/example_avatar.jpg",
  "user": {
    "id": "10201496316671403",
    "name": "Humans of New York",
    "profileUrl": "https://www.facebook.com/humansofnewyork/",
    "profilePic": "https://scontent.fbkk1-1.fbcdn.net/v/example_avatar.jpg"
  },
  "link": null,
  "reactionLikeCount": 134200,
  "reactionLoveCount": 38900,
  "reactionCareCount": 6100,
  "reactionHahaCount": 120,
  "reactionWowCount": 3080,
  "viewsCount": null,
  "collaborators": [],
  "inputUrl": "https://www.facebook.com/humansofnewyork/"
}

输出字段参考

注意： 并非所有字段在每条帖子中都有值。viewsCount、collaborators、link 等字段是尽力而为的，当 GraphQL 响应中没有对应数据时可能为 null。反应细分字段（reactionLikeCount 等）也是尽力而为的；likes（总反应数）通常更可靠地被填充。

常见问题

基础相关

Facebook Posts Scraper 是如何工作的？

抓取器连接到无头浏览器（Camoufox 或 Chrome WebSocket），打开你提供的每个 Facebook 主页 URL，自动关闭出现的登录弹窗——Facebook 的登录提示是可以关闭的弹窗，不是认证墙，关闭后公开主页的内容会正常加载。

主页加载完成后，抓取器实时拦截 Facebook 内部 GraphQL API 的响应来提取结构化的帖子数据。然后它会向下滚动页面以触发更多 GraphQL 请求、加载更多帖子。如果 GraphQL 拦截没有获取到结果（比如 Facebook 内部响应格式发生了变化），抓取器会自动回退到解析页面 DOM 中嵌入的 JSON 数据。

整个过程不需要 Facebook 账号、登录凭证或 API 令牌。

需要 Facebook 账号吗？

不需要。抓取器完全无需登录即可工作。它会自动关闭 Facebook 的登录弹窗，这足以访问公开主页内容。

可以抓取哪些类型的 Facebook 页面？

可以抓取任何可公开访问的 Facebook 主页，包括品牌主页、创作者主页、公众人物主页和组织主页。关键要求是该主页必须可以公开浏览，无需登录。

私密个人主页、封闭小组、个人时间线和活动页面不在本抓取器的支持范围内。

最多能抓取多少条帖子？

没有硬性上限。resultsLimit 参数控制每次运行收集的帖子数量。设为 0 即为不限制——抓取器会持续滚动直到没有新帖子或达到内部滚动上限。对于大多数公开主页，单次运行可以收集几百到几千条帖子。

抓取速度如何？

速度取决于你要抓取的帖子数量、主页的加载速度和网络条件。收集单个主页 50-100 条帖子的典型运行通常几分钟内完成。抓取多个主页时是顺序执行的，总时间与 URL 数量成正比。

技术相关

GraphQL 拦截是怎么工作的？

当你打开一个 Facebook 主页时，浏览器会向 Facebook 内部的 GraphQL 端点发起 API 调用来加载帖子数据。抓取器实时监听这些 API 响应，直接从中提取结构化的 JSON 数据。这比解析渲染后的 HTML 更可靠，因为数据直接来自 Facebook 的数据层。

GraphQL 拦截失败怎么办？

如果没有拦截到 GraphQL 响应（这可能在 Facebook 更改其内部 API 结构时发生），抓取器会自动回退到 DOM 解析。它读取页面的 HTML，从 script 标签中提取嵌入的 JSON 数据块，然后解析其中的帖子数据。这种回退方式是尽力而为的，但能确保即使 Facebook 前端发生变化，抓取器仍能保持功能。

登录弹窗是怎么被关闭的？

Facebook 在未认证用户访问主页时会显示登录弹窗。这个弹窗不是认证墙——它是一个可关闭的对话框。抓取器点击关闭按钮（或按 Escape 键），通过 JavaScript 移除剩余的对话框遮罩层，并解锁页面滚动。这样主页内容就能正常加载，无需任何凭证。

滚动有什么限制？

抓取器对每个主页 URL 最多滚动 30 次。如果连续 3 次滚动都没有发现新帖子，抓取器会停止该 URL 的滚动。这既避免了在帖子较少的主页上无限滚动，又能最大化活跃主页的数据采集量。

可以按日期范围筛选帖子吗？

可以。使用 onlyPostsNewerThan 和 onlyPostsOlderThan 参数来定义时间窗口。抓取器会按发布时间戳过滤帖子，并在遇到超出窗口范围的帖子时提前停止滚动，同时提升效率。

平台与集成

支持哪些导出格式？

支持 8 种格式下载结果：CSV、JSON、JSONL、XLS、XLSX、HTML、XML 和 RSS。选择适合你工作流的格式——CSV 或 XLSX 用于电子表格，JSON/JSONL 用于程序化处理，XML/RSS 用于订阅源，HTML 用于快速浏览。

可以通过 API 使用吗？

可以。你可以使用 CoreClaw REST API 以编程方式运行此抓取器。基础 URL 为 https://openapi.coreclaw.com，每个端点路径以 /api/v2 开头。使用 Authorization: Bearer YOUR_API_KEY 进行认证。

典型的 API 工作流：

1. 通过 GET /api/v2/workers/{workerId}/input-schema 获取 Worker 的输入参数定义。
2. 通过 POST /api/v2/workers/{workerId}/runs 启动运行，在 input.parameters.custom 中传入参数。
3. 保存返回的 data.run_slug。
4. 使用 GET /api/v2/worker-runs/{runId} 检查运行状态。
5. 使用 GET /api/v2/worker-runs/{runId}/result 获取结果，或 GET /api/v2/worker-runs/{runId}/result/export 导出文件。

详情请参阅 CoreClaw API 文档。

可以和其他工具集成吗？

可以。你可以使用 CoreClaw REST API 或 MCP 服务器与 Make、Zapier、n8n 等自动化工具集成，也可以接入你自己的工作流。使用 webhook 在抓取运行完成后触发下游操作。

这个抓取器需要额外付费吗？

不需要。此抓取器包含在你的 CoreClaw 套餐中。有关套餐限制和价格的详情，请参阅 CoreClaw 价格页面。

抓取 Facebook 数据合法吗？

在许多司法管辖区，抓取公开可用数据通常是允许的，但合法性取决于具体数据、你的司法管辖区、你的目的以及你如何处理个人信息。此抓取器仅在未经认证的情况下访问公开可见的主页内容。请始终尊重个人数据和知识产权规则，仅在有正当理由时进行抓取，并查阅 Facebook 的服务条款以了解你的使用场景是否合规。

反馈

我们一直在持续改进此抓取器的性能和覆盖范围。如果你发现了 bug 或注意到缺失字段，请提供你使用的输入设置、大致运行时间和一小段输出样本。你可以通过网站在线客服或发送邮件至 support@coreclaw.com 联系我们，以便我们复现问题并修复。