Coursera 和 EDX 课程数据抓取工具
Coursera 和 EDX 课程数据抓取工具
odin-kael/coursera-and-edx-course-scraper
一键抓取 Coursera 与 EDX在线课程完整信息，包含课程名称、讲师、评分、时长、大纲、报名人数与价格，无需代码，快速导出课程数据。
一个强大的在线课程爬虫，支持从 Coursera、EDX 和 LinkedIn Learning 平台提取课程信息。专为 CoreClaw 平台构建，支持并发任务分割。
功能特点
- 多平台支持: 支持爬取 Coursera、EDX 和 LinkedIn Learning 课程
- 并发处理: CoreClaw 按平台分割任务，实现并行执行
- 全面数据提取: 课程标题、合作伙伴、评分、技能、元数据和链接
- 分页支持: 支持爬取多页课程列表 (Coursera, EDX)
- 关键词搜索: 通过关键词搜索课程 (LinkedIn Learning)
- 自动去重: LinkedIn Learning 结果自动去重
- 远程浏览器支持: 使用 CoreClaw 远程指纹浏览器池
输入参数
| 参数 | 类型 | 必填 | 默认值 | 描述 |
|---|---|---|---|---|
| platforms | array | 是 | ["coursera", "edx", "linkedin"] | 要爬取的平台 (输入 coursera/edx/linkedin) |
| startPage | integer | 否 | 1 | 起始页码 (Coursera, EDX) |
| numPages | integer | 否 | 3 | 爬取页数 (Coursera, EDX) |
| keywords | array | 否 | ["python", "javascript"] | LinkedIn Learning 搜索关键词 |
| maxResultsPerKeyword | integer | 否 | 20 | 每个关键词最大结果数 (LinkedIn Learning) |
输出字段
| 字段 | 描述 |
|---|---|
| platform | 课程平台名称 |
| title | 课程标题 |
| partner | 课程提供方/合作伙伴 |
| instructor | 课程讲师 (仅 LinkedIn Learning) |
| rating | 课程评分 (仅 Coursera) |
| duration | 课程时长 (仅 LinkedIn Learning) |
| level | 课程级别 (仅 EDX) |
| skills | 课程涵盖的技能 (仅 Coursera) |
| metadata | 额外的课程元数据 |
| link | 课程链接 |
| page | 发现该课程的页码 (Coursera, EDX) |
| keyword | 搜索关键词 (仅 LinkedIn Learning) |
使用示例
仅 Coursera
text
仅 EDX
text
LinkedIn Learning
text
多平台并发
text
CoreClaw 平台集成
本爬虫专为 CoreClaw 平台设计：
- 任务分割:
platforms字段 (复选框) 作为并发键 (b字段) - 并行执行: 每个选中的平台作为独立任务实例运行
- 输入格式: 分割后支持数组
["edx"]和单字符串"edx"两种格式
注意事项
- 爬虫使用远程浏览器池以保持一致的指纹
- 页面请求之间添加了延迟以避免限速
- 结果在发现课程时实时流式输出
- LinkedIn Learning 需要关键词才能搜索，无关键词时将跳过
- LinkedIn Learning 结果在不同关键词间自动去重
平台覆盖
| 平台 | 方法 | 提取字段 |
|---|---|---|
| Coursera | 分页 | title, partner, rating, skills, metadata, link |
| EDX | 分页 | title, partner, link |
| LinkedIn Learning | 关键词搜索 | title, link, duration, instructor |
你可能也喜欢
探索商店中更多热门采集工具
Made-in-China 供应商情报采集器｜采集公司档案、联系方式与外贸数据
by mmi0cuhn
从 Made-in-China 供应商页面采集结构化公司信息，包括主营产品、审计报告编号、外贸能力、证书图片、发货图片和联系人信息，适用于 B2B 采购、供应商调研和线索富集。
5.0
25 次运行
低至 $0.6/1,000 结果
Quince.com产品数据抓取工具 —— 价格、折扣、评论及更多信息
by Techforce Global
只需搜索产品，即可获取每件商品的售价、原价、折扣力度、产品主图以及最新的客户评论，所有数据可直接导入您的电子表格、仪表盘或商业智能工具。Quince.com产品数据抓取工具能在短短几分钟内，将整个商品目录转化为整洁、结构化的产品数据。
5.0
18 次运行
低至 $0.6/1,000 结果
SHEIN 产品详情提取工具（URL 与 ID 双模式）
by yankun guo
一款专用于 SHEIN 单个商品详情数据提取的工具，支持产品 URL 和商品 ID 两种输入方式。通过连接远程 Chromium 实例自动绕过 SHEIN 风险验证，加载目标商品页面并解析完整产品属性，返回标准化的结构化数据。适配全球 10 + 区域站点，支持自定义工作流重试次数，适用于商品信息监控、价格跟踪、竞品调研及趋势分析等场景。
5.0
169 次运行
低至 $0.6/1,000 结果
Goodreads Book Info 抓取
by Adil Ayub
可一键快速提取 Goodreads 图书相关数据，包含书名、内容简介、ISBN、ASIN、出版社、装帧类型、页数、语言、作品类型、所获奖项、登场人物、评分及评分人数。输出标准化 JSON 结构化数据，可无缝对接各类应用程序与业务流程。
5.0
1 次运行
低至 $0.6/1,000 结果