Coursera 和 EDX 课程数据抓取工具

定价

Try for free

Coursera 和 EDX 课程数据抓取工具

odin-kael/coursera-and-edx-course-scraper

一键抓取 Coursera 与 EDX在线课程完整信息，包含课程名称、讲师、评分、时长、大纲、报名人数与价格，无需代码，快速导出课程数据。

免费试用

一个强大的在线课程爬虫，支持从 Coursera、EDX 和 LinkedIn Learning 平台提取课程信息。专为 CoreClaw 平台构建，支持并发任务分割。

功能特点

多平台支持: 支持爬取 Coursera、EDX 和 LinkedIn Learning 课程
并发处理: CoreClaw 按平台分割任务，实现并行执行
全面数据提取: 课程标题、合作伙伴、评分、技能、元数据和链接
分页支持: 支持爬取多页课程列表 (Coursera, EDX)
关键词搜索: 通过关键词搜索课程 (LinkedIn Learning)
自动去重: LinkedIn Learning 结果自动去重
远程浏览器支持: 使用 CoreClaw 远程指纹浏览器池

输入参数

参数	类型	必填	默认值	描述
platforms	array	是	["coursera", "edx", "linkedin"]	要爬取的平台 (输入 coursera/edx/linkedin)
startPage	integer	否	1	起始页码 (Coursera, EDX)
numPages	integer	否	3	爬取页数 (Coursera, EDX)
keywords	array	否	["python", "javascript"]	LinkedIn Learning 搜索关键词
maxResultsPerKeyword	integer	否	20	每个关键词最大结果数 (LinkedIn Learning)

输出字段

字段	描述
platform	课程平台名称
title	课程标题
partner	课程提供方/合作伙伴
instructor	课程讲师 (仅 LinkedIn Learning)
rating	课程评分 (仅 Coursera)
duration	课程时长 (仅 LinkedIn Learning)
level	课程级别 (仅 EDX)
skills	课程涵盖的技能 (仅 Coursera)
metadata	额外的课程元数据
link	课程链接
page	发现该课程的页码 (Coursera, EDX)
keyword	搜索关键词 (仅 LinkedIn Learning)

使用示例

仅 Coursera

text

Platform(s): ✓ Coursera
Start Page: 1
Number of Pages: 5

仅 EDX

text

Platform(s): ✓ EDX
Start Page: 1
Number of Pages: 3

LinkedIn Learning

text

Platform(s): ✓ LinkedIn Learning
Search Keywords: python, javascript, machine learning
Max Results Per Keyword: 20

多平台并发

text

Platform(s): ✓ Coursera, ✓ EDX, ✓ LinkedIn Learning
Start Page: 1
Number of Pages: 3
Search Keywords: python, data science
Max Results Per Keyword: 15

CoreClaw 平台集成

本爬虫专为 CoreClaw 平台设计：

任务分割: platforms 字段 (复选框) 作为并发键 (b 字段)
并行执行: 每个选中的平台作为独立任务实例运行
输入格式: 分割后支持数组 ["edx"] 和单字符串 "edx" 两种格式

注意事项

爬虫使用远程浏览器池以保持一致的指纹
页面请求之间添加了延迟以避免限速
结果在发现课程时实时流式输出
LinkedIn Learning 需要关键词才能搜索，无关键词时将跳过
LinkedIn Learning 结果在不同关键词间自动去重

平台覆盖

平台	方法	提取字段
Coursera	分页	title, partner, rating, skills, metadata, link
EDX	分页	title, partner, link
LinkedIn Learning	关键词搜索	title, link, duration, instructor