一个强大的在线课程爬虫,支持从 Coursera、EDX 和 LinkedIn Learning 平台提取课程信息。专为 CoreClaw 平台构建,支持并发任务分割。
| 参数 | 类型 | 必填 | 默认值 | 描述 |
|---|---|---|---|---|
| platforms | array | 是 | ["coursera", "edx", "linkedin"] | 要爬取的平台 (输入 coursera/edx/linkedin) |
| startPage | integer | 否 | 1 | 起始页码 (Coursera, EDX) |
| numPages | integer | 否 | 3 | 爬取页数 (Coursera, EDX) |
| keywords | array | 否 | ["python", "javascript"] | LinkedIn Learning 搜索关键词 |
| maxResultsPerKeyword | integer | 否 | 20 | 每个关键词最大结果数 (LinkedIn Learning) |
| 字段 | 描述 |
|---|---|
| platform | 课程平台名称 |
| title | 课程标题 |
| partner | 课程提供方/合作伙伴 |
| instructor | 课程讲师 (仅 LinkedIn Learning) |
| rating | 课程评分 (仅 Coursera) |
| duration | 课程时长 (仅 LinkedIn Learning) |
| level | 课程级别 (仅 EDX) |
| skills | 课程涵盖的技能 (仅 Coursera) |
| metadata | 额外的课程元数据 |
| link | 课程链接 |
| page | 发现该课程的页码 (Coursera, EDX) |
| keyword | 搜索关键词 (仅 LinkedIn Learning) |
本爬虫专为 CoreClaw 平台设计:
platforms 字段 (复选框) 作为并发键 (b 字段)["edx"] 和单字符串 "edx" 两种格式| 平台 | 方法 | 提取字段 |
|---|---|---|
| Coursera | 分页 | title, partner, rating, skills, metadata, link |
| EDX | 分页 | title, partner, link |
| LinkedIn Learning | 关键词搜索 | title, link, duration, instructor |
探索商店中更多热门采集工具
by Wahlberg
通过 URL 或关键词批量采集 Reddit 公开帖子、评论、点赞、视频图片等结构化数据,支持排序筛选,适用于舆情监控、市场研究与数据分析。
by Odin Kael
用于按关键词抓取 Product Hunt 上的热门产品,并输出结构化表格数据。
by Odin Kael
稳定爬取 Indeed/LinkedIn 等招聘平台职位,支持远程 / 全职 / 薪资筛选、自定义代理、多维度精准搜索,一键部署即可获取海外职位数据。
by Odin Kael
从 Yahoo Finance 获取全球股票行情数据,支持美股、港股、A股三大市场。可提取历史K线数据、公司信息、财务报表、分红拆股历史、分析师评级等全面数据。零代码操作,一键导出 CSV 或 JSON 格式。 美股:苹果(AAPL)、微软(MSFT)、谷歌(GOOGL)、特斯拉(TSLA)等 港股:腾讯控股(0700.HK)、阿里巴巴(9988.HK)等 A 股(中国大陆):贵州茅台(600519.SS)、中国平安(000001.SZ)等