|
阅读：2447回复：0
go简易爬虫更新:利用协程抓取分类页所有课程链接入库
go+colly简易爬虫(实战配套课程)
本课程是实战专栏的配套课程，非独立爬虫课。目的是为我们实战课程准备较多的、逼真的测试数据。 前面几课时 我们快速的学习了colly简单实用、chromedp无头浏览器的操作。并分析了网易云课堂的分类页面 这几课时我们来尝试抓取若干分类页的课程 第13讲:分析分类页(4): 抓取分页第一页所有课程链接入库 (免费试听，无需登录) 我们尝试来抓取第一页的课程链接，并保存到数据库中 第14讲:分析分类页(5): 抓取单个分类所有页码课程链接入库 上节课我们只抓取了第一页，这节课我们来抓取一页上所有页码 第15讲:分析分类页(6): 使用协程抓取指定分类页的课程链接 为了演示效果，我们今天实现根据指定分类抓取所有课程链接入库 |
|
|
