|
阅读：3236回复：0
go简易爬虫:解析分类页、点击翻页、遍历所有页码的思路
本课程是 目前正在连载的 大型混合实战的 配套爬虫课 (非独立课程)
由于我们的目标网站很多地方都是JS渲染的，因此 我们使用go+colly+无头浏览器 来配合抓取。本课程主要展示套路。 本周更新三课时，主要是演示下如何解析分类页 第10讲:分析分类页(1):清除干扰模态框 这节课开始我们来解析分类页。我们的目标是要取出分类页中所有的课程数据 第11讲:分析分类页(2): 点击下一页获取分页内容 （免费试听，无需登录） 前面几课时我们都是获取的第一页内容。今天我们尝试通过chromedp来点击下一页获取课程数据 第12讲:分析分类页(3): 点击所有页码的处理方法 今天我们要完成的是使用上节课知识点，进行改造，并抓取所有页码的数据 |
|
|
