shenyi
管理员
管理员
  • UID1
  • 粉丝45
  • 关注0
  • 发帖数900
阅读:5271回复:0

golang简易爬虫:无头浏览器、抓取JS渲染的数据

楼主#
更多 发布于:2019-11-16 00:20

go+colly简易爬虫(实战配套课程)

本周更新4课时。我们在抓取分类页时会发现“人家”的页面是通过JS来渲染的,因此常规的方法并不能抓取到。本周我们花4课时来入门和练习无头浏览器的使用。
第6讲:无头浏览器、chromedp入门使用(1)   (免费试听 无需登录)
由于部分页面是JS渲染的,因此今天我们来快速而简单高效的入门下无头浏览器

第7讲:chromedp入门使用(2):自动点击加载数据
有些数据需要譬如click触发,今天来讲下类似这种数据怎么获取

第8讲:chromedp入门使用(3):点击获取ajax请求的数据
承接上节课。如果数据是通过ajax请求产生的,如何获取数据呢?

第9讲:小练习:抓取分类页上的课程链接
有了基础后我们来练习下:抓取网易云课堂第一页的课程链接


本课程是 目前正在连载的实战课程的配套爬虫课
会讲故事的程序员
游客

返回顶部