阅读:5271回复:0
golang简易爬虫:无头浏览器、抓取JS渲染的数据go+colly简易爬虫(实战配套课程) 本周更新4课时。我们在抓取分类页时会发现“人家”的页面是通过JS来渲染的,因此常规的方法并不能抓取到。本周我们花4课时来入门和练习无头浏览器的使用。 第6讲:无头浏览器、chromedp入门使用(1) (免费试听 无需登录) 由于部分页面是JS渲染的,因此今天我们来快速而简单高效的入门下无头浏览器 第7讲:chromedp入门使用(2):自动点击加载数据 有些数据需要譬如click触发,今天来讲下类似这种数据怎么获取 第8讲:chromedp入门使用(3):点击获取ajax请求的数据 承接上节课。如果数据是通过ajax请求产生的,如何获取数据呢? 第9讲:小练习:抓取分类页上的课程链接 有了基础后我们来练习下:抓取网易云课堂第一页的课程链接 本课程是 目前正在连载的实战课程的配套爬虫课 |
|
|