|
阅读：3549回复：0
go简易爬虫:分析课程详细页、抓取价格、持久化数据等
go+colly简易爬虫(实战配套课程)
本课程是实战专栏的配套课程，非独立爬虫课。目的是为我们实战课程准备较多的、逼真的测试数据。 前面几课时 我们快速的学习了colly简单实用、chromedp无头浏览器的操作。并分析了网易云课堂的分类页面。这周我们来完成课程详细的基本分析。 第16讲:课程详细页分析(1):取出课程简介 （免费试听） 今天我们进入课程详细页的分析和内容抓取 第17讲:课程详细页分析(2):读取和分析课程目录 这节课是分析的课程目录 第18讲:课程详细页分析(3):分析价格、建立课程模型 今天把课程价格给抓取下来，并且建立课程模型，方便下节课持久化内容 第19讲:课程详细页分析(4):抓取课程详细页信息、序列化保存 今天讲一下抓取信息的最简单持久化 |
|
|
