shenyi
管理员
管理员
  • UID1
  • 粉丝45
  • 关注0
  • 发帖数832
阅读:2279回复:0

go简易爬虫:分析课程详细页、抓取价格、持久化数据等

楼主#
更多 发布于:2019-12-07 16:08
go+colly简易爬虫(实战配套课程)

本课程是实战专栏的配套课程,非独立爬虫课。目的是为我们实战课程准备较多的、逼真的测试数据。

  前面几课时 我们快速的学习了colly简单实用、chromedp无头浏览器的操作。并分析了网易云课堂的分类页面。这周我们来完成课程详细的基本分析。

第16讲:课程详细页分析(1):取出课程简介  (免费试听
今天我们进入课程详细页的分析和内容抓取


第17讲:课程详细页分析(2):读取和分析课程目录
这节课是分析的课程目录


第18讲:课程详细页分析(3):分析价格、建立课程模型
今天把课程价格给抓取下来,并且建立课程模型,方便下节课持久化内容


第19讲:课程详细页分析(4):抓取课程详细页信息、序列化保存
今天讲一下抓取信息的最简单持久化
会讲故事的程序员
游客

返回顶部