(基础要求:熟悉go语言,熟悉beego框架)
源码获取:https://github.com/dengdengkai/craw_movie
说明;在爬虫分析准备中有项目部署说明
爬虫逻辑介绍:
1.从豆瓣网爬取电影信息
2.存入mysql
3.使用redis来做消息队列
4.详细见下图
(基础要求:熟悉go语言,熟悉beego框架)
源码获取:https://github.com/dengdengkai/craw_movie
说明;在爬虫分析准备中有项目部署说明
爬虫逻辑介绍:
1.从豆瓣网爬取电影信息
2.存入mysql
3.使用redis来做消息队列
4.详细见下图