实战 Python 网络爬虫
美团美食商家信息和用户评论
作者简介：
Hyx，多年系统研发经验，主要从事机器人流程系统研发、大数据系统研发、网络爬虫研发以及自动化运维系统开发。
擅长使用 Python 编写高质量代码，对Python有深入研究，现为 CSDN 博客专家和签约讲师，发表多篇原创博文，热爱分享和新技术的探索。个人图书出版：《玩转 Python 网络爬虫》、《玩转 Django2.0》
Chat 简介：
在开发爬虫的时候，我们很容易分析 HTTP 请求、实现数据爬取和存储，当项目真正运行起来的时候，却发现数据没爬到几条就出现异常。
“程序开发正常，上线出异常”是因为网站的反爬虫机制，这也是爬虫工程师常见的问题之一。
本 Chat 主要讲述如何爬取美团美食商家的评论信息，通过实际的例子来进一步讲述如何解决一些常见的反爬虫策略。主要内容如下：
网站分析及项目设计；
爬取所有商家的信息；
分别爬取每个商家的信息和用户评论信息；
ORM 框架实现数据持久化存储；
设置配置文件，动态控制爬取方向；
基于请求头的反爬虫机制：根据商家信息动态设置请求头；
基于 Cookies 的发爬虫机制：利用浏览器构建 Cookies 池；
分布式爬虫的扩展说明。
长按扫码报名