一.网络爬虫的尺寸
1.以爬取网页，玩转网页为目的进行小规模，数据量小对爬取速度不敏感的可以使用request库实现功能（占90%）
2.以爬取网站或爬取系列网站为目的，比如说获取一个或多个旅游网站的爬虫，对数据要求规模较大，爬取速度敏感的可以使用Scrapy库
3.以爬取全网为目的，规模很大搜索引擎爬取速度关键，需要定制开发
二.网络爬虫带来的问题
总的来说有：骚扰问题,法律风险，隐私泄露
1.爬虫可利用计算机的快速功能访问服务器，它会比人类的速度快到百倍甚至千倍，受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销。对网站运行者来讲，爬虫形成了骚扰。
2.网络爬虫会带来法律风险。服务器上的数据有产权归属，比如新浪上的新闻规新浪所有，如果网络爬虫获取数据牟利后将会带来法律风险。
3.网络爬虫会造成隐私泄露。网络爬虫可能具备突破简单访问控制的能力，或得被保护数据从而泄露个人隐私。
三.网络爬虫的限制
来源审查:判断User-Agent进行限制
检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问。
发布公告: Robots协议
告知所有爬虫网站的爬取策略，要求爬虫遵守。
四.Robots协议
作用：网站会告知网络爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt文件。
下面我自己做了一个实例 打开京东的Robots协议 https://www.jd.com/robots.txt
会出现下面几句话
大概的