版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/FLORIDA_tang/article/details/80319397
网络爬虫的尺寸
(1)小规模、数据量小、爬取速度不敏感 ：Requests库
(2)中规模、数据规模较大、速度敏感：Scrapy库
(3)大规模、搜索引擎、爬取速度是关键：只能定制开发
网络爬虫的限制
(1)来源审查 User-Agent字段
(2)发布公告 Robots协议 网络爬虫排除标准
suning的Rosbots：
User-agent: EtaoSpider
Disallow: /
User-Agent: *
Disallow: /pinpai/*-0-0-0-*
Disallow: /detail/
Disallow: /pds-web/
Disallow: /webapp/
Disallow: /*?*
Disallow: /emall/cprd*
Disallow: /emall/sprd*
Disallow: /emall/cuxiao_10052_10051_*