我们在后台看到这样的抓取耗时：
平均耗时1秒到2.5秒左右，只能算是一般了。
如果能降低耗时那是最好不过了，我们使用浏览器F12进行检查！
我们使用浏览器检测为如下结果:
传输大小24k 原始大小85k 耗时700ms+
我们使用HTML压缩清理掉注释空格等等占用大小的字符，然后启用gzip进行压缩。
百度官方介绍：
工程师答：1秒是最好，最多4至5秒也可以接受，如果时间再长，恐怕蜘蛛会过段时间再来了。当然如果这种情况经常发生，对你站点的抓取是非常不利的。
https://ziyuan.baidu.com/college/articleinfo?id=868
扫描二维码关注公众号，回复：
3160975 查看本文章
