百度爬虫Baiduspider更新通知

各位网站管理员,大家好!

百度网页搜索spider的User-Agent字段内容近期将更新,请大家关注,谢谢!

更换时间:
2011年5月10日
   
更换内容:
baiduspider在爬取网页时,发送请求的User-Agent字段内容将更新。
目前的字段内容是
Baiduspider+(+http://www.baidu.com/search/spider.htm)
更换后的字段内容是
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

更换后您需要做什么:
- 如果您已在robots文件中封禁了百度网页搜索的User-Agent,本次更新不会产生任何影响,也无需修改robots文件。
- 如果您此前主动在服务器端封禁了百度网页搜索的User-Agent,那么建议修改服务器端要封禁的User-Agent字段,或者更换为robots封禁。
- 如果还有其他问题,请通过投诉中心(tousu.baidu.com)联系我们。

谢谢!

百度搜索引擎Spider产品团队

猜你喜欢

转载自ryee.iteye.com/blog/1051922
今日推荐