如何判断来访的IP是否是百度蜘蛛ip?

网站日志是可以真实体现网站的状态,通过网站日志我们可以清楚的看到网站每天有多少访客,每天有多少蜘蛛来抓取网站的数据,哪些数据被蜘蛛抓取了、哪些页面在请求数据的时候发现了错误。这些都是可以通过状态码来进行发现的,如果在网站日志上发现了404状态码就说明网站有一些死链接。此时就需要及时处理了!对于这些判断还是比较容易的,下面江西SEO论坛小编就给大家说说如何判断来访的IP地址是否是百度蜘蛛IP。

一段访问日志 上面有baiduspider的标志,但是有标志并不一定表示就是百度蜘蛛来抓取了

183.131.51.85 - - [06/Nov/2018:14:05:18 +0800] "GET / HTTP/1.1" 301 178 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

判断方式:

1.在电脑的搜索--cmd---确定键

如何判断来访的IP是否是百度蜘蛛ip?

2. 我们通过dos命令来查看,我们来找两个IP段220.181.108.140和117.28.255.37,开始—运行—输入 cmd ,用命令nslookup +ip 看截图:

如何判断来访的IP是否是百度蜘蛛ip?
如果通过命令没有查询到类似baiduspider的字样 就可以判断不是百度蜘蛛来访问的,而且是一个假的蜘蛛访问记录

猜你喜欢

转载自www.cnblogs.com/fkw777/p/10124014.html