前段时间刚做一个有关“关节健康”的网站:好关节俱乐部http://www.osteoclub.com.cn
上线有一个多月了,百度还是只收录了一个首页,急死人了。
从WEB访问日志看,这两天百度的爬虫只抓取了首页和robots.txt. 难道robots.txt对它有影响。暂且把robots.txt删除试一下。
2011-06-10
昨晚发现,网站被降权了。今天检查WEB访问日志, 百度爬虫抓取robots.txt时跳转到了404页面。难道是这个原因?还是把robots文件加上吧。
前段时间刚做一个有关“关节健康”的网站:好关节俱乐部http://www.osteoclub.com.cn
上线有一个多月了,百度还是只收录了一个首页,急死人了。
从WEB访问日志看,这两天百度的爬虫只抓取了首页和robots.txt. 难道robots.txt对它有影响。暂且把robots.txt删除试一下。
2011-06-10
昨晚发现,网站被降权了。今天检查WEB访问日志, 百度爬虫抓取robots.txt时跳转到了404页面。难道是这个原因?还是把robots文件加上吧。