Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”。Robots协议是通过robots.txt来广而告知的。
为什么要有这个东东？
网站的一些内容是希望正常被用户访问的，而不是一些蜘蛛侠（这些可能把网站搞挂掉、也有可能网站的一些隐私或商业价值较高的信息被同行或有些信息收集人员搞走等）无序或不允许的方式访问,这些都大大增强了网站的无形和有形的成本，也降低了竞争力。
尽管各位蜘蛛侠也防不住，但是网站方是希望通过这么一个约定，让各位蜘蛛侠有序地来访问，建立一种行业的约定的规则。
robots.txt中有哪些内容？
robots一般放在网站的根目录下，便于让大家方便查到。这个相信大家都懂为什么？
看看zhihu.com的：
看看天天基金的：
再看看csdn
总之，这个文件大家是容易找到的。
