网站 Robots 文件是一个文本文件，一般以 robots.txt 形式，存放在网站
根目录中。
搜索引擎在抓取网站内容时，都会先在根目录寻找是否有 robots.txt 文件，
因为 Robots 就是网站和搜索引擎的一个协议。网站不希望搜索引擎抓取的内
容，搜索引擎是不会抓取的，而网站需要抓取的内容可以写出来，也可以不写。
User-agent：该项的值用于描述搜索引擎蜘蛛的名字。如果该项的值设为*，
则该协议对任何搜索引擎都有效。不同的搜索引擎名称也是不一样的。
Disallow：拒绝收录，阻止搜索引擎蜘蛛抓取的内容。
Allow:允许收录，即同意搜索引擎蜘蛛检索和收录的内容。
举例：
网站目录下所有文件均能被所有搜索引擎蜘蛛访问
User-agent: *
Disallow:
禁止所有搜索引擎蜘蛛访问网站的任何部分
User-agent: *
Disallow: /
禁止所有的搜索引擎蜘蛛访问网站的几个目录
User-agent: *
Disallow: /a/
Disallow: /b/
只允许某个搜索引擎蜘蛛访问（百度）
User-agent: baiduspider
Disallow:
nofollow 即不跟踪链接，搜索引擎蜘蛛不爬行这个链接，也不会传递权重
到这个链接。
举例：
400
电话
nofollow 不仅被用来禁止跟踪非目标页面链接，而且当网站内有广告链接，
或者留言板、论坛这些内容时，也可以在链接中加入 nofollow 属性，以禁止跟
踪链接。