robots.txt文件在网站根目录中就能找到，其主要用处就是当搜索引擎访问网站的时候，告诉它网站中哪些页面可以被抓取，哪些禁止抓取，也可以通过它来屏蔽页面来达到集中权重的作用。
1、网站设置robots.txt文件的原因
禁止搜索引擎蜘蛛抓取无效页面，集中权值到主要页面和设置访问权限保护网站安全。可用域名加robots.txt查询网站是否有robots.txt 文件，如：http://www.qzgi.cn/robots.txt
2、robots.txt文件怎么写?
首先要认识User-agent、Disallow、Allow是什么意思：
User-agent表示定义哪个搜索引擎，如User-agent：Baiduspider，定义百度蜘蛛;
Disallow表示禁止访问;
Allow表示运行访问;
通过以上三个命令，可以组合多种写法，允许哪个搜索引擎访问或禁止哪个页面，且对字母大小有限制，文件名必须为小写字母，所有的命令第一个字母需大写，其余的小写。且命令之后要有一个英文字符空格。
3、robots.txt文件放在哪里?
robots.txt文件需要用FTP打开网站后台上传到网站根目录。
4、什么时候需要使用robots.txt文件
首先是无用页面，如联系我们、用户协议等页面对搜索引擎优化来说作用不大，此时可用Disallow命令禁止这些页面被搜索引擎蜘蛛抓取;其次就是动态页面，好处就是集中权值，提高网站安全性;最后就是后台页面。
本文源自：老齐SEO《robots.txt文件使用方法的详细介绍》