知道这些才能做robots协议

Robots协议全称为网络爬虫排除标准，也被称之为机器人协议，蜘蛛协议等，我们可以通过robots协议告知搜索引擎爬虫网站内的什么页面是可以被抓取的，什么是不能被抓取的。做好robots协议对于seo来说是非常重要的。
　　
　　Robots协议的作用是非常多的，例如可以让搜索引擎爬虫更快更高效的爬行我们的网站、组织搜索引擎爬虫爬行动态和无效页面，同时还可以屏蔽搜索引擎爬虫抓取一些私密页面或者临时存在页面。
　　
　　Robots协议的创建对格式是有一定要求的
　　
　　1、robots协议必须是以txt为结尾的纯文本文件。
　　
　　2、Robots协议的文件名所使用的字母必须为小写。
　　
　　3、Robots协议必须要放在站点根目录下。
　　
　　4、Robots协议中出现的冒号必须为英文状态下的。
　　
　　 重庆seo认为robots协议对于网站来说是非常重要的，想在搜索引擎中立足，这也是必不可少的。