robotsプロトコルは、ウェブサイトのルートディレクトリに配置されるテキストファイルで、クロールできるコンテンツを検索エンジンに伝えます。
ロボットプロトコルの役割：
1）検索エンジンスパイダーが指定された列またはコンテンツをクロールするようにガイドします
。2）ウェブサイトのリビジョンまたはURLの最適化書き込み時に検索エンジンに 不適切な
リンクをブロックする; 3）デッドリンクと404エラーページを
ブロックする; 4）無意味でコンテンツのないページを
ブロックする; 5）重複ページをブロックする;
6）含めたくないページをブロックする;
7）ガイドスパイダーサイトマップを取得する;
8）ブロードバンドを節約して速度を上げるために、サイト内の大きなファイル、写真、ビデオをブロックします。
構文とワイルドカード：
1）ユーザーエージェント：検索エンジンを定義する;
2）
許可しない：スパイダーがクロールできないページまたはディレクトリを定義する; 3）許可：スパイダーがクロールできるページまたはディレクトリを定義する;
4）$がURLの末尾の文字と一致する;
5）*は0個以上の任意の文字に一致します。
文件写法：
1）User-agent: * 这里的代表所有的搜索引擎种类；（谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp）
2）Disallow: /admin/ 禁止爬取admin目录下面的所有目录；
3）Disallow: /admin 禁止爬取/admin.html、/adminset.html、/admin/abc.html；
4）Disallow: /admin/.html 禁止爬取admin目录下的所有以html为后缀的文件（包括子目录）；
5）Disallow: /? 禁止爬取网站中所有包含问号的网址；
6）Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片；
7）Disallow: /ab/abc.html 禁止爬取ab文件下的abc.html文件；
8）Allow: /abc/ 允许爬取abc目录下的所有目录；
9）Allow: /tmp 允许爬取tmp目录；
10）Allow: .html$ 允许爬取网页以html为后缀的url；
11）Allow: .gif$ 允许抓取网页中gif格式的图片；
12）Sitemap: 网站地图 告诉爬虫这个页面是网站地图；
示例：
1）User-agent: *
Disallow: /admin/
Disallow: /abc/
注：禁止所有的搜索引擎爬取admin和abc目录及子目录；
2）User-agent: *
Allow: /admin/seo/
Disallow: /admin/
注：禁止所有搜索引擎爬取admin目录及子目录，但可以爬取admin目录下的seo
目录；(Allow必须在前面，Disallow写在后)
3）User-agent: *
Disallow: /abc/.htm$
注：禁止所有搜索引擎爬取abc目录及子目录下以.htm为后缀的url；
4）User-agent: *
Disallow: /?*
注：禁止所有搜索引擎爬取有？的页面；
5）User-agent:Baiduspider
Disallow: /.jpg$
Disallow: /.jpeg$
Disallow: /gif$
Disallow: /png$
Disallow: /.bmp$
注：禁止所有搜索引擎爬取所有图片；
6）User-agent: *
Disallow: /folder1/
User-agent: Mediapartners-Google
Allow: /folder1/
注：禁止所有搜索引擎爬取folder1，但 Mediapartners-Google 漫游器可以在页
面上显示 AdSense 广告；
7）User-agent: *
Disallow: /abc*/
注：禁止所有搜索引擎爬取以abc开头的所有目录及子目录；
其他属性：
1）指定robot协议版本号：
Robot-version: Version 2.0
2）在指定时间段搜索引擎才可以爬取指定url
Visit-time: 0100-1300 允许在凌晨1点到3点之间访问
3）限制url读取频率
Request-rate: 40/1m 0800-1300 在8点到13点之间以每分钟40次的频率访问
Robots meta标签：
<meta name="Robots" content="all|none|index|noindex|follow|nofollow">
属性说明：
1）all：文件将被检索，且页面上的链接可以被查询；默认为all；
2）none：文件不被检索，且页面上的链接也不可以被检索；
3）index：文件将被检索；
4）follow：页面上的链接可以被检索；
5）noindex：文件不被检索；
6）nofollow：页面上的链接不被检索；
组合运用：
1）可以抓取本页且可以顺着本页继续索引其他链接
<meta name="robots" content="index,follow">
也可以写成
<meta name="robots" content="all">
2）不可以抓取本页但可以顺着本页继续索引其他链接
<meta name="robots" content="noindex,follow">
3）可以抓取本页但不可以顺着本页继续索引其他链接
<meta name="robots" content="index,nofollow">
4）不可以抓取本页且不可以顺着本页继续索引其他链接
<meta name="robots" content="noindex,nofollow">
也可以写成
<meta name="robots" content="none">