ロボット何かが彼を捕まえることはできないだろう、あなたがキャッチすることができますどのような検索エンジンを伝えることであるプロトコルです。
そして、robots.txtファイルは、最初のクモの訪問であるので、我々は~~ページランクに書き込まれるように関与する必要があります！
我々は、検索エンジンは、検索エンジンは最高のランキングを得るために、我々は、すべて全体として非常に良いサイトだと思い欺く、高品質、ないキャッチの低品質をキャッチ伝えている行う必要があります。
私たちは次のように、robots.txtファイルを作成するWebルートディレクトリを使用する必要があります。
私たちは、淘宝網のプレーを見ることができます：
上記のグラフから見ることができ、淘宝網彼はrobots.txtファイルを書き込むことがあるような大きなウェブサイト、検索エンジン~~サイトをクロールするために上記識別データに基づいています！
ユーザーエージェント：Baiduspider
ここでは、クロールするBaiduのクモを伝えることです
禁止：/
ブロックされました
ユーザーエージェント：*
禁止： /
これがでマークされている場合は、ファイルの検索エンジンのすべてをクロールすることはできません表し
ユーザーエージェント：*
のDisallow： /管理者
Adminフォルダをクロールする検索エンジンを禁止
ユーザーエージェント：* のDisallow： / 管理者 の許可： /管理/画像/ 123 .PNG
Adminディレクトリには、爬虫類のクロールを禁止するが、それは、検索エンジンは、管理ディレクトリ123.png下のimagesディレクトリの下にクロールすることができます
ここでは、以下に示すように、独自のロボットファイルを書き始めます。
プラットフォームの所有者をウェブルートディレクトリに置か保存した後、着陸後：
そして、この点を確認してください。
これは~~少し操作するロボットのフルセットを完了します！