版权声明：文章转载，请标明出处，谢谢。 https://blog.csdn.net/weixin_42799222/article/details/87880360
可使用robots协议：建立robots.txt 文件，上传至网站根目录：
屏蔽所有搜索引擎爬取网站的语法：
User-agent: *
Disallow: /允许所有搜索引擎爬取网站所有内容
User-agent: *
Allow:/只禁止百度抓取你网站的内容
User-agent: Baiduspider
Disallow: /只允许百度抓取你网站的内容
User-agent: Baiduspider
Allow:/
User-agent: *
disallow: /