最近一台阿里云1U2G的主机cpu一直跑满，网站打开非常慢。查看了下网站的统计，一天大概也就600IP左右，这种不至于把服务器拖死啊，由于以前基本做的是企业站，没遇到这种问题，一直还以为是不是服务器被安装了挖矿脚本，于是下载网站日志一看，除了正常的百度，360，google等蜘蛛的访问记录，大量的国外一些垃圾蜘蛛的抓起把服务器拖死了，总是找到罪魁祸首了，于是百度找处理方式，总结来说就是两种，一种是通过robots.txt处理，但是这个需要蜘蛛遵守robots协议，据说有的垃圾蜘蛛不遵守robots协议，所以这个感觉不是太保险，另一种就是在服务器设置禁止这些蜘蛛访问，我的是Nginx服务器，百度找到好几种方法，我都贴出来，抛砖引玉，大家一起研究。
一、robots协议处理
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: