爬虫流量是“垃圾流量”
爬虫程序的访问速率和目的与正常用户的访问速率和目的是不同的，大部分爬虫会无节制地对目标应用进行爬取，这给目标应用的服务器带来巨大的压力。爬虫程序发出的网络请求被运营者成为“垃圾流量”。
主动型反爬虫和被动型反爬虫
限制爬虫程序访问服务器资源和获取数据的行为称为爬虫。限制手段包括但不限于请求限制、拒绝响应、客户端身份验证、文本混淆和使用动态渲染技术。这些限制根据出发点可以分为主动型反爬虫和被动型反爬虫。
-
主动型反爬虫：开发者有意识地使用技术手段区分正常用户和爬虫，并限制爬虫对网站的访问行为，如验证请求头信息、限制访问频率、使用验证码等。
-
被动型反爬虫：为了提高用户体验或节约资源，用一些技术间接提高爬虫访问的行为，比如数据分段加载、点击切换标签页、鼠标悬停预览数据等。
多类型爬虫
除此之外，还可以从特点上对反爬虫进行更细致的划分，如信息校验型反爬虫、动态渲染型反爬虫、文本混淆型反爬虫、特征识别型反爬虫等。需要注意的是，用一种限制现象可以被归类到不同的反爬虫类型中，比如通过JavaScript生成随机字符串并将字符串放在请求头中发送给服务器，由服务器校验客户端身份的这种限制手段即可以说是信息校验型反爬虫，又可以说是动态渲染反爬虫。