独家解读 | 2018 恶意机器流量报告

本文由腾讯防水墙发表在腾讯云+社区

Distil Networks 对 2017 年网络数千个域名，上千亿次的访问进行分析，发布了一份《2018 恶意机器流量报告》（2018 Bad Bot Report），防水墙团队对报告进行了翻译和解读，以下为报告的主要内容：

1 什么是恶意机器流量

报告指出，2017年间，42.2%的互联网流量来自于“机器人”（Bots），而非真实用户。事实上，“机器人”指的是互联网上的爬虫、自动机或者是模拟器。部分“机器人”流量来自于搜索引擎爬虫、自动更新的RSS订阅服务器等，他们是良性的，属于正常机器流量（Good Bots）。

另外一部分由恶意爬虫、自动机、模拟器等产生，伪造真实用户发起的请求，属于恶意机器流量（Bad Bots）。这些流量通过在应用层攻击网站、App或是API，以达到获利的目的，同时也会对企业造成经济上的巨大损失。恶意流量具有三大特点：

1、无论是网站、移动App，还是简单的API，互联网所有的产品都面临着经常性的恶意机器流量轰炸攻击。

2、肆虐的恶意机器流量每时每刻都在对企业造成经济损失，和其他黑产攻击相比，机器流量的攻击是持续的，不像数据泄漏等偶然性安全事件。

3、恶意机器流量往往有明确的攻击目标，了解黑产攻击的目标才能解决安全问题。

2 利益驱动恶意流量逐年上升至21.8%

安全对抗促使攻击手段进化

报告称，2017年全球互联网有42.2%的互联网流量并非由真实用户发出。

图1. 2017年互联网流量分布

恶意机器流量占据所有流量的21.8%，同比增长9.5%；正常机器流量占据所有流量的20.4%，同比增长8.8%。自 2015 年以来，恶意机器访问占比逐年升高。

图2. 互联网流量分布变化趋势

恶意机器请求会通过使用模拟器、伪造浏览器环境、变换不同 ISP 下的 IP 地址等方式，来躲避安全人员的检测。Distil Networks 根据网络环境、使用工具、是否模拟人类交互等特征，将请求分为几类：

简单的恶意请求（26%）很容易被发现，不会造成太大威胁。

中等（21.2%）和专业（52.8）的恶意请求往往会变换不同的网络环境，甚至伪造鼠标轨迹、点击等用户交互事件来躲避检测。他们都能归类为高级持续型自动机（APBs），类比传统应用安全的 APT（高级持续性威胁）。

图3. 恶意机器请求类型占比

3 针对电商、医疗、航司行业的

恶意流量攻击专业化明显

每个行业都会面临恶意机器流量威胁，这些威胁既有通用的，也有一些是行业独有的。例如：帐号场景平均每月会面临两到三次自动化撞库攻击、电商网站面临竞争对手爬取价格恶意竞价，航空公司面临黄牛囤积特价席位等。

报告指出，恶意流量最多的行业依次是：在线博彩、航司、金融、医疗、票务。其中电商、医疗、航司行业的恶意机器流量专业化程度最高，有超过1/5的恶意机器请求达到专业水准。这也符合防水墙观察到的情况——电商、航司场景的爬虫、自动机对抗非常激烈，黑产攻击也更为专业化。

图4. 各行业面临的机器请求威胁

4 大公司面临的恶意机器流量威胁更为严峻

相较于小型和微型公司，大型公司面临的恶意机器流量比例更高。一方面因为攻击大型公司的收益更高，黑产往往更加青睐于大型公司；另一方面，搜索引擎爬虫的爬取机制不会因公司大小而产生较大差别，所以小公司会收到几乎等量的正常机器请求，小公司的体量较小，会有较大的占比。

图5. 各类型公司恶意/正常机器请求比例

图中区分不同类型公司的分类标准

大型网站：Alexa前10000

中型网站：Alexa 10000-50000

小型网站：Alexa 50000-150000

微型网站：Alexa 150000+

5 云服务高速发展推动黑产上云使攻击更低成本、更规模化

2017年，82.7% 的恶意机器流量来自于中心化的服务提供商（云服务商），相较于 2016 年的数据（60.1%），增长超过三分之一。家用网络的比例大大降低，从 2016 年的 30.5% 腰斩至 14.8%。

图6. 恶意机器流量网络环境分布

从服务提供商比例来看，亚马逊云服务 AWS 首次跌下第一，占 10.62% 跌至第二。拿下第一接力棒的是法国云服务商 OVH Hosting，从 2016 年的 3.94% 暴涨至 2017 年的 11.56%，同比增长率高达 194%，足足翻了 3 倍。更史无前例的是，阿里云挤进前三，贡献了 5.64% 的恶意机器流量。