随着科技的发展，大数据时代轰轰烈烈又悄无声息的到来。精准定位的网约车、量身推荐的短视频、越发普及的在线医疗......曾经看似遥不可及的大数据已经走进每个人的生活。在网络安全行业，大数据也开始发挥越来越重要的作用。想要了解大数据如何应用于网络安全领域，我们需要从大数据的诞生说起......
大数据简史
2004年前后，Google发表了三篇划时代论文，也就是大家常听到的“三驾马车”。之后大数据技术就基于“三驾马车”开启了波澜壮阔的发展历程：
图注：大数据技术2003年至2012年发展史
大数据技术不断更迭，在技术之上的应用，也经历了一个发展过程。
从最早的 Google公司，解决搜索引擎业务，到目前最火的AI技术。大数据应用越来越广泛，与我们的生活关系也越来越密切，影响也越来越深远，其中很多已进入寻常百姓家，如自动驾驶、无人机、网约车、智能家电、电商推荐、人机对话机器人等等。
同样的，大数据技术也已应用于信息安全领域。
在网络安全行业，随着网络架构日趋复杂，网络安全分析的数据量呈指数级增长，从TB 级向PB 级迈进，且数据来源丰富，内容更为细化，数据分析的维度更为广泛；同时随着设备性能的增长，数据源发送速率更快，对安全信息采集的速度要求越来越高；0 day 等漏洞日益增多，影响也更加广泛，需要能够更快更及时地检测出安全隐患及安全GongJi行为。
图注：网络安全行业现状劣势分析
以往网络安全分析主要基于日志与流量这两大类数据，同时辅以资产、漏洞、配置、访问、用户行为、应用行为、业务行为、外部情报等信息进行关联分析。
引入大数据技术，就是在这些安全应用的基础上，将分散日志和数据整合起来，通过高效采集、存储、检索与分析，提高安全检测与处理的效率，减少分析与响应时间；同时通过大量安全信息的关联分析、多阶段组合关联分析、GongJi场景关联分析等技术，找出安全事件之间的联系和异常，有效发现0 day、APT 等GongJi和数据泄露，提升安全防御的主动性。
在这样的网络安全新态势下，山石网科推出了基于大数据平台和智能分析技术的安全运营产品——山石智·源（山石网科智能安全运营平台）。
图注：山石智·源的工作原理
基于机器学习的DGA检测
面对不断更新的域名生成算法（DGA），传统的域名黑名单虽然也可以检测一些已知的DGA域名，但是对于一些未知DGA域名却束手无策。
山石网科基于DGA域名具有伪随机性、与正常域名存在一定的差别，以及存在大量的正负样本。从DGA算法的特征（例如长度、元音、辅音以及n-gram模型等）入手，对几十种特征归一化、向量化，通过深度机器学习算法，对样本进行学习，生成模型。实现高准确率、低误报率的DGA检测，检测效果远远优于现有的一些技术，有效的避免恶意软件利用DGA算法对客户网络造成的GongJi。
智能安全数据分析
对于数据实时分析，用流式计算框架作为分布式数据处理引擎，支持数据的ETL，实时聚合，机器学习等。结合山石自主研发的异常行为分析、高级威胁检测技术，对全网数据进行安全检测、分析和呈现全网安全状态。
同时，基于山石GongJi链理念，平台内置的主流威胁检测规则和用户自定义规则，可实现基于状态进行多维度、多跨度的威胁事件横向关联分析。发现潜在网络威胁，提高分析确信度，使网络GongJi威胁识别的精度和可靠性最大化。
智能数据检索
为方便用户溯源查证，快速检索威胁事件。山石智·源平台提供智能检索引擎，支持自然语言搜索、预定义条件搜索以及SPL语言搜索，满足客户不同场景下的威胁事件、安全日志及流量元数据的组合快捷查询。
从上述分析可以看出，山石智·源通过底层大数据采集、存储、分析、检索等技术的引入，可以切实提高安全分析的效率，且在辅助以运维响应、资产管理等能力，可形成一整套闭环安全运营体系。帮助用户把握全局安全态势，及时掌控安全威胁，提升安全管理效率，构建完善的态势感知防御体系。