The US government continued to carry out projects to enhance cyber threats Einstein perception (2019)


1 Project Overview    

Einstein program, whose official name is "national cyberspace security system" (National Cybersecurity Protection System, referred to NCPS), the United States is the key to "comprehensive national cyberspace security action plan" (Comprehensive National Cybersecurity Initiative, for short CNCI) composition section. NCPS to DFI, DPI and DCI technology as the starting point for big data technology as the basis to CTI as the core, continuous monitoring of the US federal government Internet outlet network threat, early warning and response network to enhance the federal government's situational awareness and survivability.

NCPS by the US Department of Homeland Security (DHS) is responsible for the design, operation and coordination, roughly divided into three stages.

image.png

With NCPS, the US federal government for its Internet side situational awareness and build the capacity of four: the | intrusion detection, into | intrusion prevention, safety analysis and information sharing.

1.1     into | intrusion detection

NCPS into | intrusion detection capabilities include Einstein 1 (referred to as E1) Flow probe based detection capability, Einstein 2 (referred to as E2) and Einstein 3A (referred E3A) capability based on the feature detection probe and 2015-based machines start in the E1, E2 and E3A learning behavior detection capability (code-named LRA).

NCPS detection capability is not pursuit detect all attack | and hit the | invasion, while focusing on senior class APT threat, so that their test feature library is not large, but very targeted by the US DOD / NSA to provide part of the feature information.

1.2     into | intrusion prevention

NCPS into | intrusion prevention capabilities are stages starting from Einstein 3A (referred to as the E3A).

NCPS into | intrusion prevention is not the general sense | intrusion prevention system (IPS), its functional design is more focused, more targeted, and is assisted by the NSA (dominant) design, including four kinds of capabilities:

l  malicious traffic blocking: automatically for malicious traffic in and out of federal government agencies will be blocked. This is to rely on ISP to achieve. ISP deployed into | intrusion prevention mechanism based on judgment and decision making threats and malicious network using behavioral indicators (Indicator) DHS developed to identify malicious behavior.

L  the DNS Blocking: that is, DNS Sinkhole technology, used to prevent communication between the government network has been implanted malicious code and malicious external domain name.

l  E-mail Filter: scanning, recognition attachments, malicious URL and other malicious code for all messages sent to the government network users, and filtered out.

L  Web Content Filtering (WCF): This is the 2016 E3A added to the | ability in defense of the invasion, can block suspicious web sites visited, web site block the execution of malicious code, blocking web fishing.

It is worth mentioning that, NSA assist DHS in the design E3A | intrusion defense system, when their Tutelage project migration in the past, beyond the general sense of the level of active defense, with strong confrontational.

1.3     Security Analysis

If the | intrusion detection and the | invasion defense constitutes a front-end system NCPS, then the back-end core NCPS is to build security analysis capabilities on top of big data, and output the results of this analysis is the network security threat situation. NCPS's analysis capabilities include: security information and event management (SIEM), digital media analysis environment (Digital Media Analysis Environment), senior malicious code Analysis Center (AMAC), a variety of analysis tools visualization tools, and so on.

1.4     Information Sharing

With fashionable words, information is shared intelligence sharing, which is the core competence of NCPS. With this capability, DHS information sharing and build a collaborative environment (ISCE), so that it's National Cyberspace Security and Communications Integration Center (National Cybersecurity and Communications Integration Center, referred to NCCIC) security analysts to them according to different security classification the partners quickly switched network threats and network event information, through cooperation and synergies to reduce incident response time, sharing and disclosure in order to improve efficiency through automation of information.

NCPS information sharing capabilities include: Auto Share Index (AIS), indicators management platform (IMP), unified workflow, cross-domain solutions (CDS), and so on.

2      project trends

As shown below, it is based on the author himself DHS budget reports over the years of self-designed fiscal year 2008 to fiscal year 2020 budget NCPS charts, data used may differ from the actual, are estimates.

image.png

Through the map, you can find US government investment in basic project Einstein showed a rising trend year by year, but declined in the last three years, but still remain high. Many people think that the US government because of its poor results (GAO evaluation) and be consigned to limbo, it is not.

According to DHS official data, as of the 2017 fiscal year, NCPS capital investment has reached a total of $ 2.817 billion.

NCPS the same period the number of full-time staff budget trend as shown below:

image.png

Can be found, the number of full-time managers NCPS is also growing steadily.

3     最新进展

根据2019年8月16日OMB公布的2018财年的FISMA报告,目前,爱因斯坦项目总体上处于E3A阶段。截至2018年9月26日,在102个联邦民事机构中,有70个已经完全实现了三阶段NCPS能力,包括列入CFO法案的23个机构。

image.png

如上图所示,仍有28个机构尚未实现E1和E2,还有9个机构在实施E3A的过程中遇到阻碍。譬如邮件安全这块受限于某些机构采购的第三方云邮件服务商。

4     2020财年项目预算与计划分析

下面是DHS在2020财年预算中提供的表格。

image.png

据此我们可以发现,在2017财年(含)之前的总预算达到了28.17亿美元,2018财年的预算是4.02亿美元,2019财年的预算是4.07亿美元,而2020财年的预算是4.05亿美元,最近三年预算基本持平,都是略多于4亿美元。

NCPS项目的预算总体上包括两部分:运行维护、采购建设与提升。从上表可以发现,最近三年的两部分预算分配比例也都基本保持一致,都是2:1的样子。

而在2017财年(含)以前,NCPS的预算则主要是采购建设与提升,运维部分的预算比例较低,2017财年(含)之前的运维总预算还不及最近三年的运维预算之和多。这也说明,近些年开始,NCPS项目主要是运维,采购实施和升级工作逐步减少。

4.1    运维预算分析

以下针对2020财年的运维(Operations and Support)预算进行分析。

在2.99亿运维预算中,有2.69亿是非支付性成本(Non Pay Budget,包括譬如房租水电、固定资产、耗材、差旅住宿、培训、通讯、物流、咨询与协助服务、来自联邦的其它货品和服务等),人员成本(支付性成本)是3000万美元,约合169人(人均成本17.7万美元)。

其中,在2.69亿美元的非支付性成本中,“咨询与协助服务”,以及“来自联邦的其它货品和服务”的金额占比很高,达到87%,并没有给出具体明细。根据笔者的分析,这部分服务和货物应该包括了DOD对NCPS的各种帮助,以及大量的运维外包服务。很显然,全国性的这么一个大系统,仅靠预算编制的169人是不可能运维的起来的。

4.2    采购实施与提升预算分析

进一步分析2020财年采购建设和提升(Procurement, Construction and Improvements)的预算(1.06亿美元)的构成,如下表,包括6个部分:项目规划与运作、核心基础设施、入|侵检测、入|侵防御、分析、信息共享。

image.png

这里,入|侵检测和入|侵防御就是爱因斯坦的前端,相当于探针和传感器;分析就是爱因斯坦的后端,相当于一个基于大数据分析技术的SOC平台;而信息共享就是爱因斯坦的威胁情报平台(TIP);核心基础设施主要是“任务操作环境”(Mission Operating Environment,简称MOE),相当于SOC平台的底层架构和软硬件支撑环境,生产和测试环境,网络链路和带宽,等等;项目规划与运作包括系统规划、设计与评估、采购管理、项目管理、人员管理与培训等。

可以发现,从2019财年开始,重新列入了入|侵检测的预算。这是因为,从2018财年Q4开始,NCPS开始升级其入|侵检测功能,在过去基于特征的检测基础之上增加了基于ML的检测方法(代号LRA),并启动了云检测试点。此外,2020财年的入|侵检测预算中还包括一项440万美元的构建统一DNS服务的预算。

4.3    主要合同分析

image.png

上表显示了近三年来NCPS主要的采购合同,可以看到最大的供应商(集成商)是雷神公司,其两个合同的总值达到了5年6.24亿美元。

4.4    项目计划

2020财年NCPS的主要计划和里程碑事件包括:

l  |侵检测与防御

n  继续改进和夯实基于非签名的检测能力,借助基于行为和信誉的机器学习技术的LRA项目来实现高级检测能力;

n  继续同联邦政府的云服务提供商合作,使得NCCIC可以借助他们的安全服务和数据去保护联邦机构的资产,以顺应政府上云的发展趋势;

n  继续对爱因斯坦的传感器套件进行升级,提升性能、可靠、容量和账户,以满足不变演进的新场景(譬如云、移动)下的流量检测之需;

n  升级和夯实入|侵防御安全服务(IPSS),以增强对.gov域名的网络安全防护;

n  收集各方需求,开发一套集中的权威DNS域名解析系统,为联邦民事机构(FCEB)提供服务。该托管服务将提供DNS管理功能,并在传统DNS服务的基础之上提供一系列安全分析服务。DHS认为DNS系统影响面极大,并引用思科的分析报告称99%的恶意代码都利用DNS。

l  分析

n  增强分析框架的能力,使得NCCIC的分析师能够实现跨NCPS数据集的信息查询和分析;

n  继续增强分析工具和过程以进一步提升网络威胁分析的自动化水平;

u  继续实现重构后的高级恶意代码分析中心(AMAC),更加自动化地对收集到的恶意样本进行分析、逆向

l  信息共享

n  继续增强信息共享基础设施,提升NCPS与网络社区共享信息的效率、可靠性和速度;

n  继续增强统一工作流(Unified Workflow)能力,为NCCIC下各个独立的业务和任务支撑应用提供一个单一的工作流自动化平台,并将他们统一到一个统一视图中去,从而提升NCCIC跟踪、协调和报告安全事件的能力;

u  实施跨域解决方案(CDS)项目,以提升涉密信息处理的效率

5     重点技术介绍

5.1    LRA

LRA的全名是“逻辑响应孔径”(Logical Response Aperture),是DHS开展的一项旨在提升安全分析与响应自动化的项目的内部代号。LRA能够借助智能化的安全分析技术,在没有签名和特征的情况下识别攻|击。

下图展示了LRA的基本工作流程。

image.png

在联邦部委机构(D/A)和互联网(Internet)之间有一套部署在互联网服务提供商(ISP)处的“NEST”设施。NEST会利用TAP将进出联邦机构的的互联网流量按需送给LRA。LRA的流量引擎利用Zeek做协议解析,并将解析后的流量日志(流量元数据)连同原始的pcap包存储到大数据存储系统中(默认存储90天)。存储的数据内容包括:DNS查询的域名和响应的IP地址、域名-IP地址对的TTL、电子邮件附件中的可执行文件、http请求的user agent信息,等等。基于机器学习和统计分析算法的分析引擎、恶意代码检测装置,及其它自动化工具会从大数据存储中读取这些数据,并结合通过其它方式获得的各种情境数据(譬如域名和可执行文件的黑白名单,GeoIP等)进行复合安全分析,生成恶意流量的潜在指标,并存入潜在指标库中。分析师通过交互性UI检查潜在指标库中的指标,对其进行研判和标注,一方面获得有效的指标,另一方面为机器学习算法提供改进。

5.2    Tutelage

Tutelage(现已改名,具体不详)作为NSA号称21世纪执行信号情报(SIGINT)任务的核心系统的Turbulence项目中的一个子系统,承担主动防御的任务。作为NCPS的重要咨询方和协作方,NSA将Tutelage移植给了E3A。作为NCPS中涉密的部分,我们无从知晓E3A的入|侵防御系统设计有何玄机。

幸运的是,斯诺登泄密事件给了我们一窥Tutelage的机会,我们可以自行脑补E3A可能的设计。如下图所示,展示了Tutelage项目在检测到恶意流量和攻|击后可以采取的遏制/反制措施,十分丰富。

image.png

可以肯定的是,E3A的入|侵防御系统绝非我们一般意义上的IPS。

5.3    WCF

WCF的全名是WEB内容过滤(WEB Content Filtering),是2016年前后追加到E3A中的一个新防御能力(最初的E3A入|侵防御能力包括DNS sinkholing和email过滤),重点阻断可疑的web网站访问、阻止web网站中恶意代码的执行,阻断web钓鱼。

WCF具有四个功能:web流量检测与阻断、SSL解密、恶意代码检测、高级分析。

1)       WCF会对可疑的web流量按照URL/URI进行分类,允许系统管理员允许或者拒绝某类web访问。WCF会根据高可信网络威胁指标和商业的签名指标来进行研判并决定是告警还是阻断,抑或其它遏制操作。WCF的技术原理就是一个WEB代理,由它来进行检测,并执行重定向、阻断或者告警操作。

2)       WCF支持对SSL web流量解密,分析解密后的流量数据。

3)       WCF内置恶意代码检测功能,使用政府提供的网络威胁指标来检测恶意活动。

4)       WCF包括高级分析功能。这里的高级分析是指基于行为的异常分析,也即LRA。

5.4    AIS

说到NCPS项目,而不提及威胁情报,那么一定是对NCPS不甚了解,或者仅仅停留在爱因斯坦计划早期的认知水平上。必须强调,威胁情报,或者说信息共享是NCPS的核心能力之一,所有检测、分析的能力最后都是为了能够在DHS和其伙伴间实现高效的情报共享和协同联动。美国政府实施NCPS的一个终极目标就是自动化地检测威胁、共享情报和处置攻|击。这跟我们近些年谈及从美国传过来的TIP、SOAR等理念是一致的。

AIS全名是自动指标共享(Automated Indicator Sharing),其目标就是在网络防御行动中以机器速度(Machine-peed)快速广泛地共享机读(Machine-readable)网络威胁指标和防御措施。AIS要能够自动处理海量高速的共享指标,而这是人工操作无法达成的。

下图展示了AIS的工作原理。

image.png

首先,各个AIS的参与机构(上图右侧灰色部分,包括各级地方|政府、私营伙伴、联邦机构、ISAC和ISAO)通过TAXII协议将STIX格式的威胁情报信息送给DHS的TAXII服务器(上图中间黄部分)。接着,所有提交的情报信息都会经过一个自动化的“数据增强过程”,进行信息修订、匿名化处理、隐私评估、数据增强。此外,DHS也会接收商业的情报信息源信息(上图上方绿色部分),并统一进行数据增强。然后,DHS的分析师会对增强后的数据进行核验【注:人工操作还是不可缺少,不可能完全自动化】,并最终进行发布。发布的途径包括放到TAXII服务器上供各参与方获取,或者可以供其它第三方订阅(上图上方蓝灰色部分)。

截至2018年底,已经有33个联邦机构,215家非联邦政府实体(其中包括18家可以对共享信息进行再分发的ISAC、ISAO和11家商业服务提供商)参与其中。

6     关键考核指标

为了从宏观层面衡量NCPS项目的效率和效果,在2020财年,DHS为NCPS设计了2个战略指标:

l  从最早检测出某个单位潜在的恶意行为到该单位接到告警通知的平均小时数

根据NCPS的工作流程,通过IOC比对检测到某个单位存在可疑恶意行为后,会产生告警送到后端,DHS分析师收到告警后,会进行初始研判,并进行告警分诊和调查。如果一条或者多条告警被确认为恶意行为,会产生一条事件工单,并送给受到影响的单位,以便采取进一步行动。这个指标的目标就是要在保持报警的正确率的情况下让这个时间尽可能地短。

根据DHS的设定,该指标在2019和2020财年的目标都是24小时之内。

l  爱因斯坦入|侵检测和防御系统检测或者阻断的攻|击中可以溯源到国家行为的比例

NCPS的目标不是去“捞小鱼小虾”,而重点是防御国家行为体的攻|击。为此,NCPS的检测手段并不求全,而是重点针对那些复杂的攻|击。

根据DHS的设定,该指标在2018财年是20%,2019财年是21%,2020财年是22%。2018财年的考核结果已经出炉,是29%,高于设定值。

7     总结

通过以上分析,笔者谈一谈个人的几点体会作为本文总结。

1) NCPS项目从一开始就是站在国家战略高度来推进的,采用法规先行(法案、总统行政令、NIST标准等)、制度开道、统一建设、持续投入的方式,从一个US-CERT下面的初级态势感知项目,在CNCI计划的推动下,逐步成为了一个规模庞大的国家战略级项目。

2) 从项目定位上,NCPS区别于各个联邦机构自己的安全防护。二者不是替代关系,而是叠加关系。并且NCPS更加注重针对高级威胁的监测与响应,更加重视跨部门/厂商的协调联动、群防群治。

3) 从建设过程来看,NCPS明显以合规为出发点进行建设,但强调以实战对抗为最终目标。

4) NCPS项目的投入时间很长,尤其是2009年CNCI计划出台之后,资金和人员投入逐年稳步提升,并维持在较高的水平线上。可见国家级态势感知系统的建设需要长期持续的投入。

5) 从资金分布上看,DHS越来越重视NCPS的运行维护,技术和产品采购的比重越来越低。要想实现NCPS常态化的运营,就必须有持续的、大量的运营投入,并且需要大量的安全分析师。

6) 从运营方式上看,NCPS被尽可能地封装为一系列托管服务和安全服务的形式,以服务的方法提供给各个联邦机构。

7) 尽管经过了十几年的持续建设,但NCPS仍然存在不少问题,拖延严重,正如GAO的报告所言,成效低于预期。但尽管如此,美国政府并没有停止这个项目,而是持续加大投入。因为这个方向是正确的,技术路线是正确的。

8) 从技术上看,过去人们大都认为NCPS主要是规模效应,技术含量并不高,譬如基本都是基于特征和签名的检测。事实上,NCPS还是比较注重新技术运用的。我们现在经常听到的所谓高级威胁检测、机器学习、行为画像和异常行为行为、编排自动化响应、威胁情报等,在NCPS中都有体现,并且都会经历一个先试点再铺开的过程。

9) 我们常把爱因斯坦计划指代美国政府的网络安全态势感知项目,其实这是不完整的。美国联邦政府的网络安全态势感知是由一系列国家级大项目共同支撑起来的,至少包括TIC(可信互联网接入)、NCPS(爱因斯坦计划)、CDM(持续诊断与缓解)计划,以及共享态势感知。

8     系列文章参考

以下是笔者以前撰写的NCPS相关的文章,供大家参考。

1)       美国爱因斯坦计划技术分析,2011

2)       从爱因斯坦2到爱因斯坦3,2014

3)       重新审视美国爱因斯坦计划(2016)

4)       美国爱因斯坦计划最新动态201508

5) Einstein plans to the latest progress (201705)      

6) Einstein plans to the latest progress (201710)      

 

      other:

European folk version of Einstein Program: Study of the European lobster technology plan

Secret National Cybersecurity and Communications Integration Center (NCCIC) under the US DHS

Visit the US Department of Homeland Security's Security Operations Center: NCCIC


Guess you like

Origin blog.51cto.com/yepeng/2440261