美国政府持续深刻开展爱因斯坦项目以提高网络威胁感知能力（2019）

1     项目概述

爱因斯坦计划，其正式名称为“国家网络空间安全保护系统”（National Cybersecurity Protection System，简称NCPS），是美国“全面国家网络空间安全行动计划”（Comprehensive National Cybersecurity Initiative，简称CNCI）的关键组成部分。NCPS以DFI、DPI和DCI技术为抓手，以大数据技术为依托，以CTI为核心，实现对美国联邦政府互联网出口网络threat的持续监测、预警与响应，以提高联邦政府网络的态势感知能力和可生存性。

NCPS由美国国土安所有（DHS）负责设计、运行和协调，大致上分为三个阶段。

借助NCPS，美国联邦政府为其互联网侧态势感知构建起了四大能力：入|侵检测、入|侵防护、安全分析和信息共享。

1.1    入|侵检测

NCPS的入|侵检测能力包括爱因斯坦1（简称E1）探针中基于Flow的检测能力、爱因斯坦2（简称E2）和爱因斯坦3A（简称E3A）探针中基于特征的检测能力，以及2015年启动的在E一、E2和E3A中基于机器学习的行为检测能力（代号LRA）。

NCPS的检测能力不追求检测全部攻|击和入|侵，而重点关注APT类高级threat，于是其检测特征库并不大，但颇有针对性，并由美国DOD/NSA提供部分特征信息。

1.2    入|侵防护

NCPS的入|侵防护能力是从爱因斯坦3A（简称E3A）阶段开始的。

NCPS的入|侵防护也不是通常意义上的入|侵防护系统（IPS），其功能设计更加聚焦，更有针对性，而且是由NSA协助（主导）设计的，主要包括4种能力：

l  恶意流量阻断：自动地对进出联邦政府机构的恶意流量进行阻断。这是依靠ISP来实现的。ISP部署了入|侵防护和基于威胁的决策断定机制，并使用DHS开发的恶意网络行为指标（Indicator）来进行恶意行为识别。

l  DNS阻断：也就是DNS Sinkhole技术，用于阻止已经被植入政府网络的恶意代码与外部的恶意域名之间的通信。

l  电子邮件过滤：对全部发给政府网络用户的邮件进行扫描，识别含有恶意代码的附件、恶意URL等，并将其过滤掉。

l  Web内容过滤（WCF）：这是2016年加入到E3A入|侵防护中的能力，能够阻断可疑的web网站访问、阻止web网站中恶意代码的执行，阻断web钓鱼。

值得一提的是，NSA在协助DHS设计E3A入|侵防护系统的时候，将他们的Tutelage项目移植了过去，超越了通常意义上主动防护的层次，具备很强的对抗性。

1.3    安全分析

若是说入|侵检测和入|侵防护构成了NCPS的前端系统，那么NCPS的后端核心就是构建在大数据之上的安全分析能力，而这个分析结果的输出就是网络安全威胁态势。NCPS的分析能力主要包括：安全信息与事件管理（SIEM）、数字媒体分析环境（Digital Media Analysis Environment）、高级恶意代码分析中心（AMAC）、各类分析工具可视化工具，等等。

1.4    信息共享

用时髦的话来讲，信息共享就是情报共享，这是NCPS的核心能力。借助该能力，DHS构建起一个信息共享与协做环境（ISCE），使得其下属国家网络空间安全和通讯集成中心（National Cybersecurity and Communications Integration Center，简称NCCIC）的安全分析师可以按照不一样的密级与他们的合做伙伴快速交换网络威胁和网络事件信息，经过合做与协同以下降事件响应时间，经过自动化信息分享与披露以提高工做效率。

NCPS的信息共享能力主要包括：自动指标共享（AIS）、指标管理平台（IMP）、统一工做流、跨域解决方案（CDS），等等。

2     项目走势

以下所示，是笔者本身根据DHS历年的预算报告自行编制的2008财年到2020财年NCPS预算走势图，采用的数据可能与实际有差别，均为概数。

透过上图，能够发现美国政府对爱因斯坦项目的投入基本呈现逐年上升的态势，只是在最近3年有所降低，但仍维持在高位。很多人觉得美国政府由于其效果不佳（GAO评价）而将其打入冷宫，事实并不是如此。

根据DHS官方的数据，截至2017年财年，NCPS的资金投入累计已经达到了28.17亿美圆。

同期的NCPS全职工做人员预算编制数量走势以下图所示：

能够发现，NCPS的专职管理人员的数量也是稳步增加。

3     最新进展

根据2019年8月16日OMB公布的2018财年的FISMA报告，目前，爱因斯坦项目整体上处于E3A阶段。截至2018年9月26日，在102个联邦民事机构中，有70个已经彻底实现了三阶段NCPS能力，包括列入CFO法案的23个机构。

如上图所示，仍有28个机构还没有实现E1和E2，还有9个机构在实施E3A的过程当中遇到阻碍。譬如邮件安全这块受限于某些机构采购的第三方云邮件服务商。

4     2020财年项目预算与计划分析

下面是DHS在2020财年预算中提供的表格。

据此咱们能够发现，在2017财年（含）以前的总预算达到了28.17亿美圆，2018财年的预算是4.02亿美圆，2019财年的预算是4.07亿美圆，而2020财年的预算是4.05亿美圆，最近三年预算基本持平，都是略多于4亿美圆。

NCPS项目的预算整体上包括两部分：运行维护、采购建设与提高。从上表能够发现，最近三年的两部分预算分配比例也都基本保持一致，都是2：1的样子。

而在2017财年（含）之前，NCPS的预算则主要是采购建设与提高，运维部分的预算比例较低，2017财年（含）以前的运维总预算还不及最近三年的运维预算之和多。这也说明，近些年开始，NCPS项目主要是运维，采购实施和升级工做逐步减小。

4.1    运维预算分析

如下针对2020财年的运维（Operations and Support）预算进行分析。

在2.99亿运维预算中，有2.69亿是非支付性成本（Non Pay Budget，包括譬如房租水电、固定资产、耗材、差旅住宿、培训、通信、物流、咨询与协助服务、来自联邦的其它货品和服务等），人员成本（支付性成本）是3000万美圆，约合169人（人均成本17.7万美圆）。

其中，在2.69亿美圆的非支付性成本中，“咨询与协助服务”，以及“来自联邦的其它货品和服务”的金额占比很高，达到87%，并无给出具体明细。根据笔者的分析，这部分服务和货物应该包括了DOD对NCPS的各类帮助，以及大量的运维外包服务。很显然，全国性的这么一个大系统，仅靠预算编制的169人是不可能运维的起来的。

4.2    采购实施与提高预算分析

进一步分析2020财年采购建设和提高（Procurement, Construction and Improvements）的预算（1.06亿美圆）的构成，以下表，包括6个部分：项目规划与运做、核心基础设施、入|侵检测、入|侵防护、分析、信息共享。

这里，入|侵检测和入|侵防护就是爱因斯坦的前端，至关于探针和传感器；分析就是爱因斯坦的后端，至关于一个基于大数据分析技术的SOC平台；而信息共享就是爱因斯坦的威胁情报平台（TIP）；核心基础设施主要是“任务操做环境”（Mission Operating Environment，简称MOE），至关于SOC平台的底层架构和软硬件支撑环境，生产和测试环境，网络链路和带宽，等等；项目规划与运做包括系统规划、设计与评估、采购管理、项目管理、人员管理与培训等。

能够发现，从2019财年开始，从新列入了入|侵检测的预算。这是由于，从2018财年Q4开始，NCPS开始升级其入|侵检测功能，在过去基于特征的检测基础之上增长了基于ML的检测方法（代号LRA），并启动了云检测试点。此外，2020财年的入|侵检测预算中还包括一项440万美圆的构建统一DNS服务的预算。

4.3    主要合同分析

上表显示了近三年来NCPS主要的采购合同，能够看到最大的供应商（集成商）是雷神公司，其两个合同的总值达到了5年6.24亿美圆。

4.4    项目计划

2020财年NCPS的主要计划和里程碑事件包括：

l  入|侵检测与防护

n  继续改进和夯实基于非签名的检测能力，借助基于行为和信誉的机器学习技术的LRA项目来实现高级检测能力；

n  继续同联邦政府的云服务提供商合做，使得NCCIC能够借助他们的安全服务和数据去保护联邦机构的资产，以顺应政府上云的发展趋势；

n  继续对爱因斯坦的传感器套件进行升级，提高性能、可靠、容量和帐户，以知足不变演进的新场景（譬如云、移动）下的流量检测之需；

n  升级和夯实入|侵防护安全服务（IPSS），以加强对.gov域名的网络安全防御；

n  收集各方需求，开发一套集中的权威DNS域名解析系统，为联邦民事机构（FCEB）提供服务。该托管服务将提供DNS管理功能，并在传统DNS服务的基础之上提供一系列安全分析服务。DHS认为DNS系统影响面极大，并引用思科的分析报告称99%的恶意代码都利用DNS。

l  分析

n  加强分析框架的能力，使得NCCIC的分析师可以实现跨NCPS数据集的信息查询和分析；

n  继续加强分析工具和过程以进一步提高网络威胁分析的自动化水平；

u  继续实现重构后的高级恶意代码分析中心（AMAC），更加自动化地对收集到的恶意样本进行分析、逆向

l  信息共享

n  继续加强信息共享基础设施，提高NCPS与网络社区共享信息的效率、可靠性和速度；

n  继续加强统一工做流（Unified Workflow）能力，为NCCIC下各个独立的业务和任务支撑应用提供一个单一的工做流自动化平台，并将他们统一到一个统一视图中去，从而提高NCCIC跟踪、协调和报告安全事件的能力；

u  实施跨域解决方案（CDS）项目，以提高涉密信息处理的效率

5     重点技术介绍

5.1    LRA

LRA的全名是“逻辑响应孔径”（Logical Response Aperture），是DHS开展的一项旨在提高安全分析与响应自动化的项目的内部代号。LRA可以借助智能化的安全分析技术，在没有签名和特征的状况下识别攻|击。

下图展现了LRA的基本工做流程。

在联邦部委机构（D/A）和互联网（Internet）之间有一套部署在互联网服务提供商（ISP）处的“NEST”设施。NEST会利用TAP将进出联邦机构的的互联网流量按需送给LRA。LRA的流量引擎利用Zeek作协议解析，并将解析后的流量日志（流量元数据）连同原始的pcap包存储到大数据存储系统中（默认存储90天）。存储的数据内容包括：DNS查询的域名和响应的IP地址、域名-IP地址对的TTL、电子邮件附件中的可执行文件、http请求的user agent信息，等等。基于机器学习和统计分析算法的分析引擎、恶意代码检测装置，及其它自动化工具会从大数据存储中读取这些数据，并结合经过其它方式得到的各类情境数据（譬如域名和可执行文件的黑白名单，GeoIP等）进行复合安全分析，生成恶意流量的潜在指标，并存入潜在指标库中。分析师经过交互性UI检查潜在指标库中的指标，对其进行研判和标注，一方面得到有效的指标，另外一方面为机器学习算法提供改进。

5.2    Tutelage

Tutelage（现已更名，具体不详）做为NSA号称21世纪执行信号情报（SIGINT）任务的核心系统的Turbulence项目中的一个子系统，承担主动防护的任务。做为NCPS的重要咨询方和协做方，NSA将Tutelage移植给了E3A。做为NCPS中涉密的部分，咱们无从知晓E3A的入|侵防护系统设计有何玄机。

幸运的是，斯诺登泄密事件给了咱们一窥Tutelage的机会，咱们能够自行脑补E3A可能的设计。以下图所示，展现了Tutelage项目在检测到恶意流量和攻|击后能够采起的遏制/反制措施，十分丰富。

能够确定的是，E3A的入|侵防护系统绝非咱们通常意义上的IPS。

5.3    WCF

WCF的全名是WEB内容过滤（WEB Content Filtering）,是2016年先后追加到E3A中的一个新防护能力（最初的E3A入|侵防护能力包括DNS sinkholing和email过滤），重点阻断可疑的web网站访问、阻止web网站中恶意代码的执行，阻断web钓鱼。

WCF具备四个功能：web流量检测与阻断、SSL解密、恶意代码检测、高级分析。

1)       WCF会对可疑的web流量按照URL/URI进行分类，容许系统管理员容许或者拒绝某类web访问。WCF会根据高可信网络威胁指标和商业的签名指标来进行研判并决定是告警仍是阻断，抑或其它遏制操做。WCF的技术原理就是一个WEB代理，由它来进行检测，并执行重定向、阻断或者告警操做。

2)       WCF支持对SSL web流量解密，分析解密后的流量数据。

3)       WCF内置恶意代码检测功能，使用政府提供的网络威胁指标来检测恶意活动。

4)       WCF包括高级分析功能。这里的高级分析是指基于行为的异常分析，也即LRA。

5.4    AIS

说到NCPS项目，而不说起威胁情报，那么必定是对NCPS不甚了解，或者仅仅停留在爱因斯坦计划早期的认知水平上。必须强调，威胁情报，或者说信息共享是NCPS的核心能力之一，全部检测、分析的能力最后都是为了可以在DHS和其伙伴间实现高效的情报共享和协同联动。美国政府实施NCPS的一个终极目标就是自动化地检测威胁、共享情报和处置攻|击。这跟咱们近些年谈及从美国传过来的TIP、SOAR等理念是一致的。

AIS全名是自动指标共享（Automated Indicator Sharing），其目标就是在网络防护行动中以机器速度（Machine-peed）快速普遍地共享机读（Machine-readable）网络威胁指标和防护措施。AIS要可以自动处理海量高速的共享指标，而这是人工操做没法达成的。

下图展现了AIS的工做原理。

首先，各个AIS的参与机构（上图右侧灰色部分，包括各级地方|政府、私营伙伴、联邦机构、ISAC和ISAO）经过TAXII协议将STIX格式的威胁情报信息送给DHS的TAXII服务器（上图中间黄部分）。接着，全部提交的情报信息都会通过一个自动化的“数据加强过程”，进行信息修订、匿名化处理、隐私评估、数据加强。此外，DHS也会接收商业的情报信息源信息（上图上方绿色部分），并统一进行数据加强。而后，DHS的分析师会对加强后的数据进行核验【注：人工操做仍是不可缺乏，不可能彻底自动化】，并最终进行发布。发布的途径包括放到TAXII服务器上供各参与方获取，或者能够供其它第三方订阅（上图上方蓝灰色部分）。

截至2018年末，已经有33个联邦机构，215家非联邦政府实体（其中包括18家能够对共享信息进行再分发的ISAC、ISAO和11家商业服务提供商）参与其中。

6     关键考核指标

为了从宏观层面衡量NCPS项目的效率和效果，在2020财年，DHS为NCPS设计了2个战略指标：

l  从最先检测出某个单位潜在的恶意行为到该单位接到告警通知的平均小时数

根据NCPS的工做流程，经过IOC比对检测到某个单位存在可疑恶意行为后，会产生告警送到后端，DHS分析师收到告警后，会进行初始研判，并进行告警分诊和调查。若是一条或者多条告警被确认为恶意行为，会产生一条事件工单，并送给受到影响的单位，以便采起进一步行动。这个指标的目标就是要在保持报警的正确率的状况下让这个时间尽量地短。

根据DHS的设定，该指标在2019和2020财年的目标都是24小时以内。

l  爱因斯坦入|侵检测和防护系统检测或者阻断的攻|击中能够溯源到国家行为的比例

NCPS的目标不是去“捞小鱼小虾”，而重点是防护国家行为体的攻|击。为此，NCPS的检测手段并不求全，而是重点针对那些复杂的攻|击。

根据DHS的设定，该指标在2018财年是20%，2019财年是21%，2020财年是22%。2018财年的考核结果已经出炉，是29%，高于设定值。

7     总结

经过以上分析，笔者谈一谈我的的几点体会做为本文总结。

1） NCPS项目从一开始就是站在国家战略高度来推动的，采用法规先行（法案、总统行政令、NIST标准等）、制度开道、统一建设、持续投入的方式，从一个US-CERT下面的初级态势感知项目，在CNCI计划的推进下，逐步成为了一个规模庞大的国家战略级项目。

2） 从项目定位上，NCPS区别于各个联邦机构本身的安全防御。两者不是替代关系，而是叠加关系。而且NCPS更加注重针对高级威胁的监测与响应，更加剧视跨部门/厂商的协调联动、群防群治。

3） 从建设过程来看，NCPS明显以合规为出发点进行建设，但强调以实战对抗为最终目标。

4） NCPS项目的投入时间很长，尤为是2009年CNCI计划出台以后，资金和人员投入逐年稳步提高，并维持在较高的水平线上。可见国家级态势感知系统的建设须要长期持续的投入。

5） 从资金分布上看，DHS愈来愈重视NCPS的运行维护，技术和产品采购的比重愈来愈低。要想实现NCPS常态化的运营，就必须有持续的、大量的运营投入，而且须要大量的安全分析师。

6） 从运营方式上看，NCPS被尽量地封装为一系列托管服务和安全服务的形式，以服务的方法提供给各个联邦机构。

7） 尽管通过了十几年的持续建设，但NCPS仍然存在很多问题，拖延严重，正如GAO的报告所言，成效低于预期。但尽管如此，美国政府并无中止这个项目，而是持续加大投入。由于这个方向是正确的，技术路线是正确的。

8） 从技术上看，过去人们大都认为NCPS主要是规模效应，技术含量并不高，譬如基本都是基于特征和签名的检测。事实上，NCPS仍是比较注从新技术运用的。咱们如今常常听到的所谓高级威胁检测、机器学习、行为画像和异常行为行为、编排自动化响应、威胁情报等，在NCPS中都有体现，而且都会经历一个先试点再铺开的过程。

9） 咱们常把爱因斯坦计划指代美国政府的网络安全态势感知项目，其实这是不完整的。美国联邦政府的网络安全态势感知是由一系列国家级大项目共同支撑起来的，至少包括TIC（可信互联网接入）、NCPS（爱因斯坦计划）、CDM（持续诊断与缓解）计划，以及共享态势感知。

8     系列文章参考

如下是笔者之前撰写的NCPS相关的文章，供你们参考。

1)       美国爱因斯坦计划技术分析，2011

2)       从爱因斯坦2到爱因斯坦3，2014

3)       从新审视美国爱因斯坦计划(2016)

4)       美国爱因斯坦计划最新动态201508

5)       爱因斯坦计划最新进展（201705）

6)       爱因斯坦计划最新进展（201710）

 

      其它：

欧洲的民间版爱因斯坦计划：欧洲龙虾计划技术初探

揭秘美国DHS下的国家网络安全和通讯整合中心（NCCIC）

参观美国国土安所有的安全运营中心：NCCIC