在线公开课 | 教你如何自行搭建一个威胁感知大脑？

那么在云上安全备受瞩目的大环境下，云态势感知技术又如何为安全保驾护航呢？在将来又有着怎样的发展趋势呢？为此，京东云产品研发部产品经理梁洋洋，专门为你们解读了云态势感知的进化论。

 

01态势感知出现的技术背景

虽然态势感知是近几年新有的安全名词，但对于有安全背景的人来讲，态势感知并不陌生，它是跟SOC（安全操做中心）对标的产品。

在2010年以前，安全威胁不是特别多，主要仍是集中在网络层面，因此当时的SOC产品仍是停留在NOC（网络操做中心）基础架构的阶段。

当时比较出名的产品是Cisco-MARS产品，主要是把全部Cisco的交换机、路由器、防火墙、IDS、IPS数据都收集上来，而后放到MARS里面来关联分析，造成攻击拓扑图。这就是态势感知最初始化的雏形，也就是把网络层面的安全数据收集到NOC的产品当中。在安全技术还未成熟的2010年，这个技术足以让人眼前一亮。

因为安全威胁场景不断变化，普通的NOC产品没法分析出APT攻击，加上安全设备和安全事件的突增，传统的NOC已没法知足需求，因此在2010年-2015年逐步兴起SIEM/SOC平台。SIEM是安全信息和日志管理平台。能够把主机上的安全日志包括登陆日志都搜集上来存储到SIEM里，对分析攻击场景有很大的帮助。

不过，国内的一些安全厂商对SOC输出没有标准，致使搜集的日志格式不统一，后面的关联分析达不到用户需求，最终80%的SOC的项目都以失败了结。

那么新的态势感知相比SOC平台有哪些不一样呢？

首先是检测引擎，安全探针要提高自身的检测能力和准确性。主机层面经过在终端安装EDR产品或者下一代杀毒软件，进行搜集比较准确和简单关联的日志，利于更好地检测安全威胁。网络层面经过NTA（全量日志分析产品）来匹配危机情报和沙箱等新技术进行分析。web层面也会有基于语义分析的WAF日志，这样收集对关联分析起到很大做用，达到检测层面的提高。

其次是大数据架构方面的提高。因为现有的SOC平台用传统的MySQL和Oracle来进行关联分析，这种关联分析的技术扩展性相对较差。因此随着大数据技术的发展，搜集的时候用Flume，存储的时候用ES，在关联分析的时候用Spark，达到大数据云架构的改变。 最后是在云上更有优点。能够高度规划实时的采集日志，而且经过Kafka这种方式发送到态势感知的安全操做中心，这样在之后的关联分析时就占有了主动权。基于这些因素，才让态势感知产品出现。

随着技术的发展，态势感知会继续往下发展，下一个极端是基于安全运营的SOC，比上一代的威胁感知SOC多了基础日志收集丰富程度。经过智能分析架构来作处理，例如机器学习、图分析等技术。

 

02态势感知技术的发展趋势

态势感知首先经过网络层面进行决策，经过搜集了大约十款产品来进行调研分析，发现网络层面的能力主要有核心能力、扩展能力和加强安全运营能力。

态势感知的核心能力包括持续抓包取证、流量/威胁可视化、网络入侵检测系统规则匹配、WebIDS规则匹配。扩展能力主要体如今威胁情报、动态行为检测和机器学习自动检测引擎，机器学习自动检测引擎里面又分为分类分析、聚类分类和KDE时序分析。

加强安全运营能力就是对安全实体进行分析，经过分析探针来查看攻击的用户，好比SOAR、Kill-Chain、UEBR。而态势感知在主机层面上的能力，除了有核心能力、扩展能力和加强安全运营能力外，还具备未知威胁检测能力。

针对于云上，态势感知的核心能力主要是作云工做的负载肩负，包括配置/漏洞管理、网络隔离防火墙流量可视化、系统完整性测量认证和监控、应用程序控制、补充性内存和漏洞攻击防御。

扩展能力中的行为监控HIDS/EDR能力是云端主机层面防御软件中最重要的，其它还包括静态加密KMS、HIPS漏洞屏蔽、欺骗能力和反恶意软件。加强安全运营能力包括工做负载外部的漏洞和配置评估、IAM/MFA、日志管理和监控。未知威胁检测能力需终端集成威胁情报、AI/沙箱云查杀。

 

03京东云态势感知功能优点

京东云的态势感知产品可帮助用户进行大数据安全分析。最底层是基础数据层，进行NetFlow搜集、网络流量、DNS、HTTP/S日志收集。第二层是威胁感知层，经过安全的探针检测，包括DDoS/高防、全量日志分析、NIDS、威胁情报匹配、机器学习异常检测、沙箱、主机安全/EDR和漏洞扫描/蜜罐里的数据都搜集上来。

第三层是关联分析层，包括实时针对性攻击分析、APT攻击分析、自动化编排研判、精准画像UEBA和图分析。针对性攻击是在一分钟以内发现了攻击的关联分析，而APT攻击会把攻击时间相对拉长，拉长成一小时或者一天的时间，给黑客足够攻击时间，便于检测黑客攻击的状况。

自动化编排研判是目前比较好的解决方案，因为黑客的攻击手段千奇百怪，只能更细化调度的引擎，细化到每一个功能点像积木同样组合在一块儿，造成关联链。经过关联链更好的去分析、丰富查询关联分析的过程。

而UEBA主要是针对云上的数据，以数据层面来进行切入，好比说OSS、RDS或用户自建的数据库对它进行监控，包括用户对数据库的访问、对象存储的访问进行分析。底层的（OpenAPI）的访问也都会进行关联分析或机器学习分析。

图分析是在主机层面检测信息、网络信息、用户信息能够用图的方式展示给用户，能够挖掘出攻击的路径，是一种很好的分析手段。

第四层是威胁展现层，主要是经过告警事件、威胁事件、热点事件、安全大坪、自动化攻击溯源给用户展现，下降用户调查取证的时间，提高效率。

经过云上日志能够分析出更有价值的安全威胁以及安全问题。

底层基础网络信息是五元组、DNS、HTTP、LB信息，在攻击路径的时候可能会经过NAT的转换，转换以后便不可查找主机ID。同时，NAT数据可用于对资产进行再补齐。经过VPC Log获取VPC里数据流传输，还能够分析出横向攻击。

在主机基本信息中，经过上传的进程、端口、帐号、软件、文件、系统日志，关联出更有价值的信息。好比说异常网络链接、肉鸡行为、可移操做、敏感文件篡改均可以进行分析。安全产品例如Anti-DDos、WAF、扫描器、HIDS、NIDS、数据库审计、堡垒机均可以上传。有利于分析DDoS攻击、Web漏洞、SQL注入、病毒木马等。

云产品组件的云产品基线，配置失败可能引发的漏洞；还能够对OSS审计日志、RDS审计日志、OpenAPI日志的风险访问行为进行分析。还有人员信息中de登陆日志和权限日志。这些均可以帮助态势感知更好的进行分析。

 

04云态势感知技术攻击链分析

攻击链分析分简单规则关联分析和复杂规则关联分析。

云态势感知技术的计算层采用Spark，这样数据分析产生的警告会随着时间流入到大数据处理引擎（Spark）里，经过Spark里的滑动窗口对全部输入的数据流来分析。遭受到暴力破解并成功，第一个从网络的IDS会产生警告，接下来会有EDR告警，同时安装系统后门。整个操做是连贯的，这即是简单规则关联分析。

那复杂规则关联分析是什么样的呢？首先黑客会使用扫描集群，扫描RDS端口进行暴力破解。若是未受权访问上控制云服务器的基础服务器，便会将公钥写入基础服务器，以后就能自动化操做，好比说装一些黑客工具、DDoS工具或挖矿、勒索工具。

恶意服务器长时间扫描会被威胁情报检测到服务器的IP地址，而后态势感知在本地检测的时候会对这些IP进行扫描。在扫描暴力破解的时候，利用NIDS ET规则来进行检测，接下来会用Redis弱口令/开启认证，口令是弱口令或者没有开启认证，会产生告警事件。写入C&C服务器公钥的时候会使用sshkey目录，在动目录的时候会产生一条非法文件篡改的告警事件。

再日后会有反弹shell，能够对可疑链接或者是失陷主机主机进行检测。在挖矿程序的时候咱们会经过云沙箱来进行检测，DDoS也能够经过肉鸡行为进行检测。这样对用户每一步操做都造成了告警事件，而后把这些告警事件关联在一块儿。这就是比较复杂的规则和时序分析的过程。

 

05云态势感知技术机器学习&深度学习分析

异常检测是怎么作的呢？这里以DGA检测为例。首先要把外部训练数据导进来，有黑数据和白数据，而后把DNS的数据导进来进行特征提取，再往下是用Spark训练模型，训练以后会把模型放在集群里面进行检测，这样就造成了DGA运行检测的流程。

那么模型作好以后怎么用呢？

首先检测经过两条路，第一条路是NIDS的DNS流数据，经过程序补齐帐号以后发到Spark里面进行特征提取匹配，而后进行预测；第二条路是云主机上，好比说本身设定了公网DNS解析的话，它发送的数据也是经过DNS解析来进行补齐资产来进行实时检测。

经过这两个数据会把DGA预测作一下，以后把数据放在实时管理分析引擎中进行分析。分析以后才会把它放到ES topic里面，给用户看到最终的分析结果，这样就实现了DGA域名检测流程。

图分析技术就是把全部的数据导到图分析，经过图的方式关联出来，再经过图的搜索算法检测出来。例以下面这个真实的入侵案例；

首先经过挖矿进程发现其中有一台服务器（Test-001）已经高负载，查看高负载CPU所定义的进程的时候，发现它是一个异常进程，因此进行告警。告警以后会进入到观察列表里，经过某个点找出挖矿进程的程序是怎么运行起来的，又是怎么进到服务器里的。

经过时间推移的方式，经过上下文关联来进行检测，关联以后发现了一条命令行审计规则，也就是经过其中一个可疑进程来下载了挖矿的脚本而且运行了。挖矿脚本的副进程是用户本身建立的一个Hadoop的进程，也就是Yarn进程。Yarn进程实际上是Hadoop未受权访问的RCE的漏洞。同时经过扫描器来进行扫描检测这台主机，发现这台主机确实存在Hadoop RCE的漏洞，这即是自动化攻击溯源，里面的核心技术就是图分析的技术。

目前京东云态势感知产品的应用场景一个是公有云市场，另外一个是专有云市场。 专有云市场所对应的产品有态势感知JDStack版本，是内嵌到专有云的云租户来进行检测，它的用户是对于里面每个租户安全的检测。还有一个是针对于云平台，或者针对与IDC传统的安全管理场景提出产品叫态势感知专有云的版本。

点击“京东云”了解京东云态势感知产品

欢迎点击“连接”了解京东云更多精彩内容

---