Paper Note - 分析大量网络流量以进行APT检测

时间 2021-01-21 标签学术信息安全

原文标题：Analysis of high volumes of network traffic for Advanced Persistent Threat detection

原文作者：Mirco Marchetti, Fabio Pierazzi∗, Michele Colajanni, Alessandro Guido Department of Engineering “Enzo Ferrari”, University of Modena and Reggio Emilia, Italy

原文来源：Computer Networks 2016

原文链接：https://fabio.pierazzi.com/papers/pierazzi_apt.pdf

文章目录

3 相关工作

8 计算可疑分数（s1、s2、s3）

9 实验评估

10 思考

1 摘要

本文提出的方法可以通过分析大量的网络流量，揭示与APT的数据窃取或其它可疑行为相关的弱信号。最终的结果是呈现一个对网络内部主机的排名，从而安全分析人员可以将注意力放在少数几个可以主机上。

2 简介

2.1 研究现状

传统的安全方案是基于模式匹配的，但这种方法只能检测已知攻击，但对于经常利用未知漏洞、标准协议和加密通信的APT来说难以奏效。
现存的流量分析技术只能够检测普通的攻击（如DDos），但是由于APT攻击者会模拟正常行为、仅入侵有限数量的主机，所以能够避免被检测到。
在大型的网络系统中，其产生的报警数量是非常庞大的，而且基于主机的日志（如系统调用）的收集和分析也会非常昂贵，因此本文着眼于网络流量进行分析

2.2 研究目标

注意，本文的研究目标不在于非常明确的值除哪台主机被攻击了。而是在一个具有上千台主机的环境中，能够挖掘出少数几台具有可疑行为的主机。

2.3 方法和贡献

本文提出的框架能过够收集并分析大量的流量，检测与数据窃取相对应的APT活动的关键阶段。通过检查每个主机的过去，并将其与其他主机进行比较，来评估每个主机的可以移动和位置。最终输出是主机的排名列表，安全分析人员可以将其注意力集中在top-k可疑主机上。

效率提升：通过分析网络流（network flow）而不是原始的流量数据

可扩展性：由于不需要监视数据载荷（payload），该方法甚至能工作在加密的通信中

主要贡献如下：

描述了真实大型网络环境中的网络统计数据，并定义了一个模型，旨在检测APT相关活动，并特别关注数据窃取；
定义了一系列算法，通过评估多维特征空间中主机随时间的移动和位置，对疑似APT的活动进行打分
设计并实施了一个prototype，将其应用于一个包含10K台主机的环境中

3 相关工作

我们的方法是，将基于与已知APT知识的启发式方法，和能够捕获可疑网络活动的行为统计模型相结合。

基于现在的研究情况，我们可以从下面三个方面来考虑。

3.1 APT检测

分析APT案例、提出形式化描述（7-phase、攻击金字塔）、基于图分析、异常检测系统、数据窃取检测

3.2 僵尸网络检测

对僵尸网络的检测是分析大量具有相似行为的主机，而APT受害网络中可能仅包含少数受害主机，所以不能用检测僵尸网络的聚类分析方法来检测APT受害网络。

另外，二者的感染策略也是不同的。

3.3 内部威胁

内部威胁与APT攻击也有相似之处，但不同在于内部威胁在进行数据窃取时，可能不需要通过网络，因此检测内部威胁多集中于主机日志或者蜜罐策略上。而本文提出的框架，可以轻松集成到内部威胁检测系统中。

4 APT生命周期

下面我们分析APT的各个攻击阶段，阐述其为什么能够用网络流量来分析：

reconnaissance phase：寻找网络的可能入口点，会进行扫描操作
compromise phase：在目标系统在安装恶意软件RAT：Remote Access Trojan、 Remote Administration Tool
maintaining access phase：RAT联接C&C服务器来接受攻击者的指令。值得注意的是，这个阶段的网络连接是由受害者主机发起的，而不是攻击者。这样做的目的，一是骗过防火墙；二是攻击者因此会减少被检测到的机会，这是因为从外部网络下载内容会被高度怀疑。
lateral movement phase：攻击者想要获得其它主机的访问权限。如RAT可能会进行内部的扫描，或者试图与组织内部的其它主机建立新的连接。
data exfiltration phase：被窃取的数据被发送到攻击者控制的远程服务器。这个过程有可能是一次性迅速（burst）完成的，也有可能是慢速（low-and-slow）的。

5 APT检测的挑战

不平衡的数据（Imbalanced data）：在巨大量的数据中，APT只占很少一部分，因此使得攻击难以检测
Base-rate问题：APT相关的事件非常少，而且时间跨度很长，因此会带来恒奥的误报率。
缺乏公开数据
加密和标准协议（例如HTTPS）的使用会阻碍常用的网络安全解决方案，例如基于签名的入侵检测系统。

下图是10k个主机环境中的网络统计情况：

(a)和(b)分别是对同一分布的不同描述，从图(a)中可以看出该分布属于重尾分布。该图表示从内部主机向外部IP地址建立连接的数量，事件跨度是一天。如在图(a)中，第一个直方图表示有大约2M个IP地址仅仅被连接了一次，第二个直方图表示有大约220K个IP地址仅仅被连接了3次。因此我们可以得出结论：大多数外部主机仅被连接一次或几次。

出现这种现象的原因与云计算的广泛应用有关。即使是在很短的时间内，与外部地址连接的总数也相当高，但是大部分的外部地址仅仅被连接了很少几次。这样的结果是不希望看到的，这样的连接情况会连接多个不同的云计算提供商。

针对该问题前人的一些方法：

为所有的云计算提供商设置白名单；但这样攻击者很容易创建一个云账号来作为C&C服务器或者数据窃取点
基于阈值：效果不佳，因为无法为这种重尾分布设置合适的阈值
聚类：这会将数据聚成两类，一类是头一类是尾
箱线图规则（boxplot）：这对于离群值检测无效，因为基础分布不是高斯分布

于是，本文提出的方法将单个主机的行为建模，将其作为多重特征空间中的特征点；然后比较主机的统计信息，包括它们的过去以及所有其他内部主机的统计信息；然后为每个内部主机分配一个分数。

6 框架概览

本文所提方法的特点如下：

基于流量信息，这些数据通过网络探针可以很容易地获得
提取并分析流量记录，这使得存储和计算消耗都有所降低
通过下面两方面来识别执行可疑活动的主机：
- 分析他们之前的行为
- 分析其他主机的行为
提出了一些特征，用于识别可能与数据窃取有关的主句
所提出的“排名”的方法，不依赖于深度包检测，因此可以运行在加密的流量上

本文所提出的系统架构如下图所示，其工作过程包括5个阶段：

（1）流量收集和存储：不使用原始的流量数据（raw traffic data），而是使用流量记录（flow record）；每条记录包含从IP头部中提取的数据，包括：源、目的地址和端口号，协议类型。这样做对系统性能有很多好处：

易于存储和压缩
计算上更可行

之前我们说，假设所有与外部的连接都是由内而外发起的，所以我们仅仅考虑出站流量，即从内部发往外部的流量。而从外部发往内部的可以用传统的IDS来检测

（2）特征提取：提取与数据窃取相关的特征，特征在每台主机上每隔时间T计算一次。特征提取工作由专用服务器完成。

（3）特征归一化：将不同的特征归一化，因为每个特征都有不同的重尾分布，因此处于比较目的，必须将其归一化。这一步的实现由参考文献[45]中的归一化度量完成，这种方法专用于归一化具有不同特征的重尾分布。

（4）可疑分数计算：对于每台主机，每个时间 $t_{i}$ ，该阶段涉及与特征空间中主机行为有关的统计信息的计算，为此我们考虑三个点：

当前时间 $t_{i}$ 时，主机的特征值
历史窗口W下（ $t_{i-1-W}$ 到 $t_{i-1}$ ），同一主机的标签值的质心（centroid）
时间 $t_{i}$ 时，所偶有主机的特征值的质心

历史窗口表示主机过去的行为。考虑了最近过去（recent past）的运动方向，因此沿罕见方向的运动被认为是可疑的。

（5）排名：可疑程度通过以下方式的线性组合进行评估：

内部主机相对于特征空间质心的归一化距离
运动幅度的增长百分比
相对于所观察的网络环境中所有内部主机的运动而言，运动方向的不可能度。

我们注意到，第2、3、4个阶段可以在每台主机上独立并行执行。

7 特征提取和归一化

7.1 特征提取

定义：

$H_{I}$ 和 $H_{E}$ 分别表示内部和外部主机的集合
对于每个内部主机 $h \in H_{I}$ ，特征向量 $\mathbf{x}_{t}(h)$ 由下面的元组定义：

$\mathbf{x}_{t}(h)=\left(x_{t}^{1}(h), x_{t}^{2}(h), \ldots,x_{t}^{N}(h)\right)$ ，其中 $x_{t}^{i}(h)$ 对应时间 $t$ 时，内部主机 $h$ 特征向量的第 $i$ 个组成部分的值；另外 $x_{t}^{i}(h)$ 每隔一个取样周期 $T$ 计算一次，据此来建立一个时间序列。

我们将时间粒度 $T$ 设置为1天，原因如下：

APT攻击时间跨度较长，设置太细的时间粒度的话，会产生很多噪声
每天产生一次排序列表，有助于分析人员进行分析

下面，我们定义了一系列的特征：

numbytes：由内部主机上传到外部地址兆字节（megabytes）数。用来监视上传字节的偏移（deviations of uploaded bytes），因为这有可能跟数据窃取有关。例如，如果主机的upload字节数增加了十倍，则它可能参与了APT相关的活动。
numflows：内部主机发起的连接到外部主机的flow数量。用来监视由内部主机发起的数据传送。由内部主机发起数据泄露有如下两个原因：(i)向外的连接大多数防火墙都不会拦截；(ii)外部主机发起的连接会很容易被传统的IDS蓝饥饿
numdst：内部主机发起的连接中，外部IP地址的数量。用来检测那些包含许多变化的目的IP的异常行为，这些连接同样是由内部主机发起的。例如。进行通信的外部IP数量稳定，但是upload字节数或者连接数却急剧上升，这就很有可能发生了与数据窃取相关的APT活动。

我们意识到，正常情况下，numflows和numdst几乎是同步增减的。虽然在机器学习中，建议我们尽量选取不相关的特征来获取更多信息，但是我们的问题并不是一个分类问题，因此我们选择两个相关的特征，来捕获那些违反了numflows和numdst之前预期关系的主机。

下图是本文所用数据的特征分布情况：

下图是特征空间的3D表示，

通过监视主机的移动和他们与过去、与特征空间质心之间的举例，来检测异常主机。

7.2 特征归一化（Normalization）

为了公平地比较内部主机的移动和位置，必须对其分布进行归一化。

一种方法是range归一化，即将数据映射为0到1之间的数。但是对于重尾分布来说，这种方法会导致大部分数据都接近于0。

为了解决这个问题，本问提出了双边四分位数加权中位数（two-sided quartile weighted median，QWM）指标：

$Q W M(D)=\frac{Q_{75}(D)+2 \cdot Q_{50}(D)+Q_{25}(D)}{4}$

其中， $Q_{k}(D)$ 表示数据集 $D$ 中的 $k$ 分位点。该度量既考虑了中位数（ $Q_{50}$ ），又考虑了由第一和第三四分位数表示的数据方差。这使得QWM具有鲁棒性，并独立于数据分布，同时也适用于归一化后的重尾分布。

对于 t 时刻主机 h 的特征向量 $\mathbf{x}_{t}$ ，将其归一化之后用 $\overline{\mathbf{x}}_{t}$ 表示。归一化操作为对其每个组成部分 $x_{t}^{i}, \quad i \in\{1,2, \ldots, N\}$ 做如下操作：

$\bar{x}_{t}^{i}=\frac{x_{t}^{i}}{Q W M\left(\mathbf{x}_{t}^{i}\right)}$

下图使用箱线图（boxplot）分别展示了QWM归一化前后的数据情况，其中numbytes的计量单位是MB，其余的都是纯数字：

8 计算可疑分数（s1、s2、s3）

每台内部主机 h 在时间 t 时刻的归一化特征向量为（ $\mathbf{x}_{t}$ 就可以表示在3D特征空间中的一个点）：

$\mathbf{x}_{t}=\left(x_{t}^{1}, x_{t}^{2}, x_{t}^{3}\right)$

其中 $\chi_{t}^{i}$ 表示numbytes（ $\chi_{t}^{1}$ ），numdst（ $\chi_{t}^{2}$ ），numflows（ $\chi_{t}^{3}$ ）。

在每个时刻 t 我们为每台主机计算下面的三个可疑分数：

$s_{t}^{1}$ ：距特征空间质心的距离
$s_{t}^{2}$ ：特征空间中的移动幅度
$s_{t}^{3}$ ：特征空间中运动方向的可能性

（注意三个特征向量和三个分数之间并不是一一对应）下面分别进行讨论。

8.1 距特征空间质心的距离（固定时刻t）

首先计算分数 $s_{t}^{1}$ ，通过该分数可以确定一台主机在时刻t，是否位于多位特征空间的异常区域内。

令 ${X}_{t}$ 为时间 t 时，所有内部主机在特征空间中位置的集合（注意这里用大X表示）：

$\mathbf{X}_{t}=\left\{\mathbf{x}_{t}(h): h \in H_{I}\right\}$

下面定义 t 时刻特征空间的质心 $\mathbf{c}\left(\mathbf{X}_{t}\right)$ ：

$\mathbf{c}\left(\mathbf{X}_{t}\right)=\left(\frac{\sum_{h} x_{t}^{1}(h)}{\left|\mathbf{X}_{t}\right|}, \frac{\sum_{h} x_{t}^{2}(h)}{\left|\mathbf{X}_{t}\right|}, \frac{\sum_{h} x_{t}^{3}(h)}{\left|\mathbf{X}_{t}\right|}\right), h \in H_{I}$

其中 $x_{t}^{i}(h)$ 表示主机h特征向量 $\mathbf{x}_{t}$ 的第 i 个特征； $\left|\mathbf{X}_{t}\right|$ 表示 $\mathbf{X}_{t}$ 的 $Cardinality$ （集合中元素的个数）。

因此，质心centroid也是一个特征向量，他表示所有主机特征向量的分量的平均值。

最后，我们为每个内部主机h计算特征向量 $\mathbf{x}_{t}$ 与特征空间质心 $\mathbf{c}\left(\mathbf{X}_{t}\right)$ 之间的欧式距离，从而得出 $s_{t}^{1}$ 分数：

$s_{t}^{1}=d_{t}\left(\mathbf{x}_{t}(h), \mathbf{c}\left(\mathbf{X}_{t}\right)\right)=\sqrt{\sum_{i=1}^{3}\left(x_{t}^{i}(h)-c^{i}\left(\mathbf{X}_{t}\right)\right)^{2}}$

8.2 特征空间中的移动幅度（引入时间维度）

下面我们需要确定一种距离度量（其实s1分数也是一种距离度量），该距离度量用于测量内部主机在特征空间中移动的可疑性。

$\mathbf{x}_{t}$ 从 t-1 时刻到 t 时刻的移动，可以在欧氏空间中用距离向量来表示：

$\mathbf{x}_{t}-\mathbf{x}_{t-1}=\left(x_{t}^{1}-x_{t-1}^{1}, x_{t}^{2}-x_{t-1}^{2}, x_{t}^{3}-x_{t-1}^{3}\right)$

但这种定义方法的缺点是：假设主机A通常的数据上传量是10GB，与标准值仅仅相差１G；而主机B 通常数据上传量是几MB，而某时刻突然变为了100MB，这样主机A的距离向量显然要大于主机B。但是主机A的数据上传量几乎没有增加，而主机B的数据上传量增加了几十倍，显然B更有可能跟数据窃取有关。这种问题是由数量级偏差造成的。

此外仅仅将其与 t-1 时刻相比较也是不合适的。因此设置一个时间窗口是合适的选择，它可以反映主机不断发展的行为基线（evolving behavioral baseline）。

定义 $\beta_{t-1}(W)$ 为特征向量集合 $\left\{\mathbf{x}_{t-1}, \ldots, \mathbf{x}_{t-1-w}\right\}$ 的质心， $W$ 是时间窗口的大小， $\beta_{t-1}(W)$ 定义如下：

$\beta_{t-1}(W)=\left(Q_{50}\left(\cup_{j} x_{j}^{1}\right), Q_{50}\left(\cup_{j} x_{j}^{2}\right), Q_{50}\left(\cup_{j} x_{j}^{3}\right)\right)$

其中 $j \in\{t-W-1, \ldots, t-1\}$ ，并且 $\beta_{t-1}(W)$ 中的每个特征，对应特征空间 $\mathbf{x}_{t}$ 的每一个特征 $\chi_{t}^{i}$ 在时间窗口W内的平均值。

下面定义移动向量 $\mathbf{m}_{t}$ ，表示特征点 $\mathbf{x}_{t}$ 和质心 $\beta_{t-1}(W)$ 的相对不同：

$\begin{aligned} \mathbf{m}_{t} &=\frac{\mathbf{x}_{t}-\beta_{t-1}(W)}{\beta_{t-1}(W)} \\ &=\left(\frac{x_{t}^{1}-\beta_{t-1}^{1}(W)}{\beta_{t-1}^{1}(W)}, \frac{x_{t}^{2}-\beta_{t-1}^{2}(W)}{\beta_{t-1}^{2}(W)}, \frac{x_{t}^{3}-\beta_{t-1}^{3}(W)}{\beta_{t-1}^{3}(W)}\right) \end{aligned}$

$\mathbf{m}_{t}$ 的定义，可以用来表述一个主机从它原先的位置偏离了多少。

最后，用 $\mathbf{m}_{t}$ 的模（magnitude）来表示 $s_{t}^{2}$ ：

$s_{t}^{2}=\left\|\mathbf{m}_{t}\right\|=\sqrt{\sum_{i=1}^{3}\left(\frac{x_{t}^{i}-\beta_{t-1}^{i}(W)}{\beta_{t-1}^{i}(W)}\right)^{2}}$

该分数可以来表示主机相对于其最近的历史情况，其位置改变了多少。

8.3 特征空间中运动方向的可能性

该分数的设计考虑了移动向量的方向，即 $\mathbf{m}_{t}$ 的三个坐标是如何协同变化的，不常规的方向应当被视作可疑行为。

用单位向量 (Unit vector) $\hat{\mathbf{m}}_{t}$ 来表示 $\mathbf{m}_{t}$ 的方向：

$\hat{\mathbf{m}}_{t}=\frac{\mathbf{m}_{t}}{\left\|\mathbf{m}_{t}\right\|}=\left(u_{t}, v_{t}, w_{t}\right)$

下图展示了1000台主机的 $\hat{\mathbf{m}}_{t}$ 单位向量：

我们注意到，其分布是不均匀的，一些区域的分布密度要远高于其它区域，这意味着朝着某些方向的运动要比其它方向更为常见。

为了更方便地理解其分布，我们使用球面坐标（spherical coordinates）：

$\rho=\sqrt{u_{t}^{2}+v_{t}^{2}+w_{t}^{2}}$
$\varphi=\arccos \left(\frac{w_{t}}{\sqrt{u_{t}^{2}+v_{t}^{2}+w_{t}^{2}}}\right)$
$\theta=\arctan \left(\frac{v_{t}}{u_{t}}\right)$

其中， $\rho\geq0$ 表示向量的长度（magnitude）， $0^{\circ} \leq \varphi \leq 180^{\circ}$ ， $-180^{\circ} \leq \theta \leq 180^{\circ}$ 。因此所有的单位向量都有 $\rho=1$ ，只剩下了两个变量。

下图展示了在特定的 $(\varphi,\theta)$ 下，内部主机数量的直方图：

显然，大多数内部主机仅沿可能方向的一小部分移动。因此，朝着不太常见方向的运动代表着可疑行为。特别是，我们可以观察到两个具有相当高密度的空间区域。

为了更好地理解上述直方图，我们将其表示为2D投影图：

接下来定义分数 $s_{t}^{3}$ ：

$s_{t}^{3}=1-\operatorname{Pr}\left(\hat{\mathbf{m}}_{t}\right)$

其中 $\operatorname{Pr}\left(\hat{\mathbf{m}}_{t}\right)$ 表示特征空间中特定方向的可能。 $1-\operatorname{Pr}\left(\hat{\mathbf{m}}_{t}\right)$ 为其对立事件，称之为在特征空间中向某个方向移动的不可能性（unlikelihood）。因此该分数越高，主机的移动方向就越可疑。

8.4 计算最终分数

最终分数 $S_{t}$ 是三个分数的线性组合：

$S_{t}=\sum_{j=1}^{3}\left(\delta_{t}^{j} \cdot s_{t}^{j}\right)$

其中$\delta_{t}^{j} $是和对应分数相关的归一化权重。因为三个分数有不一样的界限、规模和分布，因此我们使用QWM定义$ \delta_{t}^{j} $来将它们归一化：

$\delta_{t}^{j}=\frac{\sum_{k, k \neq j} Q W M\left(s_{t}^{k}\right)}{\sum_{k} Q W M\left(s_{t}^{k}\right)}, k \in\{1,2,3\}$

我们框架的最终输出是一个内部主机列表，该列表关于最终分数 $S_{t}$ 按降序排列。

9 实验评估

评估环境为一个具有10K台主机的网络，将本文的框架在其中运行了五个月。

评估的目的主要是下面三个方面：

时间和存储空间方面的性能消耗
检测能力
对于不同类型主机、不同大小文件泄露的敏感度

9.1 实验测试平台和框架性能

回顾之前在chapter 6中谈到的检测框架的五个步骤：流量收集和存储、特征提取、特征归一化、可疑分数计算和排名。每个步骤分别如下实现：

流量收集和存储由nprobe实现，它可以用来在大型网络环境中收集流量记录（flow records）。
特征提取、特征归一化用Go语言实现
可疑分数计算、排名用Python实现

每隔时间T=1天进行一次采样，也就是说每天生成一次排名。时间窗口大小W=14天。

所收集到的流量记录如下所示：

性能和内存需求：

9.2 检测手工注入的数据窃取

首先随机选择某一天，并且主机在这一天的数据上传量和平均水平相当。然后我们执行两个实验来模拟数据窃取，数据窃取量分别为40GB和9GB。

知识点：bin in statistics；直方图中的类别

经过计算，关于分数 $s_{t}^{3}$ 中的直方图，我们选择的直方图块数的最优大小是： $\theta$ 十个bin， $\varphi$ 五个bin。

下面是对于两个数据窃取的检测结果：

9.3 敏感度分析和对比评估

若数据泄露主机140天以来的平均排名大于50，那么对于只能分析50台主机的系统来说，就难以检测到威胁。

接下来我们在不同类别的主机上，验证所提方法的有效性。

我们利用前面提到的“每台内部主机上传的字节数（per-day）”，其分布为重尾分布。实验室长为140天，每一天，我们从中选出七个具有不同上传量的主机，分别对应一个特定的分位数：0.01, 0.05, 0.25, 0.50, 0.75, 0.95, 0.99 （即将所有的主机按照数据上传量由少到多排列，r0.01表示第百分之一个主机，因此这些主机的正常数据上传量是依次递增的）。这使得我们可以评估不同的低、中、高上传者。然后，我们向这7台主机中分别注入信息窃取攻击，每天每台主机的信息窃取量包括以下八种：50 MB, 100 MB, 200 MB, 500 MB, 1 GB, 2 GB, 5 GB and 10 GB。

该实验允许我们对所有可能的信息窃取，进行全频段的分析，从low-and-slow到burst数据泄露。

普通的方法：仅仅按照数据上传量来给主机进行排名。接下来，我们分别使用我们的排名方法和普通的排名方法，对7种主机、八种数据大小全部计算了分数。对比图如下：

每一列代表不同的主机，每一行代表不同的数据大小。每个单元格表示我们的方法优于普通方法的比率。比如99.29%表示在140天中，有139天本文提出的方法要优于普通方法。（i.e.会把可疑主机放在更高的排名位置）

图中我们可以看出r0.75和r0.95因数据大小不同，结果也不同。但是r0.99偏爱常规的检测方法，这是因为r0.99平时上传的数据量比较大，因此常规方法比较容易将其放在排名较高的位置（而不管数据泄露的多少）；但是本文的方法将数据泄露量作为日常数据上传的增量时，就显得微不足道了，所以较难检测出数据泄露的存在。

因此可以得到本文方法的优点：

相较于普通方法，本文的方法在大多数情况下表现较好
它将原本不会被考虑的主机标注为了可疑，因为普通的方法经常会让大数据上传者占据主导地位。（废话？小数据上传者的检测还不容易吗？）

下面，分别为两种方法计算排名的中位数：

每个单元的数据：rx.xx表示140天中每一天对应的主机，该主机每天根据计算分数会有一个排名，每个单元的数表示这些排名的中位数。如42.50就表示在140天中，至少有一半的时间，其排名是高于42.5的。

根据不同的环境，分析威胁的能力也不同。假设第一种环境每天能分析50台主机，我们在途中用灰色表示出来；第二种环境每天能处理5台主机，我们在图中用加粗字体表示出来。比如53.50未被标位灰色，因为一共能处理50台主机，而有一半以上的情况该主机的排名是在50名开外的，在这些情况下、在第一种环境中查表查不到这台主机，因此我们认为这种情况是我们的方法没有有效处理的情况。

9.4 结果总结

相对于普通方法（common-ranking）的提升在于：

对于大部分主机，都可以快速（10K host、140millions flows，in 2 mins）识别low-and-slow数据窃取
对于中、小量的数据上传者来说，检测效果明显优于普通方法
不会像普通方法那样，让大数据量上传者始终占据排名前列
即便是中、小量的数据上传者，也可以被识别为最可疑的对象

对比Table 9和10的结果，可以看出common-ranking在数据窃取量低于500MB每天时，在大多数情况下都无法检测。

此外，根据Table 9，如果攻击者想绕过我们的检测系统，那么需要落在未被标位灰色的单元格内。这要求攻击者一方面要了解内部网络是数据传送情况，将数据窃取点选在r0.5-r0.95的主机之间，这不仅取决于单台主机，同时也取决于网络中其他主机的数据传送量；另一方面要控制每天的数据窃取大小。因此想要绕过我们的系统是非常困难的。

10 思考

10.1 存在的问题

仅仅三个特征未免过于简单
实验环境中的主机在评估期间一定会遭受APT攻击吗？人为加入攻击
没有时间复杂度分析
对于大量数据上传者主机上的数据泄露检测效果不佳

10.2 未来的研究方向

对于使用其它安全资产的关联系统，比如来组IDS的data flows和alerts，可以集成到我们的系统中。