WAF学习记录

国内外相关领域的研究现状

　　WAF做为网络安全保障体系的一道防线，自生产起，其应用越来越普遍，国内外对其研究也愈来愈多。国外作WAF产品的厂商有飞塔、Imperva和梭子鱼等。国内作WAF产品的也很多，硬件WAF主要有深信服、绿盟、安恒、启明星辰等厂商作的产品，软件WAF和云WAF有安全狗、安全宝、云锁、360主机卫士、D盾等。但国内关于WAF的学术界研究论文并非不少，只有少数研究，好比特征匹配、自学习等。国外对WAF的研究论文相对较多，方法也比较丰富，好比研究WAF实体，使用自动分散多层缓冲系统，使用机器学习，量子神经网络分类器等。国内外对于WAF研究主要集中与对WAF配置规则的研究。

　　一些研究人员经过熟悉WAF的工做原理及其实现的的功能，运用自身专业知识设计了各类各样的WAF来防御Web安全。Takahashi等人提出Web服务面临着两个不一样的要求，一个是短期服务的延迟，另外一个是防止恶意访问。为了知足这两个要求，他们提出了了具备一致性技术的L3块缓存节点，实现及时性自助分散系统的WAF，能够知足高I/O密集型Web服务应用。他们认为短延时节点系统是具备短延时的Web应用防火墙的极好解决方案。Carmen Torrano-Gimenez 等人提出应用特征选择，以减小由n-gram提取出来的特征数量，从而提升WAF的有效性。从数据集中提取n-grams以后，应用入侵检测的通用特征来选择重要特征。使用四种不一样的分类器来检测特征选择先后的精度。可是因为他们缺乏可用的和适当的HTTP数据集来测试WAF，使用的使他们本身生成的HTTP数据集，致使实际应用环境当中效果未知。王宇等人首先对当前主要的Web攻击方式进行了分析，并对如何进行防护进行了探讨，对常见的Web编码方式进行了归纳，而且根据Web编码方式的特征提出了一些规避服务器端防御技术的另类攻击方法。在理论分析研究的基础上设计了一个实现网络安全防御的WAF的具体架构和基本应用。Feng Fangmei等人对现有的Web的主要安全威胁和相应的防护对策进行了全面分析以后，使用CFML和MySQL数据库实现了基于ColdFusion的Web应用防御墙CFShield。该WAF为各类应用层攻击提供特定的保护，可以有效阻止针对应用层的各种恶意攻击，好比SQL注入、XSS等，从而保护好基于ColdFusion的网络应用。可是他们使用的规则库并非很完整，有进一步扩展完善的空间。在实现上，CFShield 的配置功能不是很强大，只是实现了基本防御墙功能，可进一步细化。另外，CFShield 没法有效地防范未知的攻击，须要进一步优化防火墙的自学习能力。Abdelhamid Makiou 等人指出注入漏洞包括SQL注入，是影响Web应用程序的最广泛的安全威胁，为了减轻这些类型的攻击，Web应用防火墙应用安全规则来检查HTTP数据流并检测恶意HTTP事务。然而，攻击者能够经过使用复杂的SQL注入技术来绕过 WAF 的规则。他们介绍了一种新颖的方法剖析 HTTP 流量并检查复杂的 SQL 注入攻击。他们那的攻击模型是一种混合注射防止系统（HIPS），该系统使用机器学习分类器和基于减小的安全规则集的模式匹配检查引擎。设计的Web应用

 

The Analysis of Firewall Policy Through Machine Learning and Data Mining

基于机器学习和数据挖掘的防火墙策略分析：

解决问题：

防火墙是保证网络和信息安全的主要组件。为此，它们部署在全部商业、政府和军事网络以及其余大规模网络中。机构中的安全策略做为防火墙规则来实现。这些规则中的异常状况可能致使严重的安全漏洞。当网络规模较大且策略复杂时，手动交叉检查可能不足以检测异常。

解决方法：

提出了一种基于机器学习和高性能计算方法的防火墙规则库异常自动检测模型。

实现原理：

对防火墙日志进行分析，并将提取的特征输入到一组机器学习分类算法中，包括朴素贝叶斯、knn、决策表和超管道。F-measure结合了精确性和召回率，用于绩效评估。

Bench 测试集合

防火墙日志

研究中所使用的数据通过四个阶段的处理，即数据收集、整理、传输到数据库，最后准备好软件和硬件，直到能够分析为止。

结论：

能够说，机器学习方法在检测防火墙规则异常方面取得了很好的效果。防火墙中的规则在其中起做用并被用于决策的链接数量很大。所以，检查可能须要很长时间。经过减小流程模型要检查的规则数量，能够实现更有效和快速的更新管理，这将机器学习和本研究中推荐的高性能方法结合在一块儿

在本研究的应用阶段观察到的另外一个结果是使用数据库带来的优点：因为使用了数据库，能够逐步分析数据大小。所以，它能够容许检测训练数据的最大性能水平。

结果代表，knn算法在防火墙分析中取得了最好的性能。这多是因为knn本质上能够到达训练数据的外部点。

在全部算法中，当它们达到训练数据值时，达到最大学习性能，由1500000个数据元组组成，可是它们的性能水平在这一点以后开始降低。

在接下来的研究中，能够研究机器学习方法是否能够调整，以便它们可以在防火墙上实时操做因为处理大量数据须要高容量硬件，所以研究人员可能会遇到硬件质量方面的问题。

本文显示，能够经过使用机器学习方法自动分析大型日志文件来检测防火墙规则中的异常，从而避免安全漏洞，节省大量专家精力并及时进行干预。

The Analysis of Firewall Policy Through Machine Learning and Data Mining

基于机器学习和数据挖掘的防火墙策略分析：

解决问题：

防火墙是保证网络和信息安全的主要组件。为此，它们部署在全部商业、政府和军事网络以及其余大规模网络中。机构中的安全策略做为防火墙规则来实现。这些规则中的异常状况可能致使严重的安全漏洞。当网络规模较大且策略复杂时，手动交叉检查可能不足以检测异常。

解决方法：

提出了一种基于机器学习和高性能计算方法的防火墙规则库异常自动检测模型。

实现原理：

对防火墙日志进行分析，并将提取的特征输入到一组机器学习分类算法中，包括朴素贝叶斯、knn、决策表和超管道。F-measure结合了精确性和召回率，用于绩效评估。

Bench 测试集合

防火墙日志

研究中所使用的数据通过四个阶段的处理，即数据收集、整理、传输到数据库，最后准备好软件和硬件，直到能够分析为止。

结论：

能够说，机器学习方法在检测防火墙规则异常方面取得了很好的效果。防火墙中的规则在其中起做用并被用于决策的链接数量很大。所以，检查可能须要很长时间。经过减小流程模型要检查的规则数量，能够实现更有效和快速的更新管理，这将机器学习和本研究中推荐的高性能方法结合在一块儿

在本研究的应用阶段观察到的另外一个结果是使用数据库带来的优点：因为使用了数据库，能够逐步分析数据大小。所以，它能够容许检测训练数据的最大性能水平。

结果代表，knn算法在防火墙分析中取得了最好的性能。这多是因为knn本质上能够到达训练数据的外部点。

在全部算法中，当它们达到训练数据值时，达到最大学习性能，由1500000个数据元组组成，可是它们的性能水平在这一点以后开始降低。

在接下来的研究中，能够研究机器学习方法是否能够调整，以便它们可以在防火墙上实时操做因为处理大量数据须要高容量硬件，所以研究人员可能会遇到硬件质量方面的问题。

本文显示，能够经过使用机器学习方法自动分析大型日志文件来检测防火墙规则中的异常，从而避免安全漏洞，节省大量专家精力并及时进行干预。

 

Applying Feature Selection to Payload-Based Web Application Firewalls

 

将特征选择应用于基于有效负载的Web应用程序防火墙

 

问题：

 

Web应用程序防火墙（WAF）分析HTTP流量，以保护Web应用程序免受攻击。为了有效，WAF须要分析数据包的有效负载。用于入侵检测的技术之一是借助n-gram从有效载荷中提取特征。 n-gram是给定序列中n个项的子序列。 n-gram的数量是256到n次方。因为它随n呈指数增加，所以出现了维数效应和计算复杂性问题。在本文中，咱们建议应用特征选择，以减小n-gram提取的特征数量，从而提升WAF的有效性。咱们对本身的HTTP数据集进行实验。从该数据集中提取n-gram后，咱们将通用特征选择（GeFS）度量用于入侵检测[5]，以选择重要特征。咱们使用四个不一样的分类器来测试特征选择以前和以后的检测准确性。实验代表，咱们能够从原始数据集中删除超过95％的不相关和多余的特征（从而将性能平均提升80％以上），而仅下降清晰度（不到6％）。

 

结论：

 

在本文中，咱们提出了一种新的方法来提升WAF的有效性，尤为是那些使用基于n元语法的模型进行检测的WAF。咱们的建议是应用特征选择，以减小基于n-gram的模型的高维性。它大大增长了WAF的可用处理时间，并减小了所需的系统资源。在本文中，咱们将重点放在HTTP流量上：对生成的HTTP数据集CSIC 2010进行实验。咱们从数据集中提取了1-gram，而后分析了这些功能的统计特性。基于此分析，咱们选择了CFS度量进行特征选择。测试了经过四个不一样分类器得到的检测精度。实验代表，经过稍微下降（5.76％）的检测精度，咱们的方法能够大大提升WAF的性能：咱们的方法去除了95.7％的不相关和冗余特征（若是考虑256个特征，则去除了90.3％）的功能出如今HTTP数据集CSIC 2010中），这意味着WAF所需的平均处理时间减小了81.25％。所以，咱们的方法在须要牺牲WAF精度以大幅提升WAF性能的环境中很是有用。若是不是这种状况，咱们的方法仍然能够用做更精确的WAF前面的过滤器。

 

Improving Web Application Firewalls to Detect Advanced SQL Injection Attacks

 

问题：

 

包括SQL注入在内的注入漏洞是影响Web应用程序的最广泛的安全威胁。[1]为了缓解这些攻击，Web应用程序防火墙（WAF）应用安全规则以检查HTTP数据流和检测恶意HTTP事务。 可是，攻击者可使用复杂的SQL注入技术来绕过WAF的规则。

 

解决方法：

 

在本文中，咱们介绍了一种新颖的方法来剖析HTTP流量并检查复杂的SQL注入攻击。该系统同时使用机器学习分类器和基于减小的安全规则集的模式匹配检查引擎。 咱们的Web应用程序防火墙体系结构旨在经过使用预测模块来优化检测性能，该预测模块将从检查过程当中排除合法请求。

 

原理：

 

结构化查询语言（SQL）注入是影响数据库管理系统（DBMS）的最具破坏力的漏洞之一，由于它可能致使暴露存储在应用程序数据库中的全部敏感信息[2]。为了应对SQL注入攻击，已使用了各类方法和技术。一方面，Web应用程序开发人员采用了安全编码并应用了输入验证功能。他们开发了过滤器来保护应用程序的条目免于SQL代码注入。这些过滤器阻止包含SQL关键字或恶意SQL代码注入中经常使用的特殊字符的输入。另外一方面，Web应用程序防火墙经过检查HTTP流量并应用一组安全规则来保护应用程序的数据库。用于表达安全规则的语言能够显式描述SQL注入攻击的签名，也能够隐式描述检测这些攻击的方式。它还能够表示异常分数值，每当HTTP请求中出现恶意模式时，异常分数值就会增长。若是异常值达到预约义的阈值，则该请求将被拒绝。尽管上述方法很健壮，但攻击者仍能够经过替换恶意的模式字符或更改其格式来绕过它们。可是，一种基本的解决方案是为每种规避技术编写特定的规则，但这须要对HTTP协议和正则表达式编程都很是熟练。此外，安全规则用来检查复杂模式的模式匹配算法减小了检测引擎的总体性能。因为模式匹配算法须要大量资源，所以某些WAF [7] [9]被配置为仅检查POST请求。在本文中，咱们提出了一种混合方法来检测SQL注入攻击及其规避技术。咱们的建议既加强了HTTP流的检查过程，又加强了安全规则管理。

 

结论：

 

在本文中，咱们专一于检测复杂的SQL注入问题。 咱们提出了一种剖析HTTP请求的新颖方法，以涵盖大多数规避技术并改善安全规则管理过程。 咱们还提供了一个包含机器学习分类器的注入预防系统架构。 基于TCR结果，咱们经过调整分类器的值以减小假阴性显示了分类器的有效性。 咱们还可以证实误报不会影响系统的总体性能。将来工做的关键要素是采用相同的方法来开发反XSS和SQL攻击解决方案。

 

 

 

Critical Analysis on Web Application Firewall Solutions

 

Web应用程序防火墙解决方案的批判性分析

 

问题：

 

现在，Web应用程序安全性已变得愈来愈重要。 Web应用程序层上部署了大量攻击。因为Web应用程序的急剧增长，安全性容易受到各类威胁的攻击。这些攻击大多数都针对Web应用程序层，仅网络防火墙没法阻止此类攻击。这些攻击成功的根本缘由是应用程序开发人员在编写Web应用程序时无知，以及现有技术中的漏洞。 Web应用程序攻击是最新趋势，黑客正尝试使用不一样的技术来利用Web应用程序。各类解决方案均可以做为开源和商业市场使用。可是，为组织系统的安全性选择合适的解决方案是一个主要问题。

 

安全编码是最重要的技术之一，由于开发人员必须知道Web应用程序中存在不一样的安全漏洞以及如何防止它们。 大多数安全问题都是在程序逻辑中出现问题时发生的。 为了不这些问题，开发人员必须注意安全问题。 不幸的是，Web应用程序层没有可确保安全性的协议和标准。 所以，这彻底取决于开发人员，不幸的是，开发人员没有受过足够的培训，以致于他们没法理解安全风险。 所以，它们在Web应用程序中留下了漏洞，黑客能够轻松利用它。

 

Web应用程序的第二大问题是使用第三方工具（如不一样的Web服务器）托管Web应用程序。 有时会出现配置错误，例如 使用Web服务器的默认设置或两台服务器之间的配置问题会使黑客进入系统并对其进行入侵。 例如，因为IIS服务器的配置问题，特别发生了HTTP请求走私攻击。 所以，使用第三方工具也会致使咱们遭受Web应用程序攻击。

 

解决方法：

 

本调查报告将Web应用程序防火墙（WAF）解决方案与应用程序层的安全性所必需的重要功能进行了比较。对WAF解决方案的关键分析有助于用户选择适合其环境的最合适的解决方案。

 

Web应用程序防火墙在Web应用程序层上工做，它深刻检查HTTP数据包和HTTP数据包的各个部分，并查找Web应用程序攻击。 它使用不一样的技术来寻找恶意字符串和配置错误问题，例如 白名单，黑名单，灰名单等

 

现状：

 

“ Web应用程序仍然是犯罪分子的主要攻击媒介，并且趋势没有减弱的迹象；攻击者愈来愈多地回避针对跨站点脚本，SQL注入和许多其余针对应用程序层的渗透技术的网络攻击。” Web应用程序漏洞可归因于许多因素，包括输入验证不正确，会话管理不安全，配置不正确的系统设置以及操做系统和Web服务器软件中的漏洞。

 

结论：

 

网络攻击的性质已经从“通常病毒和蠕虫的“喷雾和祈祷”方法”转变为针对特定组织，应用程序和敏感数据的高度复杂的有针对性的攻击。 具备经济动机的攻击者如今有了一个软目标。 如今，他们再也不浪费精力进行非特定的网络入侵尝试，而是将目标锁定为可经过Web应用程序访问的敏感数据，而传统的网络安全方法没法阻止它们。

 

可用的安全解决方案因为其对网络层的关注以及其核心技术设计的限制而无效。 组织必须部署另外一层防护，称为Web应用程序防火墙。 开源和商业市场上可用的各类解决方案为选择适合组织系统安全性的解决方案形成了问题。 本调查论文将WAF解决方案与应用程序层安全性所必需的重要功能进行了比较。 对WAF解决方案进行严格的分析有助于用户选择适合其环境的最合适的解决方案。