安全软件巨头联合发布新框架，针对破坏机器学习的恶意软件攻击

微软与 MITRE、IBM、NVIDIA 和 Bosch 合做发布了一个新的开放框架，旨在帮助安全分析人员检测、响应和补救针对机器学习（ML）系统的对抗性攻击。

这个被称为“对抗性机器学习威胁矩阵”的项目试图组织恶意对手在破坏机器学习系统时使用不一样的技术。

恶意软件威胁 AI 应用程序的稳定性和安全性

正如人工智能和机器学习被部署在各类各样的新型应用程序中同样，威胁参与者不只能够滥用该技术来加强其恶意软件的能力，还能够利用该技术欺骗机器学习模型，从而致使系统作出错误决定，并威胁到 AI 应用程序的稳定性和安全性。

知名安全软件公司 ESET 的研究人员去年发现，一种基于电子邮件的恶意软件 Emotet 正在利用机器学习来提升其目标锁定能力。Emotet 曾支持过几回僵尸网络驱动的垃圾邮件攻击和勒索软件攻击。

本月早些时候，微软警告了一种新的 Android 勒索软件病毒，其中包括一种机器学习模型，该模型虽然还没有集成到恶意软件中，但能够用于将勒索信息图像放入移动设备的屏幕内而不会产生任何失真。

此外，研究人员还研究了所谓的模型反转攻击，即滥用模型访问权限来推断有关训练数据的信息。

多数企业没有合适的工具保护机器学习系统

根据微软引用的 Gartner 报告，到 2022 年，预计 30% 的人工智能网络攻击将利用训练数据中毒、模型盗窃或对抗性样原本攻击机器学习驱动的系统。

微软表示，尽管有这些使人信服的理由来确保机器学习系统的安全，但微软对 28 家企业的调查发现，大多数行业从业者还没有接受对抗性的机器学习。微软称，“这 28 家企业中有 25 家表示它们没有合适的工具来保护本身的机器学习系统。”

对抗性的机器学习威胁矩阵但愿经过一些列的漏洞和对手行为来解决数据武器化带来的威胁，微软和 MITRE 审查这些漏洞和行为对机器学习系统是有效的。

公司可使用对抗性的机器学习威胁矩阵来测试他们的人工智能模型的适应能力，经过模拟真实的攻击场景，使用一系列策略来得到对环境的初始访问权限，执行不安全的机器学习模型，污染训练数据，并经过模型窃取攻击来窃取敏感信息。

新框架被普遍应用，简化安全分析人员学习过程

微软说：“对抗性机器学习威胁矩阵的目的是将对机器学习系统的攻击定位在一个框架之中，安全分析人员能够将本身定位在这些新的和即未来临的威胁中。”

他们还提到，这个矩阵的结构相似于 ATT&CK 框架，由于它在安全分析人员社区中获得了普遍的采用。这样，安全分析人员没必要学习新的或不一样框架来了解机器学习系统面临的威胁。

这是保护人工智能免受数据中毒和模型规避攻击的一系列措施中的最新进展。值得注意的是，来自约翰霍普金斯大学的研究人员开发了一个名为 TrojAI 的框架，旨在阻止木马攻击，其中对模型进行了修改，以响应致使其推断出错误响应的输入触发器。