KDD 2018 | 最佳论文：首个面向Facebook、arXiv网络图类的对抗攻击研究

8 月 19 日至 23 日，数据挖掘顶会 KDD 2018 在英国伦敦举行，昨日大会公布了最佳论文等奖项。最佳论文来自慕尼黑工业大学的研究者，他们提出了针对图深度学习模型的对抗攻击方法，是首个在属性图上的对抗攻击研究。研究者还提出了一种利用增量计算的高效算法 Nettack。此外，实验证实该攻击方法是能够迁移的。

图数据是不少高影响力应用的核心，好比社交和评级网络分析（Facebook、Amazon）、基因相互做用网络（BioGRID），以及互连文档集合（PubMed、Arxiv）。基于图数据的一个最常应用任务是节点分类：给出一个大的（属性）图和一些节点的类别标签，来预测其他节点的类别标签。例如，你可能想对生物相互做用图（biological interaction graph）中的蛋白质进行分类、预测电子商务网络中用户的类型 [13]，或者把引文网络中的科研论文按主题分类 [20]。

尽管过去已经出现不少解决节点分类问题的经典方法 [8, 22]，可是近年来人们对基于图的深度学习方法产生了极大兴趣 [5, 7, 26]。具体来讲，图卷积网络 [20, 29] 方法在不少图学习任务（包括节点分类）上达到了优秀性能。

这些方法的能力超出了其非线性、层级本质，依赖于利用图关系信息来执行分类任务：它们不只仅独立地考虑实例（节点及其特征），还利用实例之间的关系（边缘）。换言之，实例不是被分别处理的，这些方法处理的是某种形式的非独立同分布（i.i.d.）数据，在处理过程当中利用所谓的网络效应（如同质性（homophily）[22]）来支持分类。

可是，这些方法存在一个大问题：人们都知道用于分类学习任务的深度学习架构很容易被欺骗／攻击 [15, 31]。即便是添加轻微扰动因素的实例（即对抗扰动／样本）也可能致使结果不直观、不可信，也给想要利用这些缺陷的攻击者开了方便之门。目前基于图的深度学习方法的对抗扰动问题并未获得解决。这很是重要，尤为是对于使用基于图的学习的领域（如 web），对抗很是常见，虚假数据很容易侵入：好比垃圾邮件制造者向社交网络添加错误的信息；犯罪分子频繁操控在线评论和产品网站 [19]。

该论文试图解决这一问题，做者研究了此类操控是否可能。用于属性图的深度学习模型真的很容易被欺骗吗？其结果可信程度如何？

答案难以预料：一方面，关系效应（relational effect）可能改善鲁棒性，由于预测并未基于单独的实例，而是联合地基于不一样的实例。另外一方面，信息传播可能带来级联效应（cascading effect），即操纵一个实例会影响到其余实例。与现有的对抗攻击研究相比，本论文在不少方面都大不相同。

图 1：对图结构和节点特征的极小扰动致使目标误分类。

该论文提出一个对属性图进行对抗扰动的原则，旨在欺骗当前最优的图深度学习模型。具体来讲，该研究主要针对基于图卷积网络（如 GCN [20] 和 Column Network（CLN）[29]）的半监督分类模型，但提出的方法也有可能适用于无监督模型 DeepWalk [28]。研究者默认假设攻击者具有所有数据的知识，但只能操纵其中的一部分。该假设确保最糟糕状况下的可靠脆弱性分析。可是，即便仅了解部分数据，实验证实本研究中的攻击仍然有效。该论文的贡献以下：

• 模型：该研究针对节点分类提出一个基于属性图的对抗攻击模型，引入了新的攻击类型，可明确区分攻击者和目标节点。这些攻击能够操纵图结构和节点特征，同时经过保持重要的数据特征（如度分布、特征共现）来确保改变不被发现。
• 算法：该研究开发了一种高效算法 Nettack，基于线性化思路计算这些攻击。该方法实现了增量计算，并利用图的稀疏性进行快速执行。
• 实验：实验证实该研究提出的模型仅对图进行稍微改动，便可恶化目标节点的分类结果。研究者进一步证实这些结果可迁移至其余模型、不一样数据集，甚至在仅能够观察到部分数据时仍然有效。总体而言，这强调了应对图数据攻击的必要性。

论文：Adversarial Attacks on Neural Networks for Graph Data

论文连接：https://arxiv.org/pdf/1805.07984.pdf

摘要：应用到图的深度学习模型已经在节点分类任务上实现了强大的性能。尽管此类模型数量激增，但目前仍未有研究涉及它们在对抗攻击下的鲁棒性。而在它们可能被应用的领域（例如网页），对抗攻击是很常见的。图深度学习模型会轻易地被欺骗吗？在这篇论文中，咱们介绍了首个在属性图上的对抗攻击研究，具体而言，咱们聚焦于图卷积模型。除了测试时的攻击之外，咱们还解决了更具挑战性的投毒/诱发型（poisoning/causative）攻击，其中咱们聚焦于机器学习模型的训练阶段。

咱们生成了针对节点特征和图结构的对抗扰动，所以考虑了实例之间的依赖关系。此外，咱们经过保留重要的数据特征来确保扰动不易被察觉。为了应对潜在的离散领域，咱们提出了一种利用增量计算的高效算法 Nettack。咱们的实验研究代表即便仅添加了不多的扰动，节点分类的准确率也会显著降低。另外，咱们的攻击方法是可迁移的：学习到的攻击能够泛化到其它当前最佳的节点分类模型和无监督方法上，而且相似地，即便仅给定了关于图的有限知识，该方法也能成功实现攻击。

图 2：随着扰动数量的增加，平均代理损失（surrogate loss）的变化曲线。由咱们模型的不一样变体在 Cora 数据集上获得，数值越大越好。

图 3 展现了在有或没有咱们的约束下，获得的图的检验统计量 Λ。如图可知，咱们强加的约束会对攻击产生影响；假如没有强加约束，损坏的图的幂律分布将变得和原始图更加不类似。相似地，表 2 展现了特征扰动的结果。

图 3（左）：检验统计量 Λ 的变化（度分布）。图 4（右）梯度 vs. 实际损失。

表 2：Cora 上每一个类别中的特征扰动 top-10。

图 6a 评估了两个攻击类型的 Nettack 性能：逃逸攻击（evasion attack），基于原始图的模型参数（这里用的是 GCN [20]）保持不变；投毒攻击（poisoning attack），模型在攻击以后进行从新训练（平均 10 次运行）。

图 6b 和 6c 显示，Nettack 产生的性能恶化效果可迁移至不一样（半监督）图卷积方法：GCN [20] and CLN [29]。最明显的是，即便是无监督模型 DeepWalk [28] 也受到咱们的扰动的极大影响（图 6d）。

图 6：使用不一样攻击算法在 Cora 数据上的结果。Clean 表示原始数据。分值越低表示结果越好。

图 7 分析了攻击仅具有有限知识时的结果：给出目标节点 v_0，咱们仅为模型提供相比 Cora 图其尺寸更大的图的子图。

图 7：具有有限数据知识的攻击。

表 3 总结了该方法在不一样数据集和分类模型上的结果。这里，咱们报告了被正确分类的部分目标节点。咱们对代理模型（surrogate model）的对抗扰动可在咱们评估的这些数据集上迁移至这三种模型。绝不奇怪，influencer 攻击比直接攻击致使的性能降低更加明显。

表 3：结果一览。数值越小表示结果越好。