AI TIME欢迎每一位AI爱好者的加入！web
对抗样本的存在代表现代神经网络是至关脆弱的。算法
为解决这一问题，研究者相继提出了许多方法，其中使用对抗样本进行训练被认为是至今最有效的方法之一。微信
然而，通过对抗训练后神经网络对于正常样本的性能每每会降低，这一问题引发了学术界的普遍关注，这种准确度与鲁棒性之间互相妥协的本质缘由仍未被找出。网络
在这一工做中，讲者及其团队从正则化的角度来研究神经网络的对抗鲁棒性。嘉宾团队指出，通过对抗训练以后的网络在特征空间的绝大多数方向上将被平滑，致使样本集中于决策边界附近；换言之，通过对抗训练的网络输出每每是相对低置信度的，这种网络对于正常样本的性能每每也是更差的。框架
研究代表，咱们应该以更温和的手段来构建对抗鲁棒性，避免过分正则化。dom
1、对抗样本与对抗鲁棒性svg
在温宇馨同窗提到的这个案例中，第一张熊猫的图片在神经网络中以57.7%的置信度识别为熊猫；但把第二张熊猫图片再次输入同一个神经网络中，竟然以99.3%的置信度识别为长臂猿。在人眼中明明是相同的图片，为何会在神经网络中获得相差如此之大的结果呢？这就引出了对抗样本的概念。函数
事实上第二张一幅通过人工精心设计的图片，也被称为对抗样本。这幅图片上叠加了一层噪声，而神经网络提取特征的方式能够简单的理解为对像素的计算。所以人工合成的图像在神经网络看来是两幅彻底不一样的图片。对抗样本有两个特性：（1）误导性；（2）不可感知性。这两个特性分别表示对神经网络的误导性，以及对人眼的隐蔽性。
性能
对抗样本在现实生活中会致使一些意想不到的隐患，就好比：
这两个案例分别表明了对抗样本可能对自动驾驶行业和人脸识别行业形成的威胁：没法识别被贴上特制标识的交通标志，或者在特制的眼镜干扰下没法识别面部。
面对这种威胁，最好的办法就是生成对抗样本，以提升网络的对抗鲁棒性。下述生成对抗样本的方式被称为白盒攻击，即已知网络及其参数，经过设计的一个损失函数，得到对抗噪声，以后将其叠加到原图像当中，得到对抗样本。为了使得模型具备鲁棒性，一个最直接的方式就是将对抗样本用数据增集的方式加到原函数当中进行对抗训练。除此以外，还可以经过对输入图像进行预处理以消除对抗样本的影响、调节网络参数使其偏向某类特定解使输出平滑，或者改变网络结构以得到避免噪声的能力。
在如下的内容中，模型得到的对抗鲁棒性均经过对抗训练得到。
2、神经网络的准确度与对抗鲁棒性
在对抗样本被提出的时候，研究人员每每认为对抗样本不只能够增长模型的对抗鲁棒性，也增长模型的泛化性。但近期的研究代表这种想法彷佛不太现实。
在上图中，蓝色的线表明对抗样本在模型中的性能，而红色的线则表明正常样本在模型中的性能。能够看到随着对抗训练中对抗样本强度的增长，对抗样本的偏差在降低，而正常样本的偏差在上升，能够得出得到对抗鲁棒性每每是以模型在正常样本上的性能退化为代价的。
下面探究对抗鲁棒性对模型泛化性的影响。
对于不一样对抗鲁棒性的模型在一样的正常样本上的性能，分别考量其错误率和损失，其结果表如今上面的两幅图中，左边的是错误率，右边的是损失。
随着对抗鲁棒性的增长，左图中天然的训练样本和天然的测试样本的错误率在增长，其error gap也在增长，即模型的性能变差了。
而在右图中，训练样本的损失随着对抗鲁棒性的加强而增长，测试样本的损失却在减小，它们之间的loss gap也在缩小，即代表模型的泛化性变好了。
在正常样本上为何会出现看上去矛盾的现象呢？这不由让人疑问：模型在得到鲁棒性的过程当中发生了怎样的改变？而这些改变又对模型决策产生了怎样的影响？为何对抗鲁棒性做为一种有效的正则化手段会致使模型拥有较差的性能？这就引出了本次分享的第三个主题，对抗鲁棒性与正则化的理论分析。
3、对抗鲁棒性与正则化的理论分析
分享者在这一部分中的主要工做是在给定鲁棒性的状况下，模型的泛化性会产生怎样的改变，而且探究这种变化产生的缘由。
首先，根据鲁棒性框架，做者推导出了一个泛化界，在这个界中margin, adversarial robustness radius和singular value of weight matrices 创建起了关系，下面的公式显示的是推导事后泛化偏差界的上界：
其中νmin表示样本到决策边界是最短的点的距离，在对抗鲁棒性的前提下，其须要大于对抗性的鲁棒性所定义的半径；
σ^imin神经网络权重矩阵的最小奇异值，可简单理解为从输入空间到特征空间的放大或缩小；
表示最后一层的权重矩阵；
umin表示特征空间上某个点距离其最近的决策边界的最小距离；
公式中的其他项在理解泛化界中不构成障碍，能够暂时不去考虑。
为了更形象的去理解上述公式，能够看上面的圆形与方形种类的分类。当不要求对抗鲁棒性的时候，红色的虚线能够做为决策边界。可是当要求了对抗鲁棒性以后，其表现出了正则化效果就是使得本来可行的红色决策边界再也不可行，本来的决策边界如今变为了黑色的实线。值得一提的是，边界距离margin则表现为样本（黑色的圆形或者方形）到距离其最近决策边界（黑色实线）的距离。
上图是神经网络中某一层的特征投影的状况。以ReLu为激活函数的神经网络将空间分割成为若干部分，每一个区域对于x而言都是分段线性的，即从x到x’是一个分段线性变换的过程。这张图说明，咱们能够将输入空间上的边界距与特征空间上的边界距联系在一块儿。
4、对抗鲁棒性与正则化的经验分析
上一节中，margin, adversarial robustness radius和singular value of weight matrices 创建起了关系。在本节当中，做者将会分享根据上面的理论指导在模型中观察到的现象。
咱们经验性地发现：
对于具备更高对抗鲁棒性的神经网络，其权重矩阵的奇异值会有更低的方差
这种奇异值方差的减小会致使样本在决策边界附近汇集
样本在决策边界汇集平滑了因为样本空间上扰动带来的在特征空间上的突变，可是同时也增长了低置信度的误分类
这是CIFAR10数据集在ResNet-56上训练后的结果，横向坐标表明着层深，纵向坐标表明着该层传输矩阵展开成线性变换以后对应的奇异值的方差值的大小。其中legend表明着对抗鲁棒性的强度，纵向对比来看，绿色点表明对抗鲁棒性更强的模型权重矩阵奇异值方差在绝大多数层下要比同层的对抗鲁棒性较弱的红色点的方差值小。这致使了通过激活函数后的输出的范数的方差减小，换句话说就是输入空间的扰动传递到特征空间的扰动变小。
而激活层输出的范数的方差减小表示的是神经网络中每一层的输出都更加的集中。上图是测试集的结果，横坐标表示margin的大小，纵坐标表示归一化以后的几率。能够看到，测试集的margin分布结果代表，随着对抗鲁棒性的增长，样本更加的集中于决策边界的附近。这会致使前面的两个结论：（1）对抗鲁棒性的加强，会致使正常样本的准确度降低；（2）测试样本的损失在减小，测试样本和训练样本之间的loss gap也在缩小。
上图表示的是模型在训练集上的表现，一样表现出，随着对抗鲁棒性的加强，其分类置信度也在降低。可是相比于测试集，训练集的结果并不存在大规模的误判行为，即模型能够overfit到对应的训练集中。这种对于分类正确以及分类错误的样本置信度均下降的行为，映射到surrogate loss上，好比cross entropy loss上，一方面是对于分类正确的样本loss更大了，另外一方面是对于分类错误的样本loss更小了。而在这里，overfitting致使本来就不存在大量分错的样本，所以对于训练集来讲，loss变高的效果会比下降的效果更明显，而测试集则恰好相反。所以，对比测试集结果，能够看到训练集的loss要比测试集的loss增加快，这也是致使loss gap变小的缘由。
上述的状况是在模型容纳性较大的状况下的结果，那么若是模型的容纳性不足又会怎样？分享者展现了经过限制模型的谱范数进而限制模型的容纳性，模型容纳性以Uncontrolled为最大，以1为最小。随着模型容纳性下降，Error Gap从上升转而降低，Loss Gap则一直保持着降低的态势，这说明当网络没有办法overfit到训练样本时，即training error开始变大时，模型的error gap以及loss gap开始趋向于表现出同样的性质。
从新回到这张图，根据上面的一系列分享，能够得出一个结论：样本集中于在决策边界上使得对抗扰动形成的突变被平滑了，可是同时也增长了低置信度的预测，甚至是误判。
这项工做的意义在于：对抗鲁棒性使得样本集中于决策边界附近，这代表为了下降对抗扰动的影响，模型牺牲了其区分类间差别的能力；换言之，对抗训练确实是一种有效的正则化手段，但它是经过不恰当地缩减神经网络假设空间来实现的。那么如何去消除这种不恰当的缩减就是接下来的研究方向。
嘉宾问答：
对抗防护, 用拓扑学分析，有什么比较好的一些研究思路呢?
从逻辑上面，对抗噪声实际上是经过模型的一层层权重矩阵放大而致使在特征空间的扰动的，在这种状况下，能够考虑追踪对抗噪声被放大神经元，其实这些神经元本质上特征空间里面的一些region，而后这些region会组成一个特征空间，这个特征空间的变换可能会跟你提到的拓扑学有关系，好比说咱们要求其具备某些特定的拓扑性质等等。
不少人说正则化就是适应噪声的一种防护方法，如何理解？
正则化个人理解更可能是一种先验，就是你要求模型具备怎样的性质，这种性质刚好能够防护对抗样本，好比说要求Lipchitz properties等等，可是其实Lipchitz properties也是一个很松的约束。
李普希茨约束好像决定了神经网络的收敛界限？或者说是跟学习的泛化性能界限有关，我也是最近看到ECCV-20那篇关于Gradient Centralization的文章提到这个概念。
若是你指的是generalization gap的话那Lipchitz properties对它确实会有影响，不过我说的更多的是它对adversarial robustness的影响，好比说Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks那篇论文。
从修改神经网络结构自己来抵御对抗样本是怎么样的呢?
好比说Hinton他们提出的capsule networks，他们claim的其中一个优点就是能够避免对抗样本，由于这种模型一些特有的机制。
整理：闫昊
审稿：温宇馨
排版：田雨晴
本周直播预告：
AI Time是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，增强思想碰撞，打造一个知识分享的汇集地。
更多资讯请扫码关注
（点击“阅读原文”下载本次报告ppt）
（直播回放：https://b23.tv/VaEnjh）
本文分享自微信公众号 - AI TIME 论道（lundaoAI）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。