卷积在图像处理中的应用（转自https://medium.com/@irhumshafkat/intuitively-understanding-convolutions-for-deep-learn

直观理解深度学习的卷积

探索使他们工做的强大视觉层次

 

近年来强大且多功能的深度学习框架的出现使得能够将卷积层应用到深度学习模型中，这是一项很是简单的任务，一般能够在一行代码中实现。

然而，理解卷积，特别是第一次理解卷积经常会让人感到有些不安，诸如内核，滤波器，通道等都是相互堆叠在一块儿的。然而，卷积做为一个概念是很是强大和高度可扩展的，在这篇文章中，咱们将逐步分解卷积操做的机制，将它与标准的彻底链接的网络相关联，并探索它们是如何创建强大的视觉层次结构，使其成为图像的强大特征提取器。

2D卷积：操做

二维卷积是一个至关简单的操做：从一个核心开始，它只是一个小的权重矩阵。该内核在2D输入数据上“滑动”，对当前输入的部分进行元素乘法运算，而后将结果汇总为单个输出像素。

 

标准卷积[1]

内核为它滑过的每一个位置重复此过程，将特征的二维矩阵转换为另外一个二维特征矩阵。输出特征实质上是位于输入层上的输出像素的相同位置上的输入特征的加权和（其权重是内核自己的值）。

不管输入特征是否落入这个“大体相同的位置”，直接取决于它是否在产生输出的内核区域。这意味着内核的大小直接决定了在生成新的输出特性时多少个（或几个）输入特征相结合。

这与彻底链接的层彻底相反。在上面的例子中，咱们有5×5 = 25个输入特征，3×3 = 9个输出特征。若是这是一个标准的彻底链接图层，那么您将拥有25×9 = 225个参数的权重矩阵，每一个输出特征是每一个输入特征的加权和。卷积容许咱们仅使用9个参数进行这种转换，每一个输出特性不是“查看”每一个输入特征，而是只是“查看”来自大体相同位置的输入特征。请注意这一点，由于这对咱们后面的讨论相当重要。

一些经常使用的技术

在咱们继续以前，绝对值得研究两种卷积层中常见的技术：Padding和Strides。

• 填充：若是您看到上面的动画，请注意，在滑动过程当中，边缘基本上会“裁剪掉”，将5×5特征矩阵转换为3×3特征矩阵。边缘上的像素永远不在内核的中心，由于内核没有任何东西能够扩展到边缘以外。这并不理想，由于咱们常常但愿输出的大小等于输入。

 

相同的填充[1]

填充作一些很是聪明的事来解决这个问题：用额外的“假”像素（一般值为0，所以常用的术语“零填充”）填充边缘。这样，滑动时的内核能够容许原始边缘像素位于其中心，同时延伸到边缘以外的假像素，从而产生与输入相同大小的输出。

• Striding：常常运行卷积图层时，您须要比输入尺寸更小的输出。这在卷积神经网络中是常见的，其中在增长通道数量时空间尺寸的大小减少。实现这一点的一种方法是使用池化层（例如，取每2×2网格的平均值/最大值将每一个空间维度减半）。还有一种方法是使用步伐：

 

步幅2卷积[1]

迈进的想法是跳过内核的一些幻灯片位置。步骤1意味着选择一个像素，所以基本上每一个幻灯片都是标准卷积。步幅2意味着选择幻灯片2像素，跳过过程当中的每一张幻灯片，缩小大约2倍，步幅3表明跳过每2张幻灯片，大体缩小3倍，等等。

更为现代化的网络，例如ResNet架构彻底放弃了在其内部层中聚集层，在须要减小输出尺寸时采用逐步卷积。

多通道版本

固然，上面的图表仅涉及图像具备单个输入通道的状况。实际上，大多数输入图像都有3个通道，这个数字只会增长你进入网络的深度。通常来讲，思考渠道很是容易，由于它是对整个形象的“见解”，强调某些方面而不强调其余方面。

 

大多数状况下，咱们用三个通道处理RGB图像。（信贷： Andre Mouton ）

 

过滤器：内核的集合

因此这就是术语之间的一个关键区别派上用场的地方：而在1通道的状况下，滤波器和内核这两个术语能够互换，在通常状况下，它们实际上很不相同。每一个过滤器实际上刚好是一个内核的集合， 与存在是为每个输入信道到第1级的内核，而且每一个内核是惟一的。

卷积图层中的每一个滤镜都会产生一个且只有一个输出通道，而且它们是这样作的：

过滤器的每一个内核在各自的输入通道上“滑动”，产生每一个处理版本。一些内核可能比其余内核具备更强的权重，以便比某些内核更强调某些输入通道（例如，过滤器可能具备比其余内核通道权重更大的红色内核通道，所以，对红色通道功能的差别的反应比其余）。

 

而后将每一个通道处理的版本汇总在一块儿造成一个通道。过滤器的内核每一个产生一个版本的每一个通道，而且整个过滤器产生一个总体输出通道。

 

最后，这里有一个偏向的术语。这里偏置项的工做方式是每一个输出滤波器都有一个偏置项。到目前为止，偏置被添加到输出通道以产生最终输出通道。

 

在单个滤波器的状况下，任何数量的滤波器的状况都是相同的：每一个滤波器使用其本身的不一样的内核集合和具备上述过程的标量误差来处理输入，从而产生单个输出通道。而后将它们链接在一块儿以产生整体输出，其中输出通道的数量是过滤器的数量。而后一般应用非线性，而后将其做为输入传递给另外一个卷积层，而后重复此过程。

2D卷积：直觉

卷积仍然是线性变换

即便使用卷积层的机制，仍然很难将其与标准的前馈网络联系起来，但它仍不能解释为何卷积缩放到，而且对图像数据的工做更好。

假设咱们有一个4×4的输入，而且咱们想把它转换成一个2×2的网格。若是咱们使用的是前馈网络，咱们会将4×4输入重塑为一个长度为16的矢量，并将其经过一个具备16个输入和4个输出的密集链接层。能够将一个图层的权重矩阵W可视化：

 

总而言之，大约有64个参数

尽管卷积核函数起初看起来有点奇怪，但它仍然是一个具备等价变换矩阵的线性变换。若是咱们在整形的4×4输入上使用大小为3 的内核K来得到2×2的输出，那么等价变换矩阵多是：

 

这里只有9个参数。

（注意：虽然上面的矩阵是一个等价的变换矩阵，但实际操做一般是做为一个很是不一样的矩阵乘法实现的）[2]）

总体而言，卷积仍然是一种线性变换，但同时它也是一种大相径庭的变换。对于一个有64个元素的矩阵，只有9个参数能够重复使用几回。每一个输出节点只能看到必定数量的输入（内核中的输入）。与任何其余输入都没有交互，由于它们的权重设置为0。

将卷积运算看做权重矩阵的硬先验颇有用。在此状况下，我以前的意思是预约义的网络参数。例如，当您使用预训练模型进行图像分类时，可使用预训练的网络参数做为您的最终密集链接图层的特征提取器。

从这个意义上说，为何二者都如此高效（与他们的选择相比）之间存在直接的直觉。与随机初始化相比，传输学习效率高达数量级，由于您只须要优化最终彻底链接层的参数，这意味着您能够得到梦幻般的性能，每一个类只有几十个图像。

在这里，您不须要优化全部64个参数，由于咱们将其中的大部分参数设置为零（而且它们将保持这种方式），其他的咱们转换为共享参数，从而仅优化9个实际参数。这个效率很重要，由于当你从MNIST的784个输入移动到真实世界的224×224×3图像时，这就超过了150,000个输入。试图将输入减半到75,000个输入的密集层仍然须要超过100 亿个参数。为了比较，ResNet-50 的整个参数大约有2500万个。

所以，将一些参数固定为0，并绑定参数会提升效率，但与传输学习案例不一样的是，咱们知道先验是好的，由于它适用于大量通用图像，咱们怎么知道这有什么好处呢？

答案在于先验的特征组合致使参数学习。

局部性

在本文早期，咱们讨论了这一点：

• 内核仅未来自小局部区域的像素组合为输出。也就是说，输出功能只能“看到”来自小局部区域的输入功能。
• 内核在整个图像中被全局应用以产生输出矩阵。

所以，从网络的分类节点一路回传，内核具备学习权重的有趣任务，以仅从一组本地输入中产生特征。此外，因为内核自己应用于整个映像，内核学习的功能必须足够广泛以来自映像的任何部分。

若是这是其余类型的数据，例如。应用程序的分类数据安装，这将一直是个灾难，只是由于你的号码应用安装和应用型列彼此相邻，并不意味着他们有任何“本地，共享功能”共同使用的应用程序安装日期和使用时间。固然，这四者可能有一个潜在的更高层次的特征（例如，人们最想要的应用程序），可是这使咱们没有理由相信前二者的参数与后二者的参数彻底相同。这四人可能已经以任何（一致）的顺序，并仍然有效！

然而，像素老是以一致的顺序出现，而且附近的像素影响像素，例如，若是全部附近的像素都是红色的，则像素极可能也是红色的。若是存在误差，这是一个有趣的异常，能够转换成一个特征，全部这一切均可以经过比较一个像素与其邻居以及其本地的其余像素来检测。

这个想法其实是许多早期的计算机视觉特征提取方法的基础。例如，对于边缘检测，可使用Sobel边缘检测滤波器，这是一种具备固定参数的内核，与标准单通道卷积同样工做：

 

应用垂直边缘检测器内核

对于包含非边的网格（例如背景天空），大多数像素是相同的值，所以内核在该点的总输出为0.对于具备垂直边缘的网格，边缘左侧和右侧的像素，内核计算出该差值为非零值，激活并显示边缘。内核一次只能处理3×3的网格，检测局部范围内的异常，但在整个图像中应用时，足以在图像中的任意位置检测全局范围内的某个特征！

所以，咱们与深度学习的关键区别在于问这个问题：能够学习有用的内核吗？对于在原始像素上运行的早期图层，咱们能够合理地指望具备至关低级特征的特征检测器，如边缘，线条等。

有一整套深度学习研究集中于使神经网络模型可解释。使用优化的特征可视化是最强大的工具之一[3]。核心思想很简单：优化图像（一般用随机噪声初始化）以尽量强烈地激活滤镜。这确实具备直观的意义：若是优化后的图像彻底充满了边缘，这就是过滤器自己正在寻找并被激活的有力证据。使用这个，咱们能够窥探学到的过滤器，结果使人惊叹：

 

从GoogLeNet [3]的第一个卷积层的3个不一样通道的特征可视化。注意，尽管它们检测不一样类型的边缘，但它们仍然是低级边缘检测器。

 

从第二和第三卷积中可视化通道12 [3]

这里须要注意的一件重要事情是，卷积图像仍然是图像。图像左上方的小网格像素的输出仍然位于左上角。所以，您能够在另外一个上面运行另外一个卷积图层（例如左侧的两个卷积图层）以提取更深层的特征，这些特征是咱们可视化的。

然而，不管咱们的特征探测器的深度如何，没有任何进一步的改变，它们仍然会在很是小的图像块上运行。不管您的探测器有多深，都没法从3×3网格中探测到面部。这就是接受领域的想法出现的地方。

接受领域

任何CNN架构的基本设计选择是，从网络的开始到结束，输入尺寸愈来愈小，同时通道数量也愈来愈多。如前所述，这一般是经过步骤或合并层完成的。局部性决定输出结果来自前一层的输入。接受区域决定了输出到达整个网络的原始输入区域。

分步卷积的思想是咱们只处理幻灯片一个固定的距离，并跳过中间的幻灯片。从另外一个角度来看，咱们只保留输出相距固定的距离，并去除其他部分[1]。

 

3×3卷积，步幅2

而后，咱们将非线性应用于输出，并按照惯例，而后在顶部堆叠另外一个新的卷积层。这就是事情变得有趣的地方。即便咱们将具备相同局部区域大小的相同大小的核（3×3）应用于逐步卷积的输出，内核也将具备更大的有效感觉域：

 

这是由于交错层的输出仍然表明相同的图像。它不是调整大小，而是调整大小，只是输出中的每一个单个像素都是来自原始输入的相同粗略位置的更大区域（其余像素被丢弃）的“表明”。所以，当下一层的内核在输出上运行时，它会对从更大区域收集的像素进行操做。

（注意：若是你熟悉扩张的卷积，注意上述不是扩张的卷积，二者都是增长感觉野的方法，可是扩张的卷积是单层的，而这是发生在一个规则的卷积以后卷积，其间具备非线性）

 

特征可视化来自每一个主要卷积块集合的信道，显示出复杂性逐渐增长[3]

接受域的这种扩展容许卷积层将低级特征（线，边）组合成更高级的特征（曲线，纹理），就像咱们在混合3a层看到的同样。

接下来是一个池/跨层，网络继续为更高层次的特征（零件，模式）建立探测器，就像咱们看到的混合4a同样。

整个网络图像大小的重复减小致使第5块卷积，输入尺寸仅为7×7，而输入尺寸为224×224。此时，每一个单个像素表明一个32×32像素的网格，这是巨大的。

与早期的图层相比，激活意味着要检测边缘，在这里，微小的7×7网格上的激活是很是高级的特征之一，例如鸟类。

整个网络从少许滤波器（GoogLeNet中的64个），检测低级特征，到大量滤波器（最终卷积中的1024个），每一个滤波器都寻找一个很是特定的高级特征。随后是最终的合并图层，将每一个7×7网格折叠为一个像素，每一个通道都是一个特征检测器，具备与整个图像相同的接受区域。

与标准的前馈网络所作的相比，这里的输出真是使人惊叹。一个标准的前馈网络将产生抽象的特征向量，从图像中的每一个单一像素的组合，须要难以处理的数据量进行训练。

美国有线电视新闻网在开始学习很是低级别的特征探测器的同时，开始学习很是低层次的特征探测器，而且随着其接受范围的扩大，学习将这些低级特征结合到逐步升级的特征中; 不是每一个像素的抽象组合，而是一个强大的视觉层次的概念。

经过检测低级特征，并使用它们来检测更高级别的特征，随着它进入其视觉层次结构，它最终可以检测整个视觉概念，例如脸部，鸟类，树木等，这就是使它们如此强大的缘由高效的图像数据。

关于对抗性攻击的最后说明

随着视觉层次CNN的构建，假设他们的视觉系统与人类类似是至关合理的。他们对真实世界的图像很是棒，但他们的失败方式也强烈暗示他们的视觉系统并不彻底像人类同样。最主要的问题：敌对案例[4]，为了欺骗这个模型而特地修改过的例子。

 

对于一我的来讲，这两张图片显然都是熊猫。对这个模型来讲，没有那么多。[4]

若是形成模型失败的惟一被篡改的模型就是人类会注意到的模型，那么敌对的例子就不是问题。问题在于，这些模型容易受到仅仅被轻微篡改的样本的攻击，而且显然不会欺骗任何人。这为模型悄无声息地打开了大门，对于从自动驾驶汽车到医疗保健等各类应用而言，这可能很是危险。

针对敌对攻击的稳健性是当前很是活跃的研究领域，是许多论文甚至竞争的主题，解决方案确定会提升CNN架构的安全性和可靠性。

结论

CNN是容许计算机视觉从简单应用扩展到为复杂产品和服务提供支持的模型，从照片库中的人脸检测到更好的医疗诊断。它们多是将来计算机视觉领域的关键方法，或者其余一些新的突破可能就在眼前。不管如何，有一件事是确定的：它们无可估量，是当今许多创新应用程序的核心，并且绝对值得深刻理解。

参考

1. 深度学习的卷积算法指南
2. 用于视觉识别的CS231n卷积神经网络 - 卷积神经网络
3. 特征可视化 - 神经网络如何加强他们对图像的理解（注意：这里的特征可视化是用Lucid库生成的，这是本期刊文章中技术的开源实现）
4. 敌对机器进攻机器学习

更多资源

1. fast.ai - 第3课：改进你的图像分类器
2. Conv Nets：模块化视角
3. 使用很是少的数据创建强大的图像分类模型