卷积网络中的通道(Channel)和特征图

转载自：https://www.jianshu.com/p/bf8749e15566

 

      今天介绍卷积网络中一个很重要的概念，通道（Channel），也有叫特征图（feature map）的。

      首先，以前的文章也提到过了，卷积网络中主要有两个操做，一个是卷积(Convolution)，一个是池化(Pooling)。

      其中池化层并不会对通道之间的交互有影响，只是在各个通道中进行操做。

      而卷积层则能够在通道与通道之间进行交互，以后在下一层生成新的通道，其中最显著的就是Incept-Net里大量用到的1x1卷积操做。基本上彻底就是在通道与通道之间进行交互，而不关心同一通道中的交互。

      通常你们说通道指的是图片的色彩通道，而特征图是卷积过滤器的输出结果。但实际上，二者本质上是相同的，都是表示以前输入上某个特征分布的数据。

那么先来看看为何能够说它们是相同的。

 

数码相机中的“卷积”

     通道这个概念最初指的是电子图片中RGB通道，或者CMYK通道这样的配色方案，好比说一张RGB的64x64的图片，能够用一个64x64x3的张量来表示。这里的3指的就是通道，分别为红色(Red)、绿色(Green)、蓝色(Blue)三个通道。

      由于这三种颜色是三原色，因此基本上能够合成任何人眼可分辨的颜色。而三个通道的图片也基本上能够表示全部图片了。

      在计算机视觉处理中，通常图片数据除了是单通道的灰度图片外，就是RGB通道的彩色图片了。

      对RGB图片进行卷积操做后，根据过滤器的数量就能够产生更多的通道。事实上，多数状况仍是叫后面的卷积层中的通道为，特征图。但实际上在张量表示下，特征图和前面提到的通道差很少，有时候后面的也都叫通道了。一种卷积核获得一个通道，因此特征图个数=输出通道数=卷积核个数。

 

通道与特征

       这样看来，图片中的通道就是某种意义上的特征图。一个通道是对某个特征的检测，通道中某一处数值的强弱就是对当前特征强弱的反应。

       如一个蓝色通道中，若是是256级的话，那么一个像素若是是255的话那么就表示蓝色度很大。从这个角度来看灰度图片的话，就会发现其实灰度图片就是一个白色过滤器生成的特征图。

 

 

      因而卷积网络中的特征图，也可以很直接地理解为通道了。

      以后经过对必定范围的特征图进行卷积，能够将多个特征组合出来的模式抽取成一个特征，得到下一个特征图。以后再继续，对特征图进行卷积，特征之间继续组合，得到更复杂的特征图。

      又由于池化层的存在，会不断提取必定范围内最强烈的特征，而且缩小张量的大小，使得大范围内的特征组合也可以捕捉到。

      对单个特征图进行视觉化的话，会发现它是在对什么特征进行捕捉。最近一个颇有意思的Blog文章就展现了这方面的结果，颇有意思。

 

 

      经过特征角度来看卷积网络的话，那么1x1卷积也就很好理解了。即便1x1卷积先后的张量大小彻底不变，好比说16x16x64 -> 16x16x64这样的卷积，看上去好像是没有变化。但实际上，可能经过特征之间的互动，已经由以前的64个特征图组成了新的64个特征图。

     有时候我理解一个这样的1x1卷积操做，就会把它当成是一次对以前特征的整理。

 

通道的终点

      这样子不停卷积下去，直到最后一层，剩下一个一维向量时，每一个标量表明着一个通道，捕捉到的特征又是什么呢。

      若是是物体分类任务的话，就正是咱们须要输出判别的一个个物体类别。

      好比说第一个数是表明猫特征，第二个数表明狗特征，第三个表明人... 这个时候去从里面选数值最大那个当作分类的种类就行了。

      到这里可能仔细的人会注意，最后几层不是没卷积操做吗，而是全链接网络。

      一个概念上须要澄清的是，虽说1x1卷积，并且也从融合特征角度，给了它特殊的理解。但若是再仔细看看的话，就会发现实际上1x1卷积就是全链接网络。因此咱们能够把最后的1x1网络当成某种程度上的1x1卷积。

      上面的网络最后几层，将张量展平而后输入全链接网络。由于剩下的特征图中都保留了很重要的信息，为了利用全部的信息，而且让它们得到足够的交互，因此直接输入全链接网络，得到最后的特征向量。

 

      这个特征向量可以用来干什么呢。一个颇有趣的应用案例是Siamese网络。输入一张脸，输出一个128的特征向量，因而这个向量就相似于ID号码。

 

      以后再输入一张脸，获得一个特征向量，这时候只须要比较一下得到的两个特征向量就可以知道这两张脸是否是同一我的。

      若是将最后的特征向量视觉化，或许咱们还能发现，向量中每一个标量所表明的特征，好比说眼睛之间的间距，肤色...

      用本文的通道来讲的话，最后得到了一个128个通道向量表示。