CNN中的卷积和池化的理解

CNN一般是由输入层、卷积层、**函数、池化层、全连接层

卷积层：用来进行特征的提取：

其中input image 32x32x3 其中3为他的通道数或者可以理解成深度（R、G、B），卷积层是一个5x5x3的filter w。filter (滤波或者成为感受野)，其中filter同输入的image的通道数是相同的。

如上图，image(32x32x3)与filter W 做卷积生成得到28x28x1的特征图（feature map）.
通常会使用多层卷积层来得到更加深层次的特征图，如下：

其中ReLU 为**函数，一般是做卷积之后使用ReLU。
说下卷积的过程，如下所示：
连续：
一维卷积：s(t)=(x∗w)(t)=∫x(a)w(t−a)dt
二维卷积：S(t)=(K∗I)(i,j)=∫∫I(i,j)K(i−m,j−n)dmdn
离散：
一维卷积：s(t)=(x∗w)(t)=∑ax(a)w(t−a)
二维卷积：S(i,j)=(K∗I)(i,j)=∑m∑nI(i,j)K(i−m,j−n)
卷积具有交换性，即
(K∗I)(i,j)=(I∗K)(i,j)
∑m∑nI(i,j)K(i−m,j−n)=∑m∑nI(i−m,j−n)K(i,j)
编程实现中:
二维卷积：S(t)=(K∗I)(i,j)=∑m∑nI(i+m,j+n)K(i,j)
这个定义就不具有交换性

上面的w,K称为核，s(t),S(i,j)有时候称为特征映射。

输入image 经过一次填充(pad=1),与感受野（filter）对应元素相乘再相加，最后加上Bias，得到feature map 。如图中所示，filter w0的第一层深度和输入图像的蓝色方框中对应元素相乘再求和得到0，其他两个深度得到2，0，则有0+2+0+1=3即图中右边特征图的第一个元素3.，卷积过后输入图像的蓝色方框再滑动，stride=2，如下：

如上图，完成卷积，得到一个3*3*1的特征图；在这里还要注意一点，即zero pad项，即为图像加上一个边界，边界元素均为0.（对原输入无影响）一般有

F=3 => zero pad with 1
F=5 => zero pad with 2
F=7=> zero pad with 3,边界宽度是一个经验值，加上zero pad这一项是为了使输入图像和卷积后的特征图具有相同的维度，如：

输入为5*5*3，filter为3*3*3，在zero pad 为1，则加上zero pad后的输入图像为7*7*3，则卷积后的特征图大小为5*5*1（（7-3）/1+1），与输入图像一样；

而关于特征图的大小计算方法具体如下：

卷积层还有一个特性就是“权值共享”原则。如下图：

如没有这个原则，则特征图由10个32*32*1的特征图组成，即每个特征图上有1024个神经元，每个神经元对应输入图像上一块5*5*3的区域，即一个神经元和输入图像的这块区域有75个连接，即75个权值参数，则共有75*1024*10=768000个权值参数，这是非常复杂的，因此卷积神经网络引入“权值”共享原则，即一个特征图上每个神经元对应的75个权值参数被每个神经元共享，这样则只需75*10=750个权值参数，而每个特征图的阈值也共享，即需要10个阈值，则总共需要750+10=760个参数。
简而言之，所谓的权值共享就是说，给一张输入图片，用一个filter去扫这张图，filter里面的数就叫权重，这张图每个位置是被同样的filter扫的，所以权重是一样的，也就是共享。

池化层：对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征，如下：

主要会做降采样（downsampling）
池化操作一般由两种，一种是Ava Pooling ，一种max Pooling 如下

同样地采用一个2*2的filter,max pooling是在每一个区域中寻找最大值，这里的stride=2,最终在原特征图中提取主要特征得到右图。

（Avy pooling现在不怎么用了，方法是对每一个2*2的区域元素求和，再除以4，得到主要特征），而一般的filter取2*2,最大取3*3,stride取2，压缩为原来的1/4.

注意：这里的pooling操作是特征图缩小，有可能影响网络的准确度，因此可以通过增加特征图的深度来弥补（这里的深度变为原来的2倍）。

全连接层：连接所有的特征，将输出值送给分类器（如softmax分类器）。

总的一个结构大致如下：

另外：CNN网络中前几层的卷积层参数量占比小，计算量占比大；而后面的全连接层正好相反，大部分CNN网络都具有这个特点。因此我们在进行计算加速优化时，重点放在卷积层；进行参数优化、权值裁剪时，重点放在全连接层。

参考文献：
[1] http://www.cnblogs.com/zf-blog/p/6075286.html [2] 李飞飞的cs231n