卷积神经网络CNN的原理（二）－－－公式推导

　　卷积神经网络与普通神经网络的区别在于，卷积神经网络包含多个由卷积层和池化层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元链接。在CNN的一个卷积层中，一般包含若干个特征平面(featureMap)，每一个特征平面由一些矩形排列的的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核通常以随机小数矩阵的形式初始化，在网络的训练过程当中卷积核将学习获得合理的权值。共享权值（卷积核）带来的直接好处是减小网络各层之间的链接，同时又下降了过拟合的风险。子采样也叫作池化（pooling），一般有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样能够看做一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减小了模型的参数。

　　神经网络的公式推导：

神经网络的每一个单元以下：

 　　其对应的公式以下：

　　其中，该单元也能够被称做是Logistic回归模型。当将多个单元组合起来并具备分层结构时，就造成了神经网络模型。下图展现了一个具备一个隐含层的神经网络。

   　　　　 其对应的公式以下：

 

    多层的神经网络和这个比较类，神经网络能够扩展到有2,3,4,5，…个隐含层。

 神经网络的训练方法也同Logistic相似，不过因为其多层性，还须要利用链式求导法则对隐含层的节点进行求导，即梯度降低+链式求导法则，专业名称为反向传播。

　　卷积的公式：

卷积的概念，高等数学里面才接触到，大学没有好好学习的同窗，是否是此处要泪奔了：

它的物理意义大概能够理解为：系统某一时刻的输出是由多个输入共同做用（叠加）的结果。放在图像分析里，f(x) 能够理解为原始像素点(source pixel)，全部的原始像素点叠加起来，就是原始图了。

h(T)能够称为做用点，全部做用点合起来咱们称为卷积核（Convolution kernel）

　　微积分中卷积的表达式为：

 

　　　　离散形式是：

 

　这个式子若是用矩阵表示能够为：

 　　其中星号表示卷积。

若是是二维的卷积，则表示式为：

 

 　　在CNN中，虽然咱们也是说卷积，可是咱们的卷积公式和严格意义数学中的定义稍有不一样,好比对于二维的卷积，定义为：

　　这个式子虽然从数学上讲不是严格意义上的卷积，可是大牛们都这么叫了，那么咱们也跟着这么叫了。其中，咱们叫W为咱们的卷积核，而X则为咱们的输入。若是X是一个二维输入的矩阵，而W也是一个二维的矩阵。可是若是X是多维张量，那么W也是一个多维的张量。

 今日格言：心伤也不是坏事，说明你曾经付出过 

献给正在为梦想付出的人

 参考文档：

１　https://zhuanlan.zhihu.com/p/25249694

2     https://www.zhihu.com/question/22298352

3      http://www.cnblogs.com/pinard/p/6483207.html