卷积神经网络凸显共性的方法?

问题引入

卷积神经网络是在图像领域颇有用的一种网络结构,那么它的优势主要体如今哪几个方面呢?html

问题解答

局部链接

咱们首先了解一个概念,感觉野,即每一个神经元仅与输入神经元相链接的一块区域。在图像卷积操做中,神经元在空间维度上是局部链接,但在深度上是全链接。局部链接的思想,是受启发于生物学里的视觉系统结构,视觉皮层的神经元就是仅用局部接受信息。对于二维图像,局部像素关联性较强。这种局部链接保证了训练后的滤波器可以对局部特征有最强的响应,使神经网络能够提取数据的局部特征;下图是一个很经典的图示,左边是全链接,右边是局部链接。网络

图片

对于一个1000 × 1000的输入图像而言,若是下一个隐藏层的神经元数目为10^6个,采用全链接则有1000 × 1000 × 10^6 = 10^12个权值参数,如此巨大的参数量几乎难以训练;而采用局部链接,隐藏层的每一个神经元仅与图像中10 × 10的局部图像相链接,那么此时的权值参数数量为10 × 10 × 10^6 = 10^8,将直接减小4个数量级。app

权值共享

权值共享,即计算同一深度的神经元时采用的卷积核参数是共享的。权值共享在必定程度上讲是有意义的,是因为在神经网络中,提取的底层边缘特征与其在图中的位置无关。可是在另外一些场景中是无心的,如在人脸识别任务,咱们指望在不一样的位置学到不一样的特征。须要注意的是,权重只是对于同一深度切片的神经元是共享的。在卷积层中,一般采用多组卷积核提取不一样的特征,即对应的是不一样深度切片的特征,而不一样深度切片的神经元权重是不共享。相反,偏置这一权值对于同一深度切片的全部神经元都是共享的。权值共享带来的好处是大大下降了网络的训练难度。以下图,假设在局部链接中隐藏层的每个神经元链接的是一个10 × 10的局部图像,所以有10 × 10个权值参数,将这10 × 10个权值参数共享给剩下的神经元,也就是说隐藏层中10^6个神经元的权值参数相同,那么此时无论隐藏层神经元的数目是多少,须要训练的参数就是这 10 × 10个权值参数(也就是卷积核的大小)。ide

image.png


这里就体现了卷积神经网络的奇妙之处,使用少许的参数,却依然能有很是出色的性能。上述仅仅是提取图像一种特征的过程。若是要多提取出一些特征,能够增长多个卷积核,不一样的卷积核可以获得图像不一样尺度下的特征,称之为特征图(feature map)。性能

池化操做

池化操做与多层次结构一块儿,实现了数据的降维,将低层次的局部特征组合成为较高层次的特征,从而对整个图片进行表示。以下图:spa

图片

参考:
3d

[1] https://www.cnblogs.com/bonelee/p/8242061.htmlorm

喜欢就关注一下啦~~~htm


image.png

相关文章
相关标签/搜索