100天搞定机器学习|Day35 深度学习之神经网络的结构

这784个神经元就组成了网络的第一层，最后一层的十个神经元表明0-9这十个数，一样的，他们的激活值也在0-1之间，表明了输入图像对应哪一个数字的可能性。网络中间层被称为隐含层，能够看作黑箱，数字识别的具体工做就在这里完成，这里加了两层隐含层，每层有16个神经元——随便设置的，只是为了显得好看，后期还能够再调整。

神经网络处理信息的核心机制正是如此，一层的激活值经过必定的运算，得出下一层的激活值。上面也提到784个神经元表明的是数字图案，那么下一层激活值也会产生某些特殊的图案，最终在输出层最亮的神经元表示神经网络的选择。

咱们再看看如何训练，为何这种层状结构就能识别数字呢？

咱们能够把数字进行拆解，理想情况下但愿倒数第二层的各个神经元能够分别对应上一个笔画。

再来看隐含层第一层，当输入为9或8的上面带圈的数字时，某个神经元的激活值就会接近1，但愿全部这种位于图像顶部的圆圈图案都能点亮这个神经元，这样，从第三次到输出层，咱们只须要学习哪些部件能组合出哪一个数字便可。

可是如何识别圆圈呢？同理能够把它拆分红更细微的问题。

因而咱们但愿网络第二层的各个神经元对应这些短边，第二层就能把全部关联短边的八到十个神经元都点亮，接着就能点亮对于顶部圆圈和长竖条的神经元。

而后咱们看看连线的做用

如何让第二层（隐含层的第一层）中的这一个神经元可以可以识别出图像的这一块区域是否存在一条边？

咱们设计让第二层的某一个神经元能正确识别图像中的这块区域里是否存在一条边。

咱们拿出第一层（输入层/第0层）的激活值，并赋上权重（要关注区域的权重为正值，不然为0），这样对全部像素值求加权和，就只会累加关注区域的像素值了。

绿色为正值，红色为负值，颜色越暗表示权重越接近0

因此想要识别是否存在一条边，只须要给周围一圈的像素都赋予负权重

计算的加权值可使任意大小的

可是咱们须要的是将其压缩到0-1之间

这里就须要Sigmoid函数了，这就是激活函数。

激活值实际上就是一个对加权之和到底有多正的打分，可是有时加权之和大于0时，也不想点亮神经元，好比想要加权和大于10时才让他激发，这里就还须要加上一个偏置值，保证不随便激发。

权重告诉咱们第二个神经元关注什么样的像素图案

bias告诉咱们加权和要多大才能让神经元的激发有意义

这里有13000多个参数须要调整，因此这里所谓的学习就是找到正确的权重和偏置。刚开始讲到咱们把神经元看做是数字容器，可是这些数字取决于输入的图像，因此把神经元看过一个函数才更准确，它的输入是上一层全部神经元的输出，它的输出是一个0-1之间的值。其实整个神经网络也是一个函数，输入784个值，输出10个值。不过它是一个包含了13000个权重、偏置参数的极其复杂的函数。

须要注意的是，机器学习尤为是神经网络运算与线性代数是密不可分的，以前有过介绍，请移步：

100天搞定机器学习|Day26-29 线性代数的本质

神经网络中须要大量的矩阵乘法和sigmoid映射运算

这种运算方式，很是适合编程，好比能够用Python的numpy很简单的实现。

最后须要一提的是，如今神经网络基本再也不使用sigmoid了，比较流行的是ReLU（线性整流函数）。