说到神经网络,你们看到这个图应该不陌生:html
这是典型的三层神经网络的基本构成,Layer L1是输入层,Layer L2是隐含层,Layer L3是隐含层,咱们如今手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},如今要他们在隐含层作某种变换,让你把数据灌进去后获得你指望的输出。若是你但愿你的输出和原始输入同样,那么就是最多见的自编码模型(Auto-Encoder)。可能有人会问,为何要输入输出都同样呢?有什么用啊?其实应用挺广的,在图像识别,文本分类等等都会用到,我会专门再写一篇Auto-Encoder的文章来讲明,包括一些变种之类的。若是你的输出和原始输入不同,那么就是很常见的人工神经网络了,至关于让原始数据经过一个映射来获得咱们想要的输出数据,也就是咱们今天要讲的话题。网络
本文直接举一个例子,带入数值演示反向传播法的过程,公式的推导等到下次写Auto-Encoder的时候再写,其实也很简单,感兴趣的同窗能够本身推导下试试:)(注:本文假设你已经懂得基本的神经网络构成,若是彻底不懂,能够参考Poll写的笔记:[Mechine Learning & Algorithm] 神经网络基础)函数
假设,你有这样一个网络层:post
第一层是输入层,包含两个神经元i1,i2,和截距项b1;第二层是隐含层,包含两个神经元h1,h2和截距项b2,第三层是输出o1,o2,每条线上标的wi是层与层之间链接的权重,激活函数咱们默认为sigmoid函数。学习
如今对他们赋上初值,以下图:编码
其中,输入数据 i1=0.05,i2=0.10;url
输出数据 o1=0.01,o2=0.99;spa
初始权重 w1=0.15,w2=0.20,w3=0.25,w4=0.30;code
w5=0.40,w6=0.45,w7=0.50,w8=0.55htm
目标:给出输入数据i1,i2(0.05和0.10),使输出尽量与原始输出o1,o2(0.01和0.99)接近。
Step 1 前向传播
1.输入层---->隐含层:
计算神经元h1的输入加权和:
神经元h1的输出o1:(此处用到激活函数为sigmoid函数):
同理,可计算出神经元h2的输出o2:
2.隐含层---->输出层:
计算输出层神经元o1和o2的值:
这样前向传播的过程就结束了,咱们获得输出值为[0.75136079 , 0.772928465],与实际值[0.01 , 0.99]相差还很远,如今咱们对偏差进行反向传播,更新权值,从新计算输出。
Step 2 反向传播
1.计算总偏差
总偏差:(square error)
可是有两个输出,因此分别计算o1和o2的偏差,总偏差为二者之和:
2.隐含层---->输出层的权值更新:
以权重参数w5为例,若是咱们想知道w5对总体偏差产生了多少影响,能够用总体偏差对w5求偏导求出:(链式法则)
下面的图能够更直观的看清楚偏差是怎样反向传播的:
如今咱们来分别计算每一个式子的值:
计算:
计算:
(这一步实际上就是对sigmoid函数求导,比较简单,能够本身推导一下)
计算:
最后三者相乘:
这样咱们就计算出总体偏差E(total)对w5的偏导值。
回过头来再看看上面的公式,咱们发现:
为了表达方便,用来表示输出层的偏差:
所以,总体偏差E(total)对w5的偏导公式能够写成:
若是输出层偏差计为负的话,也能够写成:
最后咱们来更新w5的值:
(其中,是学习速率,这里咱们取0.5)
同理,可更新w6,w7,w8:
3.隐含层---->隐含层的权值更新:
方法其实与上面说的差很少,可是有个地方须要变一下,在上文计算总偏差对w5的偏导时,是从out(o1)---->net(o1)---->w5,可是在隐含层之间的权值更新时,是out(h1)---->net(h1)---->w1,而out(h1)会接受E(o1)和E(o2)两个地方传来的偏差,因此这个地方两个都要计算。
计算:
先计算:
同理,计算出:
二者相加获得总值:
再计算:
再计算:
最后,三者相乘:
为了简化公式,用sigma(h1)表示隐含层单元h1的偏差:
最后,更新w1的权值:
同理,额可更新w2,w3,w4的权值:
这样偏差反向传播法就完成了,最后咱们再把更新的权值从新计算,不停地迭代,在这个例子中第一次迭代以后,总偏差E(total)由0.298371109降低至0.291027924。迭代10000次后,总偏差为0.000035085,输出为[0.015912196,0.984065734](原输入为[0.01,0.99]),证实效果仍是不错的。