机器学习与模式识别【反向传播算法（BP算法）】

反向传播算法（BP算法）

多层网络的学习能力比单层感知机强得多，要想训练多层网络，需要强大的算法，反向传播算法（误差逆传播算法，简称BP）就是其中最杰出的代表

1. 目标：找到让损失函数最小的网络参数 θ = arg min（E）
2. 把损失看成由参数θ做自变量的函数
3. 找到山谷里最低点的坐标
4. 迭代修正已有参数（向最小化损失函数的方向，直到损失不再减小或达到指定步数）
   
5. 最小化损失函数的方向——损失函数在参数空间中的负梯度方向
6. 多元函数f在某一点p初的梯度：以f在p上的偏导数为分量的向量，是f在p上增长最快的方向
7. 参数修正
   
   
8. 推导：