梯度下降算法的参数更新公式

NN这块的公式，前馈网络是矩阵乘法。损失函数的定义也是一定的。 但是如何更新参数看了不少描述，下面的叙述比较易懂的： 1、在吴恩达的CS229的讲义的第四页直接给出参数迭代公式 在UFLDL中反向传导算法一节也是直接给出的公式 2、例子： 第一步：随机对比重（a,b）赋值并计算误差平方和（SSE） 第二步：通过对误差比重（a,b）求导计算出误差梯度（注：YP即Ypred） ∂SSE/∂a = –

>>阅读原文<<