权重更新优化器总结

权重更新优化器总结 在上吴恩达的深度学习课程时，学习了很多权重更新的方式，但当时学习的时候比较蒙，可能当时理解了，后面又忘了为什么这么用。这两天又看到一些资料，正好整理总结一下。 我们先计算一下反向传播的公式，具体详细过程就不再讲解了/ 以上图为例，现在我们更新权重 w 11 ( 2 ) w_{11}^{(2)} w11(2)​,更新公式如下所示： w 11 ( 2 ) ( n e w ) = w

>>阅读原文<<