深度学习（二）梯度计算

文章目录 梯度介绍 链式法则 逻辑回归梯度计算 wx矩阵形式推导 梯度介绍 深度学习的训练本质是优化损失，优化的方式是计算梯度，然后通过优化算法更新参数 ，常见的优化算法SGD/Momentum/Adagrad/RMSProp/Adam等，本文总结一下梯度的计算。 链式法则 利用微分求梯度的方法计算量太大，而误差反向传播算法的出现提高了计算效率，误差反向传播算法(BP)主要基于链式法则。 链式法则

>>阅读原文<<