ML05 -- 最优化方法：梯度下降

梯度下降 梯度下降是目前机器学习、深度学习解决最优化问题的算法中，最核心、应用最广的方法。 什么是梯度下降法 梯度下降是一种寻找函数极小值的方法。该方法最普遍的做法是：在已知参数当前值的情况下，按当前点对应的梯度向量的反方向，并按事先给定好的步长大小，对参数进行调整。按如上方法对参数做出多次调整后，函数就会逼近一个极小值。 为什么是沿梯度的反方向？ 因为梯度的方向实际就是函数在此点上升最快的方向，

>>阅读原文<<