关于梯度优化算法的一点点思考

梯度优化算法概念 优化算法自己是求函数的最大值或最小值，及对应参数取值的算法，包括粒子群，梯度优化，搜索，遗传等方法。梯度优化算法实际是经过函数的梯度信息进行找函数极值和该极值的参数取值的算法。web 一节梯度算法 一阶梯度算法实际是在函数某处用泰勒公式的一阶展开进行近似表示。而后经过沿着函数下降的方向更新参数，学习率不能太大，过大的学习率意味着偏离泰勒公式的初衷。由于泰勒公式近似是在函数某个地方

>>阅读原文<<