神经网络中的优化算法

什么是优化算法？ 给定一个具有参数θ的目标函数，我们想要找到一个θ使得目标函数取得最大值或最小值。优化算法就是帮助我们找到这个θ的算法。 在神经网络中，目标函数f就是预测值与标签的误差，我们希望找到一个θ使得f最小。 优化算法的种类 一阶优化算法 它通过计算目标函数f关于参数θ的梯度（一阶偏导数）来最小化代价函数。常用的SGD、Adam、RMSProp等基于梯度的优化算法都属于一阶优化算法。 梯度

>>阅读原文<<