机器学习中梯度下降法和牛顿法的比较

梯度下降法用到一阶导，即目标函数变化最快的方向，牛顿法同时用到二阶导，计算梯度变化最快的方向，收敛速度更快。 梯度下降法 迭代公式为： θ j : = θ j − α ∂ ∂ θ j J ( θ j ) \theta_j :=\theta_j -\alpha \frac{\partial }{\partial \theta_j } J(\theta_j ) θj​:=θj​−α∂θj​∂​J(θj

>>阅读原文<<