机器学习-优化器：梯度下降法的原理及其优缺点

批量梯度下降法 在机器学习中，优化问题的目标函数通常可以表示成 其中， θ是待优化的模型参数 ， x是模型输入， f ( x , θ ) f(x,θ) f(x,θ)的是模型的实际输出，y是模型的目标输出，函数 L 刻画了模型在数据 （x,y） 上的损失 p d a t a p_{data} pdata​表示数据的分布， E表示期望。 因此 ， L ( θ ) L(θ) L(θ)的刻画了当参数为 θ

>>阅读原文<<