机器学习之优化算法

一、SGD 算法SGD在第 k 个训练迭代的更新: Require: 学习率 ϵk Require: 初始参数 θ while 停止准则未满足 do 从训练集中采包含 m 个样本{x(1), . . . , x(m)} 的小批量，其中 x(i) 对应目标为y(i)。 计算梯度估计：gˆ ← + 1/m ∇θ ∑i L(f(x(i); θ), y(i)) 应用更新：θ ← θ ϵgˆ end whi

>>阅读原文<<