深度学习基础知识（七）--- 各种优化方法

  深度学习常用的优化方法 参考资料：《Deep Learning》、pytorch 文档   深度学习中，优化算法的 目标函数 通常是一个基于训练集的损失函数，优化的目标在于降低训练误差。 这意味着用训练集上的 经验分布 代替 真实分布。 最小化这种平均训练误差的训练过程，被称为经验风险最小化（empirical risk minimization） 1.Stochastic Gradient

>>阅读原文<<