深度学习：深度模型中的优化

机器学习中的优化   1、经验风险最小化 机器学习算法的目标是降低目标函数的期望泛化误差，这个数据被称为风险 将机器学习问题转化为一个优化问题的最简单方法是最小化训练集上的期望损失。这意味着用训练集上的经验分布替代真实分布。现在，我们将最小化经验风险： m表示训练样本的数目 基于最小化这种平均训练误差的训练过程被称为经验风险最小化（容易导致过拟合）   2、代理损失函数和提前终止 由于精确地最小化

>>阅读原文<<