深度学习之优化算法

在⼀个深度学习问题中，通常我们会预先定义⼀个损失函数。有了损失函数，就可以使⽤优化算法试图使其最小化。在优化中，这样的损失函数通常被称作优化问题的⽬标函数（objectivefunction）。依据惯例，优化算法通常只考虑最小化⽬标函数。因为任何最⼤化问题都可以很容易地转化为最小化问题：只需把⽬标函数前⾯的正号或负号取相反。 在深度学习问题中，由于优化算法的⽬标函数通常是⼀个基于训练数据集的损失函

>>阅读原文<<