基于梯度的优化算法

梯度下降优化算法 大多数学习算法都涉及到优化，优化是指改变 x 以最小化或者最大化某个函数 f(x) 的过程。通常我们所说的优化算法都是指最小化的过程，因此，最大化的过程可以通过最小化 -f(x) 来实现。 导数是指某个函数 f(x) 在某一点上的斜率，它可以表明如何缩放输入的小变化才能在输出上获得相应的变化：。因此，导数对于最优化的过程非常有用。例如，如果对于足够小的来说，比 f(x) 小，因此

>>阅读原文<<