基于梯度的优化算法

梯度降低优化算法 大多数学习算法都涉及到优化，优化是指改变 x 以最小化或者最大化某个函数 f(x) 的过程。一般咱们所说的优化算法都是指最小化的过程，所以，最大化的过程能够经过最小化 -f(x) 来实现。算法 导数是指某个函数 f(x) 在某一点上的斜率，它能够代表如何缩放输入的小变化才能在输出上得到相应的变化：。所以，导数对于最优化的过程很是有用。例如，若是对于足够小的来讲，比 f(x) 小，

>>阅读原文<<