梯度上升和梯度下降

关于梯度上升法和梯度下降法的原理，大多数都是纯理论的解释和公式的推导，没有一种直观的表达方式。 在这我分别举出两个简单而又直观的例子，大家就明白了，为什么梯度下降法一定是减梯度，而梯度上升法一定是加梯度。   对于梯度下降法来说，在神经网络中用到，最小化误差的一种优化方法。 如用梯度下降法求此函数的极小值， 在x1,x2点分别可导， 在x1处导数为负数，在此函数中，(-∞,0)区间，对任意一点xi

>>阅读原文<<