梯度上升与梯度下降

 梯度下降法是机器学习和神经网络学科中我们最早接触的算法之一。但是对于初学者，我们对于这个算法是如何迭代运行的从而达到目的有些迷惑。在这里给出我对这个算法的几何理解，有不对的地方请批评指正！         梯度下降法定义         （维基百科）梯度下降法，基于这样的观察：如果实值函数  在点  处可微且有定义，那么函数 在  点沿着梯度相反的方向  下降最快。         因而，如果

>>阅读原文<<