深度学习基础之-1.3梯度下降

从自然现象中理解梯度下降 在绝大多数文章中，都以“一个人被困在山上，需要迅速下到谷底”来举例，这个人会“寻找当前所处位置最陡峭的地方向下走”。这个例子中忽略了安全因素，这个人不可能沿着最陡峭的方向走，要考虑坡度。 在自然界中，梯度下降的最好例子，就是泉水下山的过程： 水受重力影响，会在当前位置，沿着最陡峭的方向流动，有时会形成瀑布（梯度下降） 水流下山的路径不是唯一的，在同一个地点，有可能有多个位

>>阅读原文<<