[深度学习]梯度下降算法、优化方法（SGD,Adagrad,Adam...)

求解神经网络，也就是求解 y =f(wx + b) 中的w 和 b。 那么如何找到正确的权重值 w 和 b 呢？ 随机搜索。需要很多权重值，随机采样，然后把它们输入损失函数，再看它们效果如何。（stupid） 梯度下降算法。首先，初始化 w 和 b， 然后，使用梯度下降算法，对 w 和 b 进行更新。 下面，就对梯度下降算法，及其优化变体进行解释。   梯度下降算法 形象化解释： 当你一个人走在山

>>阅读原文<<