梯度降低与随机梯度降低

梯度降低法先随机给出参数的一组值，而后更新参数，使每次更新后的结构都可以让损失函数变小，最终达到最小便可。在梯度降低法中，目标函数其实能够看作是参数的函数，由于给出了样本输入和输出值后，目标函数就只剩下参数部分了，这时能够把参数看作是自变量，则目标函数变成参数的函数了。梯度降低每次都是更新每一个参数，且每一个参数更新的形式是同样的，即用前一次该参数的值减掉学习率和目标函数对该参数的偏导数（若是只有

>>阅读原文<<