随机梯度下降法以及梯度下降法调试

什么是随机梯度下降法 就是从现有的数据中随机取出一部分数据进行运算,相对于批量梯度下降法每一次运算就要全部数据参与计算,随机梯度下降法可以在损失极小的精度下,换取较大的速度提升 如何随机 就是学习率会随着循环次数的增加而变化,也就是的值会变,具体取值约为 5/(50+i) i为当前循环的次数,这样每一次下降的速度也是随着循环的次数增加而减少,符合梯度下降的规则,越靠近最优解,下降就越快 代码展示
相关文章
相关标签/搜索