【机器学习课程-华盛顿大学】：3 分类 3.7 大数据集缩放以及在线学习

1、梯度和随机梯度 （1）随机梯度运行速度更快，收敛更快，但是对参数更敏感。   （2）为什么随机梯度下降会起作用？ 随机梯度下降每次只选一个数据点计算梯度，并修改w。其实就是相当于，很多歌小步累积成大步。   （3）收敛 梯度下降比较平滑，随机梯度下降有更多噪声   （4）随机梯度应用场景：先将数据随机化   （5）步长的选择 步长太小，随机梯度很难收敛；步长太大，随机梯度震荡；   2、随机梯

>>阅读原文<<