大规模机器学习

大规模机器学习 一、随机梯度下降法 二、小批量梯度下降 三、随机梯度下降收敛 一、随机梯度下降法 如果一定需要一个大规模的训练集，可以尝试使用随机梯度下降法来代替批量梯度下降法。 在随机梯度下降法中，定义代价函数为一个单一训练实例的代价： 随机梯度下降算法为： 1.对训练集随机“洗牌” 2.然后 随机梯度下降算法在每一次计算之后就更新参数θ，不需要首先将所有的训练集求和，在梯度下降算法还没有完成第

>>阅读原文<<