【机器学习笔记】学习大数据集

学习大数据集 一、随机梯度下降 首先来看批量梯度下降： 然后对所有样本同时进行更新参数（注意求和的标记）， 对于随机梯度下降定义： 过程： 1、随机打乱数据集 2、遍历每个样本1…m，分别对每个样本进行参数更新 （后面部分是每个样本cost对 Θ \Theta Θ的偏导，不是总体训练误差的偏导） 【注意】这里和批量梯度下降不同，这里是对每个样本进行更新，而不是所有样本同时更新。就避免爆内存。也就是

>>阅读原文<<