【吴恩达】机器学习第18章大规模机器学习

对于大规模数据的机器学习，有两种处理办法：一是随机梯度下降，二是减少映射（MapReduce)。 1.随机梯度下降 1.1随机梯度下降针对每个样本，更新一次参数。基本步骤是先随机打乱样本数据，然后再从头开始，一个样本一个样本训练参数。 1.2批量梯度下降：是对所有样本进行一次遍历，然后再更新一次参数。每次更新参数，都需要读入所有的数据，开销比较大。 1.3Mini-batch梯度下降：选取b个样本

>>阅读原文<<