深度学习与神经网络-吴恩达-第二周优化算法

一、Mini-batch梯度下降法 前面介绍的向量化方法能够让我们高效的处理m个样本数据，模型输入的也就是m个样本按列堆叠而成的矩阵X，同样地，输入数据的标签也是m个样本标签按列堆叠而成的矩阵Y。但是以海量训练样本（m很大，几百万甚至几千万的数据量）作为输入的话，这样做的计算成本依然会很高。因为只有处理完所有的训练样本才能进行一次梯度下降法，然后还需要重新处理所有的训练数据才能进行下一步梯度下降法

>>阅读原文<<