吴恩达《深度学习-改善深层神经网络》2--优化算法

1. Mini-batch gradient descent 1）是什么？ 在Batch gradient descent时，每次迭代都要遍历整个训练集，当训练集数目过大时，会导致学习速度很慢。 如果训练集巨大，将训练集分为t个子集，即mini-batch（如1000个样本），用每一个子集对神经网络进行训练，这样一个训练集就可以对神经网络训练t次，加上对神经网络迭代的次数s，所以总的训练次数为s*

>>阅读原文<<