Part 2 （二）优化算法

改善深层神经网络：超参数调试、正则化以及优化 —优化算法 1. Mini-batch 梯度下降法 对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降，即每一步梯度下降法需要对整个训练集进行一次处理，如果训练数据集很大的时候，如有500万或5000万的训练数据，处理速度就会比较慢。 但是如果每次处理训练数据的一部分即进行梯度下降法，则我们的算法速度会执行的更快。而

>>阅读原文<<