02.改善深层神经网络：超参数调试、正则化以及优化 —— week2 优化算法

1. mini-batch 梯度下降算法 在对整个训练集执行梯度下降法时，每进行一步梯度下降法都必须处理整个训练集。训练集很大的时候，如有500万或5000万训练数据时，处理速度就会比较慢。 如果每次处理训练数据的一部分，即用其子集进行梯度下降，则我们的算法速度会执行的更快。而处理的这些一小部分训练子集即称为Mini-batch。 1.1 算法原理： 对于普通的梯度下降法，一个epoch只能进行一

>>阅读原文<<