深度学习的优化算法

Mini-batch梯度下降法 什么是Mini-batch梯度下降法 在对整个训练集执行梯度下降法时，我们必须处理整个训练集，然后才能进行一步梯度下降法。然后需要再重新处理整个训练集才能进行下一步梯度下降法。如果在处理完整个训练集前先让梯度下降法处理一部分，算法的速度会更快。 我们可以把训练集分割为小一点的子训练集，这些子集被取名叫Mini-batch。对x的训练集和y的训练集都需作相应的拆分，分

>>阅读原文<<