梯度优化讲解

预防过拟合常用的方法有L1、L2正则化,Dropout 正则化、Data Augmentation、Early Stopping 等。 本文将重点介绍如何使用梯度优化来使神经网络训练更快更有效率。 mini-Batch 梯度下降 神经网络反向传播的过程需要使用梯度下降算法来优化网络参数,迭代更新。梯度下降算法做法是每次训练都使用全部 m 个训练样本(称为 Batch)。该做法的缺点是当m很大的时候

>>阅读原文<<