改善深层神经网络(吴恩达)_优化算法

本篇主要会谈到：mini-batch梯度下降、指数加权平均、动量梯度下降、RMSprop、Adam优化、学习率衰减 mini-batch梯度下降： 在前面学习向量化时，知道了可以将训练样本横向堆叠，形成一个输入矩阵和对应的输出矩阵： X=[x(1),x(2),x(3)...x(m)] X = [ x ( 1 ) , x ( 2 ) , x ( 3 ) . . . x ( m ) ] Y=[y(1)

>>阅读原文<<