深度学习常用优化方法

以下方法都是总结吴恩达深度学习课程的方法。 （1）梯度下降 batch-GD（size=m）：速度比较慢，但每一次都是最优方向； 随机梯度下降（size=1）：不能用向量加速，相对来说速度慢，而且最后只会在最优值附近徘徊； mini-batch（size=16,32,64,128）：速度较快，虽然也会在最优值之间徘徊，但是可以调整学习率使得到达最优值； （2）动量梯度下降（Momentum） 动量

>>阅读原文<<