学习函数的优化策略

8 优化 这部分主要包括两个内容一个是优化方法。另一个是传统图像识别方法两步走策略。 优化方法 主要是学习常用的优化算法学习，例如梯度下降，带动量的梯度下降以及Adam等一系列优化方法。其中本节课提到了梯度、导数的含义以及学习率这个重要的超参数，这个超参数是我们训练神经网络需要首要考虑的。随机梯度下降使用minibatch数据来估计总的误差以及梯度，这样速度比使用全部数据计算更快。 两步走策略重点

>>阅读原文<<