[DL]优化算法

1、优化算法：咱们知道，通过网络层的计算后，计算结果可能距离真值很远，此时，咱们须要经过优化算法来不断调整计算值，使其最终的计算结果——预测值，与真值中的差别尽可能小。

2、优化算法举例：

一、梯度降低：

Mini-batch梯度降低：用子训练集进行梯度降低

batch梯度降低：用整个训练集进行梯度降低

随机梯度降低：将一个样本当作一个子训练集