深度学习的杂碎

步长：最优化问题中的叫法；

学习速率：神经网络中的叫法；

梯度更新的方式：

为步长（学习率）。

其中有必要说一点的是表示的是当前实际的输出，y表示的是其类标。

当输入为x时，目标函数表示为一个线性函数的形式为：。其中每个x1,x2,...表示的是维度。

1. 梯度降低：对于的更新是全部样本都参与的，那么获得的梯度是一个比较标准的值，一次更新的幅度也会比较大，可是样本多的时候，而且样本的维度也是很大的，会下降运算的速度。此外，对电脑内存等也是一个巨大的考验。如今在实际中不多使用。固然，当样本比较少的时候，是能够用的。

2. 随机梯度降低：对是随机的选取一个样本，经过这个小的的梯度来更新总体的，固然是不太准确的，可是重在速度快，当训练的迭代次数比较多的时候，也会去的很好的效果。不过，注意陷入局部最优解。

3. 小批量梯度降低：对是随机的选取一个小的batch，这个方法在深度学习中使用的比较多。