第一讲 梯度下降

1.     梯度下降 在学习神经网络与机器学习之前，不得不先了解一种迭代方法，那就是梯度下降法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。 在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。这些都会在后面讲解。 2.     梯度下降小述 在学习微积分时，对于一个多元函数，当对其中各个元求偏导数

>>阅读原文<<