梯度下降极简入门

梯度下降及其变体被用作训练过程的关键部分在机器学习中广泛使用。梯度下降中的“梯度”是指单变量导数的推广形式，即多元变量求导。 梯度下降法是解决“优化问题”的迭代方法，其中优化问题是指围绕寻找函数的全局最小值或最大值而展开的数学问题。我们将很快看到，对于简单的优化问题可以不用梯度下降。当事情变得复杂时，我们则需要用诸如梯度下降之类的迭代法，当然和神经网络相关的优化问题确实足够复杂。 重新回顾优化问题

>>阅读原文<<