梯度下降算法被高估了！了解有趣的无梯度神经网络优化方法

全文共3284字，预计学习时长9分钟 图源：unsplash   梯度下降算法于1847年因柯西（Cauchy）而问世，Haskell Curry在1944年进一步将其阐述为非线性优化问题。到现在，梯度下降已用于从线性回归到深度神经网络的所有算法。   在机器学习中，梯度下降法是最为重要的概念之一。给定一些要最小化的代价函数，该算法会以迭代方式采取最大向下斜率步骤，理论上经过足够的迭代次数后，便会

>>阅读原文<<