经常使用优化算法介绍

做者：Walkerweb 在机器学习的世界中，一般咱们会发现有不少问题并无最优的解，或是要计算出最优的解要花费很大的计算量，面对这类问题通常的作法是利用迭代的思想尽量的逼近问题的最优解。咱们把解决此类优化问题的方法叫作优化算法，优化算法本质上是一种数学方法，常见的优化算法包括梯度降低法、牛顿法、Momentum、Nesterov Momentum、Adagrad、Adam等。其实大部分机器学习算法

>>阅读原文<<