牛顿法、梯度法、共轭梯度法等等

https://www.jianshu.com/p/7606ae3d8cc2 牛顿法主要解决非线性优化问题，其收敛速度比梯度下降速度更快，其需要解决的问题可以描述为：对于目标函数f（x），在无约束条件下求他的最小值minf（x）。 牛顿法的主要思想：在现有的极小值估计值的附近对f（x）做二阶泰勒展开，进而找到极小值点的下一个估计值，反复迭代直到找到函数的一阶导数小于某个接近0的阈值。  

>>阅读原文<<