信赖域算法原理

提到最优化方法，常见的有梯度降低法（衍生出来的有批梯度降低，随机梯度降低）、牛顿法（衍生出来了拟牛顿）等。咱们知道，最优化在机器学习中，是为了优化损失函数，求得其最小值，即为(mathop {min }limits_theta f({x_theta }))，其中 (theta) 为损失函数的参数，最优化的目的就是找到最佳的(theta)使得损失函数最小。梯度降低的方法是求出损失函数在某一点的梯度，

>>阅读原文<<