高博14讲中P110页一二阶梯度法的相关理解

高博14将在110页的6.2.1中写到： 前面定义好的目标函数： 求解增量最直观的方式是将目标函数在x附近进行泰勒展开： 这里J是目标函数关于x的导数(雅克比矩阵)，而H则是二阶导数(海塞[hessian]矩阵)。我们可以选择保留泰勒展开的一阶二阶项，对应的求解方法则为一阶梯度或二阶梯度法。如果保留一阶梯度，那么增量的解就为： 它的直观意义非常简单，只要我们沿着反向梯度方向前进即可。通常我们还会计

>>阅读原文<<