非线性最优化基础 简单易懂理解

一 非线性优化中的基本概念 (1). 方向导数：函数在自变量的某个方向上的导数。以一个二元函数为例，自变量有x和y，该函数在某一点方向有(x,y)这个向量组成的无穷多个。 (2).梯度：梯度是一个矢量，在这个方向上的方向导数达到最大值。某一点的梯度就是某一点方向导数的最大值，也就是从该点出发函数值变化最剧烈的方向（梯度方向代表增加最快的方向，负梯度方向代表减少最快的方向）。梯度的求法即为改点所有方

>>阅读原文<<