数学优化入门：梯度下降法、牛顿法、共轭梯度法

1、基本概念 1.1 方向导数 1.2 梯度的概念 如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山。那么，某一点的梯度方向是在该点坡度最陡的方向，而梯度的大小告诉我们坡度到底有多陡。 对于含有n个变量的标量函数，其梯度表示为  1.3 梯度与方向导数 函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。 1.4 梯度与等高线

>>阅读原文<<