方向导数与梯度——学习笔记

    方向导数和梯度在高等数学偏导数那一部分提到，二者相互关联，可能会弄混，简单来讲方向导数是一个值而梯度是一个向量。了解梯度的概念能够在之后的机器学习或者深度学习模型优化用到梯度降低时更容易理解，接下来让咱们看看一些关于方向导数和梯度的细节。

1、方向导数

    对于多元函数，若是说偏导数表示的是多元函数在沿坐标轴的变化率，那么能够说方向导数是沿着任意一指定方向的变化率，不必定是沿着坐标轴。

    这里给出方向导数的数学表达式：

                                   

    看起来这个公式很吓人，其实其中，对于L 的单位向量是e=(cos α,cos β),而这正表示函数 f 沿着 L 方向的变化率。当咱们让e=（1，0）时上述式子实际上是 f 对于 x 的偏导数，即沿着 x 轴的变化率，而当让e=（0，1）时，上述式子即是 f 对于 y的偏导数，即沿着 y 轴的变化率（读者能够自行验证）。

     明白了方向导数表示的意义，那么方向导数怎么求呢？很简单的一个式子，对于二元函数，给出求方向导数的公式：

                                   

      解释一下这个式子，方向导数等于函数在 x 处的偏导数乘以单位向量的 x 部分加上在 y 处的偏导乘以单位向量的 y 部分，获得的值就是方向导数。从中也能够看出要求方向导数要先求它在 x 和 y 的偏导数，而后再求它方向的单位向量，最后作乘积加和获得结果。

 

2、梯度

    看完方向导数以后接下来看梯度是怎么一回事。在二元函数的情形下，若是函数 f(x,y) 具备一阶连续偏导，对于函数任意一点  都有这样一个向量：，那么这个向量就称为f(x,y)在 p 这一点的梯度。记做。

    能够经过公式直观地看方向导数和梯度的关系：

                                     

   当 Θ = 0 时，e 与梯度方向相同时，方向导数最大，函数增长最快

   当 Θ = pi 时，e 与梯度方向相反时，方向导数最小，函数减小最快

   当 Θ = pi/2 时，e 与梯度方向垂直时，方向导数为0， 函数变化率为零

 

3、总结

    其实如今能够知道，方向导数是函数在各个方向的斜率，而梯度是斜率最大的那个方向，梯度的值是方向导数最大的值。所以咱们若是沿着梯度反方向可以降低的最快。

注：博主第一次写，理解也有不少误差，若是不可以帮助大家很好的理解，建议看这个知乎网址：

https://www.zhihu.com/question/36301367