导数、偏导数、方向导数和梯度的基本介绍

由于误差反向传播算法中采用梯度下降算法进行权重更新，因此需要先明白梯度是什么，而梯度的解释又要从导数讲起，因此本文先大致讲解一下导数导数、偏导数、方向导数和梯度的物理意义。 1、导数 根据我们以前的学习，导数的几何意义表示该点的切线，如果从其物理意义来看，导数表示在自变量变化趋于无穷小的时候，函数值的变化与自变量变化的比值，即变化率。 如果函数中只有一个自变量（即一元函数），那么表示只存在一个方向

>>阅读原文<<