深度学习/机器学习入门基础数学知识整理（二）：梯度与导数，矩阵求导，泰勒展开等

时间 2020-12-30

原文原文链接

导数与梯度

导数：一个一元函数函数在某一点的导数描述了这个函数在这一点附近的变化率。

f' (a) = lim h \to 0 f (a + h) - f (a) h

梯度:多元函数的导数就是梯度。

\nabla f (X) = \partial f (X) \partial X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial f (X) \partial x 1 \partial f (X) \partial x 2 ⋮ \partial f (X) \partial x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

二阶导数，Hessian矩阵：
$H (x) = \nabla 2 f (X) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f (X) \partial x 1 2 \partial 2 f (X) \partial x 2 \partial x 1 ⋮ \partial 2 f (X) \partial x n \partial x 1 \partial 2 f (X) \partial x 1 \partial x 2 \partial 2 f (X) \partial x 2 2 ⋮ \partial 2 f (X) \partial x n \partial x 2 \dots \dots ⋱ \dots \partial 2 f (X) \partial x 1 \partial x n \partial 2 f (X) \partial x 2 \partial x n ⋮ \partial 2 f (X) \partial x n 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥$

一阶导数和二阶导数经常记为 f′(x)和f′′(x)

泰勒展开：一元函数的泰勒展开：

f (⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

一阶导数和二阶导数经常记为 f′(x)和f′′(x)

泰勒展开：一元函数的泰勒展开：

f (x k + δ) \approx f (x k) + f' (x ⎥ ⎥ ⎥

一阶导数和二阶导数经常记为 f′(x)和f′′(x)

泰勒展开：一元函数的泰勒展开：

f (x k + δ) \approx f (x k) + f' (x k

一阶导数和二阶导数经常记为