梯度下降原理

什么是梯度 梯度是微积分中一个很重要的概念，在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率；在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向；在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度 梯度下降的目的 根据定义的损失函数计算t时刻的梯度： 更新t+1时刻参数wt+1： 其中

>>阅读原文<<