深度学习那些事 — **函数

这篇文章介绍**函数,之所以将**函数单独拿出来进行介绍,因为多层感知机在刚开始发展的时候,梯度会消失,所以它梯度不会太深,训练不了太深的参数,其实最核心的问题就是**函数,结合反向求导那篇文章求导的过程,我们提出两个问题,带着这两个问题往下看。 有的**函数为什么导致那个参数无法收敛? 梯度为什么会消失? **函数特征 非线性:当**函数是非线性的时候,一个两层的神经网络就可以逼近基本上所有的函
相关文章
相关标签/搜索