机器学习-补充03 神经网络之**函数(Activation Function)

**函数(Activation Function) 1.为什么需要**函数? **函数通常有如下一些性质: 非线性: 当**函数是线性的时候,一个两层的神经网络就可以逼近基本上所有的函数了。但是,如果**函数是恒等**函数的时候(即f(x)=x),就不满足这个性质了,而且如果MLP使用的是恒等**函数,那么其实整个网络跟单层神经网络是等价的。 可微性: 当优化方法是基于梯度的时候,这个性质是必须的
相关文章
相关标签/搜索