[深度学习] Relu层作用

为什么引入非线性激励函数 如果不用激励函数，在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你有多少层神经网络，输出的都是输入的线性组合。 激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。 以下，同种颜色为同类数据。某些数据是线性可分的，意思是，可以用一条直线将数据分开。比如下图： 这时候你需要通过一定的机器学习的方法，比如感知机算法(perceptron learni

>>阅读原文<<