卷积神经网络(四)

一：ReLu激活函数 ReLu的全称是Rectified layer units，它是一层使用非饱和激活函数的神经元。神经网络通常使用sigmoid 和 tanh 作为非线性激活函数，它确实比早期的线性激活函数有好的多的效果。但在深度神经网络中，如果不使用pre-traning，会导致gradient vanishing problem (梯度消失，无法收敛)。后来，两位神经学家从脑神经元接收信号

>>阅读原文<<