深度学习集锦1

1、relu优点 1、可以使网络训练更快 2、增加网络的非线性 3、防止梯度消失(弥散) 4、使网络具有稀疏性(可以使一些神经元输出为0) **函数tanh(x)或sigmoid(x)，这些饱和的非线性**函数比非饱和非线性**函数relu训练更慢。采用relu的深度卷积神经网络训练时间比等价的tanh单元要快几倍。 2、dropout 作用：随机将一定比例的神经元置为0。 对于一个有N个节点的神

>>阅读原文<<