浙大机器学习课程-13-深度学习-卷积神经网络ALexNet

Relu函数：如果神经元个数设置得非常多，误差向前传的时候，或者说每一个神经元都有一个激活值的话，用sigmoid和tanh是不好的，Relu函数在大于0时取原来的值，小于0时取0，导致的结果是每一层里面小于0的地方全部变成0了，这样，每一层里面，每一次运行的时候，激活的神经元个数大致是一半左右（假定大于0和小于0的概率差不多）对于某一层神经元有很多层的情况，每一次值训练一半的数据，可以相对有效地

>>阅读原文<<