今日学习总结（8）

关于激活函数： Relu优点： Relu函数 速度块：无需计算sigmoid中的指数倒数，relu函数就是max(0, x),计算代价小 减轻梯度消失：在神经网络反向传播时，sigmoid函数求梯度之后会逐渐变小，而Relu函数的梯度是一，会减小梯度消失。 稀疏性：可以看到，Relu在输入小于零时，输出也为零，这意味着函数不激活，从而更加稀疏。 全连接层（Fully conected conect

>>阅读原文<<