ReLU——Deep Sparse Rectifier Neural Networks
1. 摘要 ReLU 相比 Tanh 能产生相同或者更好的性能，而且能产生真零的稀疏表示，非常适合自然就稀疏的数据。 采用 ReLU 后，在大量的有标签数据下，有没有无监督预训练模型取得的最好效果是一样的，这可以被看做是训练深层有监督网络的一个新的里程碑。 2. 背景 2.1. 神经元科学的观察 对脑能量消耗的研究表明，神经元以稀疏和分布的方式编码信息，同时活跃的神经元的百分比估计在 1％ 到 4
相关文章
- 1. Neural Networks and Deep Learning -- Class 4: Deep Neural Networks
- 2. Improving Deep Neural Networks
- 3. Neural Networks and Deep Learning -- Class 3: Shallow neural networks
- 4. Improving Deep Neural Networks [1]
- 5. Improving Deep Neural Networks[3]
- 6. Neural Networks and Deep Learning
- 7. Improving Deep Neural Networks - Week2
- 8. Improving Deep Neural Networks[2]
- 9. Data-Driven Sparse Structure Selection for Deep Neural Networks 论文翻译
- 10. Global Sparse Momentum SGD for Pruning Very Deep Neural Networks 论文阅读笔记
- 更多相关文章...
- • XML DOM - Document 对象 - XML DOM 教程
- • SVN 安装 - SVN 教程
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. Neural Networks and Deep Learning -- Class 4: Deep Neural Networks
- 2. Improving Deep Neural Networks
- 3. Neural Networks and Deep Learning -- Class 3: Shallow neural networks
- 4. Improving Deep Neural Networks [1]
- 5. Improving Deep Neural Networks[3]
- 6. Neural Networks and Deep Learning
- 7. Improving Deep Neural Networks - Week2
- 8. Improving Deep Neural Networks[2]
- 9. Data-Driven Sparse Structure Selection for Deep Neural Networks 论文翻译
- 10. Global Sparse Momentum SGD for Pruning Very Deep Neural Networks 论文阅读笔记