基础网络架构探究之DiracNets

CNN研究者总是面临一个共同的话题:如何提升神经网络的表达能力? 分两个方向去探讨: 1)拉长 增加网络层数是最直观的一种方法,但这种方法所面临的是 梯度消失问题,网络越深,梯度的回传越困难。 基于此,MSRA提出了ResNet,通过skipconnection的方式,通过残差思想很好的解决了这个问题。 可以参考论文:Deep Residual Learning forImage Recognit
相关文章
相关标签/搜索