论文阅读笔记:残差神经网络(ResNet v1)

ResNet v1 1、四个问题 要解决什么问题?/ 用了什么办法解决? 理论上来说,深层网络的效果至少不会比浅层网络差。 对于浅层网络A,深层网络B,假设B的前面部分与A完全相同,后面部分都是恒等映射,这样B至少也会与A性能相同,不会更差。 在深层网络中存在梯度消失/梯度爆炸(vanishing/exploding gradients)。 归一初始化(normalized initializat
相关文章
相关标签/搜索