残差网络论文笔记

退化表明并非系统越深效果越好。对于更深的模型，这有一种通过构建的解决方案：恒等映射（identity mapping）(层输出等于输入)来构建增加的层，而其它层直接从浅层模型中复制而来。这个构建的解决方案也表明了，一个更深的模型不应当产生比它的浅层版本更高的训练错误率。 通过将逼近的内容变为H(x)-x，如果恒等映射是所要拟合的函数的话，那么只需要把权值全置为0就能逼近恒等映射。 即使最优值不是恒

>>阅读原文<<