Resnet中的残差连接

  1 Skip Connect 想必做深度学习的都知道skip connect，也就是残差连接，那什么是skip connect呢？如下图 上面是来自于resnet【1】的skip block的示意图。我们可以使用一个非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，F通常包括了卷积，激活等操作。 当我们强行将一个输入添加到函数的输出的时候，虽然我们仍然可以用G(x)来描述输入

>>阅读原文<<