pytorch学习 残差

残差能很好的解决网络梯度弥散的问题。 将网络假设成水管的话，网络层表示为阀门，越往后水管的水量越小，加入残差后，可以理解为，将水管并行，保证每个阀门都能有足够多的水量。   残差实际上是做加法，加入以图像为例， pytorch输入图片是[n,c,h,w]的张量，经过一层网络计算后得到的是[n,c',h',w']，如果做张量加法的话必须保证形状一致，n为批次不会变化，如果用卷积我们可以设计成我们加一

>>阅读原文<<