pytorch之深度残差网络(ResNet)

pytorch之深度残差网络(ResNet) 一.残差块 残差核心公式:H(x) = F(x)+X,Y = Relu(H(x)),其中F(x)就是所谓的残差,X是通过短连接直接映射过来的,X前的系数为1是通过测试之后发现系数如果大于1或小于1会发生梯度消失或者爆炸的情况,所有等于1是OK的。 二.从代码角度理解残差块 注意:单单一层的残差块并不能起到提升作用,所以一般的残差块往往有两层或者更多。
相关文章
相关标签/搜索