BN实现:html
根据:Pytorch Batch Normalizatin layer的坑 我的理解:pytorch中affine参数为BN层的参数γ和β是不是可学习的;
track_running_stats为是否滑动平均batch的均值和方差;model.train和mode.eval分别设置;可是在train的时候要
冻结BN及其统计数据;须要在train模式下从新设置,由于:BN层的统计数据更新是在每一次训练阶段model.train()后的forward()方法中自动实现的,而不是在梯度计算与反向传播中更新optim.step()中完成;CLASS torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
github
卷积层的实现:
Pool池化实现:学习
检测中各类池化的实现(RoIPool, RoIAlign,CornerPool...):url
反卷积实现:
激活函数: