DenseNet实现

关于Dropout: 每个denseblock中的小block后都有一个dropout,查看源码试图搞清楚这里dropout的实现方法,但没有查询到dropout的最终实现,在_VF中。 为了减少GPU显存的使用,这里将第一个bn进行了checkpoint,即不储存反向传播的输出,在有需要时重新计算,这个操作以较小的时间开销换取了大量的显存空间。 kaiming初始化实现:
相关文章
相关标签/搜索