深度解析MegEngine亚线性显存优化技术

基于梯度检查点的亚线性显存优化方法[1]因为较高的计算/显存性价比受到关注。MegEngine通过工程扩展和优化，发展出一套行之有效的增强版亚线性显存优化技术，既可在计算存储资源受限的条件下，轻松训练更深的模型，又可以使用更大batch size，进一步提高模型性能，稳定batchwise算子。使用MegEngine训练ResNet18/ResNet50，显存占用分别最高下降23%/40%；在更大

>>阅读原文<<