MONET-Pytorch模型降低3倍内存 | MEMORY OPTIMIZATION FOR DEEP NETWORKS

第一次见到这个领域的文章，Mark一下 论文地址：https://arxiv.org/pdf/2010.14501.pdf Github地址：https://github.com/utsaslab/MONeT. ABSTRACT： 深度学习正在缓慢但稳定地遇到内存瓶颈。 在过去五年中，顶级GPU的张量计算增加了32倍，而总可用内存仅增加了2.5倍。 由于训练大型网络需要更多的内存来存储中间输出，因

>>阅读原文<<