深度神经网络模型训练时GPU显存不足怎么办？

前言python 最近跑的模型都比较大，尤为是Bert， 这真的是难为我 1080ti 了， 在Bert的Example中，官方提供了一些 Trick 来帮助咱们加速训练，很良心， 但感受还不够，因而花费一些时间整理出一个 Trick 集合，来帮助咱们在显存不足的时候来嘿嘿嘿。web 本文分为两大部分，第一部分引入一个主题：如何估计模型所需显存， 第二个主题：GPU显存不足时的各类 Trick 。

>>阅读原文<<