干货 | 混合精度训练，提速，减内存

点击蓝字关注我们 扫码关注我们 公众号 : 计算机视觉战队 加入我们，大量论文代码下载链接  简述  增大网络通常会提升准确性，但是也增加了内存和计算量。我们的方法可以使用半精度浮点数训练网络，同时不损失准确性，也不需要修改超参数。这近乎减少了一般的内存，在最新的GPU上还能加速运算。权重，激活和梯度都使用IEEE半精度格式。由于这个格式范围比单精度小，我们提出了三种方法来避免重要信息的损失。首先

>>阅读原文<<