深度学习工程实践Tips(长期更新)

  1. 训练阶段加速         * 使用混合精度加速训练                    推荐使用NVIDIA的APEX进行训练加速,在2060S显卡上,大约可以获得一倍的综合速度提升(显存使用减少,可以适当增加batchsize, 提高速度)。精度下降几乎察觉不到。APEX保存和加载的模型参数仍然是float32类型的,所以不用担心预训练模型重用的问题。使用起来也十分简单:http
相关文章
相关标签/搜索