Training With Mixed Precision

Chapter 2. Mixed Precision Training 在NVIDIA DeepLearning SDK的cuda8与Pascal架构中已经在训练时引入了低精度的能力。 混合精度在计算方法中结合了不同数据精度。 半精度(也被称为FP16)对比高精度的FP32与FP64降低了神经网络的显存占用,使得我们可以训练部署更大的网络,并且FP16在数据转换时比FP32或者FP64更节省时间。
相关文章
相关标签/搜索