Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy

ICLR-2018 摘要 深度学习网络在计算机视觉工作（如图像分类和对象检测）方面取得了最先进的准确性。然而，高性能系统通常涉及具有许多参数的大型模型。一旦训练完成，这些表现最佳的模型的一个挑战性方面就是在资源受限的推理系统上进行部署 - 模型（通常是深度网络或宽网络或两者）都是计算和内存密集型的。使用低精度数值和基于知识蒸馏的模型压缩是降低这些部署模型的计算要求和内存占用的常用技术。在本文中，我

>>阅读原文<<