知识蒸馏

论文：Distilling the Knowledge in a Neural Network 目前的深度学习仍然处于“数据驱动”的阶段，通常在模型训练的时候，仍然需要从巨大且冗余的数据中提取特征结构，且需要巨大的资源消耗，但是不考虑实时性要求；最后训练得到的模型大而笨重，但是模型预测精度较高。但是在实际应用中，有计算资源和延迟的限制，例如手机设备和芯片系统等等，那么要如何使得模型减重且精度不损失

>>阅读原文<<