【论文笔记】Distilling the Knowledge in a Neural Network（知识蒸馏）

简介 一般来说，优化模型预测效果有两种方法。一是使用更加复杂的模型，二是采用集成策略。这两种方法在实际应用中都会造成很大的计算开销。因此，本文提出了一种叫做知识蒸馏的方法，从大模型中提取知识给小模型，在减少模型复杂度的同时保证预测效果。 通常我们认为模型从训练中得到的知识就是神经网络的参数，更确切的说法是从输入向量到输出向量的映射。所以我们训练小模型的目标就是让它学习大模型输入到输出的映射关系。

>>阅读原文<<