【论文阅读】Distilling the Knowledge in a Neural Network

论文连接 参考博客html 知识蒸馏(knowledge distillation) 动机 在机器学习中，咱们倾向于使用很是类似的模型进行训练(train)和部署(depolyment)，尽管这两个阶段显然有不一样的需求：git 训练阶段(train)可使用大型数据集训练深度模型，消耗大量计算资源和时间来得到最佳结果 推理阶段(inference)对时间和计算资源占用特别敏感 首先能够明确的一点是

>>阅读原文<<