深度学习 论文解读——知识蒸馏

1.简介 在大规模的的机器学习任务中，我们经常需要使用集成学习来训练一些相似的模型，而这会消耗大量的计算资源。并且在部署为实际应用时，也会由于模型/网络过于复杂而难以部署。针对此问题，Hinton提出了一种压缩网络的有效方法——知识蒸馏(Knowledge Distillation)[1]。并且讨论了知识蒸馏的其他优势。 2.蒸馏方法 当我们已经有一个训练好的，较为笨重的模型(cumbersome

>>阅读原文<<