一分钟带你认识深度学习中的知识蒸馏

摘要：知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法 一、知识蒸馏入门 1.1 概念介绍 知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用

>>阅读原文<<