知识蒸馏-Distilling the knowledge in a neural network

知识蒸馏-Distilling the knowledge in a neural network 作者:支广达 1. 概念介绍 “很多昆虫在幼虫形态的时候是最擅长从环境中吸取能量和养分的,而当他们成长为成虫的时候则需要擅长完全不同能力比如迁移和繁殖。”在2014年Hinton发表的知识蒸馏的论文中用了这样一个很形象的比喻来说明知识蒸馏的目的。在大型的机器学习任务中,我们也用两个不同的阶段 tra
相关文章
相关标签/搜索