关于知识蒸馏,这三篇论文详解不可错过

做者 | 孟让 git 转载自知乎程序员 导语:继《从Hinton开山之做开始,谈知识蒸馏的最新进展》以后,做者对知识蒸馏相关重要进行了更加全面的总结。在上一篇文章中主要介绍了attention transfer,FSP matrix和DarkRank,关注点在于寻找不一样形式的“知识”。网络 本篇文章主要介绍17年图森发布的文章Neuron Selectivity Transfer,对Atten
相关文章
相关标签/搜索