论文阅读《Knowledge Projection for Effective Design of Thinner and Faster Deep Neural Networks》

本文提出一种新的设定,开始和以前一样,使用一个预训练的大网络来指导一个更窄更快的小网络训练,但是用来训练的数据是新的并且标签信息有限,所以这个场景包括了不同数据域的自适应和模型压缩 加入了一个知识投影矩阵,是学习得到的,选择大模型的某处中间层,经过投影,加入到小模型的某处,这个过程也是学习的 整个模型的系统如下 KNOWLEDGE PROJECTION NETWORK 知识投影网络 1、overv
相关文章
相关标签/搜索