模型蒸馏概述和实验

目录git   1 杂谈github 2 蒸馏方法概述。算法 2.1 基于最后输出层的蒸馏网络 2.2 基于中间结果层的蒸馏学习 2.3 基于元学习的蒸馏.net 3 实验结果和参考代码blog 1 杂谈 鉴于目前算法和数据的瓶颈,我最近研究了一下模型蒸馏,目的是经过大模型可以带动我须要的小模型。目前的模型蒸馏这方面的研究已经很多了,专业术语上也有了KD(Knowl-edge Distillati
相关文章
相关标签/搜索