Knowledge Projection for Effective Design of Thinner and Faster Deep Neural Networks论文初读

目录 摘要 引言 相关工作 KPN   总览   KPN层设计   多路多阶段训练   迭代删减选择映射路径 实验结果   数据集上的分析   自动路径选择方法的分析 结论 摘要 作者提出了一种teacher-student映射知识蒸馏的方法,在小数据集上有效 teacher和student用来对接的中间层可以通过自适应的方式来选择,这种自适应的方式是以一种迭代的方式通过评估联合损失来完成的 引言
相关文章
相关标签/搜索