模型压缩和知识蒸馏技术

模型压缩和知识蒸馏技术 1 引言 2 模型压缩 3 知识蒸馏 参考文献 1 引言 模型移动端应用部署不得不面对模型压缩问题，我们希望能够用一个较小的模型代替大模型，其能够接近大模型的结果。有几种理解方式： 底层处理快一点，比如矩阵计算等，想办法让其快一点，可以改变一11的卷积为33的卷积、矩阵稀疏乘法、减枝、残差网络结构、SVD分解等一些方法的引入 teacher-student策略，teache

>>阅读原文<<