深度学习--知识蒸馏网络压缩训练方法——转

《Distilling the Knowledge in a Neural Network》 模型蒸馏 所谓模型蒸馏就是将训练好的复杂模型推广能力“知识”迁移到一个结构更为简单的网络中。或者通过简单的网络去学习复杂模型中“知识”。其基本流程如下图: 基本可以分为两个阶段: 原始模型训练: 根据提出的目标问题,设计一个或多个复杂网络(N1,N2,…,Nt)。 收集足够的训练数据,按照常规CNN模型训
相关文章
相关标签/搜索