CNN_模型压缩加速&移动端部署_蒸馏算法

 总结：离线蒸馏重点在使用小网络获得大网络的能力，在线蒸馏在于提升模型的精度和训练时间。 现有的加速库有：Intel的Neural Network Distiller和腾讯的PocketFlow。 一 、离线蒸馏     2014 年Hinton 提出了「dark knowledge」的概念。Dark knowledge，顾名思义，就是隐藏在深度学习表面上所展现出来的网络结构、节点之间的连接权重、

>>阅读原文<<