模型压缩加速入门

1.知识蒸馏 小模型的损失中就会加上KL损失 紧致的网络设计 squeeze 先11降维 Xception结构 可以用更少的block的实现一样的效果,每个block的参数量可能变多了,所以需要对通道数做了升维 大量参数都集中在11的卷积上 shufflenet 如何把11卷积的参数和计算量省去 低秩分解 剪枝 模型量化 二值神经网络
相关文章
相关标签/搜索