《RETHINKING THE VALUE OF NETWORK PRUNING》论文笔记

参考代码：rethinking-network-pruning 1. 概述 导读：在模型进行部署的时候一般会希望模型的尽可能小，减少infer时候资源的消耗，其中比较常用的方式就是模型剪枝，其中一般常用的方式是结构化剪枝，这样会硬件也比较友好，非结构化剪枝也是可以的。其采取的步骤是首先训练一个较大的模型，之后使用剪枝算法检出那些不重要的参数，之后再在重要参数的基础上进行finetune，以期望恢复

>>阅读原文<<