【论文阅读笔记】Rethinking the value of Network Pruning

论文地址:https://arxiv.org/abs/1810.05270 论文总结   论文的中心思想其实就一句话:在通过Prune算法得到了压缩模型后,使用来自大网络的权重进行fine-tune,还不如直接随机初始化训练压缩模型。但需要注意的是,随机初始化训练压缩模型,需要比训练大模型使用更多的epochs,才能获得更好的效果。 论文摘要   作者通过数个网络和数据集的prune 测试,得到了
相关文章
相关标签/搜索