Pruning from Scratch 论文学习

Abstract 网络剪枝是降低神经网络计算成本的重要研究方向。传统的方法都是先训练一个大型、冗余的网络，然后决定哪些单元（如通道）没那么重要，可以被裁剪掉。这篇论文发现，我们不需要预训练一个过度参数化的网络，再对其进行剪枝。作者证明，从随机初始化的权重直接进行剪枝，可以获得更多样化的剪枝结构，甚至性能更优的模型。因而，作者提出了一个新的剪枝方法，允许我们从零开始剪枝 (prune from sc

>>阅读原文<<