Global Sparse Momentum SGD for Pruning Very Deep Neural Networks 论文阅读笔记

Global Sparse Momentum SGD for Pruning Very Deep Neural Networks Introduction 这篇论文来自NIPS19,虽然做的是非结构化的剪枝,但是可以直接迁移到结构化剪枝上去做。这篇paper的方法我觉得是非常简单奏效的,作者提出了将网络中的权重动态地进行分类,在一个batch的训练中,用一阶泰勒展开来判断对一个权重进行剪枝会对最终
相关文章
相关标签/搜索