模型剪枝综述与心得

接触剪枝是最近一段时间的事情,为了全面的系统的学习一下剪枝,笔者作了个论文综述。从2016年的韩松的deep compression 到最新的彩票假设,我主要是将剪枝能够分为三个大类。分别是不须要数据参与的硬剪枝,带数据参与训练的软剪枝,以及直接搜索结构的NAS。算法   一:硬剪枝 这类的剪枝算法一般从模型自己的参数出发,寻找或者设计出合适的统计量来代表链接的重要性。经过对重要性的排序等算法,删
相关文章
相关标签/搜索