论文笔记——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compreesion

论文地址：https://arxiv.org/abs/1707.06342

主要思想

1. 选择一个channel的子集，而后让经过样本之后获得的偏差最小(最小二乘)，将裁剪问题转换成了优化问题。
2. 这篇论文题目说是对filter的裁剪，实际上是对channel的裁剪，对channel裁剪之后，固然涉及filter的裁剪。
3. 对channel裁剪之后固然能够实现压缩和加速。

实现细节

1. 在i＋1层中选择channel的子集，由于filter i+1层的个数没有变，因此layer i + 2层的尺寸大小也没有变。
2. 选择子集之后，filter layer i层对应的filter就能够被裁减掉(输出个数裁剪)，相应filter i+1层的filter也能够被裁减掉(输入个数裁剪)

1. 由于选子集而后最小化偏差是一个NP问题，所以本文采用了贪心算法，每次选择添加一个channel使得经过当前样本获得的偏差最小。

1. 本文对残差网络的处理是，由于最后要求和，求和的时候须要保持channel数目同样，由于只对前两个卷积进行了裁剪，最后一个没有裁剪。也就是它没有对identical feature map进行裁剪。