论文笔记——Channel Pruning for Accelerating Very Deep Neural Networks

• 论文地址：https://arxiv.org/abs/1707.06168
• 代码地址：https://github.com/yihui-he/channel-pruning

采用方法

这篇文章主要讲诉了采用裁剪信道(channel pruning)的方法实现深度网络的加速。主要方法有两点：
（1）LASSO regression based channel selection. （2）least square reconstruction.

实现效果

VGG-16实现5x的加速，0.3%偏差增长(深度卷积网络,13个CNN)
ResNet实现2x加速，1.4%偏差增长(残差网络)
Xception实现2x加速，1.0%偏差增长(残差网络)
本文还结合了spatial, channel factorization and channel pruning三种方法实现更好的效果。
网络大小压缩没有说。

CNN加速方法

1. optimized implementation(e.g. FFT) 就是实现更快的计算方法
2. quantization(e.g. BinaryNet) 就是将网络中的浮点数二值化
3. structed simplification 就是将网络结果变简单

structed simplification 方法

1. tensor factorization 就是将矩阵分解
2. sparse connection 就是让网络链接变得稀疏
3. channel pruning 信道裁剪

channel pruning 方法

1. first k selects the first k channels. 这种方法太简单粗暴了。
2. max response 也就是选择权值和最大的信道，认为拥有的信息最多。