网络量化——Quantized Convolutional Neural Networks for Mobile Devices

论文地址：https://arxiv.org/abs/1512.06473
源码地址：https://github.com/jiaxiang-wu/quantized-cnn

1. 主要思想

• 这篇文章的主要思想其实就是权值共享，也是用聚类的方法(k-means)作共享，只不过不是单个权值共享了，而是分块权值共享(用一个掩码矩阵表示共享的状况)，所以能够较少存储空间。 再加上由于共享，因此有些点乘计算只须要计算一次，由于对应的权值块都同样，输入同样的话，输出也同样。因此将部门的点乘转换成了加法操做。 所以也能够作到加速。

2. 性能

1. ILSVRC-12上4~6x speed-up.
2. 15~20x compression.
3. one percentage loss of classification accuracy.

3. 量化原理

1. Weighting Matrix 被划分红不少块，而后经过聚类(k-means)获得codebook，聚类操做优化的目标函数是：

也就是说codebook乘上掩码矩阵是能够大体恢复到Weighting Matrix。

4. 量化全链接层

• 就是聚类的目标函数，以及参数的还原。

  5. 量化卷积层

  
  

• 就是聚类的目标函数，以及参数的还原。

  6. 优化目标

• 定义损失函数，用于更新聚类获得的codebook

7. 参数更新方法

• 迭代更新的过程。

8. 计算量

9. 实验结果

10. 结论

• 实践代表聚类在实际应用中的效果仍是很明显的，尤为是在全链接层，由于参数很是的冗余，因此几乎不用作fine-tuning，就能够恢复到原来的性能，卷积层可能须要作fine-tuning。