INCREMENTAL NETWORK QUANTIZATION: TOWARDS LOSSLESS CNNS WITH LOW-PRECISION WEIGHTS

在量化方面已经有很多工作了，其中一个是用每个FC层的浮点的聚类中心值来代替所有权重值，可以获得20X的压缩率，以及在top-上1%的精度损失；hash网则将所有权重放入哈希桶内，且所有共享哈希桶的权重共享一个单精度值。但它只考虑了几种浅层网络的FC层；还有人提出了将剪枝、量化和霍夫曼编码结合的方法；还有人使用16位精度的权重来代替32位精度的权重来训练网络；之后还有EBP，它在推断的前向传播过程中

>>阅读原文<<