learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization论文

SQ-B(T)WN也是一种增量式量化算法,它从不同权重会导致不同量化误差角度,在近似实数权重时,逐渐增加量化比例最终完成全部权重量化。 训练时分阶段对权重量化,都是瞄准量化造成误差的一个量化时机问题 通过逐步量化权重,比直接全部量化产生的更加合适梯度方向 从算法结果上来说,看起来并不是特别好。3bits 时没有同样增量训练的INQ好
相关文章
相关标签/搜索