Explicit Loss-Error-Aware Quantization

时间 2021-01-02

原文原文链接

本文提出了使用全精度网络而非量化网络的误差更新权重的方法，以及对INQ的改进。一般的量化网络，在训练时都会使用量化网络或混合网络(部分网络被量化)的误差来更新权重。本文则另辟蹊径，使用全精度网络的误差来更新权重。不仅取得了较好的结果，还避免了梯度的不匹配问题。其损失函数为：第一项是全精度网络的误差，第二项是全精度网络和量化网络的差异，第三项是量化权重和全精度权重的期望差。a1和a2是两个正的

>>阅读原文<<

1. Quantization Networks
2. Product Quantization
3. Iterative Quantization
4. 【TensorFlow】quantization量化
5. Stochastic Computing + Quantization
6. Trained Ternary Quantization
7. LSQ:Learned Step Size Quantization
8. TRAINED TERNARY QUANTIZATION 论文
9. PQ(product quantization) 算法
10. A Survey of Product Quantization
更多相关文章...
• ASP PICS 属性 - ASP 教程
• C# 基本语法 - C#教程
• Kotlin学习（二）基本类型