Ternary Neural Networks with Fine-Grained Quantization

这篇文章主要针对以往三值量化一刀切的粗暴“量化”方式提出“细粒度”量化的想法。 文章目的将现有的网络不经训练地转化为三值网络,且激活函数8bit/4bit的。 相对于前人的工作,这篇文章的创新点在于Weight Grouping上。 3.1说应该将weights分为正交的子集。 3.2说3.1太麻烦了,直接按照顺序分成子集就好,真是纠结的一篇文章啊。   效果上,作者给出的字面数据是不错的。 结论
相关文章
相关标签/搜索