网络模型小型化--量化

网络模型量化 模型量化 以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程 模型的输入输出依然是浮点型 达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标 原理 模型量化桥接了定点与浮点,建立了一种有效的数据映射关系,使得以较小的精度损失代价获得了较好的收益 由浮点到定点的量化 由定点到浮点反量化 优缺点 好处 减小模型尺寸,如8位整型量化可减少75%的模型大小 减少存储空
相关文章
相关标签/搜索