手机端开发深度学习应用

第一步模型压缩 将深度学习模型应用到手机、嵌入式设备,咱们应该减小模型内存封装,减小推断时间和减小能源使用。有许多方式解决这些问题,例如量子化,权重简直或者distilling 大模型到小模型. 本文使用在Tensorflow中的量子化工具压缩模型。缩减到8bit权重,没有提供额外的好处例如减小推断时间。时间甚至须要2倍,由于量子化工做对CPU没有优化。 量化模型参数: 1 将模型写入protoc
相关文章
相关标签/搜索