浅谈模型压缩

有一个做深度学习模型部署的同学曾经提到过他目前的方向主要是模型压缩,就是对于部署在app上的模型在不影响性能的前提下如何减小模型的体量,我也会经常用Bert等transformer架构的模型,体量过大也是缺点,所以才有了后面的ALBert模型,这里对模型压缩的内容提前了解下,以免后面的工作会用到。 目录 1. 模型压缩的意义 2. 模型压缩相关技术 2.1 低秩分解 2.2 剪枝 2.3 知识蒸馏
相关文章
相关标签/搜索