【星球知识卡片】模型剪枝有哪些关键技术,如何对其进行长期深入学习

大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型剪枝的关键技术以及一些学习资料。 作者&编辑 | 言有三 1 为什么要研究模型剪枝 在真正研究模型剪枝之前,我们首先要知道为什么要做这件事,模型到底有多么冗余呢,以Google对大模型和移动端小模型的研究来说明这个问题,如下。 2 连接剪枝 对权重连接和神经元进行剪枝是最简单,也是最早期的剪枝技术,NVIDIA的韩松等人是最早研究模型剪枝
相关文章
相关标签/搜索