深度网络剪枝与轻量化

常见模型剪枝方法 Low-rank Decomposition：低秩分解。将权值矩阵分解为低秩矩阵 Weight Quantization：权值量化。HashNet 提出去量化网络的权值。在训练之前，网络的权值被hash到不同的组，并且组内的权重是共享的。这样只有共享的权重和hash indices需要被储存，可以节省很大一部分存储空间。然而，这些技术既不能节省运行时的内存，又不能节省推理时间，因

>>阅读原文<<