什么是稀疏动量网络（加速训练）

稀疏动量：训练稀疏网络的有效方法 关于神经网络的快速训练，我们在整个训练过程中都会保持稀疏。我们表明，通过开发稀疏动量算法，我们可以使用稀疏随机权重初始化神经网络，并将其训练为密集的性能水平-所有这些都仅需执行一次训练即可。此外，如果我们使用优化的稀疏卷积算法，则可以将VGG的训练速度提高到3.5倍，而将宽残差网络的训练速度提高到12倍。 这与计算昂贵的方法形成了鲜明的对比，其他工作使用的重复修剪

>>阅读原文<<