【论文笔记】Accelerated Training for Massive Classification via Dynamic Class Selection

众所周知，类别较多的时候深度学习中无论是计算量还是参数都是巨大的，训练效率也随之降低，所以本文介绍高效训练网络。 观察发现：                                   active class：对于一个输入样本，其输出概率只集中在少量的类别中；         在softmax loss回传梯度中：                  在迭代过程中，回传梯度主要受这些活跃类

>>阅读原文<<