Regularizing Class-wise Predictions via Self-knowledge Distillation

时间 2021-01-16

原文原文链接

解决的问题是图像分类模型的过拟合，做法利用类class-wise 正则化项。思想是比如上图，这个思想简单的作为KL散度中不动的一方，下面这个背景复杂的作为动的一方，在类别预测的概率分布上进行蒸馏，过滤掉黑暗知识。一个模型，两个不同的样本但是类别是一致的，带有标签。