label smooth/mixup——深度学习中的一种防止过拟合方法

  Label Smooth 在常见的多分类问题中，先通过softmax处理后进行交叉熵计算，原理很简单能够将计算loss理解为，为了使得网络对测试集预测的几率分布和其真实分布接近，经常使用的作法是使用one-hot对真实标签进行编码，做者认为这种将标签强制one-hot的方式使网络过于自信会致使过拟合，所以软化这种编码方式。网络 等号左侧：是一种新的预测的分布学习 等号右侧：前半部分是对原分布乘

>>阅读原文<<