多类别SVM损失和交叉熵损失比较

多类别SVM损失和交叉熵损失是机器学习中两种常用的损失函数，为了加深自己对它们的理解也便于以后回顾，下面以表格的形式从它们的主要思想、对应的分类器、损失计算公式以及对权重矩阵的梯度计算公式四个方面进行对比。 比较项目 多类别SVM损失(又称hinge loss) 交叉熵损失(cross-entropy loss) 主要思想 正确的类别结果获得的得分比不正确的类别至少要高一个阈值 Δ Δ 从信息论角

>>阅读原文<<