损失函数：Hinge Loss（max margin）

损失函数：Hinge Loss（max margin）

Hinge Loss简介

Hinge Loss是一种目标函数（或者说损失函数）的名称，有的时候又叫作max-margin objective。其最著名的应用是做为SVM的目标函数。

其二分类状况下，公式以下： 

l(y)=max(0,1−t⋅y)

其中，y是预测值（-1到1之间），t为目标值（±1）。

 

其含义为，y的值在-1到1之间就能够了，并不鼓励|y|>1，即并不鼓励分类器过分自信，让某个能够正确分类的样本距离分割线的距离超过1并不会有任何奖励。从而使得分类器能够更专一总体的分类偏差。

变种

实际应用中，一方面不少时候咱们的y的值域并非[-1,1]，好比咱们可能更但愿y更接近于一个几率，即其值域最好是[0,1]。另外一方面，不少时候咱们但愿训练的是两个样本之间的类似关系，而非样本的总体分类，因此不少时候咱们会用下面的公式： 

l(y,y′)=max(0,m−y+y′)

其中，y是正样本的得分，y’是负样本的得分，m是margin（本身选一个数）

 

即咱们但愿正样本分数越高越好，负样本分数越低越好，但两者得分之差最多到m就足够了，差距增大并不会有任何奖励。

好比，咱们想训练词向量，咱们但愿常常同时出现的词，他们的向量内积越大越好；不常常同时出现的词，他们的向量内积越小越好。则咱们的hinge loss function能够是： 

l(w,w+,w−)=max(0,1−wT⋅w++wT⋅w−)

其中，w是当前正在处理的词，w+是w在文中前3个词和后3个词中的某一个词，w−是随机选的一个词。