通俗易懂的NCE Loss

NCE loss : Noise Contrastive Estimation 他的直观想法：把多分类问题转化成二分类。 之前计算softmax的时候class数量太大，NCE索性就把分类缩减为二分类问题。 之前的问题是计算某个类的归一化概率是多少，二分类的问题是input和label正确匹配的概率是多少。 问题： 通常训练例如word2vec的时候，我们最后用full softmax预测出下一个

>>阅读原文<<