word2vec中的负采样（以CBOW模型为例）

CBOW模型图      输入词w（t）的上下文单词的词向量（随机生成），输入层单词加和得到了一个跟输入词相同维数的向量。对此向量进行相应操作，使得输出为w(t)的概率最大。     当然输出层可以用softmax，目标：w(t)的softmax值最大。针对此目标我们采用交叉熵损失函数。当然这个模型不仅仅针对预测一个单词时，我们需要将预测所有单词的交叉熵损失函数相加作为全局的损失函数，进行多次误差

>>阅读原文<<