自然语言处理：CBOW（哈夫曼树）与Skip-Gram模型

gensim库中的word2vev中模型主要使用了CBOW（哈夫曼树）与Skip-Gram模型。CBOW表示基于上下文来预测目标词，即输入是2c个上下文词（c表示窗口大小），输出是目标词的概率；Skip-Gram则是恰恰相反，输入是当前的目标词，输出则是上下文词的概率。 在确定了输入输出之后，其实训练的方式也就很明显了，（例如CBOW）输入层经过隐藏层最后softmax输出所有词的概率，然后反向传

>>阅读原文<<