基于Hierarchical softmax的word2vec模型

文章目录 CBOW模型 基本结构 梯度计算 Skip-gram模型 基本结构 梯度更新 优缺点 word2vec有两个重要的模型：CBOW模型和Skip-gram模型。如下图所示： 这两个模型都包括输入层，投影层，输出层，如上右图CBOW模型时在已知当前词 w t w_t wt​的上下文 w t − 2 , w t − 1 , w t + 1 , w t + 2 w_{t-2},w_{t-1},w

>>阅读原文<<