基于Hierarchical Softmax的CBOW模型

基于Hierarchical Softmax的CBOW模型 构造 P(w | context(w)) 哈夫曼树(Huffman Tree) 又称为带权路径长度最短二叉树，或最优二叉树。如A:15，B:10，C:3，D:5，下图所示为哈夫曼树： 带权路径长度WPL=33+53+102+151=59。 在CBOW中，输出层为一棵根据词频构造的哈夫曼树。 其实在word2vec之前，即有类似的三层神经网

>>阅读原文<<