word2vec原理(二) 基于Hierarchical Softmax的模型

1. 基于Hierarchical Softmax的模型概述 　　　　我们先回顾下传统的神经网络词向量语言模型，里面一般有三层，输入层（词向量），隐藏层和输出层（softmax层）。里面最大的问题在于从隐藏层到输出的softmax层的计算量很大，因为要计算所有词的softmax概率，再去找概率最大的值。这个模型如下图所示。其中VV是词汇表的大小，   　　　　word2vec对这个模型做了改进，首

>>阅读原文<<