Word2vec基础之霍夫曼树

        word2vec使用了CBOW与Skip-Gram来训练模型与得到词向量,但是并没有使用传统的DNN模型。最先优化使用的数据结构是用霍夫曼树来代替隐藏层和输出层的神经元,即霍夫曼树的:          叶子节点:起到输出层神经元的作用,叶子节点的个数即为词汇表的小大。          内部节点:起到隐藏层神经元的作用。 霍夫曼树的建立过程如下: 输入:权值为(w1,w2,...
相关文章
相关标签/搜索