Word2vec 理解

1.有DNN做的word2vec,取隐藏层到softmax层的权重为词向量,softmax层的叶子节点数为词汇表大小      2-3的最开始的词向量是随机初始化的   2.哈夫曼树:左边走 sigmoid(当前节点的词向量*当前节点的参数) 右边走 1-sigmoid(当前节点的词向量*当前节点的参数),叶子节点为词汇表所有词,然后求根节点到叶子节点的极大似然估计,在Skip gram中,词向量
相关文章
相关标签/搜索