word2vec中的数学原理

文章主要是为了今后回顾自己所学，多为总结他人经验所得。 CBOW模型的网络结构包括三层：输入层、投影层和输出层。和神经概率语言模型相比，他没有了隐藏层。且其投影层是将输入层的向量做求和累加而不是拼接。另外一个特殊之处在于，其输出层是树形结构（Haffman树）而不是线性结构。 然后我们说一下它的输出层。输出层对应的是一颗二叉树，它以语料中出现过的词当叶子节点，以各词在语料中出现的次数当权值构造出来

>>阅读原文<<