静态词嵌入

记录一下学习最近学习的静态词嵌入。 一、one-hot encoding 1.每个词向量长度等于词库大小 2.除了词对应的位置为1，其他所有位置均为0 3.非常稀疏（维度灾难） 4.无法表示语义 5.无法计算词之间的相似度 二、主题模型 三、word2vec（局部方法论） 这篇有详细的数学原理 本质上就是nnlm，词向量只是训练的副产物。输入是one-hot encoding，经过两层全连接和一层

>>阅读原文<<