自然语言处理（四）词向量的所有概念

word2vec是一种将word转为向量的方法，其包含两种算法，分别是skip-gram和CBOW，它们的最大区别是skip-gram是通过中心词去预测中心词周围的词，而CBOW是通过周围的词去预测中心词。 one-hot representation以字典建立向量，词所处的位置用1表示，其余为0。此种方式词缺点是向量太稀疏造成内存消耗大，且无法表示词与词之间的语义顺序关系。 把稀疏词向量稠密化，

>>阅读原文<<