词向量（从one-hot到word2vec）

词向量的意思就是经过一个数字组成的向量来表示一个词，这个向量的构成有不少种方法，如one-hot编码、基于共现矩阵的方式、word2vec、动态词向量ELMo等。web 1、one-hot向量 优点：简单易懂、稀疏存储网络 不足：维度灾难、词汇鸿沟（向量之间都是孤立的）svg 2、基于共现矩阵的方式 上述矩阵是一个n*n的对称矩阵X，矩阵维数随着词典数量n的增大而增大，可使用奇异值分解SVD将矩阵

>>阅读原文<<