文本转化为向量

假如有一句话"I am a student"。用向量来表示每个单词,采用one hot 编码表示方式: I -> [1,0,0,0] am -> [0,1,0,0] a -> [0,0,1,0] student -> [0,0,0,1] 我们会发现两个缺点: (1)单词向量之间的内积为0,它们相互独立。这与实际情况是矛盾的,单词之间是有一定的联系,比如woman与girl,dog与dogs。 (2
相关文章
相关标签/搜索