【NLP】词的表示方式

1.one-hot编码

  • 给每个词分配一个数字ID,如“爸爸”=1=[010],“妈妈”=2=[001]
  • 缺点(1)高维度,稀疏(2)词之间相互独立,无法表示词之间的语义

2.分布式表示
(1)基于矩阵的分布表示

  • 词的相似度转换为向量的空间距离
  • Global Vector模型

(2)基于聚类的分布表示
(3)基于神经网络的分布表示----词向量/词嵌入

  • word embedding词嵌入空间
    在这里插入图片描述 3.一般使用别人训练好的词向量,使用的语料库领域相同的。