自然语言处理与词嵌入

词汇表特征 有一个词典，里面有10000个单词。使用one-hot的表示方法，每个单词的表示向量有10000个元素，单词对应的位置为1，其他位置为0。比如，单词”Man”在词典的5391位，那么”Man”的表示向量为 ⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢0⋮1⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥ [ 0 ⋮ 1 ⋮ 0 ] ，”1”在第5391位。 这样表示单词有一个缺点，就是去掉了单词之间的相关性。假设模型学会了”I wa

>>阅读原文<<