文本相似度算法:文本向量化+距离公式

1. 文本向量化 1.1 词袋模型 词袋模型,顾名思义,就是将文本视为一个 “装满词的袋子” ,袋子里的词语是随便摆放的,没有顺序和语义之分。 1.1.1 词袋模型的步骤 第一步:构造词典 根据语料库,把所有的词都提取出来,编上序号 第二步:独热编码,D维向量 记词典大小为D,那么每个文章就是一个D维向量:每个位置上的数字表示对应编号的词在该文章中出现的次数。 1.1.2 词袋模型的缺点 只统计词
相关文章
相关标签/搜索