NLP天然语言处理

天然语言处理   研究使用计算机编程来处理与理解人类语言。 应用场景   机器翻译、情感分析、文本处理、聊天机器人。 通用技术 1.分词   将连续文本分割成若干词汇 2.停用词过滤   拿一个句子来讲：主谓宾、定状补。通过停用词过滤之后就只剩下---主谓宾。   词干提取和词形还原主要应用在英文等西方语言中。 3.词干提取   是指对一个单词去掉后缀，还原为词自己。 4.词形还原   是指同一单词不一样形式的识别，将单词还原为标准形式。 5.词袋模型   用来将文本转换成数值向量的表示形式。方式为将每一个文档构建一个特征向量，其中包含每一个单词在文档中出现的次数。 6.TF-IDF   TF-IDF=TF(词频)*IDF(逆文档频率)   TF(Term Frequency):词频统计，对文章中词语出现的频率进行计数统计。   $TF=\frac{当前文档中单词出现的次数}{当前文档中包含的单词总数}$   大众词出现的次数多，也不该该认为是重要的，由于在其它文档中出现的次数也多。为了更好的衡量大众词的价值，可用IDF来解决。   IDF(Inverse Document Frequency):逆文档频率，指的是语料库中文档总数与语料库中包含该词的文档数，两者比值的对数（log）。   $IDF=log\left ( \frac{语料库中文档总数}{语料库中包含该词的文档数+1} \right )$ 举个例子：   昨夜 星辰 昨夜风   小马过河   昨夜房上看月亮   明天又是另一天了   "昨夜"在第一个文档中出现了2次，第一个文档总共包含4个词，总共存在4个文档，故 $TF=\frac{2}{4}$ , $IDF=log\left ( \frac{4}{2+1} \right )$   "昨夜"的TF-IDF值为：$0.5\times log\left ( 4/3 \right )$ 7.Word2Vec   Word2Vec:Word2Vec是Google在2013年提出的一个开源算法，使用神经网络技术，能够将词表转化为向量表示。确切的说，就是将词映射为n维空间向量，特征维度n视具体的状况与需求而定。   计算文本类似度：可先将词条转化成向量，从而根据余弦类似度来计算文本之间的类似性。