python实战，中文天然语言处理，应用jieba库来统计文本词频

模块介绍

安装：pip install jieba 便可

jieba库，主要用于中文文本内容的分词，它有3种分词方法：

1. 精确模式, 试图将句子最精确地切开，适合文本分析：

2. 全模式，把句子中全部的能够成词的词语都扫描出来，速度很是快，可是不能解决歧义；

3. 搜索引擎模式，在精确模式的基础上，对长词再词切分，提升召回率，适合用于搜索引擎分词。

咱们用个小例子演示下

这上面的小例子中咱们看到了一个问题，若是咱们只是简简单单的将全部词切分出来，而后去统计它们出现的次数，那么你会发现，其中的“是”，“的”等等词语以及各类标点符号是出现频率最高的，那么这里有2种方式，1是直接去掉长度为1的全部词语，好比上面所说的“是”，“的”或者标点符号等等，还有一种呢，是用到了TF-IDF技术

TF-IDF (term frequency-inverse document frequency)是一种用于信息检索(information retrieval)与文本挖掘(text mining)的经常使用加权技术，比较容易理解的一个应用场景是当咱们手头有一些文章时或者微博评论，咱们但愿计算机可以自动地进行关键词提取。而TF－IDF就是能够帮咱们完成这项任务的一种统计方法。它能偶用于评估一个词语对于一个文集或一个语料库中的其中一份文档的重要程度。这个方法又称为"词频－逆文本频率"。

很差理解的话，咱们同样来写一个小例子：

withWeight=True 参数为是否返回权重值，默认是关闭的，咱们直接打印出全部词和它对于的权重，就能够用于计算了！

小说词频分析

简单的写个小demo，分析小说的词频，并将前10个打印出来！篇幅有限，就以《天龙八部》的第1章为例，大概有4万多个字符，直接上代码了！

在第425行，进行分词，而后将结果进行遍历（426-433行），遍历中，剔除单个字符，每一个词语和它所出现的次数写入字典，第43四、435行将字典转化为元组所组成的列表，并依据出现次数进行排序，而后遍历列表，取出前10名。

第二段代码（441-445行）是依据权重取出了关键词，能够看出，这章小说，主要讲的就是段誉的事情了，不管是权重仍是词频都是他最高。。。

文本内容有大概400多行，就折叠了，你们能够直接套用代码，本身试试。

后记

今天的分享就这些了，python的天然语言处理其实还有好多内容，好比中止词的使用，词性等等好多，你们若是有兴趣，能够来找我一块儿深刻学习！