python jieba 分词进阶

https://www.cnblogs.com/jiayongji/p/7119072.html

文本准备

到网上随便一搜"三体全集"，就很容易下载到三体三部曲的全集文本（txt文档大概有2~3Mb），这里重命名为santi.txt，并存放到当前目录下。

读取三体全集文本

# coding:utf-8
import sys

# 设置环境为utf-8编码格式，防止处理中文出错
reload(sys)
sys.setdefaultencoding('utf-8')

# 读取三体全集文本
santi_text = open('./santi.txt').read()

print len(santi_text)

# 输出：
'''
2681968
'''

能够看出文本的长度有2681968字节，数据量仍是很庞大的，语料库足够丰富。

对文本分词并缓存到文件中

下面用jieba.posseg模块对文本进行分词并标注词性，这里标注词性的目的是为了后面接下来根据词性过滤掉那些没有实际意义的词（如'好的'、'通常'、'他的'等等这种词），而将分词结果缓存到文件中是为了提升每次运行脚本的效率，毕竟这么大的数据量，分词一次仍是耗时很长的（大概为几分钟），缓存到文件中，只需第一次作一次分词，后面再运行脚本就只需从文件中读取分词结果便可，毕竟读文件的速度比分词要快不少。下面上代码：

import jieba.posseg as psg

# 将三体全集文本分词，并附带上词性，由于数据量比较大，防止每次运行脚本都花大量时间，因此第一次分词后就将结果存入文件out.txt中
# 至关于作一个缓存，格式为每一个词占一行，每一行的内容为：
# 词    词性
santi_words_with_attr = [(x.word,x.flag) for x in psg.cut(santi_text) if len(x.word) >= 2]  # 这里的x.word为词自己，x.flag为词性
print len(santi_words_with_attr)　　#　输出：
with open('out.txt','w+') as f:
    for x in santi_words_with_attr:
        f.write('{0}\t{1}\n'.format(x[0],x[1]))

运行上面一段代码，几分钟以后在当前目录生成了一个out.txt文件，有273033行，数据量仍是很是大的，其前几行的内容以下：

'''
手机  n
TXT eng
小说  n
下载  v
www eng
sjtxt   eng
com eng
欢迎您 l
sjtxt   eng
推荐  v
好书  n
    x
    x
    x
'''

你确定会大呼一声：这什么鬼!?!!!

不急，这是由于文本中存在大量的咱们不须要的词，甚至还有不少空白符词，这确定是无法玩的，因此接下来咱们对垃圾词进行过滤，对数据作一下清洗。

分词结果清洗

如今咱们缓存的分词结果文件out.txt就能够派上用场了，为了清洗分词结果，咱们须要再次获取分词结果，而如今就不须要再运行一次超级耗时的分词代码了，而只需从out.txt中读取便可，上代码：

# 从out.txt中读取带词性的分词结果列表
santi_words_with_attr = []
with open('out.txt','r') as f:
    for x in f.readlines():
        pair = x.split()
        if len(pair) < 2:
            continue
        santi_words_with_attr.append((pair[0],pair[1]))

# 将分词列表的词性构建成一个字典，以便后面使用，格式为：
# {词:词性}
attr_dict = {}
for x in santi_words_with_attr:
    attr_dict[x[0]] = x[1]

# 要过滤掉的词性列表，这些词性的词都是没有实际意义的词，如连词、代词等虚词，这个列表初始化为空列表，后面根据分析结果手工往里面一个个添加
stop_attr = []

# 获取过滤掉stop_attr里的词性的词后的分词列表
words = [x[0] for x in santi_words_with_attr if x[1] not in stop_attr]

#　统计在分词表中出现次数排名前500的词的列表，并将结果输出到文件most.txt中，每行一个词，格式为：
# 词,出现次数,词性
from collections import Counter
c = Counter(words).most_common(500)
with open('most.txt','w+') as f:
    for x in c:
        f.write('{0},{1},{2}\n'.format(x[0],x[1],attr_dict[x[0]]))

第一次运行上述代码，生成的most.txt文件有500行，前10行内容以下：

'''
一个,3057,m
没有,2128,v
他们,1690,r
咱们,1550,r
程心,1451,n
这个,1357,r
本身,1347,r
如今,1273,t
已经,1259,d
罗辑,1256,n
'''

能够看到词频排名前四的都是些没意义的词，而第5个'程心'才是三体中有实际意义的词(程圣母果真厉害)。等等，这是由于咱们没有将前四名这些词的词性添加到stop_attr列表中，致使它们并无被过滤掉，那咱们如今就把这前4个词的词性添加到stop_attr列表中，stop_attr列表变成：['m','v','r']，再次运行脚本，most.txt的内容(前10个词)变为了：

'''
程心,1451,n
如今,1273,t
已经,1259,d
罗辑,1256,n
世界,1243,n
地球,951,n
人类,935,n
太空,930,n
三体,879,n
宇宙,875,n
'''

能够看到，咱们成功清洗掉了刚刚前四名的无心义的词，'程心'成功变为词频最高的词。可是第二、3名的'如今'、'已经'等词显然也是咱们不须要的，那么就重复上面的过程，把这些不须要的词性添加到stop_attr列表中，再看结果。而后继续重复以上过程，重复N次以后，我获得的stop_attr变成了：['a','ad','b','c','d','f','df','m','mq','p','r','rr','s','t','u','v','z']，长长的一串。而most.txt的内容变为了(前20行)：

'''
程心,1451,n
罗辑,1256,n
世界,1243,n
地球,951,n
人类,935,n
太空,930,n
三体,879,n
宇宙,875,n
太阳,775,ns
舰队,649,n
飞船,644,n
汪淼,633,nrfg
时间,611,n
文明,561,nr
东西,515,ns
信息,480,n
感受,468,n
智子,452,n
计划,451,n
叶文洁,446,nr
太阳系,428,n
'''

能够看出分词结果已经被清洗的很干净了，也能够发现咱们须要的有实际意义的词绝大多数都为名词（n或n开头的）。

TopN词汇输出

接下来咱们把文本中的TopN词汇及词频输出到result.txt中，每一行一个词，格式为：词,词频

from collections import Counter
c = Counter(words).most_common(500)
with open('result.txt','w+') as f:
    for x in c:
        f.write('{0},{1}\n'.format(x[0],x[1]))

获得的result.txt的前10行内容以下：

'''
程心,1451
罗辑,1256
世界,1243
地球,951
人类,935
太空,930
三体,879
宇宙,875
太阳,775
舰队,649
'''

完整代码封装

将上述每一步的代码封装成一个完整的脚本，以下：

 

# coding:utf-8
import jieba.posseg as psg
from collections import Counter
import sys

# 对文本分词并标注词性，并缓存到文件
def cut_and_cache(text):
    # 将三体全集文本分词，并附带上词性，由于数据量比较大，防止每次运行脚本都花大量时间，因此第一次分词后就将结果存入文件cut_result.txt中
    # 至关于作一个缓存，格式为每一个词占一行，每一行的内容为：
    # 词,词性
    santi_words_with_attr = [(x.word,x.flag) for x in psg.cut(santi_text) if len(x.word) >= 2]
    print len(santi_words_with_attr)
    with open('cut_result.txt','w+') as f:
        for x in santi_words_with_attr:
            f.write('{0}\t{1}\n'.format(x[0],x[1]))    

# 从cut_result.txt中读取带词性的分词结果列表
def read_cut_result():
    santi_words_with_attr = []
    with open('cut_result.txt','r') as f:
        for x in f.readlines():
            pair = x.split()
            if len(pair) < 2:
                continue
            santi_words_with_attr.append((pair[0],pair[1]))
    return santi_words_with_attr

# 将分词列表的词性构建成一个字典，以便后面使用，格式为：
# {词:词性}
def build_attr_dict(santi_words_with_attr):
    attr_dict = {}
    for x in santi_words_with_attr:
        attr_dict[x[0]] = x[1]
    return attr_dict

#　统计在分词表中出现次数排名前500的词的列表，并将结果输出到文件result.txt中，每行一个词，格式为：
# 词,出现次数
def get_topn_words(words,topn):
    c = Counter(words).most_common(topn)
    with open('result.txt','w+') as f:
        for x in c:
            f.write('{0},{1}\n'.format(x[0],x[1]))
        
        
def main():
    # 设置环境为utf-8编码格式，防止处理中文出错
    reload(sys)
    sys.setdefaultencoding('utf-8')
    
    # 读取三体全集文本
    santi_text = open('./santi.txt').read()
    
    # 分词并缓存，只需运行一次，后续可注释掉
    cut_and_cache(santi_text)
    
    # 从cut_result.txt中读取带词性的分词结果列表
    santi_words_with_attr = read_cut_result()
    
    # 构建词性字典，这个字典在探索stop_attr的时候会有帮助
    # attr_dict = build_attr_dict(santi_words_with_attr)
    
    # 要过滤掉的词性列表
    stop_attr = ['a','ad','b','c','d','f','df','m','mq','p','r','rr','s','t','u','v','z']
    
    # 过滤掉不须要的词性的词
    words = [x[0] for x in santi_words_with_attr if x[1] not in stop_attr]
    
    # 获取topn的词并存入文件result.txt
    get_topn_words(words = words,topn = 500)
    
if __name__ == '__main__':
    main()