人工智能-经常使用python模块

一：pypinyin

做用：汉字转拼音

pip3 install pypinyin

 

使用

from pypinyin import lazy_pinyin,TONE2,TONE

res = lazy_pinyin('先帝创业未半')
print(res)  #['xian', 'di', 'chuang', 'ye', 'wei', 'ban']

res = lazy_pinyin('先帝创业未半',style=TONE2)
print(res) #['xia1n', 'di4', 'chua4ng', 'ye4', 'we4i', 'ba4n']
print(''.join(res))#xia1ndi4chua4ngye4we4iba4n


res = lazy_pinyin('先帝创业未半',style=TONE)
print(res)  #['xiān', 'dì', 'chuàng', 'yè', 'wèi', 'bàn']

 

 

二：jieba

做用:把一句话分红词组

pip3 install jieba

 

使用

import jieba

res = jieba.cut('皇帝打天下打到一半就挂了')
print(res)#<generator object Tokenizer.cut at 0x000001544D390888>

res = list(jieba.cut('皇帝打天下打到一半就挂了'))
print(res)  #['皇帝', '打天下', '打', '到', '一半', '就', '挂', '了']

res = list(jieba.cut_for_search('皇帝打天下打到一半就挂了'))
print(res)  #['皇帝', '天下', '打天下', '打', '到', '一半', '就', '挂', '了']


jieba.add_word('挂了')  #添加到词库（必须符合中文结构）
res = list(jieba.cut('皇帝打天下打到一半就挂了'))
print(res)  #['皇帝', '打天下', '打', '到', '一半', '就', '挂了']

 

　　

 

三：gensim

做用：语言训练库

天然语言处理(NLP) : 大概意思就是 让计算机明白一句话要表达的意思,NLP就至关于计算机在思考你说的话,让计算机知道"你是谁","你叫啥","你叫什么名字"是一个意思

这就要作 : 语义类似度

 

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities

l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"]
a = "你今年多大了"

all_doc_list = []
for doc in l1:
    doc_list = [word for word in jieba.cut(doc)]
    all_doc_list.append(doc_list)

print(all_doc_list)
doc_test_list = [word for word in jieba.cut(a)]

# 制做语料库
dictionary = corpora.Dictionary(all_doc_list)  # 制做词袋
# 词袋的理解
# 词袋就是将不少不少的词,进行排列造成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
# 至于它是作什么用的,带着问题往下看

print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# 语料库:
# 这里是将all_doc_list 中的每个列表中的词语 与 dictionary 中的Key进行匹配
# 获得一个匹配后的结果,例如['你', '今年', '几岁', '了']
# 就能够获得 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1表明的的是 你 1表明出现一次, 5表明的是 了  1表明出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))

# 将须要寻找类似度的分词列表 作成 语料库 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))

# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus)
# 这里的只是须要学习Lsi模型来了解的,这里不作阐述
print("lsi", lsi, type(lsi))
# 语料库corpus的训练结果
print("lsi[corpus]", lsi[corpus])
# 得到语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])

# 文本类似度
# 稀疏矩阵类似度 将 主 语料库corpus的训练结果 做为初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))

# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 作矩阵类似度计算
sim = index[lsi[doc_test_vec]]

print("sim", sim, type(sim))

# 对下标和类似度结果进行一个排序,拿出类似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)

text = l1[cc[0][0]]

print(a,text)

前方高能

View Code