Python基于共现提取《釜山行》人物关系

Python基于共现提取《釜山行》人物关系

1、课程介绍

1. 内容简介

《釜山行》是一部丧尸灾难片，其人物少、关系简单，很是适合咱们学习文本处理。这个项目将介绍共如今关系中的提取，使用python编写代码实现对《釜山行》文本的人物关系提取，最终利用Gephi软件对提取的人物关系绘制人物关系图。

2. 课程知识点

本课程项目完成过程当中将学习：

• 共现网络的基本原理
• Python代码对《釜山行》中人物关系提取的具体实现
• jieba库的基本使用
• Gephi软件的基本使用

3. 课程来源

课程使用的操做系统为 Ubuntu 14.04。你能够在个人 Github 上找到针对《釜山行》人物关系提取的所有代码。你也能够直接点击查看共现网络简单的英文介绍。

2、实验原理

实验基于简单共现关系，编写 Python 代码从纯文本中提取出人物关系网络，并用Gephi 将生成的网络可视化。下面介绍共现网络的基本原理。你能够在个人博客查看对共现网络简单的英文介绍。

实体间的共现是一种基于统计的信息提取。关系紧密的人物每每会在文本中多段内同时出现，能够经过识别文本中已肯定的实体（人名），计算不一样实体共同出现的次数和比率。当比率大于某一阈值，咱们认为两个实体间存在某种联系。这种联系能够具体细化，但提取过程也更加复杂。所以在此课程只介绍最基础的共现网络。

3、开发准备

打开Xfce终端，进入 Code 目录，建立 work 文件夹, 将其做为课程的工做目录。下载并安装 gephi 。

$ mkdir work && cd work $ mkdir gephi && cd gephi $ wget http://labfile.oss.aliyuncs.com/courses/677/gephi-0.9.1-linux.tar.gz #下载 $ tar -zxvf gephi-0.9.1-linux.tar.gz #解压 

下载《釜山行》的中文剧本。

$ wget http://labfile.oss.aliyuncs.com/courses/677/busan.txt

安装jieba中文分词。

$ sudo pip2 install jieba

4、实验步骤

你能够经过下面命令将代码下载到实验楼环境中，做为参照对比进行学习。

$ wget http://labfile.oss.aliyuncs.com/courses/677/busan.py

1.观察文本结构、准备词典

《釜山行》剧本很是适合文本处理，语言简洁，大体每一段对应一个关键情节。人物较少且易于识别，因此很是适合文本处理的学习，所以选用了《釜山行》做为课程的样例。

因为《釜山行》人物少、关系简单，因此咱们能够经过词典指定人物名称的方式作实体识别。你也能够不创建字典并尝试使用某种分词算法或包装好的分词库（如教程使用的jieba），但离开特定词典的针对特定文本的分词效果可能会有很大程度削弱。所以对简单网络而言，创建字典是效率较高的作法。

能够经过各种百科获取《釜山行》的主要人物，你能够在百度百科中找到他们的介绍，并将人名写入一个字典中。项目将主要人物的名称保存在文件dict.txt中，你能够经过下面的命令下载这个字典，也能够本身新建一个文件保存。字典dict.txt需放在文件夹work下。

$ wget http://labfile.oss.aliyuncs.com/courses/677/dict.txt

2.肯定须要的变量

在work文件下建立代码文件busan.py,开始进行python代码的编写。

在代码中，我使用字典类型names保存人物，该字典的键为人物名称，值为该人物在全文中出现的次数。我使用字典类型relationships保存人物关系的有向边，该字典的键为有向边的起点，值为一个字典edge，edge的键是有向边的终点，值是有向边的权值，表明两我的物之间联系的紧密程度。lineNames是一个缓存变量，保存对每一段分词获得当前段中出现的人物名称，lineName[i]是一个列表，列表中存储第i段中出现过的人物。

# -*- coding: utf-8 -*- import os, sys import jieba, codecs, math import jieba.posseg as pseg names = {} # 姓名字典 relationships = {} # 关系字典 lineNames = [] # 每段内人物关系 

3.文本中实体识别

在具体实现过程当中，读入《釜山行》剧本的每一行，对其作分词（判断该词的词性是否是“人名”[词性编码：nr]，若是该词的词性不为nr，则认为该词不是人名），提取该行（段）中出现的人物集，存入lineName中。以后对出现的人物，更新他们在names中的出现次数。

jieba.load_userdict("dict.txt") # 加载字典 with codecs.open("busan.txt", "r", "utf8") as f: for line in f.readlines(): poss = pseg.cut(line) # 分词并返回该词词性 lineNames.append([]) # 为新读入的一段添加人物名称列表 for w in poss: if w.flag != "nr" or len(w.word) < 2: continue # 当分词长度小于2或该词词性不为nr时认为该词不为人名 lineNames[-1].append(w.word) # 为当前段的环境增长一我的物 if names.get(w.word) is None: names[w.word] = 0 relationships[w.word] = {} names[w.word] += 1 # 该人物出现次数加 1 

你能够在 with 代码块以后添加如下代码输出生成的 names 来观察人物出现的次数：

for name, times in names.items(): print name, times 

运行代码

python busan.py 

在实验楼中的显示结果以下图：

4.根据识别结果构建网络

对于 lineNames 中每一行，咱们为该行中出现的全部人物两两相连。若是两我的物之间还没有有边创建，则将新建的边权值设为 1，不然将已存在的边的权值加 1。这种方法将产生不少的冗余边，这些冗余边将在最后处理。

for line in lineNames: # 对于每一段 for name1 in line: for name2 in line: # 每段中的任意两我的 if name1 == name2: continue if relationships[name1].get(name2) is None: # 若两人还没有同时出现则新建项 relationships[name1][name2]= 1 else: relationships[name1][name2] = relationships[name1][name2]+ 1 # 两人共同出现次数加 1 

5.过滤冗余边并输出结果

将已经建好的 names 和 relationships 输出到文本，以方便 gephi 可视化处理。输出边的过程当中能够过滤多是冗余的边，这里假设共同出现次数少于 3 次的是冗余边，则在输出时跳过这样的边。输出的节点集合保存为 busan_node.txt ，边集合保存为 busan_edge.node 。

with codecs.open("busan_node.txt", "w", "gbk") as f: f.write("Id Label Weight\r\n") for name, times in names.items(): f.write(name + " " + name + " " + str(times) + "\r\n") with codecs.open("busan_edge.txt", "w", "gbk") as f: f.write("Source Target Weight\r\n") for name, edges in relationships.items(): for v, w in edges.items(): if w > 3: f.write(name + " " + v + " " + str(w) + "\r\n") 

完成全部代码编写后，运行

python busan.py 

在文件夹work下将会生成busan_node.txt和busan_edge.node。

6.可视化网络

前面对《釜山行》剧本中的人物关系数据进行了处理，下面咱们将使用gephi这个软件来将人物关系可视化，以便展现的更直观，毕竟生硬的数字和文本，或许只有你才懂，其余人可看不明白。

使用 gephi 导入生成的网络，并生成简单的可视化布局。执行下面命令启动 gephi 。

$ cd gephi-0.9.1 $ cd bin $ ./gephi 

点击 文件 -> Import SpreadSheets 。

分别选择节点表格和边表格导入上面代码中生成的两个文件，分隔符选择 空格 ，编码选择 GB2312 。

导入后 gephi 将显示全部节点。此时节点没有合适的布局，以下图。你能够在最上方的 数据资料 选项卡中查看图中全部的边和节点，对于分词不许确致使的噪音，能够手动删除。

分别点击右侧 统计 栏中 平均度 和 模块化 运行计算。模块化运算时 Resolution 值填写 0.5 。

点击左上角外观中节点第一个选项卡，选择数值设定，选择Modularity Class。

选中第二个选项卡，选择数值设定，选择连入度，最小尺寸填10，最大尺寸填40，点击应用为节点染色、放大。

选择左下角布局中的 Force Atlas ，斥力强度填写 20000.0 ，吸引强度填写 1.0 。点击运行，稍后点击中止。

此时布局大体以下图所示。节点染色根据模块化计算结果不定，但染色效果大体相同。

点击最上方的 预览 按钮，选中左侧 节点标签 中 显示标签 选项，并选择一种字体，这里选择 文泉驿微米黑 。

点击刷新按钮，右侧显示最终的人物关系图。