[转]使用python模块re实现解析小工具

概要

在开发过程当中发现，Python 模块 re（Regular Expression）是一个颇有价值而且很是强大的文本解析工具，于是想要分享一下此模块的使用方法。

有这样一个简单而有趣的实践范例：对于喜欢追看美剧的年轻人，最新一集美剧的播出时间经常是一个让人头疼的问题，一个实时更新美剧播出时间表的小工具会很受欢迎。

本文经过以上这个实例，描述如何抓获 TV.com 网站上的文本信息，利用 Python 的 re 模块进行解析，并将热门美剧播出时间显示在本身的网页上，但愿可以以娱乐的方式很好的解释 re 模块的用法。

Python 正则表达式模块 (re) 简介

Python 的 re 模块（Regular Expression 正则表达式）提供各类正则表达式的匹配操做，和 Perl 脚本的正则表达式功能相似，使用这一内嵌于 Python 的语言工具，尽管不能知足全部复杂的匹配状况，但足够在绝大多数状况下可以有效地实现对复杂字符串的分析并提取出相关信息。Python 会将正则表达式转化为字节码，利用 C 语言的匹配引擎进行深度优先的匹配。

Python 正则表达式语法

正则表达式能够包含普通字符和特殊字符，普通字符（好比数字或者字母）能够直接对目标字符串进行匹配，在本文中咱们主要讨论利用特殊字符来模糊匹配某一些字符串的方法，好比'|'或者'('，使用这些特殊字符，正则表达式能够表示某一类的普通字符，或者是改变其周围的正则表达式的含义。具体如表 2-1 所示：

表 1. 正则表达式语法

符号	意义	例子
.	表示任意字符，若是说指定了 DOTALL 的标识，就表示包括新行在内的全部字符。
^	表示字符串开头。
$	表示字符串结尾。	‘ test ’ 能够匹配‘ test ’和‘ testtool ’，但‘ test$ ’只能匹配‘ test ’。
*, +, ?	'*'表示后面可跟 0 个或多个字符，'+'表示后面可跟 1 个或多个字符，'?'表示后面可跟 0 个或多个字符	‘ abc* ’能够匹配‘ abc ’ 或者‘ abcd ’或者‘ abcdefg ’等等。
*?, +?, ??	在上面的结果中只去第一个	<*> 会匹配'<H1>title</H1>'整个字符串（贪婪匹配），使用 *? 能够只找出 <H1>（非贪婪匹配）
{m}	对于前一个字符重复 m 次	a{6} 匹配 6 个'a'
{m,n}	对于前一个字符重复 m 到 n 次	a{2,4} 匹配 2-4 个 a，a{2,} 匹配 2 个以上 a，a{,4} 匹配 4 个如下 a
{m,n}?	对于前一个字符重复 m 到 n 次，而且取尽量少的状况	在字符串'aaaaaa'中，a{2,4} 会匹配 4 个 a，但 a{2,4}? 只匹配 2 个 a
\	对特殊字符进行转义，或者是指定特殊序列
[]	表示一个字符集	[abc] 会匹配字符 a，b 或者 c，[a-z] 匹配全部小写字母，[a-zA-Z0-9] 匹配全部字母和数字，[^6] 表示除了 6 之外的任意字符
|	或者，只匹配其中一个表达式	A|B，若是 A 匹配了，则再也不查找 B，反之亦然
( … )	匹配括号中的任意正则表达式
(?#...)	注释，忽略括号内的内容
(?= … )	表达式’…’以前的字符串	在字符串’ pythonretest ’中 (?=test) 会匹配’ pythonre ’
(?!...)	后面不跟表达式’…’的字符串	若是’ pythonre ’后面不是字符串’ test ’，那么 (?!test) 会匹配’ pythonre ’
(?<= … )	跟在表达式’…’后面的字符串符合括号以后的正则表达式	正则表达式’ (?<=abc)def ’会在’ abcdef ’中匹配’ def ’
(?<!...)	括号以后的正则表达式不跟在’…’的后面

包含’ \ ’的特殊序列的意义如表 2-2：

表 2. 正则表达式特殊序列

特殊表达式序列	意义
\A	只在字符串开头进行匹配。
\b	匹配位于开头或者结尾的空字符串
\B	匹配不位于开头或者结尾的空字符串
\d	匹配任意十进制数，至关于 [0-9]
\D	匹配任意非数字字符，至关于 [^0-9]
\s	匹配任意空白字符，至关于 [ \t\n\r\f\v]
\S	匹配任意非空白字符，至关于 [^ \t\n\r\f\v]
\w	匹配任意数字和字母，至关于 [a-zA-Z0-9_]
\W	匹配任意非数字和字母的字符，至关于 [^a-zA-Z0-9_]
\Z	只在字符串结尾进行匹配

Python re 的主要功能

Python 的 re 正则表达式模块定义了一系列函数，常量以及异常；同时，正则表达式被编译成‘ RegexObject ’实例，自己能够为不一样的操做提供方法。接下来简要介绍一下这些函数的功能和用法。

compile

re.compile(pattern[, flags])

把正则表达式的模式和标识转化成正则表达式对象，供 match() 和 search() 这两个函数使用。

re 所定义的 flag 包括：

re.I 忽略大小写

re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境

re.M 多行模式

re.S 即为’ . ’而且包括换行符在内的任意字符（’ . ’不包括换行符）

re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库

re.X 为了增长可读性，忽略空格和’ # ’后面的注释

例：如下两种用法结果相同：

A)

1 2	compiled_pattern = re.compile(pattern) result = compiled_pattern.match(string)

B)

1	result = re.match(pattern, string)

search

re.search(pattern, string[, flags])

在字符串中查找匹配正则表达式模式的位置，返回 MatchObject 的实例，若是没有找到匹配的位置，则返回 None。

对于已编译的正则表达式对象来讲（re.RegexObject），有如下 search 的方法：

search (string[, pos[, endpos]])

若 regex 是已编译好的正则表达式对象，regex.search(string, 0, 50) 等同于 regex.search(string[:50], 0)。

具体示例以下。

1 2 3

>>> pattern = re.compile("a") >>> pattern.search("abcde")     # Match at index 0 >>> pattern.search("abcde", 1)  # No match;

match

re.match(pattern, string[, flags])

判断 pattern 是否在字符串开头位置匹配。对于 RegexObject，有：

match(string[, pos[, endpos]])

match() 函数只在字符串的开始位置尝试匹配正则表达式，也就是只报告从位置 0 开始的匹配状况，而 search() 函数是扫描整个字符串来查找匹配。若是想要搜索整个字符串来寻找匹配，应当用 search()。

split

re.split(pattern, string[, maxsplit=0, flags=0])

此功能很经常使用，能够将将字符串匹配正则表达式的部分割开并返回一个列表。对 RegexObject，有函数：

split(string[, maxsplit=0])

例如，利用上面章节中介绍的语法：

1 2 3 4 5 6

>>> re.split('\W+', 'test, test, test.') ['test', 'test', 'test', ''] >>> re.split('(\W+)', ' test, test, test.') [' test ', ', ', ' test ', ', ', ' test ', '.', ''] >>> re.split('\W+', ' test, test, test.', 1) [' test ', ' test, test.']

对于一个找不到匹配的字符串而言，split 不会对其做出分割，如：

1 2	>>> re.split('a*', 'hello world') ['hello world']

findall

re.findall(pattern, string[, flags])

在字符串中找到正则表达式所匹配的全部子串，并组成一个列表返回。一样 RegexObject 有：

findall(string[, pos[, endpos]])

示例以下：

1 2	#get all content enclosed with [], and return a list >>> return_list = re.findall("(\[.*?\])",string)

finditer

re.finditer(pattern, string[, flags])

和 findall 相似，在字符串中找到正则表达式所匹配的全部子串，并组成一个迭代器返回。一样 RegexObject 有：

finditer(string[, pos[, endpos]])

sub

re.sub(pattern, repl, string[, count, flags])

在字符串 string 中找到匹配正则表达式 pattern 的全部子串，用另外一个字符串 repl 进行替换。若是没有找到匹配 pattern 的串，则返回未被修改的 string。Repl 既能够是字符串也能够是一个函数。对于 RegexObject 有：

sub(repl, string[, count=0])

此语法的示例有：

1 2 3

>>> p = re.compile( '(one|two|three)')   >>> p.sub( 'num', 'one word two words three words') 'num word num words num words'

一样能够用如下方法，并指定 count 为 1（只替换第一个）：

>>> p.sub( 'num', ' one word two words three words', count=1)

' num word two words three words'

subn

re.subn(pattern, repl, string[, count, flags])

该函数的功能和 sub() 相同，但它还返回新的字符串以及替换的次数。一样 RegexObject 有：

subn(repl, string[, count=0])

实例分析 - 使用 re 模块实现美剧时间表

这一章节将描述使用 re 模块进行文本解析并实现美剧播出时间表小工具的细节。咱们会引用实际的代码片断，解释在实际程序中，应当如何使用 re 模块实现文本解析的功能。

需求分析

为了将咱们感兴趣的信息所有提取出来渲染到一个单独的页面上，咱们选取 www.tv.com 的 html 做为数据源，获取到其 HTML 文本以后用正则表达式解析并得到相关内容。

请注意用正则表达式分析 HTML 或 XML 是痛苦的。随处可见的变化使得写出一个通用的正则表达式变得极为困难，象这样的任务使用专用的 HTML 或 XML 解析器更为适宜 ( 如 http://www.crummy.com/software/BeautifulSoup/， 值得一提的是，这个解析器也是用 Python RE 实现的 )，为了演示 Python RE 的使用，本文所有使用正则表达式处理文本。

实现步骤

由于此工具的最后结果会被呈如今一个网页上，它的主要功能就是从上述的 html code 中提取出咱们感兴趣的 element, 并按照咱们本身的对内容的选择从新生成一个个性化过的页面，请参见附件查看咱们将要解析的 html 文本。

经过检视此 html 文件，咱们须要提取的 html element 只有被 head 标签修饰的文档信息元素，和被 div 标签修饰，id 值为 episode_listing 的块级区域。

下面对实现这部分功能的主要代码进行一些分析。

以只读方式打开所需处理文本并读入其内容：

1 2	fh = open("~/vampire_episode.html", "r") fh_str = fd.read()

读取剧集标题，使用正则表达式匹配以“<title”起始，“/title>”结束的元素，注意此处使用非贪婪匹配以获取首次匹配的内容：

1	title = re.findall("< title. *?\/title>", fds)

查看一下变量类型和内容：

1 2 3 4 5 6 7

In [74]: type(title) Out[74]: < type 'list'> In [75]: print title   -------> print(title)   ['< title >The Vampire Diaries Season 2 Episode Guide on TV.com</ title >']

读取 html 文本中 id 值为 episode_listing 的 div 元素，注意因为此元素会跨越多行，咱们在调用 findall 函数时须要指定 re.S 标志，一样使用非贪婪匹配：

fd_result = re.findall("<div id=\"episode_listing\".*?\/div>", fh_str, re.S)

此时咱们已经获取到所有所需内容，将他们写入另外一个 html 文件：

1 2 3 4 5 6 7

output = open("parse_result.html", "w") output.write('< html >< body >< h1 >The Air Date List you want to see:</ h1 >') output.write('< br />') output.write(title[0]) output.write(fd_result[0]) output.write("</ body ></ html >") output.close()

结果演示

本章节将演示实例效果，展现最终能够显示在网页上的运行结果，咱们将看到解析得到的美剧时间表，剧集标题等。为此咱们在 Google App Engine 上建立了一个 Demo 示例以更好的对此本文所介绍的内容进行演示，读者能够直接访问使用。示例的网址以下：

http://omtvdw.appspot.com/

下面咱们用截图来讲明该示例的内容。该示例主要展现了对给定的包含美剧信息的 URL 所截取出来的剧集播放信息，以下图所示本示例展现以下三部美剧的信息：

图 1. 美剧信息 URL

其输出结果以下：

图 2-1. URL 所对应剧集播出时间表

图 2-2. URL 所对应剧集播出时间表

图 2-3. URL 所对应剧集播出时间表

另外，咱们还为读者提供了亲自体验的 Play Ground，读者能够经过点击主页面最下方的相关连接（http://omtvdw.appspot.com/pg）来到以下界面：

图 3. 自行获取指定美剧播出时间界面

在此界面里，读者能够自行输入含有美剧播出信息的相关页面的连接，而后查看输出结果。例如咱们输入 http://www.tv.com/24/show/3866/episode.html?shv=list&season=5，而后点击“Get Air Date List”就会看到关于 24 小时第五季的播出信息：

图 4. 运行结果

读者能够自行试验获取其余美剧的信息，可是须要本身从 www.tv.com 上找到相似的 URL。

小结

尽管对于 Python 正则表达式模块（re）的语法和相关函数的描述并不全面，但文章以简洁的方式介绍了最经常使用的正则表达式语法和函数调用方法，关于更为复杂和深刻的用法讨论，读者能够参考官方文档。在以后的章节中，本文直观地经过网页文本解析的实例，讲解了美剧播出时间解析小工具的实现方法和步骤，但愿最后的网站示例和演示结果可以提供给这一模块的功能学习提供一些有趣并有用的帮助。

相关主题

• 参考 Python 使用文档中 RE 相关章节 The Python Standard Library - Regular expression operations，查看 RE 语法使用细节。
• 参看文章 Regular Expressions Primer，了解更多 Python RE 的使用实例。
• 参看 developerWorks 中的文章 可爱的 Python：Python 中的文本处理，了解使用 Python RE 进行文本解析的实例。
• 随时关注 developerWorks 技术活动和 网络广播。
• 访问 developerWorks Open source 专区得到丰富的 how-to 信息、工具和项目更新以及 最受欢迎的文章和教程，帮助您用开放源码技术进行开发，并将它们与 IBM 产品结合使用。