做者:毕来生
微信:878799579
正则表达式
本节咱们看一下正则表达式的相关用法,正则表达式是处理字符串的强大的工具,它有本身特定的语法结构,有了它,实现字符串的检索、替换、匹配验证都不在话下。html
固然对于爬虫来讲,有了它,咱们从HTML里面提取咱们想要的信息就很是方便了。python
实例引入
说了这么多,可能咱们对它究竟是个什么仍是比较模糊,下面咱们就用几个实例来感觉一下正则表达式的用法。web
咱们打开开源中国提供的正则表达式测试工具http://tool.oschina.net/regex/,打开以后咱们能够输入待匹配的文本,而后选择经常使用的正则表达式,就能够从咱们输入的文本中得出相应的匹配结果了。正则表达式
例如咱们在这里输入待匹配的文本以下:编程
Hello, my phone number is 010-87234567 and email is cqc@bilaisheng.com, and my website is http://bilaisheng.com.
这段字符串中包含了一个电话号码和一个电子邮件,接下来咱们就尝试用正则表达式提取出来。微信
咱们在网页中选择匹配Email地址,就能够看到在下方出现了文本中的Email。若是咱们选择了匹配网址URL,就能够看到在下方出现了文本中的URL。是否是很是神奇?编程语言
其实,在这里就是用了正则表达式匹配,也就是用了必定的规则将特定的文本提取出来。好比电子邮件它开头是一段字符串,而后是一个@符号,而后就是某个域名,这是有特定的组成格式的。另外对于URL,开头是协议类型,而后是冒号加双斜线,而后是域名加路径。函数
对于URL来讲,咱们就能够用下面的正则表达式匹配:工具
[a-zA-z]+://1*
若是咱们用这个正则表达式去匹配一个字符串,若是这个字符串中包含相似URL的文本,那就会被提取出来。测试
这个正则表达式看上去是乱糟糟的一团,其实否则,这里面都是有特定的语法规则的。好比a-z表明匹配任意的小写字母,s表示匹配任意的空白字符,*就表明匹配前面的字符任意多个,这一长串的正则表达式就是这么多匹配规则的组合,最后实现特定的匹配功能。
写好正则表达式后,咱们就能够拿它去一个长字符串里匹配查找了,不论这个字符串里面有什么,只要符合咱们写的规则,通通能够找出来。那么对于网页来讲,若是咱们想找出网页源代码里有多少URL,就能够用匹配URL的正则表达式去匹配,就能够获得源码中的URL了。
在上面咱们说了几个匹配规则,那么正则表达式的规则到底有多少?那么在这里把经常使用的匹配规则总结一下:
模式描述
w匹配字母数字及下划线
W匹配非字母数字及下划线
s匹配任意空白字符,等价于 [tnrf].
S匹配任意非空字符
d匹配任意数字,等价于 [0-9]
D匹配任意非数字
A匹配字符串开始
Z匹配字符串结束,若是是存在换行,只匹配到换行前的结束字符串
z匹配字符串结束
G匹配最后匹配完成的位置
n匹配一个换行符
t匹配一个制表符
^匹配字符串的开头
$匹配字符串的末尾。
.匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则能够匹配包括换行符的任意字符。
[...]用来表示一组字符,单独列出:[amk] 匹配 'a','m'或'k'
2不在[]中的字符:3 匹配除了a,b,c以外的字符。
*匹配0个或多个的表达式。
+匹配1个或多个的表达式。
?匹配0个或1个由前面的正则表达式定义的片断,非贪婪方式
{n}精确匹配n个前面表达式。
{n, m}匹配 n 到 m 次由前面的正则表达式定义的片断,贪婪方式
a|b匹配a或b
( )匹配括号内的表达式,也表示一个组
可能完了以后就有点晕晕的了把,不用担忧,下面咱们会详细讲解下一些常见的规则的用法。怎么用它来从网页中提取咱们想要的信息。
Python中使用
其实正则表达式不是Python独有的,它在其余编程语言中也可使用,可是Python的re库提供了整个正则表达式的实现,利用re库咱们就能够在Python中使用正则表达式来,在Python中写正则表达式几乎都是用的这个库。
下面咱们就来了解下它的用法。
match()
在这里首先介绍第一个经常使用的匹配方法,match()方法,咱们向这个方法传入要匹配的字符串以及正则表达式,就能够来检测这个正则表达式是否匹配字符串了。
match()方法会尝试从字符串的起始位置匹配正则表达式,若是匹配,就返回匹配成功的结果,若是不匹配,那就返回None。
咱们用一个实例来感觉一下:
import re content = 'Hello 123 4567 World_This is a Regex Demo' print(len(content)) result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}', content) print(result) print(result.group()) print(result.span())
运行结果:
41 <_sre.SRE_Match object; span=(0, 25), match='Hello 123 4567 World_This'> Hello 123 4567 World_This (0, 25)
在这里咱们首先声明了一个字符串,包含英文字母、空白字符、数字等等内容,接下来咱们写了一个正则表达式^Hellosdddsd{4}sw{10}来匹配这个长字符串。
开头的^是匹配字符串的开头,也就是以Hello开头,而后s匹配空白字符,用来匹配目标字符串的空格,d匹配数字,三个d匹配123,而后再写一个s匹配空格,后面还有4567,咱们其实能够依然用四个d来匹配,可是这么写起来比较繁琐,因此在后面能够跟{4}表明匹配前面的字符四次,也就是匹配四个数字,这样也能够完成匹配,而后后面再紧接一个空白字符,而后w{10}匹配10个字母及下划线,正则表达式到此为止就结束了,咱们注意到其实并无把目标字符串匹配完,不过这样依然能够进行匹配,只不过匹配结果短一点而已。
咱们调用match()方法,第一个参数传入了正则表达式,第二个参数传入了要匹配的字符串。
打印输出一下结果,能够看到结果是SRE_Match对象,证实成功匹配,它有两个方法,group()方法能够输出匹配到的内容,结果是Hello 123 4567 World_This,这刚好是咱们正则表达式规则所匹配的内容,span()方法能够输出匹配的范围,结果是(0, 25),这个就是匹配到的结果字符串在原字符串中的位置范围。
经过上面的例子咱们能够基本了解怎样在Python中怎样使用正则表达式来匹配一段文字。
匹配目标
刚才咱们用了match()方法能够获得匹配到的字符串内容,可是若是咱们想从字符串中提取一部份内容怎么办呢?就像最前面的实例同样,从一段文本中提取出邮件或电话号等内容。
在这里可使用()括号来将咱们想提取的子字符串括起来,()实际上就是标记了一个子表达式的开始和结束位置,被标记的每一个子表达式会依次对应每个分组,咱们能够调用group()方法传入分组的索引便可获取提取的结果。
下面咱们用一个实例感觉一下:
import re content = 'Hello 1234567 World_This is a Regex Demo' result = re.match('^Hello\s(\d+)\sWorld', content) print(result) print(result.group()) print(result.group(1)) print(result.span())
依然是前面的字符串,在这里咱们想匹配这个字符串而且把其中的1234567提取出来,在这里咱们将数字部分的正则表达式用()括起来,而后接下来调用了group(1)获取匹配结果。
运行结果以下:
<_sre.SRE_Match object; span=(0, 19), match='Hello 1234567 World'> Hello 1234567 World 1234567 (0, 19)
能够看到在结果中成功获得了1234567,咱们获取用的是group(1),与group()有所不一样,group()会输出完整的匹配结果,而group(1)会输出第一个被()包围的匹配结果,假如正则表达式后面还有()包括的内容,那么咱们能够依次用group(2)、group(3)等来依次获取。
通用匹配
刚才咱们写的正则表达式其实比较复杂,出现空白字符咱们就写s匹配空白字符,出现数字咱们就写d匹配数字,工做量很是大,其实彻底不必这么作,还有一个万能匹配能够用,也就是.,.能够匹配任意字符(除换行符),又表明匹配前面的字符无限次,因此它们组合在一块儿就能够匹配任意的字符了,有了它咱们就不用挨个字符地匹配了。
因此接着上面的例子,咱们能够改写一下正则表达式。
import re content = 'Hello 123 4567 World_This is a Regex Demo' result = re.match('^Hello.*Demo$', content) print(result) print(result.group()) print(result.span())
在这里咱们将中间的部分直接省略,所有用.*来代替,最后加一个结尾字符串就行了,运行结果以下:
<_sre.SRE_Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'> Hello 123 4567 World_This is a Regex Demo (0, 41)
能够看到group()方法输出了匹配的所有字符串,也就是说咱们写的正则表达式匹配到了目标字符串的所有内容,span()方法输出(0, 41),是整个字符串的长度。
所以,咱们能够在使用.*来简化正则表达式的书写。
贪婪匹配与非贪婪匹配
在使用上面的通用匹配.*的时候可能咱们有时候匹配到的并非想要的结果,咱们看下面的例子:
import re content = 'Hello 1234567 World_This is a Regex Demo' result = re.match('^He.*(\d+).*Demo$', content) print(result) print(result.group(1))
在这里咱们依然是想获取中间的数字,因此中间咱们依然写的是(d+),数字两侧因为内容比较杂乱,因此两侧咱们想省略来写,都写.,最后组成^He.(d+).*Demo$,看样子并无什么问题,咱们看下运行结果:
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>
7
奇怪的事情发生了,咱们只获得了7这个数字,这是怎么回事?
这里就涉及一个贪婪匹配与非贪婪匹配的缘由了,贪婪匹配下,.会匹配尽量多的字符,咱们的正则表达式中.后面是d+,也就是至少一个数字,并无指定具体多少个数字,因此.*就尽量匹配多的字符,因此它把123456也匹配了,给d+留下一个可知足条件的数字7,因此d+获得的内容就只有数字7了。
但这样很明显会给咱们的匹配带来很大的不便,有时候匹配结果会莫名其妙少了一部份内容。其实这里咱们只须要使用非贪婪匹配匹配就行了,非贪婪匹配的写法是.*?,多了一个?,那么它能够达到怎样的效果?咱们再用一个实例感觉一下:
import re content = 'Hello 1234567 World_This is a Regex Demo' result = re.match('^He.*?(\d+).*Demo$', content) print(result) print(result.group(1))
在这里咱们只是将第一个.改为了.?,转变为非贪婪匹配匹配。结果以下:
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'> 1234567
很好,这下咱们就能够成功获取1234567了。缘由可想而知,贪婪匹配是尽量匹配多的字符,非贪婪匹配就是尽量匹配少的字符,.?以后是d+用来匹配数字,当.?匹配到Hello后面的空白字符的时候,再日后的字符就是数字了,而d+刚好能够匹配,那么这里.?就再也不进行匹配,交给d+去匹配后面的数字。因此这样,.?匹配了尽量少的字符,d+的结果就是1234567了。
因此说,在作匹配的时候,字符串中间咱们能够尽可能使用非贪婪匹配来匹配,也就是用.?来代替.,以避免出现匹配结果缺失的状况。
但这里注意,若是匹配的结果在字符串结尾,.*?就有可能匹配不到任何内容了,由于它会匹配尽量少的字符,例如:
import re content = 'http://weibo.com/comment/kEraCN' result1 = re.match('http.*?comment/(.*?)', content) result2 = re.match('http.*?comment/(.*)', content) print('result1', result1.group(1)) print('result2', result2.group(1))
运行结果:
result1
result2 kEraCN
观察到.?没有匹配到任何结果,而.则尽可能匹配多的内容,成功获得了匹配结果。
因此在这里好好体会一下贪婪匹配和非贪婪匹配的原理,对后面写正则表达式很是有帮助。
修饰符
正则表达式能够包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。
咱们用一个实例先来感觉一下:
import re content = '''Hello 1234567 World_This is a Regex Demo ''' result = re.match('^He.*?(\d+).*?Demo$', content) print(result.group(1))
和上面的例子相仿,咱们在字符串中加了个换行符,正则表达式也是同样的来匹配其中的数字,看一下运行结果:
AttributeError Traceback (most recent call last) <ipython-input-18-c7d232b39645> in <module>() 5 ''' 6 result = re.match('^He.*?(\d+).*?Demo$', content) ----> 7 print(result.group(1)) AttributeError: 'NoneType' object has no attribute 'group'
运行直接报错,也就是说正则表达式没有匹配到这个字符串,返回结果为None,而咱们又调用了group()方法因此致使AttributeError。
那咱们加了一个换行符为何就匹配不到了呢?是由于.匹配的是除换行符以外的任意字符,当遇到换行符时,.*?就不能匹配了,因此致使匹配失败。
那么在这里咱们只须要加一个修饰符re.S,便可修正这个错误。
result = re.match('^He.*?(\d+).*?Demo$', content, re.S)
在match()方法的第三个参数传入re.S,它的做用是使.匹配包括换行符在内的全部字符。
运行结果:
1234567
这个re.S在网页匹配中会常常用到,由于HTML节点常常会有换行,加上它咱们就能够匹配节点与节点之间的换行了。
另外还有一些修饰符,在必要的状况下也可使用:
修饰符描述
re.I使匹配对大小写不敏感
re.L作本地化识别(locale-aware)匹配
re.M多行匹配,影响 ^ 和 $
re.S使 . 匹配包括换行在内的全部字符
re.U根据Unicode字符集解析字符。这个标志影响 w, W, b, B.
re.X该标志经过给予你更灵活的格式以便你将正则表达式写得更易于理解。
在网页匹配中较为经常使用的为re.S、re.I。
转义匹配
咱们知道正则表达式定义了许多匹配模式,如.匹配除换行符之外的任意字符,可是若是目标字符串里面它就包含.咱们改怎么匹配?
那么这里就须要用到转义匹配了,咱们用一个实例来感觉一下:
import re content = '(百度)www.baidu.com' result = re.match('\(百度\)www\.baidu\.com', content) print(result)
当遇到用于正则匹配模式的特殊字符时,咱们在前面加反斜线来转义一下就能够匹配了。例如.咱们就能够用.来匹配,运行结果:
<_sre.SRE_Match object; span=(0, 17), match='(百度)www.baidu.com'>
能够看到成功匹配到了原字符串。
以上是写正则表达式经常使用的几个知识点,熟练掌握上面的知识点对后面咱们写正则表达式匹配很是有帮助。
search()
咱们在前面提到过match()方法是从字符串的开头开始匹配,一旦开头不匹配,那么整个匹配就失败了。
咱们看下面的例子:
import re content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings' result = re.match('Hello.*?(\d+).*?Demo', content) print(result)
在这里咱们有一个字符串,它是以Extra开头的,可是正则表达式咱们是以Hello开头的,整个正则表达式是字符串的一部分,可是这样匹配是失败的,也就是说只要第一个字符不匹配整个匹配就不能成功,运行结果以下:
None
因此match()方法在咱们在使用的时候须要考虑到开头的内容,因此在作匹配的时候并不那么方便,它适合来检测某个字符串是否符合某个正则表达式的规则。
因此在这里就有另一个方法search(),它在匹配时会扫描整个字符串,而后返回第一个成功匹配的结果,也就是说,正则表达式能够是字符串的一部分,在匹配时,search()方法会依次扫描字符串,直到找到第一个符合规则的字符串,而后返回匹配内容,若是搜索完了尚未找到,那就返回None。
咱们把上面的代码中的match()方法修改为search(),再看下运行结果:
<_sre.SRE_Match object; span=(13, 53), match='Hello 1234567 World_This is a Regex Demo'> 1234567
这样就获得了匹配结果。
因此说,为了匹配方便,咱们能够尽可能使用search()方法。
下面咱们再用几个实例来感觉一下search()方法的用法。
首先这里有一段待匹配的HTML文本,咱们接下来写几个正则表达式实例来实现相应信息的提取。
html = '''<div id="songs-list"> <h2 class="title">经典老歌</h2> <p class="introduction"> 经典老歌列表 </p> <ul id="list" class="list-group"> <li data-view="2">一路上有你</li> <li data-view="7"> <a href="/2.mp3" singer="任贤齐">沧海一声笑</a> </li> <li data-view="4" class="active"> <a href="/3.mp3" singer="齐秦">往事随风</a> </li> <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li> <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li> <li data-view="5"> <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>希望人长久</a> </li> </ul> </div>'''
观察到<ul>节点里面有许多<li>节点,其中<li>节点有的包含节点,有的不包含节点,节点还有一些相应的属性,超连接和歌手名。
首先咱们尝试提取class为active的<li>节点内部的超连接包含的歌手名和歌名。
因此咱们须要提取第三个<li>节点下的节点的singer属性和文本。
因此正则表达式能够以<li>开头,而后接下来寻找一个标志符active,中间的部分能够用.?来匹配,而后接下来咱们要提取singer这个属性值,因此还须要写入singer="(.?)",咱们须要提取的部分用小括号括起来,以便于用group()方法提取出来,它的两侧边界是双引号,而后接下来还须要匹配节点的文本,那么它的左边界是>,右边界是,因此咱们指定一下左右边界,而后目标内容依然用(.?)来匹配,因此最后的正则表达式就变成了<li.?active.?singer="(.?)">(.*?)',而后咱们再调用search()方法,它便会搜索整个HTML文本,找到符合正则表达式的第一个内容返回。
另外因为代码有换行,因此这里第三个参数须要传入re.S
因此整个匹配代码以下:
result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S) if result: print(result.group(1), result.group(2))
因为咱们须要获取的歌手和歌名都已经用了小括号包围,因此能够用group()方法获取,序号依次对应group()的参数。
运行结果:
齐秦 往事随风
能够看到这个正是咱们想提取的class为active的<li>节点内部的超连接包含的歌手名和歌名。
那么正则表达式不加active会怎样呢?也就是匹配不带class为active的节点内容,咱们将正则表达式中的active去掉,代码改写以下:
result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S) if result: print(result.group(1), result.group(2))
因为search()方法会返回第一个符合条件的匹配目标,那在这里结果就变了。
运行结果以下:
任贤齐 沧海一声笑
由于咱们把active标签去掉以后,从字符串开头开始搜索,符合条件的节点就变成了第二个<li>节点,后面的就再也不进行匹配,因此运行结果天然就变成了第二个<li>节点中的内容。
注意在上面两次匹配中,search()方法的第三个参数咱们都加了re.S,使得.*?能够匹配换行,因此含有换行的<li>节点被匹配到了,若是咱们将其去掉,结果会是什么?
result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html) if result: print(result.group(1), result.group(2)) 运行结果: beyond 光辉岁月
能够看到结果就变成了第四个<li>节点的内容,这是由于第二个和第三个<li>标签都包含了换行符,去掉re.S以后,.*?已经不能匹配换行符,因此正则表达式不会匹配到第二个和第三个<li>节点,而第四个<li>节点中不包含换行符,因此成功匹配。
因为绝大部分的HTML文本都包含了换行符,因此经过上面的例子,咱们尽可能都须要加上re.S修饰符,以避免出现匹配不到的问题。
findall()
在前面咱们说了search()方法的用法,它能够返回匹配正则表达式的第一个内容,可是若是咱们想要获取匹配正则表达式的全部内容的话怎么办?这时就须要借助于findall()方法了。
findall()方法会搜索整个字符串而后返回匹配正则表达式的全部内容。
仍是上面的HTML文本,若是咱们想获取全部节点的超连接、歌手和歌名,就能够将search()方法换成findall()方法。若是有返回结果的话就是list类型,因此咱们须要遍历一下list来获依次获取每组内容。
results = re.findall('<li.*?href="https://ask.hellobi.com/(.*?)".*?singer="(.*?)">(.*?)</a>', html, re.S) print(results) print(type(results)) for result in results: print(result) print(result[0], result[1], result[2]) 运行结果: [('/2.mp3', '任贤齐', '沧海一声笑'), ('/3.mp3', '齐秦', '往事随风'), ('/4.mp3', 'beyond', '光辉岁月'), ('/5.mp3', '陈慧琳', '记事本'), ('/6.mp3', '邓丽君', '希望人长久')] <class 'list'> ('/2.mp3', '任贤齐', '沧海一声笑') /2.mp3 任贤齐 沧海一声笑 ('/3.mp3', '齐秦', '往事随风') /3.mp3 齐秦 往事随风 ('/4.mp3', 'beyond', '光辉岁月') /4.mp3 beyond 光辉岁月 ('/5.mp3', '陈慧琳', '记事本') /5.mp3 陈慧琳 记事本 ('/6.mp3', '邓丽君', '希望人长久') /6.mp3 邓丽君 希望人长久
能够看到,返回的list的每一个元素都是tuple类型,咱们用对应的索引依次取出便可。
因此,若是只是获取第一个内容,能够用search()方法,当须要提取多个内容时,就能够用findall()方法。
sub()
正则表达式除了提取信息,咱们有时候还须要借助于它来修改文本,好比咱们想要把一串文本中的全部数字都去掉,若是咱们只用字符串的replace()方法那就太繁琐了,在这里咱们就能够借助于sub()方法。
咱们用一个实例来感觉一下:
import re content = '54aK54yr5oiR54ix5L2g' content = re.sub('\d+', '', content) print(content) 运行结果: aKyroiRixLg
在这里咱们只须要在第一个参数传入d+来匹配全部的数字,而后第二个参数是替换成的字符串,要去掉的话就能够赋值为空,第三个参数就是原字符串。
获得的结果就是替换修改以后的内容。
那么在上面的HTML文本中,若是咱们想正则获取全部<li>节点的歌名,若是直接用正则表达式来提取可能比较繁琐,好比能够写成这样子:
results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S) for result in results: print(result[1]) 运行结果: 一路上有你 沧海一声笑 往事随风 光辉岁月 记事本 希望人长久
但若是咱们借助于sub()函数就比较简单了,咱们能够先用sub()函数将节点去掉,只留下文本,而后再利用findall()提取就行了。
html = re.sub('<a.*?>|</a>', '', html) print(html) results = re.findall('<li.*?>(.*?)</li>', html, re.S) for result in results: print(result.strip()) 运行结果: <div id="songs-list"> <h2 class="title">经典老歌</h2> <p class="introduction"> 经典老歌列表 </p> <ul id="list" class="list-group"> <li data-view="2">一路上有你</li> <li data-view="7"> 沧海一声笑 </li> <li data-view="4" class="active"> 往事随风 </li> <li data-view="6">光辉岁月</li> <li data-view="5">记事本</li> <li data-view="5"> 希望人长久 </li> </ul> </div> 一路上有你 沧海一声笑 往事随风 光辉岁月 记事本 希望人长久
能够到标签在通过sub()函数处理后都没有了,而后再findall()直接提取便可。因此在适当的时候咱们能够借助于sub()方法作一些相应处理能够事半功倍。
compile()
前面咱们所讲的方法都是用来处理字符串的方法,最后再介绍一个compile()方法,这个方法能够讲正则字符串编译成正则表达式对象,以便于在后面的匹配中复用。
import re content1 = '2016-12-15 12:00' content2 = '2016-12-17 12:55' content3 = '2016-12-22 13:21' pattern = re.compile('\d{2}:\d{2}') result1 = re.sub(pattern, '', content1) result2 = re.sub(pattern, '', content2) result3 = re.sub(pattern, '', content3) print(result1, result2, result3)
例如这里有三个日期,咱们想分别将三个日期中的时间去掉,因此在这里咱们能够借助于sub()方法,sub()方法的第一个参数是正则表达式,可是这里咱们没有必要重复写三个一样的正则表达式,因此能够借助于compile()函数将正则表达式编译成一个正则表达式对象,以便复用。
运行结果:
2016-12-15 2016-12-17 2016-12-22
另外compile()还能够传入修饰符,例如re.S等修饰符,这样在search()、findall()等方法中就不须要额外传了。因此compile()方法能够说是给正则表达式作了一层封装,以便于咱们更好地复用。
到此为止,正则表达式的基本用法就介绍完毕了,但愿能够对你们有帮助。