经常使用模块3（和以前的1，2一块儿食用效果更佳）

本节主要内容
1. 正则表达式
2. re模块的使⽤
3. ⼀堆练习

1、正则表达式

　　⾸先, 咱们在⽹⻚上进⾏注册或者登录的时候常常能看到⼀些格式上的错误提⽰. 好比:
你在注册百度帐号的时候https://passport.baidu.com/v2/?reg&regType=1&tpl=wk 输入⽤户
名随意的输入系统会提⽰你. 你的帐号过⻓或者不容许使⽤中⽂等等操做. 那这种操做若是使

⽤咱们现有的知识点是能够完成的. 可是完成的效果并很差. 写起来也不容易. 尤为是对邮箱
的匹配. 电话号码的匹配. 那正则表达式就是专⻔来处理相似问题的⼀种表达式. 英⽂全
称: Regular Expression. 简称 regex或者re. 但你要知道咱们在使⽤python的re模块以前. 我

们⾸先要对正则有⼀定的了解和认识. 就像咱们使⽤time模块以前. 咱们已经对时间有了⼀定
的认识.

　　正则表达式是对字符串操做的⼀种逻辑公式. 咱们⼀般使⽤正则表达式对字符串进⾏匹
配和过滤. 使⽤正则的优缺点:

　　优势: 灵活, 功能性强, 逻辑性强.
　　缺点: 上⼿难. ⼀旦上⼿, 会爱上这个东⻄
　　⼯具: 各⼤⽂本编辑器⼀般都有正则匹配功能. 咱们也能够去http://tool.chinaz.com/regex/进⾏在线测试. 

　　正则表达式由普通字符和元字符组成. 普通字符包含⼤⼩写字⺟, 数字. 在匹配普通字符
的时候咱们直接写就能够了. 好比"abc" 匹配的就是"abc". 咱们若是⽤python也能够实现相
同的效果. 因此普通字符没什么好说的. 重点在元字符上.

　　元字符: 元字符才是正则表达式的灵魂. 元字符中的内容太多了, 在这⾥咱们只介绍⼀些
常⽤的.

 

1. 字符组
　　字符组很简单⽤[]括起来. 在[]中出现的内容会被匹配. 例如:[abc] 匹配a或b或c
若是字符组中的内容过多还可使⽤- , 例如: [a-z] 匹配a到z之间的全部字⺟ [0-9]
匹配全部阿拉伯数字

　　思考: [a-zA-Z0-9]匹配的是什么?

2. 简单元字符
　　基本的元字符. 这个东⻄⽹上⼀搜⼀⼤堆. 可是常⽤的就那么⼏个:

. 匹配除换⾏符之外的任意字符
\w 匹配字⺟或数字或下划线
\s 匹配任意的空⽩符
\d 匹配数字
\n 匹配⼀个换⾏符
\t 匹配⼀个制表符
\b 匹配⼀个单词的结尾
^ 匹配字符串的开始
$ 匹配字符串的结尾
\W 匹配⾮字⺟或数字或下划线
\D 匹配⾮数字
\S 匹配⾮空⽩符
a|b 匹配字符a或字符b
() 匹配括号内的表达式，也表示⼀个组
[...] 匹配字符组中的字符
[^...] 匹配除了字符组中字符的全部字符

3.量词

　　咱们到⽬前匹配的全部内容都是单⼀⽂字符号. 那如何⼀次性匹配不少个字符呢,
咱们要⽤到量词。

* 重复零次或更屡次
+ 重复⼀次或更屡次
? 重复零次或⼀次
{n} 重复n次
{n,} 重复n次或更屡次
{n,m} 重复n到m次

4.惰性匹配和贪婪匹配

　　在量词中的*, +,{} 都属于贪婪匹配. 就是尽量多的匹配到结果. 

str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.* 
此时匹配的是整句话

　　在使⽤.*后⾯若是加了? 则是尽量的少匹配. 表⽰惰性匹配

str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*?
此时匹配的是 麻花藤
str: <div>胡辣汤</div>
reg: <.*>
结果: <div>胡辣汤</div>
str: <div>胡辣汤</div>
reg: <.*?>
结果: 
<div>
 </div>
str: <div>胡辣汤</div>
reg: <(div|/div*)?>
结果:
 <div>
 </div>

　　.*?x的特殊含义 找到下⼀个x为⽌. 

str: abcdefgxhijklmn
reg: .*?x
结果:abcdefgx

5.分组

　　在正则中使⽤()进⾏分组. 好比. 咱们要匹配⼀个相对复杂的⾝份证号. ⾝份证号分
成两种. 老的⾝份证号有15位. 新的⾝份证号有18位. 而且新的⾝份证号结尾有多是x.

给出如下正则:
^[1-9]\d{13,16}[0-9x]$
^[1-9]\d{14}(\d{2}[0-9x])?$
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$

6.转义

　　

6. 转义
　　在正则表达式中, 有不少有特殊意义的是元字符, ⽐如\n和\s等,若是要在正则中匹
配正常的"\n"⽽不是"换⾏符"就须要对"\"进⾏转义, 变成'\\'.在python中, ⽆论是正则表达式, 还
是待匹配的内容, 都是以字符串的形式出现的, 在字符串中\也有特殊的含义, 自己还须要转
义. 因此若是匹配⼀次"\n", 字符串中要写成'\\n', 那么正则⾥就要写成成"\\\\n",这样就太麻烦了.

这个时候咱们就⽤到了r'\n'这个概念, 此时的正则是r'\\n'就能够了.

 

练习:
1. 匹配邮箱
2. 匹配⼿机号
3. 匹配⽣⽇. ⽇期格式(yyyy-MM-dd)

 

2、re模块

　　re模块是python提供的⼀套关于处理正则表达式的模块. 核⼼功能有四个: 

　　1.findall 查找全部，返回list

lst = re.findall("m", "mai le fo len, mai ni mei!")
print(lst) # ['m', 'm', 'm']
lst = re.findall(r"\d+", "5点以前. 你要给我5000万")
print(lst) # ['5', '5000']

　　2.search会进行匹配，可是若是匹配到了第一个结果。就会返回这个结果。若是匹配不上search

　　返回的则是None

ret = re.search(r'\d', '5点以前. 你要给我5000万').group()
print(ret) # 5

　　3.match 只能从字符串的开头进行匹配

ret = re.match('a', 'abc').group() 
print(ret) # a

　　4. finditer 和findall差很少. 只不过这时返回的是迭代器

it = re.finditer("m", "mai le fo len, mai ni mei!")
for el in it:
     print(el.group()) # 依然须要分组

　　5.其余的操做

ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割获得'qwer'和'fjbcd',在
对'qwer'和'fjbcd'分别按'b'分割
print(ret) # ['qwer', 'fj', 'cd']

ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串中
的数字换成__sb__
print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_

ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 将数字替
换成'__sb__'，返回元组(替换的结果,替换了多少次)
print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)

obj = re.compile(r'\d{3}') # 将正则表达式编译成为⼀个 正则表达式对象, 规则要匹配的
是3个数字
ret = obj.search('abc123eeee') # 正则表达式对象调⽤search, 参数为待匹配的字符串
print(ret.group()) # 结果: 123

　　6.爬虫重点：

obj = re.compile(r'(?P<id>\d+)(?P<name>e+)') # 从正则表达式匹配的内容每一个组起名
字
ret = obj.search('abc123eeee') # 搜索
print(ret.group()) # 结果: 123eeee
print(ret.group("id")) # 结果: 123 # 获取id组的内容
print(ret.group("name")) # 结果: eeee # 获取name组的内容

　　以上有两个坑

　　注意：在re模块中和咱们在线测试工具中的结果多是不同的。

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['oldboy'] 这是由于findall会优先把匹配结果组⾥内容返回,若是想要匹
配结果,取消权限便可

ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['www.oldboy.com']

　　split里也有一个坑

ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果 ： ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']
#在匹配部分加上（）以后所切出的结果是不一样的，
#没有（）的没有保留所匹配的项，可是有（）的却可以保留了匹配的项，
#这个在某些须要保留匹配部分的使⽤过程是⾮常重要的。

　　这种优先级的问题有时候会帮咱们完成不少功能. 咱们来看⼀个比较复杂的例⼦

import re
from urllib.request import urlopen
import ssl

# ⼲掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context

content = urlopen("https://www.dytt8.net/html/gndy/dyzz/20181228/57986.html").read().decode("gbk")
# print(content) #测试下是否能够获取到
reg = r'<div id="Zoom">.*?◎片　　名(?P<DVD_name>.*?)<br />◎年　　代(?P<years>.*?)<br />◎产　　地(?P<made_address>.*?)<br />.*?<br />◎主　　演(?P<main_yan>.*?)◎简　　介 <br /><br />(?P<jianjie>.*?)<br /><br />.*?<a href="(?P<DownLine>.*?)">'
res = re.finditer(reg,content,re.S)
for i in res:
    print("电影名：")
    print("\t"+i.group("DVD_name")) #电影名字
    print("年代：")
    print("\t"+i.group("years")) # 年代
    print("产地：")
    print("\t"+i.group("made_address")) #产地
    print("主演：")
    print("\t"+i.group("main_yan").replace("<br />","、").replace("　　　　　　","")) #主演
    print("简介：")
    print("\t"+i.group("jianjie")) # 简介
    print("下载连接：")
    print("\t"+i.group("DownLine")) #下载连接

　　正则表达式和re模块就说这么多. 若是要把正则全部的内容所有讲清楚讲明⽩, ⾄少要⼀周以上的时间. 对于咱们⽇常使⽤⽽⾔. 上述知识点已经够⽤了. 若是碰到⼀些极端状况建议想办法分部处理. 先对字符串进⾏拆分. 而后再考虑⽤正则.