python之正则表达式模块

 

1. 正则表达式经常使用匹配规则

1.1 匹配某个字符串

text = 'hello'
ret = re.match('he',text)#math从字符串起始位置开始匹配，起始位置未匹配返回None
print(ret.group())
>> he

以上即可以在hello中，匹配出he。

1.2 点（.）匹配任意的字符

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a

可是点（.）不能匹配换行符。示例代码以下：

text = "\n"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

ret = re.match('.', text, re.DOTALL)#加参数re.DOTALL，点(.)就能够匹配包换换行符的任意字符
print(ret.group())

1.3 \d匹配任意的数字

text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1

1.4 \D匹配任意的非数字

text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a

而若是text是等于一个数字，那么就匹配不成功了。示例代码以下：

text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

1.5 \s匹配的是空白字符（包括：\n，\t，\r和空格）

text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白

1.6 \w匹配的是a-z和A-Z以及数字和下划线

text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _

而若是要匹配一个其余的字符，那么就匹配不到。示例代码以下：

text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

1.7 \W匹配的是和\w相反的

text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +

而若是你的text是一个下划线或者英文字符，那么就匹配不到了。示例代码以下：

text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

1.8 []组合的方式，只要知足中括号中的某一项都算匹配成功

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888

以前讲到的几种匹配规则，其实可使用中括号的形式来进行替代：

• \d：[0-9]
• \D：[^0-9]
  
• \w：[0-9a-zA-Z_]
• \W：[^0-9a-zA-Z_]

1.9 匹配多个字符

1. *：能够匹配0或者任意多个字符。示例代码以下：

    text = "0731"
    ret = re.match('\d*',text)
    print(ret.group())
    >> 0731

   以上由于匹配的要求是\d，那么就要求是数字，后面跟了一个星号，就能够匹配到0731这四个字符。

2. +：能够匹配1个或者多个字符。最少一个。示例代码以下：

    text = "abc"
    ret = re.match('\w+',text)
    print(ret.group())
    >> abc

   由于匹配的是\w，那么就要求是英文字符，后面跟了一个加号，意味着最少要有一个知足\w的字符才可以匹配到。若是text是一个空白字符或者是一个不知足\w的字符，那么就会报错。示例代码以下：

    text = ""
    ret = re.match('\w+',text)
    print(ret.group())
    >> AttributeError: 'NoneType' object has no attribute

3. ?：匹配的字符能够出现一次或者不出现（0或者1）。示例代码以下：

    text = "123"
    ret = re.match('\d?',text)
    print(ret.group())
    >> 1

4. {m}：匹配m个字符。示例代码以下：

    text = "123"
    ret = re.match('\d{2}',text)
    print(ret.group())
    >> 12

5. {m,n}：匹配m-n个字符。在这中间的字符均可以匹配到。示例代码以下：

    text = "123"
    ret = re.match('\d{1,2}',text)
    prit(ret.group())
    >> 12

   若是text只有一个字符，那么也能够匹配出来。示例代码以下：

    text = "1"
    ret = re.match('\d{1,2}',text)
    prit(ret.group())
    >> 1

验证手机号码：手机号码的规则是以1开头，第二位能够是34587，后面那9位就能够随意了。示例代码以下：

 text = "18570631587"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())
 >> 18570631587
而若是是个不知足条件的手机号码。那么就匹配不到了。示例代码以下：

 text = "1857063158"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())
 >> AttributeError: 'NoneType' object has no attribute
验证邮箱：邮箱的规则是邮箱名称是用数字、数字、下划线组成的，而后是@符号，后面就是域名了。示例代码以下：

 text = "hynever@163.com"
 ret = re.match('\w+@\w+\.[a-zA-Z\.]+',text)
 print(ret.group())
验证URL：URL的规则是前面是http或者https或者是ftp而后再加上一个冒号，再加上一个斜杠，再后面就是能够出现任意非空白字符了。示例代码以下：

 text = "http://www.baidu.com/"
 ret = re.match('(http|https|ftp)://[^\s]+',text)
 print(ret.group())
验证身份证：身份证的规则是，总共有18位，前面17位都是数字，后面一位能够是数字，也能够是小写的x，也能够是大写的X。示例代码以下：

 text = "31131118908123231X"
 ret = re.match('\d{17}[\dxX]',text)
 print(ret.group())

练习

1.10 ^（脱字号）：表示以...开始

text = "hello"
ret = re.match('^h',text)
print(ret.group())

若是是在中括号中，那么表明的是取反操做.

1.11 $：表示以...结束

# 匹配163.com的邮箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())
>> xxx@163.com

1.12 |：匹配多个表达式或者字符串

text = "hello|world"
ret = re.search('hello',text)
print(ret.group())
>> hello

1.13 贪婪模式和非贪婪模式

贪婪模式：正则表达式会匹配尽可能多的字符。默认是贪婪模式。
非贪婪模式：正则表达式会尽可能少的匹配字符。
示例代码以下：

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 由于默认采用贪婪模式，因此会输出0123456
>> 0123456

能够改为非贪婪模式，那么就只会匹配到0。示例代码以下：

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())

案例：匹配0-100之间的数字：
text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99
而若是text=101，那么就会抛出一个异常。示例代码以下：

text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

练习

1.14 转义字符和原生字符串

在正则表达式中，有些字符是有特殊意义的字符。所以若是想要匹配这些字符，那么就必须使用反斜杠进行转义。好比$表明的是以...结尾，若是想要匹配$，那么就必须使用\$。示例代码以下：

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99

原生字符串：#r=raw=原生的
在正则表达式中，\是专门用来作转义的。在Python中\也是用来作转义的。所以若是想要在普通的字符串中匹配出\，那么要给出四个\。示例代码以下：

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

所以要使用原生字符串就能够解决这个问题：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())
#说明：python中re.match(pattern,srting)

#中表明匹配规则的字符串pattern具备两层意义,其一是正则表达式，其中\是专门用来作转义的。
#其二也是python字符串，在Python中\也是用来作转义的。
#故python字符串'\\\\c'转义后为'\\c' -> 传给正则表达式，正则表达式转义后为'\c'，故要在普通的字符串中匹配出\，那么要给出四个\。

 

2. re模块中经常使用函数

2.1 match

从开始的位置进行匹配。若是开始的位置没有匹配到。就直接失败了。示例代码以下：

text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h

若是第一个字母不是h，那么就会失败。示例代码以下：

text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

若是想要匹配换行的数据，那么就要传入一个flag=re.DOTALL，就能够匹配换行符了。示例代码以下：

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

2.2 search

在字符串中找知足条件的字符。若是找到，就返回。说白了，就是只会找到第一个知足条件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99

2.3 分组

在正则表达式中，能够对过滤到的字符串进行分组。分组使用圆括号的方式。

group：和group(0)是等价的，返回的是整个知足条件的字符串。
groups：返回的是里面的子组。索引从1开始。
group(1)：返回的是第一个子组，能够传入多个。
示例代码以下：
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))#提取整个分组=ret.group()
print(ret.group(1))#提取第一个分组
print(ret.group(1,2))#提取第一个和第二个分组
print(ret.groups())#提取多个子分组

2.4 findall

找出全部知足条件的，返回的是一个列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']

2.5 sub

用来替换字符串。将匹配到的字符串替换为其余字符串。

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0

sub函数的案例，获取拉勾网中的数据：

html = """
<div>
<p>基本要求：</p>
<p>一、精通HTML五、CSS三、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不一样浏览器间的差别，熟练写出兼容各类浏览器的代码；</p>
<p>二、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各类交互效果；</p>
<p>三、熟悉编写可以自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；</p>
<p>四、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；</p>
<p>五、熟悉手机端和PC端web实现的差别，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；六、良好的沟通能力和团队协做精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；</p>
<p>七、可以承担公司前端培训工做，对公司各业务线的前端（HTML5\CSS3）工做进行支撑和指导。</p>
<p><br></p>
<p>岗位职责：</p>
<p>一、利用html5及相关技术开发移动平台、微信、APP等前端页面，各种交互的实现；</p>
<p>二、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；</p>
<p>三、根据产品需求，分析并给出最优的页面前端结构解决方案；</p>
<p>四、协助后台及客户端开发人员完成功能开发和调试；</p>
<p>五、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""

ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

2.6 split

使用正则表达式来分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

2.7 compile

对于一些常常要用到的正则表达式，可使用compile进行编译，后期再使用的时候能够直接拿过来用，执行效率会更快。并且compile还能够指定flag=re.VERBOSE，在写正则表达式的时候能够作好注释。示例代码以下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())

#-*-coding = utf-8 -*-
import re
import requests

def parse_page(url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
    response = requests.get(url,headers=headers)
    text = response.text
    titles = re.findall(r'<div class="cont">.*?<b>(.*?)</b>',text,re.DOTALL)
    dynasties = re.findall(r'<p class="source".*?<a.*?>(.*?)</a>',text,re.DOTALL)
    authors = re.findall(r'<p class="source">.*?<a.*?>.*?<a.*?>(.*?)</a>',text)
    contents = re.findall(r'<div class="contson".*?>(.*?)</div>',text,re.DOTALL)
    poems = []
    data = []
    for poem in contents:
        x = re.sub(r'<.*?>',"",poem)
        poems.append(x.strip())
    for title,dynasty,author,poem in zip(titles,dynasties,authors,poems):
        data.append({
            'title':title,
            'dynasty':dynasty,
            'author':author,
            'poem':poem
        })
    return data

if __name__=='__main__':
    url = 'https://www.gushiwen.org/default_1.aspx'
    data = parse_page(url)
    print(data)

爬取古诗文网练习

 

>>>>>待续