正则表达式re.sub替换不完整的问题现象及其根本缘由

问题描述

问题的原由来自于一段正则替换。为了从一段HTML代码里面提取出正文，去掉全部的HTML标签和属性，能够写一个Python函数：

import re


def remove_tag(html):
    text = re.sub('<.*?>', '', html, re.S)
    return text
复制代码

这段代码的使用了正则表达式的替换功能re.sub。这个函数的第一个参数表示须要被替换的内容的正则表达式，因为HTML标签都是使用尖括号包起来的，所以使用<.*?>就能够匹配全部<xxx yyy="zzz">和</xxx>。

第二个参数表示被匹配到的内容将要被替换成什么内容。因为我须要提取正文，那么只要把全部HTML标签都替换为空字符串便可。第三个参数就是须要被替换的文本，在这个例子中是HTML源代码段。

至于re.S，在4年前的一篇文章中我讲到了它的用法：Python正则表达式中的re.S。

如今使用一段HTML代码来测试一下：

import re


def remove_tag(html):
    text = re.sub('<.*?>', '', html, re.S)
    return text


source_1 = ''' <div class="content">今天的主角是<a href="xxx">kingname</a>，咱们掌声欢迎！</div> '''


text = remove_tag(source_1)
print(text)
复制代码

运行效果以下图所示，功能彻底符合预期

再来测试一下代码中有换行符的状况：

import re


def remove_tag(html):
    text = re.sub('<.*?>', '', html, re.S)
    return text

source_2 = ''' <div class="content"> 今天的主角是 <a href="xxx">kingname</a> ，咱们掌声欢迎！ </div> '''
text = remove_tag(source_2)
print(text)
复制代码

运行效果以下图所示，彻底符合预期。

通过测试，在绝大多数状况下，可以从的HTML代码段中提取出正文。但也有例外。

例外状况

有一段HTML代码段比较长，内容以下：

<img></span><span>碰见kingname</span></a ><a  ><span class='url-icon'>< img '></span><span >温柔</span></a ><a ><span >#青南#</span></a > <br />就在这里…<br />个人小侯爷呢？？？ 复制代码

运行效果以下图所示，最后两个HTML标签替换失败。

一开始我觉得是HTML里面的空格或者引号引发的问题，因而我把HTML代码进行简化：

<img></span><span>碰见kingname</span></a><a><span><img></span><span>温柔</span></a><a><span>#青南#</span></a><br/>就在这里…<br/>个人小侯爷呢
复制代码

问题依然存在，以下图所示。

并且更使人惊讶的是，若是把第一个标签<img>删了，那么替换结果里面就少了一个标签，以下图所示。

实际上，不只仅是删除第一个标签，前面任意一个标签删了均可以减小结果里面的一个标签。若是删除前面两个或以上标签，那么结果就正常了。

答疑解惑

这个看起来很奇怪的问题，根本缘由在re.sub的第4个参数。从函数原型能够看到：

def sub(pattern, repl, string, count=0, flags=0)
复制代码

第四个参数是count表示替换个数，re.S若是要用，应该做为第五个参数。因此若是把remove_tag函数作一些修改，那么结果就正确了:

def remove_tag(html):
    text = re.sub('<.*?>', '', html, flags=re.S)
    return text
复制代码

那么问题来了，把re.S放在count的位置，为何代码没有报错？难道re.S是数字？实际上，若是打印一下就会发现，re.S确实能够做为数字：

>>> import re
>>> print(int(re.S))
16
复制代码

如今回头数一数出问题的HTML代码，发现最后多出来的两个<br>标签，刚恰好是第17和18个标签，而因为count填写的re.S能够当作16来处理，那么Python就会把前16个标签替换为空字符串，从而留下最后两个。

至此问题的缘由搞清楚了。

这个问题没有被及早发现，有如下几个缘由：

1. 被替换的HTML代码是代码段，大多数状况下HTML标签不足16个，因此问题被隐藏。
2. re.S是一个对象，但也是数字，count接收的参数恰好也是数字。在不少编程语言里面，常量都会使用数字，而后用一个有意义的大写字母来表示。
3. re.S 处理的状况是<div class="123" \n> 而不是<div class="123">\n</div>但测试的代码段标签都是第二种状况，因此在代码段里面实际上加不加re.S效果是同样的。

个人公众号：未闻Code