正则表达式re.sub

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了正则表达式re.sub相关的知识,希望对你有一定的参考价值。

参考技术A re是regular expression的所写,表示正则表达式

sub是substitute的所写,表示替换;

re.sub是个正则表达式方面的函数,用来实现通过正则表达式,实现比普通字符串的replace更加强大的替换功能;

import re

print(re.sub(r"<span .*?>|</span>","","<span size=1>1</span><span font=sdf>2</span><span color=123>3</span>"))

运行结果:

123

re.sub共有五个参数。

re.sub(pattern, repl, string, count=0, flags=0)

其中三个必选参数:pattern, repl, string

两个可选参数:count, flags

pattern,表示正则中的模式字符串,这个没太多要解释的。

repl,就是replacement,被替换,的字符串的意思。

repl可以是字符串,也可以是函数。

import re;

def pythonReSubDemo():

    """

        demo Pyton re.sub

    """

    inputStr = "hello 123 world 456";

    def _add111(matched):

        intStr = matched.group("number"); #123

        intValue = int(intStr);

        addedValue = intValue + 111; #234

        addedValueStr = str(addedValue);

        return addedValueStr;

    replacedStr = re.sub("(?P<number>\d+)", _add111, inputStr);

    print "replacedStr=",replacedStr; #hello 234 world 567

string,即表示要被处理,要被替换的那个string字符串。

没什么特殊要说明。

举例说明:

继续之前的例子,假如对于匹配到的内容,只处理其中一部分。

正则表达式re.sub替换不完整的问题现象及其根本原因


title: 正则表达式re.sub替换不完整的问题现象及其根本原因
toc: true
comment: true
date: 2018-08-27 21:48:22
tags: ["Python", "正则表达式"]
category: ["Python"]
---

问题描述

问题的起因来自于一段正则替换。为了从一段HTML代码里面提取出正文,去掉所有的HTML标签和属性,可以写一个Python函数:

import re


def remove_tag(html):
    text = re.sub(‘<.*?>‘, ‘‘, html, re.S)
    return text

这段代码的使用了正则表达式的替换功能re.sub。这个函数的第一个参数表示需要被替换的内容的正则表达式,由于HTML标签都是使用尖括号包起来的,因此使用<.*?>就可以匹配所有<xxx yyy="zzz"></xxx>

第二个参数表示被匹配到的内容将要被替换成什么内容。由于我需要提取正文,那么只要把所有HTML标签都替换为空字符串即可。第三个参数就是需要被替换的文本,在这个例子中是HTML源代码段。

至于re.S,在4年前的一篇文章中我讲到了它的用法:Python正则表达式中的re.S

现在使用一段HTML代码来测试一下:

import re


def remove_tag(html):
    text = re.sub(‘<.*?>‘, ‘‘, html, re.S)
    return text


source_1 = ‘‘‘
<div class="content">今天的主角是<a href="xxx">kingname</a>,我们掌声欢迎!</div>
‘‘‘


text = remove_tag(source_1)
print(text)

运行效果如下图所示,功能完全符合预期

技术分享图片

再来测试一下代码中有换行符的情况:

import re


def remove_tag(html):
    text = re.sub(‘<.*?>‘, ‘‘, html, re.S)
    return text

source_2 = ‘‘‘
<div class="content">
    今天的主角是
    <a href="xxx">kingname</a>
    ,我们掌声欢迎!
</div>
‘‘‘
text = remove_tag(source_2)
print(text)

运行效果如下图所示,完全符合预期。
技术分享图片

经过测试,在绝大多数情况下,能够从的HTML代码段中提取出正文。但也有例外。

例外情况

有一段HTML代码段比较长,内容如下:

<img></span><span>遇见kingname</span></a ><a  ><span class=‘url-icon‘>< img ‘></span><span >温柔</span></a ><a  ><span >#青南#</span></a > <br />就在这里…<br />我的小侯爷呢???

运行效果如下图所示,最后两个HTML标签替换失败。
技术分享图片

一开始我以为是HTML里面的空格或者引号引起的问题,于是我把HTML代码进行简化:

<img></span><span>遇见kingname</span></a><a><span><img></span><span>温柔</span></a><a><span>#青南#</span></a><br/>就在这里…<br/>我的小侯爷呢

问题依然存在,如下图所示。

技术分享图片

而且更令人惊讶的是,如果把第一个标签<img>删了,那么替换结果里面就少了一个标签,如下图所示。

技术分享图片

实际上,不仅仅是删除第一个标签,前面任意一个标签删了都可以减少结果里面的一个标签。如果删除前面两个或以上标签,那么结果就正常了。

答疑解惑

这个看起来很奇怪的问题,根本原因在re.sub的第4个参数。从函数原型可以看到:

def sub(pattern, repl, string, count=0, flags=0)

第四个参数是count表示替换个数,re.S如果要用,应该作为第五个参数。所以如果把remove_tag函数做一些修改,那么结果就正确了:

def remove_tag(html):
    text = re.sub(‘<.*?>‘, ‘‘, html, flags=re.S)
    return text

那么问题来了,把re.S放在count的位置,为什么代码没有报错?难道re.S是数字?实际上,如果打印一下就会发现,re.S确实可以作为数字:

>>> import re
>>> print(int(re.S))
16

现在回头数一数出问题的HTML代码,发现最后多出来的两个<br>标签,刚刚好是第17和18个标签,而由于count填写的re.S可以当做16来处理,那么Python就会把前16个标签替换为空字符串,从而留下最后两个。

至此问题的原因搞清楚了。

这个问题没有被及早发现,有以下几个原因:

  1. 被替换的HTML代码是代码段,大多数情况下HTML标签不足16个,所以问题被隐藏。
  2. re.S是一个对象,但也是数字,count接收的参数刚好也是数字。在很多编程语言里面,常量都会使用数字,然后用一个有意义的大写字母来表示。
  3. re.S 处理的情况是<div class="123" > 而不是<div class="123"> </div>但测试的代码段标签都是第二种情况,所以在代码段里面实际上加不加re.S效果是一样的。








以上是关于正则表达式re.sub的主要内容,如果未能解决你的问题,请参考以下文章

正则表达式re.sub替换不完整的问题现象及其根本原因

Python3 爬虫09_正则表达式(re.math()re.search()re.sub()全局匹配函数)

为re.sub替换参数转义Python正则表达式字符串? [复制]

python 正则表达式re.sub()提取字符串以及去除空格

re.sub() 的不区分大小写的正则表达式模式问题[重复]

re.sub