re模块

Posted 2020-10-30 Leslie-x

一：什么是正则？

正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。（在Python中）它内嵌在Python中，并通过 re 模块实现。正则表达式模式被编译成一系列的字节码，然后由用 C 编写的匹配引擎执行。
生活中处处都是正则：
比如我们描述：4条腿
　　你可能会想到的是四条腿的动物或者桌子，椅子等。
继续描述：4条腿，活的；
　　就只剩下四条腿的动物这一类了。

二：常用匹配模式(元字符)

博客链接

匹配模式

#一对一的匹配
# \'hello\'.replace(old,new)
# \'hello\'.find(\'pattern\')

#正则匹配
import re
#\\w与\\W
print(re.findall(\'\\w\',\'hello egon 123\')) #[\'h\', \'e\', \'l\', \'l\', \'o\', \'e\', \'g\', \'o\', \'n\', \'1\', \'2\', \'3\']
print(re.findall(\'\\W\',\'hello egon 123\')) #[\' \', \' \']

#\\s与\\S
print(re.findall(\'\\s\',\'hello  egon  123\')) #[\' \', \' \', \' \', \' \']
print(re.findall(\'\\S\',\'hello  egon  123\')) #[\'h\', \'e\', \'l\', \'l\', \'o\', \'e\', \'g\', \'o\', \'n\', \'1\', \'2\', \'3\']

#\\n \\t都是空,都可以被\\s匹配
print(re.findall(\'\\s\',\'hello \\n egon \\t 123\')) #[\' \', \'\\n\', \' \', \' \', \'\\t\', \' \']

#\\n与\\t
print(re.findall(r\'\\n\',\'hello egon \\n123\')) #[\'\\n\']
print(re.findall(r\'\\t\',\'hello egon\\t123\')) #[\'\\n\']

#\\d与\\D
print(re.findall(\'\\d\',\'hello egon 123\')) #[\'1\', \'2\', \'3\']
print(re.findall(\'\\D\',\'hello egon 123\')) #[\'h\', \'e\', \'l\', \'l\', \'o\', \' \', \'e\', \'g\', \'o\', \'n\', \' \']

#\\A与\\Z
print(re.findall(\'\\Ahe\',\'hello egon 123\')) #[\'he\'],\\A==>^
print(re.findall(\'123\\Z\',\'hello egon 123\')) #[\'he\'],\\Z==>$

#^与$
print(re.findall(\'^h\',\'hello egon 123\')) #[\'h\']
print(re.findall(\'3$\',\'hello egon 123\')) #[\'3\']

# 重复匹配：| . | * | ? | .* | .*? | + | {n,m} |
#.
print(re.findall(\'a.b\',\'a1b\')) #[\'a1b\']
print(re.findall(\'a.b\',\'a1b a*b a b aaab\')) #[\'a1b\', \'a*b\', \'a b\', \'aab\']
print(re.findall(\'a.b\',\'a\\nb\')) #[]
print(re.findall(\'a.b\',\'a\\nb\',re.S)) #[\'a\\nb\']
print(re.findall(\'a.b\',\'a\\nb\',re.DOTALL)) #[\'a\\nb\']同上一条意思一样

#*
print(re.findall(\'ab*\',\'bbbbbbb\')) #[]
print(re.findall(\'ab*\',\'a\')) #[\'a\']
print(re.findall(\'ab*\',\'abbbb\')) #[\'abbbb\']

#?
print(re.findall(\'ab?\',\'a\')) #[\'a\']
print(re.findall(\'ab?\',\'abbb\')) #[\'ab\']
#匹配所有包含小数在内的数字
print(re.findall(\'\\d+\\.?\\d*\',"asdfasdf123as1.13dfa12adsf1asdf3")) #[\'123\', \'1.13\', \'12\', \'1\', \'3\']

#.*默认为贪婪匹配
print(re.findall(\'a.*b\',\'a1b22222222b\')) #[\'a1b22222222b\']

#.*?为非贪婪匹配：推荐使用
print(re.findall(\'a.*?b\',\'a1b22222222b\')) #[\'a1b\']

#+
print(re.findall(\'ab+\',\'a\')) #[]
print(re.findall(\'ab+\',\'abbb\')) #[\'abbb\']

#{n,m}
print(re.findall(\'ab{2}\',\'abbb\')) #[\'abb\']
print(re.findall(\'ab{2,4}\',\'abbb\')) #[\'abb\']
print(re.findall(\'ab{1,}\',\'abbb\')) #\'ab{1,}\' ===> \'ab+\'
print(re.findall(\'ab{0,}\',\'abbb\')) #\'ab{0,}\' ===> \'ab*\'

#[]
print(re.findall(\'a[1*-]b\',\'a1b a*b a-b\')) #[]内的都为普通字符了，且如果-没有被转意的话，应该放到[]的开头或结尾
print(re.findall(\'a[^1*-]b\',\'a1b a*b a-b a=b\')) #[]内的^代表的意思是取反，所以结果为[\'a=b\']
print(re.findall(\'a[0-9]b\',\'a1b a*b a-b a=b\')) #[]内的^代表的意思是取反，所以结果为[\'a=b\']
print(re.findall(\'a[a-z]b\',\'a1b a*b a-b a=b aeb\')) #[]内的^代表的意思是取反，所以结果为[\'a=b\']
print(re.findall(\'a[a-zA-Z]b\',\'a1b a*b a-b a=b aeb aEb\')) #[]内的^代表的意思是取反，所以结果为[\'a=b\']

#\\# print(re.findall(\'a\\\\c\',\'a\\c\')) #对于正则来说a\\\\c确实可以匹配到a\\c,但是在python解释器读取a\\\\c时，会发生转义，然后交给re去执行，所以抛出异常
print(re.findall(r\'a\\\\c\',\'a\\c\')) #r代表告诉解释器使用rawstring，即原生字符串，把我们正则内的所有符号都当普通字符处理，不要转义
print(re.findall(\'a\\\\\\\\c\',\'a\\c\')) #同上面的意思一样，和上面的结果一样都是[\'a\\\\c\']

#():分组
print(re.findall(\'ab+\',\'ababab123\')) #[\'ab\', \'ab\', \'ab\']
print(re.findall(\'(ab)+123\',\'ababab123\')) #[\'ab\']，匹配到末尾的ab123中的ab
print(re.findall(\'(?:ab)+123\',\'ababab123\')) #findall的结果不是匹配的全部内容，而是组内的内容,?:可以让结果为匹配的全部内容
print(re.findall(\'href="(.*?)"\',\'<a href="http://www.baidu.com">点击</a>\'))#[\'http://www.baidu.com\']
print(re.findall(\'href="(?:.*?)"\',\'<a href="http://www.baidu.com">点击</a>\'))#[\'href="http://www.baidu.com"\']

#|
print(re.findall(\'compan(?:y|ies)\',\'Too many companies have gone bankrupt, and the next one is my company\'))

View Code

re模块提供的方法介绍

import re
#1
print(re.findall(\'e\',\'alex make love\') )   #[\'e\', \'e\', \'e\'],返回所有满足匹配条件的结果,放在列表里
#2
print(re.search(\'e\',\'alex make love\').group()) #e,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。

#3
print(re.match(\'e\',\'alex make love\'))    #None,同search,不过在字符串开始处进行匹配,完全可以用search+^代替match

#4
print(re.split(\'[ab]\',\'abcd\'))     #[\'\', \'\', \'cd\']，先按\'a\'分割得到\'\'和\'bcd\',再对\'\'和\'bcd\'分别按\'b\'分割

#5
print(\'===>\',re.sub(\'a\',\'A\',\'alex make love\')) #===> Alex mAke love，不指定n，默认替换所有
print(\'===>\',re.sub(\'a\',\'A\',\'alex make love\',1)) #===> Alex make love
print(\'===>\',re.sub(\'a\',\'A\',\'alex make love\',2)) #===> Alex mAke love
print(\'===>\',re.sub(\'^(\\w+)(.*?\\s)(\\w+)(.*?\\s)(\\w+)(.*?)$\',r\'\\5\\2\\3\\4\\1\',\'alex make love\')) #===> love make alex

print(\'===>\',re.subn(\'a\',\'A\',\'alex make love\')) #===> (\'Alex mAke love\', 2),结果带有总共替换的个数


#6
obj=re.compile(\'\\d{2}\')

print(obj.search(\'abc123eeee\').group()) #12
print(obj.findall(\'abc123eeee\')) #[\'12\'],重用了obj

View Code

补充

import re
print(re.findall("<(?P<tag_name>\\w+)>\\w+</(?P=tag_name)>","<h1>hello</h1>")) #[\'h1\']
print(re.search("<(?P<tag_name>\\w+)>\\w+</(?P=tag_name)>","<h1>hello</h1>").group()) #<h1>hello</h1>
print(re.search("<(?P<tag_name>\\w+)>\\w+</(?P=tag_name)>","<h1>hello</h1>").groupdict()) #<h1>hello</h1>

print(re.search(r"<(\\w+)>\\w+</(\\w+)>","<h1>hello</h1>").group())
print(re.search(r"<(\\w+)>\\w+</\\1>","<h1>hello</h1>").group())


print(re.findall(r\'-?\\d+\\.?\\d*\',"1-12*(60+(-40.35/5)-(-4*3))")) #找出所有数字[\'1\', \'-12\', \'60\', \'-40.35\', \'5\', \'-4\', \'3\']

#使用|，先匹配的先生效，|左边是匹配小数，而findall最终结果是查看分组，所有即使匹配成功小数也不会存入结果
#而不是小数时，就去匹配(-?\\d+)，匹配到的自然就是，非小数的数，在此处即整数
print(re.findall(r"-?\\d+\\.\\d*|(-?\\d+)","1-2*(60+(-40.35/5)-(-4*3))")) #找出所有整数[\'1\', \'-2\', \'60\', \'\', \'5\', \'-4\', \'3\']

search与findall

#为何同样的表达式search与findall却有不同结果:
print(re.search(\'\\(([\\+\\-\\*\\/]*\\d+\\.?\\d*)+\\)\',"1-12*(60+(-40.35/5)-(-4*3))").group()) #(-40.35/5)
print(re.findall(\'\\(([\\+\\-\\*\\/]*\\d+\\.?\\d*)+\\)\',"1-12*(60+(-40.35/5)-(-4*3))")) #[\'/5\', \'*3\']

#看这个例子:(\\d)+相当于(\\d)(\\d)(\\d)(\\d)...,是一系列分组
print(re.search(\'(\\d)+\',\'123\').group()) #group的作用是将所有组拼接到一起显示出来
print(re.findall(\'(\\d)+\',\'123\')) #findall结果是组内的结果,且是最后一个组的结果

View Code

最常规匹配

content = \'Hello 123 456 World_This is a Regex Demo\'
res=re.match(\'Hello\\s\\d\\d\\d\\s\\d{3}\\s\\w{10}.*Demo\',content)
print(res)
print(res.group())
print(res.span())

泛匹配

content=\'Hello 123 456 World_This is a Regex Demo\'
res=re.match(\'^Hello.*Demo\',content)
print(res.group())

匹配目标,获得指定数据

content=\'Hello 123 456 World_This is a Regex Demo\'
res=re.match(\'^Hello\\s(\\d+)\\s(\\d+)\\s.*Demo\',content)
print(res.group()) #取所有匹配的内容
print(res.group(1)) #取匹配的第一个括号内的内容
print(res.group(2)) #去陪陪的第二个括号内的内容

贪婪匹配:.*代表匹配尽可能多的字符

import re
content=\'Hello 123 456 World_This is a Regex Demo\'

res=re.match(\'^He.*(\\d+).*Demo$\',content)
print(res.group(1)) #只打印6,因为.*会尽可能多的匹配,然后后面跟至少一个数字

非贪婪匹配:?匹配尽可能少的字符

import re
content=\'Hello 123 456 World_This is a Regex Demo\'

res=re.match(\'^He.*?(\\d+).*Demo$\',content)
print(res.group(1)) #只打印6,因为.*会尽可能多的匹配,然后后面跟至少一个数字

匹配模式:.不能匹配换行符

content = \'\'\'Hello 123456 World_This
is a Regex Demo
\'\'\'
res=re.match(\'He.*?(\\d+).*?Demo$\',content)
print(res) #输出None

res=re.match(\'He.*?(\\d+).*?Demo$\',content,re.S) #re.S让.可以匹配换行符
print(res)
print(res.group(1))

特殊字符转义

content=\'price is $5.00\'
res=re.match(\'price is $5.00\',content)
print(res)

res=re.match(\'price is \\$5\\.00\',content)
print(res)

总结:尽量精简,详细的如下：
　　尽量使用泛匹配模式.*
　　尽量使用非贪婪模式:.*?
　　使用括号得到匹配目标:用group(n)去取得结果
　　有换行符就用re.S:修改模式

三：匹配模式演练

re.search: 会扫描整个字符串, 不会从头开始, 找到第一个匹配的结果就会返回
re.search: 只要一个结果, 匹配演练,
re.findall: 找到符合条件的所有结果
re.sub: 字符串替换

import re

# re.match
content=\'Extra strings Hello 123 456 World_This is a Regex Demo Extra strings\'
res=re.match(\'Hello.*?(\\d+).*?Demo\',content)
print(res) #输出结果为None

# re.search
content=\'Extra strings Hello 123 456 World_This is a Regex Demo Extra strings\'
res=re.search(\'Hello.*?(\\d+).*?Demo\',content) #
print(res.group(1))


# re.search
content = \'\'\'
<tbody>
<img class="rpic" src="http://p1.music.126.net/Wl7T1LBRhZFg0O26nnR2iQ==/19217264230385030.jpg?param=50y50&amp;quality=100"></a><span data-res-id="476630320"</span>
\'\'\'
res=re.search(\'<a\\shref=.*?<b\\stitle="(.*?)".*?b>\',content)
print(res.group(1))


# re.findall
res=re.findall(\'<a\\shref=.*?<b\\stitle="(.*?)".*?b>\',content)
for i in res:
    print(i)

# re.sub
content=\'Extra strings Hello 123 456 World_This is a Regex Demo Extra strings\'
content=re.sub(\'\\d+\',\'\',content)
print(content)

View Code

四：正则使用实例

爬取豆瓣信息匹配

import requests,re
respone=requests.get(\'https://book.douban.com/\').text

print(respone)
print(\'======\'*1000)
print(\'======\'*1000)
print(\'======\'*1000)
print(\'======\'*1000)
res=re.findall(\'<li.*?cover.*?href="(.*?)".*?title="(.*?)">.*?more-meta.*?author">(.*?)</span.*?year">(.*?)</span.*?publisher">(.*?)</span.*?</li>\',respone,re.S)
# res=re.findall(\'<li.*?cover.*?href="(.*?)".*?more-meta.*?author">(.*?)</span.*?year">(.*?)</span.*?publisher">(.*?)</span>.*?</li>\',respone,re.S)


for i in res:
    print(\'%s %s %s %s\' %(i[0].strip(),i[1].strip(),i[2].strip(),i[3].strip()))