正则表达式2:感受

Posted 2021-01-11 li-123-peng

元字符: 元字符才是正则表达式的灵魂. 元字符中的内容太多了了, 在这?里里我们只介绍?一些
常?用的.
1. 字符组
字符组很简单?用[]括起来. 在[]中出现的内容会被匹配. 例例如:[abc] 匹配a或b或c
如果字符组中的内容过多还可以使?用- , 例例如: [a-z] 匹配a到z之间的所有字?母 [0-9]
匹配所有阿拉伯数字
思考: [a-zA-Z0-9]匹配的是什什么?
2. 简单元字符
基本的元字符. 这个东?西?网上?一搜?一?大堆. 但是常?用的就那么?几个:
. 匹配除换?行行符以外的任意字符
w 匹配字?母或数字或下划线
s 匹配任意的空?白符

d 匹配数字
匹配?一个换?行行符
匹配?一个制表符
 匹配?一个单词的结尾
^ 匹配字符串串的开始
$ 匹配字符串串的结尾
W 匹配?非字?母或数字或下划线
D 匹配?非数字
S 匹配?非空?白符
a|b 匹配字符a或字符b
() 匹配括号内的表达式，也表示?一个组
[...] 匹配字符组中的字符
[^...] 匹配除了了字符组中字符的所有字符

3. 量量词
我们到?目前匹配的所有内容都是单?一?文字符号. 那如何?一次性匹配很多个字符呢,
我们要?用到量量词
* 重复零次或更更多次
+ 重复?一次或更更多次
? 重复零次或?一次
{n} 重复n次
{n,} 重复n次或更更多次
{n,m} 重复n到m次

4. 惰性匹配和贪婪匹配
在量量词中的*, +,{} 都属于贪婪匹配. 就是尽可能多的匹配到结果.
str: 麻花藤昨天让英雄联盟关服了了
reg: 麻花藤.*
此时匹配的是整句句话
在使?用.*后?面如果加了了? 则是尽可能的少匹配. 表?示惰性匹配
str: 麻花藤昨天让英雄联盟关服了了
reg: 麻花藤.*?
此时匹配的是 麻花藤
str: <div>胡辣汤</div>
reg: <.*>
结果: <div>胡辣汤</div>

str: <div>胡辣汤</div>
reg: <.*?>
结果:

<div>
</div>
str: <div>胡辣汤</div>
reg: <(div|/div*)?>
结果:
<div>
</div>

.*?x的特殊含义 找到下?一个x为?止.
str: abcdefgxhijklmn
reg: .*?x
结果:abcdefgx

5. 分组
在正则中使?用()进?行行分组. 比如. 我们要匹配?一个相对复杂的?身份证号. ?身份证号分
成两种. 老的?身份证号有15位. 新的?身份证号有18位. 并且新的?身份证号结尾有可能是x.
给出以下正则:
^[1-9]d{13,16}[0-9x]$
^[1-9]d{14}(d{2}[0-9x])?$
^([1-9]d{16}[0-9x]|[1-9]d{14})$
6. 转义
在正则表达式中, 有很多有特殊意义的是元字符, ?比如 和s等,如果要在正则中匹
配正常的" "?而不不是"换?行行符"就需要对""进?行行转义, 变成‘\‘.在python中, ?无论是正则表达式, 还
是待匹配的内容, 都是以字符串串的形式出现的, 在字符串串中也有特殊的含义, 本身还需要转
义. 所以如果匹配?一次" ", 字符串串中要写成‘\n‘, 那么正则?里里就要写成"\\n",这样就太麻烦了了.
这个时候我们就?用到了了r‘ ‘这个概念, 此时的正则是r‘\n‘就可以了了.

练习:
1. 匹配邮箱
2. 匹配?手机号
3. 匹配?生?日. ?日期格式(yyyy-MM-dd)
4. 匹配电话号码
5. 匹配IP

?二. re模块
re模块是python提供的?一套关于处理理正则表达式的模块. 核?心功能有四个:
1. ?ndall 查找所有. 返回list
lst = re.findall("m", "mai le fo len, mai ni mei!")
print(lst) # [‘m‘, ‘m‘, ‘m‘]
lst = re.findall(r"d+", "5点之前. 你要给我5000万")

print(lst) # [‘5‘, ‘5000‘]

2. search 会进?行行匹配. 但是如果匹配到了了第?一个结果. 就会返回这个结果. 如果匹配不
上search返回的则是None
ret = re.search(r‘d‘, ‘5点之前. 你要给我5000万‘).group()
print(ret) # 5
3. match 只能从字符串串的开头进?行行匹配
ret = re.match(‘a‘, ‘abc‘).group()
print(ret) # a
4. ?nditer 和?ndall差不多. 只不过这时返回的是迭代器
it = re.finditer("m", "mai le fo len, mai ni mei!")
for el in it:
print(el.group()) # 依然需要分组
5. 其他操作

ret = re.split(‘[ab]‘, ‘qwerafjbcd‘) # 先按‘a‘分割得到‘qwer‘和‘fjbcd‘,在
对‘qwer‘和‘fjbcd‘分别按‘b‘分割
print(ret) # [‘qwer‘, ‘fj‘, ‘cd‘]
ret = re.sub(r"d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串串中
的数字换成__sb__
print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_

ret = re.subn(r"d+", "_sb_", "alex250taibai250wusir250ritian38") # 将数字替
换成‘__sb__‘，返回元组(替换的结果,替换了了多少次)
print(ret) # (‘alex_sb_taibai_sb_wusir_sb_ritian_sb_‘, 4)
obj = re.compile(r‘d{3}‘) # 将正则表达式编译成为?一个 正则表达式对象, 规则要匹配的
是3个数字
ret = obj.search(‘abc123eeee‘) # 正则表达式对象调?用search, 参数为待匹配的字符串串
print(ret.group()) # 结果: 123
爬?虫重点:
obj = re.compile(r‘(?P<id>d+)(?P<name>e+)‘) # 从正则表达式匹配的内容每个组起名
字
ret = obj.search(‘abc123eeee‘) # 搜索
print(ret.group()) # 结果: 123eeee
print(ret.group("id")) # 结果: 123 # 获取id组的内容
print(ret.group("name")) # 结果: eeee # 获取name组的内容

 

6. 两个坑
注意: 在re模块中和我们在线测试?工具中的结果可能是不?一样的.
ret = re.findall(‘www.(baidu|oldboy).com‘, ‘www.oldboy.com‘)
print(ret) # [‘oldboy‘] 这是因为findall会优先把匹配结果组?里里内容返回,如果想要匹
配结果,取消权限即可
ret = re.findall(‘www.(?:baidu|oldboy).com‘, ‘www.oldboy.com‘)
print(ret) # [‘www.oldboy.com‘]

split?里里也有?一个坑
ret=re.split("d+","eva3egon4yuan")
print(ret) #结果 ： [‘eva‘, ‘egon‘, ‘yuan‘]
ret=re.split("(d+)","eva3egon4yuan")
print(ret) #结果 ： [‘eva‘, ‘3‘, ‘egon‘, ‘4‘, ‘yuan‘]
#在匹配部分加上（）之后所切出的结果是不不同的，
#没有（）的没有保留留所匹配的项，但是有（）的却能够保留留了了匹配的项，
#这个在某些需要保留留匹配部分的使?用过程是?非常重要的。

这种优先级的问题有时候会帮我们完成很多功能. 我们来看?一个比较复杂的例例?子
import re
from urllib.request import urlopen
import ssl
# ?干掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context
def getPage(url):
response = urlopen(url)
return response.read().decode(‘utf-8‘)
def parsePage(s):
ret = re.findall(
‘<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>d+).*?
<span class="title">(?P<title>.*?)</span>‘
‘.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>
(?P<comment_num>.*?)评价</span>‘, s, re.S)
return ret
def main(num):
url = ‘https://movie.douban.com/top250?start=%s&filter=‘ % num
response_html = getPage(url)
ret = parsePage(response_html)
print(ret)
count = 0
for i in range(10): # 10?页

main(count)
count += 25
此时利利?用的就是分组之后. 匹配成功后获取到的是分组后的结果. (?P<id>d+) 此时当前
组所匹配的数据就会被分组到id组内. 此时程序可以改写成:
import ssl
import re
from urllib.request import urlopen
# ?干掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context

def getPage(url):
response = urlopen(url)
return response.read().decode(‘utf-8‘)
def parsePage(s):
com = re.compile(
‘<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>d+).*?
<span class="title">(?P<title>.*?)</span>‘
‘.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?
<span>(?P<comment_num>.*?)评价</span>‘, re.S)
ret = com.finditer(s)
for i in ret:
yield {
"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),
}

def main(num):
url = ‘https://movie.douban.com/top250?start=%s&filter=‘ % num
response_html = getPage(url)
ret = parsePage(response_html)
# print(ret)
f = open("move_info7", "a", encoding="utf8")
for obj in ret:
print(obj)
data = str(obj)
f.write(data + " ")
count = 0
for i in range(10):
main(count)

count += 25

正则表达式和re模块就说这么多. 如果要把正则所有的内容全部讲清楚讲明?白, ?至少要?一周
以上的时间. 对于我们?日常使?用?而?言. 上述知识点已经够?用了了. 如果碰到?一些极端情况建议想
办法分部处理理. 先对字符串串进?行行拆分. 然后再考虑?用正则.