python正则表达式

Posted 2022-12-12 行码棋

本文章参考其他资料，有许多繁杂之处，还待不断完善

正则表达式

使用模块： re

r: Python 中字符串的前导 r 代表原始字符串标识符，该字符串中的特殊符号不会被转义，适用于正则表达式中繁杂的特殊符号表示。

因此 r"\\n" 表示包含 '\\' 和 'n' 两个字符的字符串，而 "\\n" 则表示只包含一个换行符的字符串。

常用元字符

字符	描述
\\	将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符。例如，‘n’ 匹配字符 “n”。‘\\n’ 匹配一个换行符。序列 ‘\\’ 匹配 “” 而 “(” 则匹配 “(”。
^	匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 ‘\\n’ 或 ‘\\r’ 之后的位置。
$	匹配输入字符串的结束位置。如果设置了RegExp 对象的 Multiline 属性，$ 也匹配 ‘\\n’ 或 ‘\\r’ 之前的位置。
*	匹配前面的字符或子表达式零次或多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等价于0,。
+	匹配前面的子表达式一次或多次。例如，‘zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等价于 1,。
?	匹配前面的子表达式零次或一次。例如，“do(es)?” 可以匹配 “do” 或 “does” 。? 等价于 0,1。
n	n 是一个非负整数。匹配确定的 n 次。例如，‘o2’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的两个 o。
n,	n 是一个非负整数。至少匹配n 次。例如，‘o2,’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。‘o1,’ 等价于 ‘o+’。‘o0,’ 则等价于 ‘o*’。
n,m	m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，“o1,3” 将匹配 “fooooood” 中的前三个 o。‘o0,1’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。
?	当该字符紧跟在任何一个其他限制符 (*, +, ?, n, n,, n,m) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 “oooo”，‘o+?’ 将匹配单个 “o”，而 ‘o+’ 将匹配所有 ‘o’。
.	匹配除换行符（\\n、\\r）之外的任何单个字符。要匹配包括 ‘\\n’ 在内的任何字符，请使用像"(.|\\n)"的模式。
(pattern)	匹配 pattern 并获取这一匹配。所获取的匹配可以从产生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中则使用 $0…$9 属性。要匹配圆括号字符，请使用 ‘(’ 或 ‘)’。
(?:pattern)	匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 “或” 字符 (|) 来组合一个模式的各个部分是很有用。例如， 'industr(?:y|ies) 就是一个比 ‘industry|industries’ 更简略的表达式。
(?=pattern)	正向肯定预查（look ahead positive assert），在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，“Windows(?=95|98|NT|2000)“能匹配"Windows2000"中的"Windows”，但不能匹配"Windows3.1"中的"Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern)	正向否定预查(negative assert)，在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如"Windows(?!95|98|NT|2000)“能匹配"Windows3.1"中的"Windows”，但不能匹配"Windows2000"中的"Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?<=pattern)	反向(look behind)肯定预查，与正向肯定预查类似，只是方向相反。例如，"`(?<=95
(?<!pattern)	反向否定预查，与正向否定预查类似，只是方向相反。例如"`(?<!95
x|y	匹配 x 或 y。例如，‘z|food’ 能匹配 “z” 或 “food”。‘(z|f)ood’ 则匹配 “zood” 或 “food”。
[xyz]	字符集合。匹配所包含的任意一个字符。例如， ‘[abc]’ 可以匹配 “plain” 中的 ‘a’。
[^xyz]	负值字符集合。匹配未包含的任意字符。例如， ‘[^abc]’ 可以匹配 “plain” 中的’p’、‘l’、‘i’、‘n’。
[a-z]	字符范围。匹配指定范围内的任意字符。例如，‘[a-z]’ 可以匹配 ‘a’ 到 ‘z’ 范围内的任意小写字母字符。
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，‘[^a-z]’ 可以匹配任何不在 ‘a’ 到 ‘z’ 范围内的任意字符。
\\b	匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\\b’ 可以匹配"never" 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。
\\B	匹配非单词边界。‘er\\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。
\\cx	匹配由 x 指明的控制字符。例如， \\cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 ‘c’ 字符。
\\d	匹配一个数字字符。等价于 [0-9]。
\\D	匹配一个非数字字符。等价于 [^0-9]。
\\f	匹配一个换页符。等价于 \\x0c 和 \\cL。
\\n	匹配一个换行符。等价于 \\x0a 和 \\cJ。
\\r	匹配一个回车符。等价于 \\x0d 和 \\cM。
\\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \\f\\n\\r\\t\\v]。
\\S	匹配任何非空白字符。等价于 [^ \\f\\n\\r\\t\\v]。
\\t	匹配一个制表符。等价于 \\x09 和 \\cI。
\\v	匹配一个垂直制表符。等价于 \\x0b 和 \\cK。
\\w	匹配字母、数字、下划线。等价于’[A-Za-z0-9_]'。
\\W	匹配非字母、数字、下划线。等价于 ‘[^A-Za-z0-9_]’
\\xn	匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，‘\\x41’ 匹配 “A”。‘\\x041’ 则等价于 ‘\\x04’ & “1”。正则表达式中可以使用 ASCII 编码。
\\num	匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。例如，‘(.)\\1’ 匹配两个连续的相同字符。
\\n	标识一个八进制转义值或一个向后引用。如果 \\n 之前至少 n 个获取的子表达式，则 n 为向后引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。
\\nm	标识一个八进制转义值或一个向后引用。如果 \\nm 之前至少有 nm 个获得子表达式，则 nm 为向后引用。如果 \\nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的向后引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \\nm 将匹配八进制转义值 nm。
\\nml	如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。
\\un	匹配 n，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， \\u00A9 匹配版权符号 (?)。

匹配举例

正则表达式	描述
hello	匹配 hello
gray|grey	匹配 gray, grey
gr(a|e)y	匹配 gray, grey
gr[ae]y	匹配 gray, grey
b[aeiou]bble	匹配 babble, bebble, bibble, bobble, bubble
[b-chm-pP]at|ot	匹配 bat, cat, hat, mat, nat, oat, pat, Pat, ot
colou?r	匹配 color, colour
rege(x(es)?|xps?)	匹配 regex, regexes, regexp, regexps
go*gle	匹配 ggle, gogle, google, gooogle, goooogle, …
go+gle	匹配 gogle, google, gooogle, goooogle, …
g(oog)+le	匹配 google, googoogle, googoogoogle, googoogoogoogle, …
z3	匹配 zzz
z3,6	匹配 zzz, zzzz, zzzzz, zzzzzz
z3,	匹配 zzz, zzzz, zzzzz, …
[Bb]rainf\\*\\*k	匹配 Brainfk, brainfk
\\d	匹配 0,1,2,3,4,5,6,7,8,9
1\\d10	匹配 11 个数字，以 1 开头
[2-9]|[12]\\d|3[0-6]	匹配 2 到 36 范围内的整数
Hello\\nworld	匹配 Hello 后跟换行符，后跟 world
\\d+(\\.\\d\\d)?	包含一个正整数或包含两位小数位的浮点数。
[^*@#]	排除 *、@ 、# 三个特色符号
//[^\\r\\n]*[\\r\\n]	匹配 // 开头的注释
^dog	匹配以 “dog” 开始
dog$	匹配以 “dog” 结尾
^dog$	is exactly “dog”

匹配语法

re.split()

re.split(pattern, string, flags=0)

根据模式匹配项匹配字符串

import re
text = "alpha. beta....gama delta"
re.split("[\\. ]", text)
# ["alpha", "beta", "gama", "delta"]

>>> re.split(r'\\W+', 'Words, words, words.')
['Words', 'words', 'words', '']
>>> re.split(r'(\\W+)', 'Words, words, words.')
['Words', ', ', 'words', ', ', 'words', '.', '']
>>> re.split(r'\\W+', 'Words, words, words.', 1)
['Words', 'words, words.']
>>> re.split('[a-f]+', '0a3B9', flags=re.IGNORECASE)
['0', '3', '9']

如果分隔符里有捕获组合，并且匹配到字符串的开始，那么结果将会以一个空字符串开始。对于结尾也是一样

>>> re.split(r'(\\W+)', '...words, words...')
['', '...', 'words', ', ', 'words', '...', '']

这样的话，分隔组将会出现在结果列表中同样的位置。

样式的空匹配仅在与前一个空匹配不相邻时才会拆分字符串。

>>> re.split(r'\\b', 'Words, words, words.')
['', 'Words', ', ', 'words', ', ', 'words', '.']
>>> re.split(r'\\W*', '...words...')
['', '', 'w', 'o', 'r', 'd', 's', '', '']
>>> re.split(r'(\\W*)', '...words...')
['', '...', '', '', 'w', '', 'o', '', 'r', '', 'd', '', 's', '...', '', '', '']

re.match()

re.match(pattern, string, flags=0)

从字符串的开始处匹配模式，返回match对象或者None,匹配不成返回None，匹配成功返回match对象

pattern	匹配的正则表达式
string	要匹配的字符串，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。
flags	re.I 忽略大小写 re.L 表示特殊字符集 \\w, \\W, \\b, \\B, \\s, \\S 依赖于当前环境 re.M 多行模式 re.S 即为 . 并且包括换行符在内的任意字符（. 不包括换行符） re.U 表示特殊字符集 \\w, \\W, \\b, \\B, \\d, \\D, \\s, \\S 依赖于 Unicode 字符属性数据库 re.X 为了增加可读性，忽略空格和 # 后面的注释

• 如果在字符串的开始位置匹配成功，返回match对象,可以对此对象打点访问span()获取对应的span，如下：

a = "wang ya"
x = re.match("[a-z]+", a)
# <re.Match object; span=(0, 4), match='wang'>

print(x.span())
# (0, 4)

re.compile()

re.compile(pattern, flags=0)

将正则表达式的样式编译为一个 正则表达式对象 （正则对象），可以用于匹配.

prog = re.compile(pattern)
result = prog.match(string)

等价于

result = re.match(pattern, string)

re.search()

re.search(pattern, string, flags=0)

扫描整个 字符串 找到匹配样式的第一个位置，并返回一个相应的 匹配对象。如果没有匹配，就返回一个 None ； 注意这和找到一个零长度匹配是不同的。

re.findall()

re.findall(pattern, string, flags=0)

列出字符串中的模式的所有匹配项

re.sub()

re.sub(pattern, repl, string, count=0, flags=0)

返回通过使用 repl 替换在 string 最左边非重叠出现的 pattern 而获得的字符串。 如果样式没有找到，则不加改变地返回 string。 repl 可以是字符串或函数；如为字符串，则其中任何反斜杠转义序列都会被处理。 也就是说，\\n 会被转换为一个换行符，\\r 会被转换为一个回车符，依此类推。 未知的 ASCII 字符转义序列保留在未来使用，会被当作错误来处理。 其他未知转义序列例如 \\& 会保持原样。 向后引用像是 \\6 会用样式中第 6 组所匹配到的子字符串来替换。 例如:

>>> re.sub(r'def\\s+([a-zA-Z_][a-zA-Z_0-9]*)\\s*\\(\\s*\\):',
...        r'static PyObject*\\npy_\\1(void)\\n',
...        'def myfunc():')
'static PyObject*\\npy_myfunc(void)\\n'

如果 repl 是一个函数，那它会对每个非重复的 pattern 的情况调用。这个函数只能有一个 匹配对象 参数，并返回一个替换后的字符串。比如

>>> def dashrepl(matchobj):
...     if matchobj.group(0) == '-': return ' '
...     else: return '-'
>>> re.sub('-1,2', dashrepl, 'pro----gram-files')
'pro--gram files'
>>> re.sub(r'\\sAND\\s', ' & ', 'Baked Beans And Spam', flags=re.IGNORECASE)
'Baked Beans & Spam'

样式可以是一个字符串或者一个 样式对象 。

可选参数 count 是要替换的最大次数；count 必须是非负整数。如果省略这个参数或设为 0，所有的匹配都会被替换。 样式的空匹配仅在与前一个空匹配不相邻时才会被替换，所以 sub('x*', '-', 'abxd') 返回 '-a-b--d-' 。

在字符串类型的 repl 参数里，如上所述的转义和向后引用中，\\g<name> 会使用命名组合 name，（在 (?P<name>…) 语法中定义） \\g<number> 会使用数字组；\\g<2> 就是 \\2，但它避免了二义性，如 \\g<2>0。 \\20 就会被解释为组20，而不是组2后面跟随一个字符 '0'。向后引用 \\g<0> 把 pattern 作为一整个组进行引用。

re.escape()

re.escape(pattern)

转义 pattern 中的特殊字符。如果你想对任意可能包含正则表达式元字符的文本字符串进行匹配，它就是有用的。比如

>>> print(re.escape('https://www.python.org'))
https://www\\.python\\.org

>>> legal_chars = string.ascii_lowercase + string.digits + "!#$%&'*+-.^_`|~:"
>>> print('[%s]+' % re.escape(legal_chars))
[abcdefghijklmnopqrstuvwxyz0123456789!\\#\\$%\\&'\\*\\+\\-\\.\\^_`\\|\\~:]+

>>> operators = ['+', '-', '*', '/', '**']
>>> print('|'.join(map(re.escape, sorted(operators, reverse=True))))
/|\\-|\\+|\\*\\*|\\*

这个函数不能被用于 sub() 和 subn() 的替换字符串，只有反斜杠应该被转义。 例如:

>>> digits_re = r'\\d+'
>>> sample = '/usr/sbin/sendmail - 0 errors, 12 warnings'
>>> print(re.sub(digits_re, digits_re.replace('\\\\', r'\\\\'), sample))
/usr/sbin/sendmail - \\d+ errors, \\d+ warnings