python-正则表达式

Posted MrLayflolk

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python-正则表达式相关的知识,希望对你有一定的参考价值。

1 正则表达式

正则表达式(RE)是一些由字符和特殊字符组成的字符串,它们描述了这些字符和字符的某种重复方式,因此能按照某种模式匹配一个有相似特征的字符串的集合,因此能按某种模式匹配一系类有相似特征的字符串。

Python通过标准库re模块支持正则表达式。

说明一下术语“匹配”和“搜索”的区别:

Python专门术语中,有两种主要方法完成匹配:搜索和匹配。搜索:即在字符串任意部分中搜索匹配的模式。匹配:判断一个字符能否从开始处全部或部分的匹配某个模式。搜索通过search()函数或方法实现,匹配调用match()函数或方法实现。我们说模式的时候,使用的是术语“匹配”。

1.1 正则表达式使用的特殊符号和字符

记号

说明

正则表达式样例

literal

匹配字符串的值

foo

re1/re2

匹配正则表达式re1或re2

foo|bar

.

匹配任意字符(换行符除外)

b.b

^

匹配字符串的开始

^Dear

$

匹配字符串的结尾

/bin/*sh$

*

匹配前面出现的正则表达式零次或多次

[A-Za-z0-9]*

+

匹配前面出现的正则表达式出现一次或多次

[a-z]+.com

?

匹配前面出现的正则表达式零次或一次

goo?

{N}

匹配前面出现的正则表达式N

[0-9]{3}

{M,N}

匹配重复出现M次到N次的正则表达式

[0-9]{5,9}

[…]

匹配字符组里出现的任意一个字符

[aeiou]

[.,x-y,.]

匹配从字符x到字符中的任意一个字符

[0-9],[A-Za-z]

[^…]

不匹配此字符集中出现的任意一个字符,包括某一范围的字符(如果在此字符集中出现)

[^aeiou],[^A-Za-z0-9]

(*|+|?|{})?

用于上面出现的任何“非贪婪”。版本重复匹配次数符号

.*?[a-z]

(…)

匹配封闭括号中正则表达式(RE),并保存为子组

([0-9]{3})?,f(oo|u)bar

特殊字符

d

匹配任何数字,和[0-9]一样,(D是d的反义,任何非数符字)

datad+.txt

w

匹配任何数字字母字符,和[A-Za-z0-9_]相同,(W是w的反义)

[A-Za-z_]w+

s

匹配任何空白符,和[ vf]相同。(S是s的反义)

ofsthe



匹配单词边界。(B是的反义)

The

n

匹配已保存的子组

prince:16

c

逐一匹配特殊字符c(即:取消它的特殊含义,按字面匹配)

.,\, *

A()

匹配字符串的起始(结束)

ADear

(1)用管道符号(|)匹配多个正则表达式模式

管道符号(|),表示一个或操作,它的意思是选择被管道符号分割的多个不同的正则表达式中的一个。

(2)匹配任意一个单个的字符(.)

点符号或句点(.)符号匹配除换行符(NEWLINE)外的任意一个单个字符(Python的正则表达式有一个编译标识[S or DOTALL]),该标识能去掉这一限制,使(.)      在匹配时包括换行符。无论是字母、数字、不包括“ ”的空白符、可打印的字符、还是非打印字符,或是一个符号,点(.)都可以匹配它们。

(3)从字符串的开头或结尾或单词边界开始匹配(^ $  B)

^或A:用于从字符串的开头开始匹配一个模式。

如果想匹配这两个字符中的任何一个(或全部),就必须用反斜线进行转义。

或B:用来匹配单词边界,匹配的模式是一个单词边界(一定在一个单词的开头,不论这个单词的前面是有字符,还是没有字符),B只匹配出现在一个单词中间的模式(不在单词边界上的字符)。

(4)创建字符类([])

使用方括号的正则表达式会匹配方括号里的任意一个字符。

(5)指定范围(-)和否定(^)

方括号里的一对字符中间的连字符(-)用来表示一个字符的范围。例如:z.[0-9]

如果左方括号后第一个字符是上箭头符号(^),就表示不匹配指定字符集里的任意字符。例如:[^aeiou]

(6)使用闭包操作符(*,+,?,{})实现多次出现/重复匹配

*:匹配它左边那个正则表达式出现零次或零次以上的情况。

+:匹配它左边那个正则表达式至少出现一次的情况。

?:匹配它左边那个正则表达式出现零次或一次的情况。

{N}:匹配N次出现。

{M,N}:匹配M次到N次出现。

(7)特殊字符表示

d:0-9范围内的十进制数。

w:整个字符数字的字符集,相当于“A-Za-z0-9_”。

s:表示空白字符。

这些特殊字符的大写形式表示不匹配。

(8)用圆括号(())组建组

一对圆括号(())和正则表达式使用实现的功能有:1.对正则表达式进行分组;2.匹配子组。

使用圆括号匹配的子串会被保存到一个子组。这些字组可以在同一次匹配或搜索中被重复调用。

1.2 正则表达式和Python语言

1.2.1 re模块:核心函数和方法

常用的函数和方法:

函数/方法

描述

模块的函数

compile(pattern, flags=0)

对正则表达式模式pattern进行编译,flags是可选标识符,并返回一个regex对象(已编译的正则表达式对象)。

re模块的函数和regex对象的方法

match(pattern, string, flags=0)

尝试用正则表达式pattern匹配字符串string,flags是可选标识符,如果匹配成功,则返回一个匹配对象,否则返回None

search(pattern, string, flags=0)

在字符串string中搜索正则表达式模式pattern的第一次出现,flags是可选标识符,如果匹配成功,则返回一个匹配对象,否则返回None。

findall(pattern, string, [,flags])

在字符串string中搜索正则表达式模式pattern的所有(非重复)出现,返回一个匹配对象的列表。

finditer(pattern, string [,flags])

和findall()相同,但返回的不是列表而是迭代器;对于每个匹配,该迭代器返回一个匹配对象。

split(pattern, string, max=0)

根据正则表达式pattern中的分隔符把字符string分割为一个列表,返回成功匹配的列表,最多分割max次(默认是分割所有匹配的地方)。

sub(pattern, repl, string, max=0)

把字符串中所有匹配正则表达式pattern的地方替换成字符串repl,如果max的值没有给出,则对所有匹配的地方进行替换。

匹配对象的方法

group(num=0)

返回全部匹配对象(或指定编号是num的子组)

groups()

返回一个包含全部匹配的子组的元组(如果没有成功匹配,就返回一个空元祖)。

RE编译(何时应该使用compile函数?)

在模式匹配之前,正则表达式模式必须先被编译成regex对象,由于正则表达式在执行过程中被多次用于比较,建议先对它做预编译。re.compile()函数提供了此功能。

1.2.2 匹配对象和group()、groups()方法

在处理正则表达式中,出regex对象外,还有一种对象类型-匹配对象,通过match()函数和search()函数被成功调用后返回。匹配对象有两个主要方法:group()和groups()。

group():或返回所有匹配对象或根据要求返回某个特定子组。

groups():返回一个包含唯一或所有子组的元组。

1.2.3 用match()匹配字符串

match():从字符串开头开始对模式进行匹配,如果匹配成功,返回一个匹配对象,如果失败,返回None。匹配对象的group()方法可以用来显示那个成功的匹配。

 1 m = re.match(foo, foo)
 2 >>> if m is not None: 
 3 ...     m.group()    
 4 ... 
 5 foo
 6 >>> m
 7 <_sre.SRE_Match object at 0x7f4e059a9648>
 8 >>> m = re.match(foo, food on table) 
 9 >>> m.group()
10 foo

1.2.4 search()在一个字符串中查找一个模式

search():检查参数字符串任意位置的地方给定正则表达式的匹配情况,如果搜索到成功的匹配,会返回一个匹配对象,否则返回None。

1 >>> m = re.match(foo, seafood)
2 >>> m.group()
3 Traceback (most recent call last):
4   File "<stdin>", line 1, in <module>
5 AttributeError: NoneType object has no attribute group
6 >>> m = re.search(foo, seafood).group()
7 >>> m
8 foo

1.2.5 匹配多个字符串(|)

 1 >>> bt = bat|bet|bit
 2 >>> m = re.match(bt, bat)
 3 >>> m
 4 <_sre.SRE_Match object at 0x7f4e059a9ac0>
 5 >>> m.group()
 6 bat
 7 >>> m = re.match(bt, bit)
 8 >>> m.group()              
 9 bit
10 >>> m = re.match(bt, bet)
11 >>> m.group()              
12 bet

1.2.6 匹配任意单个字符(.)

句点是不能匹配换行符或非字符(即空字符)的。

 1 >>> m = re.match(anyend, bend)
 2 >>> if m is not None: m.group()   
 3 ... 
 4 bend
 5 >>> m = re.match(anyend, 
end) 
 6 >>> if m is not None: m.group()   
 7 ... 
 8 >>> m = re.match(anyend, end)
 9 >>> if m is not None: m.group()
10 ... 
11 >>> m = re.match(anyend, the end)
12 >>> 
13 >>> if m is not None: m.group()    
14 ... 
15 >>>
16 >>> patt314 = 3.14
17 >>> pi_patt = 3.14
18 >>> m = re.match(pi_patt, 3.14)
19 >>> if m is not None:m.group()
20 ... 
21 3.14
22 >>> m = re.match(patt314, 3014)    
23 >>> if m is not None:m.group()   
24 ... 
25 3014
26 >>> m = re.match(patt314, 3.14)
27 >>> if m is not None:m.group()   
28 ... 
29 3.14
30 >>>

1.2.7 创建字符合集([])

 1 >>> m = re.match([cr][23][dp][o2], c3po)
 2 >>> if m is not None:m.group()              
 3 ... 
 4 c3po
 5 >>> m = re.match([cr][23][dp][o2], c2po)
 6 >>> 
 7 >>> if m is not None:m.group()              
 8 ... 
 9 c2po
10 >>> m = re.match(r2d2|c3po, c2po)                   
11 >>> 
12 >>> if m is not None:m.group()       
13 ... 
14 >>> m = re.match(r2d2|c3po, r2po)
15 >>> if m is not None:m.group()       
16 ... 
17 >>> m = re.match(r2d2|c3po, r2d2)
18 >>> 
19 >>> if m is not None:m.group()       
20 ... 
21 r2d2
22 >>>

1.2.8 重复、特殊字符和子组

例如下面的例子,表达式容许“.com”前面有一个或两个名字:

1 >>> patt = w+@(w+.)?w+.com 
2 >>> re.match(patt, nobody@xxx.com).group()
3 nobody@xxx.com

接着修改,允许任意数量的子域存在。

1 >>> patt = w+@(w+.)*w+.com 
2 >>> re.match(patt, nobody@xxx.yyy.zzz.com).group() 
3 nobody@xxx.yyy.zzz.com

分别提取包含字母或数字的部分或仅含有数字的部分。

1 >>> m = re.match((www)-(ddd), abc-123) 
2 >>> m.group()
3 abc-123
4 >>> m.group(1) 
5 abc
6 >>> m.group(2) 
7 123
8 >>> m.groups() 
9 (abc, 123)

group()通常用来显示所有匹配部分,也可以用来获取个别匹配的子组,groups()方法获得一个包含所有匹配子组的元组。

 1 >>> m = re.match(ab, ab) 
 2 >>> m.group()
 3 ab
 4 >>> m.groups() 
 5 ()
 6 >>> m = re.match((ab), ab) 
 7 >>> m.group()  
 8 ab
 9 >>> m.group(1) 
10 ab
11 >>> m.groups() 
12 (ab,)
13 >>> m = re.match((a)(b), ab) 
14 >>> m.group()  
15 ab
16 >>> m.group(1) 
17 a
18 >>> m.group(2) 
19 b
20 >>> m.groups() 
21 (a, b)
22 >>> m = re.match((a(b)), ab) 
23 >>> m.group()  
24 ab
25 >>> m.group(1) 
26 ab
27 >>> m.group(2) 
28 b
29 >>> m.groups() 
30 (ab, b)

1.2.9 从字符串的开头或结尾匹配及在单词边界上的匹配

这些是锚点性正则表达式,这些锚点性正则表达式主要用于搜素而不是匹配,因为match()总是从字符串的开头进行匹配的。

 1 >>> m = re.search(^The, The end)  #在开头
 2 >>> if m is not None:m.group()
 3 ... 
 4 The
 5 >>> m = re.search(^The, end. The) 
 6 >>> if m is not None:m.group()        
 7 ... 
 8 >>> m = re.search(rthe, bite the dog)  #在词边界
 9 >>> if m is not None:m.group()
10 ... 
11 the
12 >>> m = re.search(rthe, bitethe dog)  
13 >>> if m is not None:m.group()
14 ... 
15 >>> m = re.search(rBthe, bitethe dog)  #不在词边界
16 >>> if m is not None:m.group()
17 ... 
18 the

1.2.10 用findall()找到每个出现的匹配部分

findall():用于非重叠的搜索某字符串中一个正则表达式模式出现的情况。返回的总是一个列表,如果没有匹配,返回空列表;如果成功找到匹配部分,则返回所有匹配部分的列表(按从左到右出现的顺序排列)。

1 >>> re.findall(car, car) 
2 [car]
3 >>> re.findall(car, scary) 
4 [car]
5 >>> re.findall(car, carry the barcardi to the car) 
6 [car, car, car]

1.2.11 用sub()(和subn())进行搜索和替换

两者几乎一样,都是将某字符串中所有匹配正则表达式模式的部分进行替换。用来替换的部分通常是一个字符串,但也可能是一个函数,该函数返回一个用来替换的字符串。

subn()还返回一个表示替换次数的数字,替换后的字符串和表示替换次数的数字作为一个元组的元素返回。

 1 >>> re.sub(X, Mr.Smith, attn: X

Dear X,
) 
 2 attn: Mr.Smith

Dear Mr.Smith,

 3 >>> re.subn(X, Mr.Smith, attn: X

Dear X,
) 
 4 (attn: Mr.Smith

Dear Mr.Smith,
, 2)
 5 >>> print re.sub(X, Mr.Smith, attn: X

Dear X,
) 
 6 attn: Mr.Smith
 7 
 8 Dear Mr.Smith,
 9 
10 >>> re.sub([ae], X, [abcdef]) 
11 [XbcdXf]
12 >>> re.subn([ae], X, [abcdef]) 
13 ([XbcdXf], 2)
14 >>> 

1.2.12 用split()分隔(分隔模式)

根据固定的字符串分隔。

1 >>> re.split(:, str1:str2:str3) 
2 [str1, str2, str3]

例子:Linux下who命令输出结果进行分隔

#!/usr/bin/env python

from os import popen
from re import split

f = popen(who, r)
for eachline in f.readlines():
    print split(ss+|	, eachline.strip())
f.close()
输出结果:
[root@localhost tmp]# python rewho.py 
[grace, tty1, 2020-01-26 14:18 (:0)]
[grace, pts/0, 2020-01-26 14:18 (:0.0)]
[root, pts/1, 2020-01-26 14:19 (192.168.230.1)]

核心笔记:python原始字符串的用法

原生字符串的产生是由于正则表达式的存在,由于ASCLL字符和正则表达式特殊字符间产生的冲突。例如“”在ASCLL字符中代表退格符,但同时也是一个正则表达式的特殊字符,代表“匹配一个单词边界”。为了让RE编辑器把两个字符‘’当成想要表达的字符串,可以是用r’’。

 1 >>> m = re.match(blow, blow)
 2 >>> if m is not None:m.group()
 3 ... 
 4 >>> m = re.match(\bblow, blow)
 5 >>> 
 6 >>> if m is not None:m.group()     
 7 ... 
 8 blow
 9 >>> m = re.match(rblow, blow) 
10 >>> if m is not None:m.group()     
11 ... 
12 blow

1.3 正则表达式示例

1.3.1 正则表达式示例

下面展示使用正则表达式处理字符串的不同办法。第一步:拿出一段代码用来生成随机数据,生成的数据用于以后操作。

 1 from random import randint, choice
 2 from string import lowercase
 3 from sys import maxint
 4 from time import ctime
 5 
 6 doms = [com, edu, net, org, gov]
 7 
 8 for i in range(randint(5, 10)):
 9     dtint = randint(0, maxint-1)
10     dtstr = ctime(dtint)
11     shorter = randint(4, 7)
12     em = ‘‘
13     for j in range(shorter):
14         em += choice(lowercase)
15 
16     longer = randint(shorter, 12)
17     dn = ‘‘
18     for j in range(longer):
19         dn += choice(lowercase)
20     
21     print %s::%s@%s.%s::%d-%d-%d % (dtstr, em, dn, choice(doms), dtint, shorter, longer)

接下来使用生成的字符串来进行测试:

测试1:提取时间戳中的有关星期的数据字段

 1 >>> data = Fri Sep  7 08:10:38 2035::vjxod@dgolkl.edu::2072736638-5-6
 2 >>> patt = ^(Mon|Tue|Wed|Thu|Fri|Sat|Sun)
 3 >>> m = re.match(patt, data)
 4 >>> m.group()
 5 Fri
 6 >>> m.group(1)
 7 Fri
 8 >>> m.groups()
 9 (Fri,)
10 >>>

测试2:测试1例子的宽松表示

1 >>> data
2 Fri Sep  7 08:10:38 2035::vjxod@dgolkl.edu::2072736638-5-6
3 >>> patt = ^(w{3})
4 >>> m = re.match(patt, data)
5 >>> m.group()
6 Fri
7 >>> m.group(1)
8 Fri
9 >>>

1.3.2 搜索与匹配的比较,“贪婪”匹配

例如我们要搜索三个连字符号(-)分隔的整型集。

 1 >>> data
 2 Fri Sep  7 08:10:38 2035::vjxod@dgolkl.edu::2072736638-5-6
 3 >>> patt = d+-d+-d
 4 >>> re.search(patt, data).group()
 5 2072736638-5-6
 6 >>> patt = .+d+-d+-d+
 7 >>> re.match(patt, data).group()
 8 Fri Sep  7 08:10:38 2035::vjxod@dgolkl.edu::2072736638-5-6
 9 >>> patt = .+(d+-d+-d+)    
10 >>> re.match(patt, data).group()
11 Fri Sep  7 08:10:38 2035::vjxod@dgolkl.edu::2072736638-5-6
12 >>> re.match(patt, data).group(1)
13 8-5-6

出现上面的原因是:正则表达式本身默认是贪心匹配的。也就是说,如果正则表达式中使用到通配字,那它在按照从左到右的顺序求值时,会尽量“抓取”满足匹配的最长字符串。在上面的例子中,“.+”会从字符串的开始处抓取满足模式的最长字符,其中包含我们想得到的第一个整型字符起始到这个第一位数字“8”之间的所有字符。

一个解决办法是用“非贪婪”操作符“?”。这个操作符可以用在“*”、“+”或“?”的后面。它的作用是要求正则表达式引擎匹配的字符越少越好。

1 >>> patt = .+?(d+-d+-d+)    
2 >>> re.match(patt, data).group(1)
3 2072736638-5-6
4 >>>

示例3:假设我们只想抽取三个整型字段里中间的那个整型部分

1 >>> data = Fri Sep  7 08:10:38 2035::vjxod@dgolkl.edu::2072736638-5-6
2 >>> patt = -(d+)-
3 >>> m = re.search(patt, data)
4 >>> m.group()
5 -5-
6 >>> m.group(1)
7 5
8 >>>



以上是关于python-正则表达式的主要内容,如果未能解决你的问题,请参考以下文章

python 正则表达式

python成长之路第三篇_正则表达式

python成长之路第三篇_正则表达式

python 正则表达式 re模块基础

Python学习笔记之正则表达式

python基础学习(十三)