DAY19

Posted 2022-08-09 huansan0209

DAY19

re模块

正则表达式

? 正则表达式本身是一种小型的、高度专业化的编程语言，它并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语言里使用过正则表达式，只需要简单看一看就可以上手了。而在python中，通过内嵌集成re模块，程序员们可以直接调用来实现正则匹配。正则表达式模式被编译成一系列的字节码，然后由用C编写的匹配引擎执行。

下图展示了使用正则表达式进行匹配的流程：

? 正则表达式的大致匹配过程是：依次拿出表达式和文本中的字符比较，如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。如果表达式中有量词或边界，这个过程会稍微有一些不同，但也是很好理解的，看下图中的示例以及自己多使用几次就能明白。

下图列出了Python支持的正则表达式元字符和语法：

数量词的贪婪模式与非贪婪模式

? 正则表达式通常用于在文本中查找匹配的字符串。Python里数量词默认是贪婪的（在少数语言里也可能是默认非贪婪），总是尝试匹配尽可能多的字符；非贪婪的则相反，总是尝试匹配尽可能少的字符。例如：正则表达式"ab"如果用于查找"abbbc"，将找到"abbb"。而如果使用非贪婪的数量词"ab?"，将找到"a"。

反斜杠的困扰

? 与大多数编程语言相同，正则表达式里使用\作为转义字符，这就可能造成反斜杠困扰。假如你需要匹配文本中的字符\，那么使用编程语言表示的正则表达式里将需要4个反斜杠\\\\：前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。Python里的原生字符串很好地解决了这个问题，这个例子中的正则表达式可以使用r‘\\‘表示。同样，匹配一个数字的\\d可以写成r‘\d‘。有了原生字符串，你再也不用担心是不是漏写了反斜杠，写出来的表达式也更直观。

匹配模式

正则表达式提供了一些可用的匹配模式，比如忽略大小写、多行匹配等，这部分内容将在Pattern类的工厂方法re.compile(pattern[, flags])中一起介绍。

re模块的基本使用

正则表达式是用来匹配处理字符串的 python 中使用正则表达式需要引入re模块

^元字符

字符串开始位置与匹配规则符合就匹配，否则不匹配

匹配字符串开头。在多行模式中匹配每一行的开头（Python3+已经失效，配合compile使用）

^元字符如果写到[]字符集里就是反取

[^a-z]反取

匹配出除字母外的字符，^元字符如果写到字符集里就是反取

$元字符

需要字符串里完全符合，匹配规则，就匹配，（规则里的*元字符）前面的一个字符可以是0个或多个原本字符

匹配前一个字符0或多次，贪婪匹配前导字符有多少个就匹配多少个很贪婪

如果规则里只有一个分组，尽量避免用*否则会有可能匹配出空字符串

+元字符

需要字符串里完全符合，匹配规则，就匹配，（规则里的+元字符）前面的一个字符可以是1个或多个原本字符

匹配前一个字符1次或无限次，贪婪匹配前导字符有多少个就匹配多少个很贪婪

?元字符(防止贪婪匹配)

需要字符串里完全符合，匹配规则，就匹配，（规则里的?元字符）前面的一个字符可以是0个或1个原本字符

匹配一个字符0次或1次

还有一个功能是可以防止贪婪匹配，详情见防贪婪匹配

元字符(范围)

需要字符串里完全符合，匹配规则，就匹配，（规则里的 元字符）前面的一个字符，是自定义字符数，位数的原本字符

m匹配前一个字符m次，m,n匹配前一个字符m至n次，若省略n，则匹配m至无限次

0,匹配前一个字符0或多次,等同于*元字符
+,匹配前一个字符1次或无限次,等同于+元字符
0,1匹配前一个字符0次或1次,等同于?元字符

[]元字符(字符集)

需要字符串里完全符合，匹配规则，就匹配，（规则里的 [] 元字符）对应位置是[]里的任意一个字符就匹配

字符集。对应的位置可以是字符集中任意字符。字符集中的字符可以逐个列出，也可以给出范围，如[abc]或[a-c]。[^abc]表示取反，即非abc。
所有特殊字符在字符集中都失去其原有的特殊含义。用\反斜杠转义恢复特殊字符的特殊含义。

[^]

非，反取，匹配出除[^]里面的字符，^元字符如果写到字符集里就是反取

反斜杠后边跟普通字符实现特殊功能(预定义字符)

预定义字符是在字符集和组里都是有用的

\d匹配任何十进制数，它相当于类[0-9]

\d+

匹配一位或者多位数的数字时用

\D

匹配任何非数字字符，它相当于类[ ^0-9 ]

\s

匹配任何空白字符，它相当于类[\t\n\r\f\v]

\S

匹配任何非空白字符，它相当于类[ ^\t\n\r\f\v ]

\w

匹配包括下划线在内任何字母数字字符，它相当于类[ a-zA-Z0-9_]

\W

匹配非任何字母数字字符包括下划线在内，它相当于类[ ^a-zA-Z0-9_ ]

()元字符(分组)

也就是分组匹配，()里面的为一个组也可以理解成一个整体

如果()后面跟的是特殊元字符如 (adc)* 那么*控制的前导字符就是()里的整体内容，不再是前导一个字符

|元字符(或)

|或，或就是前后其中一个符合就匹配

re模块中常用功能函数

正则表达式的两种书写方式

1. 一种直接在函数里书写规则，推荐使用
2. 另一种是先将正则表达式的字符串形式编译为Pattern实例，然后使用Pattern实例处理文本并获得匹配结果（一个Match实例），最后使用Match实例获得信息，进行其他的操作。

re.compile(strPattern[,flag])函数

这个方法是Pattern类的工厂方法，用于将字符串形式的正则表达式编译为Pattern对象。 第二个参数flag是匹配模式，取值可以使用按位或运算符‘|‘表示同时生效，比如re.I | re.M。另外，你也可以在regex字符串中指定模式，比如re.compile(‘pattern‘, re.I | re.M)与re.compile(‘(?im)pattern‘)是等价的。

下表是所有的正则匹配模式：

修饰符	描述
re.I	使匹配对大小写不敏感
re.L	做本地化识别（locale-aware）匹配
re.M	多行匹配，影响 ^ 和 $
re.S	使 . 匹配包括换行在内的所有字符
re.U	根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X	该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。

re.S

• 在Python的正则表达式中，有一个参数为re.S。它表示 “.” 的作用扩展到整个字符串，包括“\n”。

正则表达式中，“.”的作用是匹配除“\n”以外的任何字符，也就是说，它是在一行中进行匹配。这里的“行”是以“\n”进行区分的。a字符串有每行的末尾有一个“\n”，不过它不可见。

如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将“\n”当做一个普通的字符加入到这个字符串中，在整体中进行匹配。

re.I

• 不区分大小写

re.M

• 将所有行的尾字母输出（python3+已经无效）

re.sub

re.match(pattern,string[, flags])函数(常用)

match，从头匹配一个符合规则的字符串，从起始位置开始匹配，匹配成功返回一个对象，未匹配成功返回None
match(pattern, string, flags=0)

• pattern： 正则模型
• string ： 要匹配的字符串
• falgs ： 匹配模式

注意：match()函数 与 search()函数基本是一样的功能，不一样的就是match()匹配字符串开始位置的一个符合规则的字符串，search()是在字符串全局匹配第一个合规则的字符串

typing模块

? 前言：很多人在写完代码一段时间后回过头看代码，很可能忘记了自己写的函数需要传什么参数，返回什么类型的结果，就不得不去阅读代码的具体内容，降低了阅读的速度，加上Python本身就是一门弱类型的语言，这种现象就变得更加的严重，而typing这个模块很好的解决了这个问题。

typing模块的作用

1. 类型检查，防止运行时出现参数和返回值类型不符合。
2. 作为开发文档附加说明，方便使用者调用时传入和返回参数类型。
3. 该模块加入后并不会影响程序的运行，不会报正式的错误，只有提醒。

• 注意：typing模块只有在python3.5以上的版本中才可以使用,pycharm目前支持typing检查

使用typing模块

• 在传入参数时通过"参数名:类型"的形式声明参数的类型；
• 返回结果通过"-> 结果类型"的形式声明结果的类型。
• 在调用的时候如果参数的类型不正确pycharm会有提醒，但不会影响程序的运行。
• 对于如list列表等，还可以规定得更加具体一些，如："-> List[str]”,规定返回的是列表，并且元素是字符串。

typying常用类型

• int、long、float: 整型、长整形、浮点型
• bool、str: 布尔型、字符串类型
• List、 Tuple、 Dict、 Set:列表、元组、字典、集合
• Iterable、Iterator:可迭代类型、迭代器类型
• Generator：生成器类型

collertions模块

collections是Python内建的一个集合模块，提供了许多有用的集合类。

namedtuple

namedtuple是一个函数，它用来创建一个自定义的tuple对象，并且规定了tuple元素的个数，并可以用属性而不是索引来引用tuple的某个元素。

这样一来，我们用namedtuple可以很方便地定义一种数据类型，它具备tuple的不变性，又可以根据属性来引用，使用十分方便。

deque

使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈。

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。

defaultdict

注意默认值是调用函数返回的，而函数在创建defaultdict对象时传入。

除了在Key不存在时返回默认值，defaultdict的其他行为跟dict是完全一样的。

OrderedDict

使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。如果要保持Key的顺序，可以用OrderedDict。

Counter

Counter是一个简单的计数器，例如，统计字符出现的个数。

collections模块提供了一些有用的集合类，可以根据需要选用。

shutil模块

高级的文件、文件夹、压缩包处理模块。

zipfile压缩解压缩

tarfile压缩解压缩

xml模块

xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单，不过，古时候，在json还没诞生的黑暗年代，大家只能选择用xml呀，至今很多传统公司如金融行业的很多系统的接口还主要是xml。

subprocess模块

subprocess模块允许你去创建一个新的进程让其执行另外的程序，并与它进行通信，获取标准的输入、标准输出、标准错误以及返回码等。