Python re模块用法详解

Posted 梦子mengy7762

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python re模块用法详解相关的知识,希望对你有一定的参考价值。

在 Python 爬虫过程中,实现网页元素解析的方法有很多,正则解析只是其中之一,常见的还有 BeautifulSoup 和 lxml,它们都支持网页 html 元素的解析操作。本节重点讲解如何使用 re 正则解析模块实现网页信息的提取。
注意:在学习本节知识之前,您应该基本掌握了 Python re 模块的常用方法。

re模块常用方法

  1. re.compile()
    该方法用来生成正则表达式对象,其语法格式如下:
    regex=re.compile(pattern,flags=0)
    参数说明:
    pattern:正则表达式对象。
    flags:代表功能标志位,扩展正则表达式的匹配。
  2. re.findall()
    根据正则表达式匹配目标字符串内容。
    re.findall(pattern,string,flags=0)
    该函数的返回值是匹配到的内容列表,如果正则表达式有子组,则只能获取到子组对应的内容。参数说明如下:
    pattern:正则表达式对象。
    string:目标字符串
    flags:代表功能标志位,扩展正则表达式的匹配。
  3. regex.findall()
    该函数根据正则表达式对象匹配目标字符串内容。其语法格式如下:
    regex.findall(string,pos,endpos)
    参数说明:
    string 目标字符串。
    pos 截取目标字符串的开始匹配位置。
    endpos 截取目标字符串的结束匹配位置。最后,如果你的时间不是很紧张,并且又想快速的python提高,最重要的是不怕吃苦,建议你可以架群:【832357663】 ,那个真的很不错,很多人进步都很快,需要你不怕吃苦哦!大家可以去添加上看一下~
  4. re.split()
    该函数使用正则表达式匹配内容,切割目标字符串。返回值是切割后的内容列表。参数说明:
    re.split(pattern,string,flags = 0)
    参数说明:
    pattern:正则表达式。
    string:目标字符串。
    flags:功能标志位,扩展正则表达式的匹配。
  5. re.sub
    该函数使用一个字符串替换正则表达式匹配到的内容。返回值是替换后的字符串。其语法格式如下:
    re.sub(pattern,replace,string,max,flags = 0)
    其参数说明:
    pattern:正则表达式。
    replace:替换的字符串。
    string:目标字符串。
    max:最多替换几处,默认替换全部,
    flags:功能标志位,扩展正则表达式的匹配。
  6. re.search()
    匹配目标字符串第一个符合的内容,返回值为匹配的对象。语法格式如下:
    re.search(pattern,string,flags=0)
    参数说明:
    pattern:正则表达式
    string:目标字符串
    flags功能标志位
    功能标志位的作用是扩展正则表达的匹配功能。常用的 flag 如下所示:

注意:可以同时使用福多个功能标志位,比如 flags=re.I|re.S。

下面使用贪婪和非贪婪两种模式来匹配 HTML 元素,分别,如下所示:

import re
html="""
<div><p>https://jq.qq.com/?_wv=1027&k=ceutNqZd</p></div>
<div><p>python教程入门学习</p></div>
"""
#贪婪匹配,re.S可以匹配换行符
#创建正则表达式对象
pattern=re.compile('<div><p>.*</p></div>',re.S)
#匹配HTMLX元素,提取信息
re_list=pattern.findall(html)
print(re_list)
#非贪婪模式匹配,re.S可以匹配换行符
pattern=re.compile('<div><p>.*?</p></div>',re.S)
re_list=pattern.findall(html)
print(re_list)

输出结果:
[‘

https://jq.qq.com/?_wv=1027&k=ceutNqZd

\\n

python教程入门学习

’]
[‘

https://jq.qq.com/?_wv=1027&k=ceutNqZd

’, ‘

python教程入门学习

’]
从上述输出结果可以得出非贪婪模式比适合提取 HTML 信息。
正则表达式分组
通过正则表达式分组可以从匹配的信息中提取出想要的信息。示例演示:

#正则表达式分组
website="python教程入门学习 https://jq.qq.com/?_wv=1027&k=ceutNqZd"
#提取所有信息
#注意此时正则表达式的 "." 需要转义因此使用 \\.
pattern_1=re.compile('\\w+\\s+\\w+\\.\\w+\\.\\w+')
print(pattern_1.findall(website))
#提取匹配信息的第一项
pattern_2=re.compile('(\\w+)\\s+\\w+\\.\\w+\\.\\w+')
print(pattern_2.findall(website))
#有两个及以上的()则以元组形式显示
pattern_3=re.compile('(\\w+)\\s+(\\w+\\.\\w+\\.\\w+)')
print(pattern_3.findall(website))

输出结果:
[‘python教程入门学习 https://jq.qq.com/?_wv=1027&k=ceutNqZd’]
[‘python教程入门学习’]
[(‘python教程入门学习’, ‘https://jq.qq.com/?_wv=1027&k=ceutNqZd’)]
正则表达式分组是提取信息的常用方式。当需要哪个特定信息的时候,就可以通过分组(也就是加括号)的方式获得。
网页信息提取
实战演练:从下面的 HTML 代码中使用 re 模块提取出两部影片的名称和主演信息。

html="""
<div class="movie-item-info">
<p class="name">
<a title="你好,李焕英">你好,李焕英</a>
</p>
<p class="star">
主演:贾玲,张小斐,沈腾
</p>    
</div>
<div class="movie-item-info">
<p class="name">
<a title="刺杀,小说家">刺杀,小说家</a>
</p>
<p class="star">
主演:雷佳音,杨幂,董子健,于和伟
</p>    
</div> 
"""
# 寻找HTML规律,书写正则表达式,使用正则表达式分组提取信息
pattern=re.compile(r'<div.*?<a title="(.*?)".*?star">(.*?)</p.*?div>',re.S)
r_list=pattern.findall(html)
print(r_list)
# 整理数据格式并输出
if  r_list:
    for r_info in  r_list:
        print("影片名称:",r_info[0])
        print("影片主演:",r_info[1].strip())
        print(20*"*")

输出结果如下:
[(‘你好,李焕英’, ‘\\n主演:贾玲,张小斐,沈腾\\n’), (‘刺杀,小说家’, ‘\\n主演:雷佳音,杨幂,董子健,于和伟\\n’)]

影片名称: 你好,李焕英
影片主演: 主演:贾玲,张小斐,沈腾


影片名称: 刺杀,小说家
影片主演: 主演:雷佳音,杨幂,董子健,于和伟


以上是关于Python re模块用法详解的主要内容,如果未能解决你的问题,请参考以下文章

Python之正则re模块 --- findall()详解

python re模块findall()详解

python3怎么导入re模块

python re 模块 findall 函数用法简述

python中re模块的compile函数应该怎么用?

Python3正则匹配re.split,re.finditer及re.findall函数用法详解