PYTHON网络爬虫与信息提取[正则表达式的使用](单元七)
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PYTHON网络爬虫与信息提取[正则表达式的使用](单元七)相关的知识,希望对你有一定的参考价值。
正则表达式由字符和操作符构成
. 表示任何单个字符
[]字符集,对单个字符给出取值范围 [abc]或者关系 [a-z]表示
[^abc]表示非这里面的东西 非字符集
* 表示星号之前的字符出现0次或者无限次扩展
+ 表示星号之前的字符出现一次或者无限次扩展
? 表示出现0次或1扩展
| 表示左右表达式人取其一 abc|def
---------------------------------------------------------------------
{m} 扩展前一个字符m次 ab{2}c abbc
{m,n}扩展前一个字符m-n 次 ab{1,2}c 表示 abc abbc
{:3} 零到三次
^ 匹配字符串开头: ^abc 表示abc且在一个字符串的开头
$ 匹配字符串的结尾 abc$ 表示bac切abc在一个字符串的结尾
()分组标记 内部只能使用 |
\d 等价于[0-9]
\w 等价于字符[A-Za-z0-9]
----------------------------------------------------------------------
经典正则表达式
^[A-Za-z]+$ 由26个字母组成的表达式
^[A-Za-z0-9]+$ 由字母与数字构成的字符串
^-?\d+$ 匹配任何整数
^[1-9]*[0-9][0-9]*$ 表示正整数的字符串
[1-9]\d{5} 6位邮政编码的正则表达式
[\u4e00-\u9fa5] 匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7} 匹配国内电话号码
\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3}. 匹配ip地址
re.search() 在一个字符串中搜索匹配正则表达式的第一个位置,返回metch对象
re.match() 在一个字符串的开始位置起匹配正则表达式,返回match对象
re.findall() 搜索字符串,以列表形式返回所有能匹配的字符串
re.split() 将一个字符串按照正则表达式的匹配结果进行分割,返回一个列表
re.finditer() 搜索字符串,返回一个匹配结果的爹地啊类型,每个迭代元素是match象
re.sub() 替换所有匹配的字符串,返回一个字符串
详细使用说明
re.search(pattern,string,flags=0)
findall 函数参数和search 一样
finditer 同上
pattern 正则表达式
string 原始需要被匹配的字符串
flags 控制查找的标记
标记如下
re.I 忽略大小写
re.M 正则表达式的^操作符能够匹配给定字符串每一行的开始部分
re.S re.DOTALL 正则表达式的.匹配所有的字符 //默认匹配除换行符之外的所有字符
re.split(pattern,string,maxsplit=0,flags=0)
maxsplit 最大分割数,剩余部分作为整体显示出来 (匹配的部分去掉)
re.sub(pattern,repl,string,count=0,flags=0)
repl 替换原字符串的字符串 ,count 最大替换词数
re库的等价用法
rst=re.search(...) 一次性用法
re.compile(pattern,flags=0)
pat =re.compile(‘‘)
// pat 成为pattern 对象 可以多次使用
pat.search()
Match 对象类型
if match:
attribute:
.string 待匹配文本
.re 使用的pattern
.pos 匹配开始的位置
.enpos 匹配结束的位置
.group(0) 获得匹配后的字符串
group方法的其他用法如下
>>> m = re.match(r"(\w+) (\w+)", "Isaac Newton, physicist")
>>> m.group(0) # The entire match
‘Isaac Newton‘
>>> m.group(1) # The first parenthesized subgroup.
‘Isaac‘
>>> m.group(2) # The second parenthesized subgroup.
‘Newton‘
>>> m.group(1, 2) # Multiple arguments give us a tuple.
(‘Isaac‘, ‘Newton‘)
.start() 匹配字符串在原始字符串的开始位置
.end() 匹配字符串在原始字符串的结束位置
.span 返回(.start(),.end()) //tuple
贪婪匹配和最小匹配
match=re.saerch(r‘PY.*N‘,‘PYANBNCNDN‘)
match.group(0)
匹配长短不同时
默认采用贪婪匹配的方式,即找到最长的符合条件的最长子串
match=re.saerch(r‘PY.*?N‘,‘PYANBNCNDN‘)
match.group(0)
*后面加一个?即匹配符合条件的最小的匹配
最小匹配操作符(有操作符可以匹配不同长度时)
*?
+?
??
{m,n}?
正则表达式还是要反斜杠注释的 \\
r‘\"view_price\"\:\"[\d\.]*\"‘
.":都要注释
以上是关于PYTHON网络爬虫与信息提取[正则表达式的使用](单元七)的主要内容,如果未能解决你的问题,请参考以下文章
python爬虫之Beautiful Soup库,基本使用以及提取页面信息