py爬虫 —— py爬虫基础re库

Posted nlifea

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了py爬虫 —— py爬虫基础re库相关的知识，希望对你有一定的参考价值。

python3正则表达式

自从python1.5之后python自带re模块可以使用正则表达式，今天我们来学习一下

re.match

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

re.match(pattern, string, flags=0)
  • pattern —— 匹配的正则表达式
  • string —— 要匹配的字符串。
  • flags—— 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等

正则表达式修饰符 - 可选标志

flags就是从其中选择的

  • re.I —— 使匹配对大小写不敏感
  • re.L —— 做本地化识别（locale-aware）匹配
  • re.M —— 多行匹配，影响 ^ 和 $
  • re.S —— 使 . 匹配包括换行在内的所有字符
  • re.U —— 根据Unicode字符集解析字符。这个标志影响 w, W, , B.
  • re.X —— 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。
import re

print(re.match(‘www‘, ‘www.cnblogs.com/Nlifea/‘).span())  # 在起始位置匹配，span函数是输出匹配字符串的下标序号
print(re.match(‘com‘, ‘www.cnblogs.com/Nlifea/‘))  # 不在起始位置匹配

运行结果是这样的

(0, 3)
None

我们可以用group()或groups()匹配对象函数来获取匹配表达式。

  • group(num=0) —— 匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
  • groups() —— 返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。
import re

line = "Cats are smarter than dogs"
# .* 表示任意匹配除换行符（
、
）之外的任何单个或多个字符
matchObj = re.match(‘(.*) are (.*?) .*‘, line, re.M | re.I)

if matchObj:
    print("matchObj.group() : ", matchObj.group())
    print("matchObj.group(1) : ", matchObj.group(1))
    print("matchObj.group(2) : ", matchObj.group(2))
else:
    print("No match!!")

以上实例执行结果如下：

matchObj.group() :  Cats are smarter than dogs
matchObj.group(1) :  Cats
matchObj.group(2) :  smarter

re.search

re.search 扫描整个字符串并返回第一个成功的匹配。

函数语法：

re.search(pattern, string, flags=0)

函数参数完全类同re.match的

import re

print(re.search(‘www‘, ‘www.cnblogs.com/Nlifea/‘).span())
print(re.search(‘com‘, ‘www.cnblogs.com/Nlifea/‘).span())

运行结果为

(0, 3)
(12, 15)

search函数也可以使用group()并且语法一致

#!/usr/bin/python3
 
import re
 
line = "Cats are smarter than dogs";
 
searchObj = re.search( r‘(.*) are (.*?) .*‘, line, re.M|re.I)
 
if searchObj:
   print ("searchObj.group() : ", searchObj.group())
   print ("searchObj.group(1) : ", searchObj.group(1))
   print ("searchObj.group(2) : ", searchObj.group(2))
else:
   print ("Nothing found!!")

以上实例执行结果如下：

searchObj.group() :  Cats are smarter than dogs
searchObj.group(1) :  Cats
searchObj.group(2) :  smarter

re.match与re.search的区别

re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。

import re

line = ‘Cat are smarter than dogs‘ ;

matchObj = re.match(r‘digs‘ ,line ,re.M|re.I ) ;
if matchObj:
    print("match -- > matchObj.group() : " ,matchObj.group())
else:
    print("No match!!")

researchObj = re.search(r‘dogs‘ ,line ,re.M|re.I) ;
if researchObj:
    print("search -- > matchObj.group : " , researchObj.group())
else:
    print("No match!!")

结果为

No match!!
search -- > matchObj.group :  dogs

检索和替换

Python 的re模块提供了re.sub用于替换字符串中的匹配项。

语法：

re.sub(pattern, repl, string, count=0, flags=0)

参数：

  • pattern : 正则中的模式字符串。
  • repl : 替换的字符串，也可为一个函数。
  • string : 要被查找替换的原始字符串。
  • count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
  • flags : 编译时用的匹配模式，数字形式。

前三个为必选参数，后两个为可选参数。

import re

phone = "200-6456-848 #这是一个电话号码"

num = re.sub(r‘#.*$‘,"",phone )
print(num)

num = re.sub(r‘D‘,"",num)
print(num)

结果是

200-6456-848 
2006456848

关于 D 请看这里 正则表达式模式 ；

compile 函数

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。

语法格式为：

re.compile(pattern[, flags])

 参数：

  • pattern : 一个字符串形式的正则表达式
  • flags 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：

flags的具体内容请看 正则表达式修饰符 - 可选标志

import re

pattern = re.compile(r‘d+‘)
m = pattern.match(‘one12twothree34four‘)
print(m)
m = pattern.match(‘one12twothree34four‘,2,10)
print(m)
m = pattern.match(‘one12twothree34four‘,3,10)
print(m)
print(m.group(0))
print(m.start(0))
print(m.end(0))
print(m.span(0))

结果是：

None
None
<_sre.SRE_Match object; span=(3, 5), match=‘12‘>
12
3
5
(3, 5)

在上面，当匹配成功时返回一个 Match 对象，其中：

  • group([group1, …]) 方法用于获得一个或多个分组匹配的字符串，当要获得整个匹配的子串时，可直接使用 group() 或 group(0)；
  • start([group]) 方法用于获取分组匹配的子串在整个字符串中的起始位置（子串第一个字符的索引），参数默认值为 0；
  • end([group]) 方法用于获取分组匹配的子串在整个字符串中的结束位置（子串最后一个字符的索引+1），参数默认值为 0；
  • span([group]) 方法返回 (start(group), end(group))。

findall

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

注意： match 和 search 是匹配一次 findall 匹配所有。

语法格式为：

re.findall(string[, pos[, endpos]])

参数：

  • string —— 待匹配的字符串。
  • pos —— 可选参数，指定字符串的起始位置，默认为 0。
  • endpos —— 可选参数，指定字符串的结束位置，默认为字符串的长度。
import re

pattern = re.compile(r‘d+‘)

res = pattern.findall(‘runoob 123 google 456‘)
res1 = pattern.findall(‘run88oob123google456‘, 0, 10)

print(res)
print(res1)

结果：

[‘123‘, ‘456‘]
[‘88‘, ‘12‘]

re.split

split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：

re.split(pattern, string[, maxsplit=0, flags=0])

参数：

  • pattern —— 匹配的正则表达式
  • string —— 要匹配的字符串。
  • maxsplit —— 分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。
  • flags —— 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。
import re

print(re.split(‘W+‘,‘runoob, runoob, runoob.‘))

print(re.split(‘(W+)‘,‘runoob, runoob, runoob.‘))

print(re.split(‘a*‘, ‘hello world‘))

结果是：

[‘runoob‘, ‘runoob‘, ‘runoob‘, ‘‘]
[‘runoob‘, ‘, ‘, ‘runoob‘, ‘, ‘, ‘runoob‘, ‘.‘, ‘‘]
[‘hello world‘]

re库中正则表达式的对象

re.RegexObject

re.compile() 返回 RegexObject 对象。

re.MatchObject

group() 返回被 RE 匹配的字符串。

  • start() —— 返回匹配开始的位置
  • end() —— 返回匹配结束的位置
  • span() —— 返回一个元组包含匹配 (开始,结束) 的位置

以上是关于py爬虫 —— py爬虫基础re库的主要内容，如果未能解决你的问题，请参考以下文章

搜狗词库爬虫：基础爬虫框架的运行流程

正则表达式格式

python的scrapy框架爬虫基础

爬虫入门：urllib2

python爬虫 入门需要哪些基础

爬虫6-正则表达式基础知识