python爬虫学习第五章正则

Posted Doctor_Bool

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python爬虫学习第五章正则相关的知识，希望对你有一定的参考价值。

正则表达式与Cookie的使用

正则表达式基础知识

  1. 原子
    原子是正则表达式中最基本的组成单位，每个正则表达式中至少要包含一个原子，常见的原子有以下几类：
    • 普通字符作为原子
    • 非打印字符作为原子
    • 通用字符作为原子
    • 院子表
    • 普通字符作原子的情况。普通字符比如数字、大小写字母、下划线等都可以作为原子使用。比如如下程序中，我们就使用了“yue"作为原子使用，分别是‘y‘‘u‘‘e‘。import re
      pattern="yue"
      string="http://yum.iqianyue.com"
      result1=re.search(pattern,string)
      print(result1)
    • 非打印字符作为原子
      所谓的非打印字符，指的是一些在字符串中用于格式控制的符号，比如换行符等。import re
      pattern="\n"
      string="http://yum.iqianyue.com
      http://baidu.com"
      result1=re.search(pattern.string)
      print(result1)
    • 通用字符作为原子
      所谓通用字符，即一个原子可以匹配一类字符，我们在实际项目中经常会用到这一类原子。
      | 符号 | 含义|| \w | 匹配任意一个字母、数字或下划线 |
      | \W | 匹配除了字母、数字和下划线以外的任意字符|
      | \d | 匹配任意一个十进制数|
      | \D | 匹配除了十进制数以外的任意一个其他字符 |
      | \s | 匹配任意一个空白字符 |
      | \S | 匹配除空白字符以外的任意一个其他字符 | import re
      pattern="\w\dpython\w"
      string="abcdfphp345python_py"
      result1=re.search(pattern,string)
      print(result1)
    • 原子表
      定义一组地位平等的原子，然后匹配的时候会取该原子表中的任意一个原子匹配，在Python中，原子表有[]表示比如[xyz]就是一个原子表，这个原子表中定义了3个原子，这3个原子的地位平等，如，我们定义的正则表达式为“[xyz]py”,对应的原字符串是"xpython",如果此时使用re.search()函数进行匹配，就可以匹配出结果"xpy",因为此时只要py前一位是x y z字母中的其中一个字母，就可以匹配成功。
      类似的，[^]代表的是除了中括号里面的原子均可以匹配，比如"[^xyz]py"能匹配"apy",但是却不能匹配"xpy"等。
      import re
      pattern1="\w\dpython[xyz]\w"
      pattern2="\w\dpython[^xyz]\w"
      pattern3="\w\dpython[xyz]\W"
      string="abcdfphp345pythony_py"
      result1=re.search(pattern1,string)
      result2=re.search(pattern2,string)
      result3=re.search(pattern3,string)
      print(result1)
      print(result2)
      print(result3)
  2. 元字符
    所谓元字符，就是正则表达式中具有一些特殊含义的字符，比如重复N次前面的字符等。 | 符号 | 含义 |
    | . | 匹配除换行符以外的任意字符 |
    | ^ | 匹配字符串的开始位置 |
    | $ | 匹配字符串的结束位置 |
    | * | 匹配0次、1次或多次前面的原子 |
    | ? | 匹配0次或1次前面的院子 |
    | + | 匹配1次或多次前面的原子 |
    | {n} | 前面的院子恰好出现n次 |
    | {n,} | 前面的原子至少出现n次 |
    | {n,m} | 前面的原子至少出现n次，至多出现m次 |
    | ‘|‘ | 模式选择符 |
    | () | 模式单元符 |
    具体来说元字符可以分为：任意匹配元字符、边界限制元字符、限定符、模式选择符、模式单元等。 <<<<<<< HEAD
    • 任意匹配元字符
      首先讲解任意匹配元字符 “.”,我们可以使用"."匹配一个除换行符以外的任意字符。比如，我们可以使用正则表达式".python..."匹配一个"python"字符前1位，后面有3位的格式的字符，这里的前一位和后面的3位可以是除了换行符以外的任意字符。import re pattern=".python..."string="abcdfphp345pythony_py"result1=re.search(pattern,string)print(result1)
    • 边界限制元字符
      可以使用"^"匹配字符串的开始，使用"$"匹配字符串的结束import re
      pattern1="^abd"
      pattern2="^abc"
      pattern3="py$"
      pattern4="ay$"
      string="abcdfphp345pythony_py"
      result1=re.search(pattern1,string)
      result2=re.search(pattern2,string)
      result3=re.search(pattern3,string)
      result4=re.search(pattern4,string)
      print(result1)
      print(result2)
      print(result3)
      print(result4)
    • 限定符
      常见的限定符包括*、?、+、{n}、{n,}、{n,m}.
      import re
      pattern1="py.*n"
      pattern2="cd{2}"
      pattern3="cd{3}"
      pattern4="cd{2,}"
      string="abcdddfphp345pythony_py"
      result1=re.search(pattern1,string)
      result2=re.search(pattern2,string)
      result3=re.search(pattern3,string)
      result4=re.search(pattern4,string)
      print(result1)
      print(result2)
      print(result3)
      print(result4)
    • 模式选择符
      模式选择符“|”，可以设置多个模式，匹配时，可以从中选择任意一个模式匹配。比如正则表达式“python|php”中，字符串“python”和"php"均满足匹配条件。import re
      pattern="python|php"
      string="abcdfphp345pythony_py"
      result1=re.search(pattern,string)
      print(result1)
    • 模式单元符
      模式单元符"()",可以将一些原子组合成一个大原子，小括号括起来的部分作为一个整体去使用。 import re
      pattern1="(cd){1,}"
      pattern2="cd{1,}"
      string="abcdcdcdcdfphp345pythony_py"
      result1=re.search(pattern1,string)
      result2=re.search(pattern2,string)
      print(result1)
      print(result2)
  3. 模式修正
    所谓模式修正符，即可以在不改变正则表达式的情况下，通过模式修正符改变正则表达式的含义，从而实现一些匹配结果的调整等功能。比如，可以使用模式修正符I让对于模块在匹配时不区分大小写。
    | 符号 | 含义 || I | 匹配时忽略大小写 |
    | M | 多行匹配 |
    | L | 做本地化识别匹配 |
    | U | 根据Unicode字符及解析字符 |
    | S | 让.匹配包括换行符，即用了该模块修正后，"."匹配就可以匹配任意的字符了|
    import re
    pattern1="python"
    pattern2="python"
    string="abcdfphp34Pythony_py"
    result1=re.search(pattern1,string)
    result2=re.search(pattern2,string,re.I)
    print(result1)
    print(result2)
  4. 贪婪模式与懒惰模式
    贪婪模式的核心点就是尽可能多地匹配，而懒惰模式的核心点就是尽可能少的匹配。
    import re
    pattern1="p.*y"#贪婪模式
    pattern2="p.*?y"#懒惰模式
    string="abcdfphp345pythony_py"
    result1=re.search(pattern1,string)
    result2=re.search(pattern2,string)
    print(result1)
    print(result2)

正则表达式常见函数

  1. re.match()函数
    如果想要从起始位置匹配一个模式，可以使用re.match（）函数，格式
    re.match(pattern,string,flag)
    第一个参数为正则表达式，第二个参数源字符串，第三个是可选参数，代表标志位。
    import re
    string="apythonhellomypythonhispythonourpythonend"
    pattern=".python."
    result=re.match(pattern,string)
    result2=re.match(pattern,string).span()
    print(result)
    print(result2)
  2. re.search()函数
    re.search()函数会在全文中进行检索并匹配.
    import re
    string="hellomypythonhispythonourpythonend"
    pattern=".python."
    result=re.match(pattern,string)
    result2=re.search(pattern,string)
    print(result)
    print(result2)
  3. 全局匹配函数
    匹配一串字符串中多个结果。
    • 使用re.compile()对正则表达式进行预编译.
    • 编译后，使用findall()根据正则表达式从源字符串中将匹配的结果全部找出。 、import re
      string="hellomypythonhispythonourpythonend"
      pattern=re.compile(".python.")#预编译
      result=pattern.findall(string)#找出符合模式的所有结果
      print(result)
      import re
      string="hellomypythonhistpythonourpythonend"
      pattern=".python."
      result=re.compile(pattern).findall(string)
      print(result)
  4. re.sub函数
    使用正则表达式替换某些字符串功能，可以使用re.sub()函数实现。
    re.sub(pattern,rep,string,max)
    第一个参数为正则表达式，第二个参数为要替换成的字符串，第三个参数为源字符串，第四个参数为可选项，代表最多替换的次数，不写的话，就全部替换。
    import re
    string="hellomypytonhispythonourpythonend"
    pattern="python."
    result1=re.sub(pattern,"php",string)#全部替换
    result2=re.sub(pattern,"php",string,2)#最多替换两次
    print(result1)
    print(result2)

常见实例解析

  • 匹配.com或.cn后缀的URL网址
    import re
    pattern="[a-zA-Z]+://[^\s]*[.com|.cn]"
    string="<a href=‘http://www.baidu.com‘>百度首页</a>"
    result=re.search(pattern,string)
    print(result)
  • 匹配电话号码
    import re
    pattern="\d{4}-\d{7}|\d{3}-\d{8}"匹配电话号码的正则表达式
    string="0216728263682382265236"
    result=re.search(pattern,string)
    print(result)
  • 匹配电子邮件地址
    import re
    pattern="\w+([.+-]\w+)*@\w+([.-]\w+)*\.\w+([.-]\w+)*"#匹配电子邮箱的正则表达式
    string="<a href=‘http://www.baidu.com‘>百度首页</a><br><a href=‘mailto:[email protected]‘>电子邮箱地址</a>"
    result=re.search(pattern,string)
    print(result)

什么是Cookie

Http是一个无状态协议，即无法维持会话之间的状态。Cookie可以保存状态。

Cookiejar实战

import urllib.request
import urllib.parse
import http.cookiejar
url="post请求地址"
postdata=urllib.parse.urlencode({
"username":"用户名"
"password":"密码"
}).encode("utf-8")
req=urllib.request.Request(url,postdata)
req.add_header(‘User-Agent‘,‘User-Agent的值‘)
cjar=http.cookieJar.CookieJar() #使用http.cookiejar.CookieJar()创建CookieJar对象
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar))#使用HTTPCookieProcessor创建cookie处理器,并以其为参数构建opener对象
urllib.request.install_opener(opener) #将opener安装为全局
file=opener.open(req)
data=file.read()
file=open("文件存储地址","wb")
file.write(data)
file.close()
url2="网页地址"
data2=urllib.request.urlopen(url2).read()
fh=open("文件地址",‘wb‘)
fh.write(data2)
fh.close()

=======

3f577ee4216aa3d991983f31467a7d7578dd9797



以上是关于python爬虫学习第五章正则的主要内容，如果未能解决你的问题，请参考以下文章

《Python深度学习》第五章-2（Cats_vs_Dogs）读书笔记

Python学习（第五章）

python学习第五章

Python学习系列----第五章 模块

『Python』Numpy学习指南第五章_矩阵和通用函数

《Python深度学习》第五章-1（CNN简介）读书笔记