python爬虫第三天

Posted yang4869

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫第三天相关的知识,希望对你有一定的参考价值。

 
 
DebugLog实战
        有时候我们需要在程序运行时,一边运行一边打印调试日志。此时需要开启DebugLog。
        如何开启:
        首先将debuglevel设置为1,然后用urllib.request.build_opener()创建自定义对象opener将debuglevel作为参数传入接着用urllib.request.install_opener()创建全局默认对象opener,进行后续操作。
import urllib.request
#复制区-----
httphd=urllib.request.HTTPHandler(debuglevel=1)
httpshd=urllib.request.HTTPSHandler(debuglevel=1)
opener=urllib.request.build_opener(httphd,httpshd)
urllib.request.install_opener(opener)
#-----复制区
data=urllib.request.urlopen("http://edu.51cto.com")
这样就可以边执行程序边打印调试Log日志。
 
异常处理神器——URLError实战
    如何合理的处理异常:介绍两个类
        URLError和他的一个子类HTTPError
实例1:
import urllib.request
import urllib.error
try:
    urllib.request.urlopen("http://blog.csdn.net")
except urllib.error.URLError as e: #这里csdn禁止对文章爬取,所以没有模拟浏览爬会出现403错误
#由于触发了HTTPError产生的URLError异常,这里使用HTTPError替换亦可以,
#但是HTTPError不能处理:连接不上服务器,远程url不存在、无网络的异常
    print(e.code)
    print(e.reason)
补充知识:状态码
200----一切正常
301----重定向到新的url,永久性
302----重定向到临时的url,非永久性
304----请求的资源未更新
400----非法请求
401----请求未经授权
403----禁止访问
404----没有找到对应页面
500----服务器内部出现错误
501----服务器不支持实现请求所需要的功能
实际上我们处理异常不知道使用HTTPError能不能处理。我们可以进行优化,先让HTTPError处理,不行再让URLError处理
代码如下:
try:
    urllib.request.urlopen("http://blog.baidusss.net")#不存在的网址
except urllib.error.HTTPError as e:
    print(e.code)
    print(e.reason)
except urllib.error.URLError as e:
    print(e.reason)
 
代码再改进,整合一下:不管何种原因都可以解决
try:
    urllib.request.urlopen("http://blog.csdn.net")
except urllib.error.URLError as e:
    if hasattr(e,"code"):
        print(e.code)
    if hasattr(e,"reason"):
        print(e.reason)
 
正则表达式入门
    正则表达式就是描述字符串排列的一套规则。比如电子邮件、手机号的字符都是满足一定的规则的,我们可以用正则来表达他们的格式。在python中我们用re模块来实现正则。
    基础知识:
 NO1 、原子:正则的基本组成单位,每个正则中至少包含一个原子。
    原子的类型:
            1:普通字符
import re
pattern="yue"
string="http://yum.iqianyue.com"
result1=re.search(pattern,string)
print(result1)
#结果:<_sre.SRE_Match object; span=(16, 19), match=‘yue‘>
这里我们匹配两个字符串,成功匹配到了字符结果“yue”         
 
   2:非打印字符 
        指在一些字符串中用于格式控制的符号,如:
 
符号 含义
用于匹配一个换行符
用于匹配一个制表符
import re
 
pattern=" "
string=‘‘‘http://yum.iqianyue.com
http://baidu.com‘‘‘
result=re.search(pattern,string)
print(result)
 
 
            3:通用字符 
一个原子可以匹配一类字符
 
符号
含义
w
匹配任意一个字母、数字或下划线
W
匹配除字母、下划线、数字以外的任意字符
d
匹配任意一个十进制数
D
匹配十进制以外的任意一个其他字符
s
匹配任意一个空白字符
S
匹配除空白字符以外的任意一个其他字符
 
          
pattern="wdpythonw"
string="abcdfphp345python_py"
result=re.search(pattern,string)
print(result)
#结果<_sre.SRE_Match object; span=(9, 18), match=‘45python_‘>
 
 
 
  4:原子表
 
使用原子表定义一组地位相等的原子,匹配是会取原子表中任意一个原子进行匹配,在Python中原子表用[]表示
如[xyz]对应源字符是“xpython”如果用re.search匹配,就可以匹配到“xpy”,因为只要py的前一位是xyz的任一个原子就可以匹配成功
 
    
pattern1="wdpython[xyz]w"
string="abcdfphp345pythony_py"
result=re.search(pattern1,string)
print(result)
#结果:<_sre.SRE_Match object; span=(9, 19), match=‘45pythony_‘>
 
 
 此文是我在学习《精通Python网络爬虫》(韦玮著)的总结,纯手打。
 
 
 
 
 
 
 
 
 
 

以上是关于python爬虫第三天的主要内容,如果未能解决你的问题,请参考以下文章

Python学习第三天

学习爬虫第三天

用 Python 写爬虫 接私活,三天赚了1200,在公司可以横着走了

用 Python 写爬虫 接私活,三天赚了1200,在公司可以横着走了

爬虫学习 Python网络爬虫第三弹《爬取get请求的页面数据》

两周从爬虫小白变大神,看完你就知道我不是标题党了五万字教程,建议收藏