Python3网络爬虫:urllib.error异常

Posted brady-wang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python3网络爬虫:urllib.error异常相关的知识,希望对你有一定的参考价值。

运行平台:Windows 
Python版本:Python3.x 
IDE:Sublime text3

转载请注明作者和出处:http://blog.csdn.net/c406495762/article/details/59488464

一.urllib.error

    urllib.error可以接收有urllib.request产生的异常。urllib.error有两个方法,URLError和HTTPError。如下图所示:

技术分享图片

技术分享图片

    URLError是OSError的一个子类,HTTPError是URLError的一个子类,服务器上HTTP的响应会返回一个状态码,根据这个HTTP状态码,我们可以知道我们的访问是否成功。例如第二个笔记中提到的200状态码,表示请求成功,再比如常见的404错误等。

1.URLError

    让我们先看下URLError的异常,创建文件urllib_test06.py,编写如下代码:

# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error

if __name__ == "__main__":
    #一个不存在的连接
    url = "http://www.iloveyou.com/"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
        html = response.read().decode(‘utf-8‘)
        print(html)
    except error.URLError as e:
        print(e.reason)

 

    我们可以看到如下运行结果:

技术分享图片

2.HTTPError

    再看下HTTPError异常,创建文件urllib_test07.py,编写如下代码:

# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error

if __name__ == "__main__":
    #一个不存在的连接
    url = "http://www.douyu.com/Jack_Cui.html"
    req = request.Request(url)
    try:
        responese = request.urlopen(req)
        # html = responese.read()
    except error.HTTPError as e:
        print(e.code)

 

    运行之后,我们可以看到404,这说明请求的资源没有在服务器上找到,www.douyu.com这个服务器是存在的,但是我们要查找的Jack_Cui.html资源是没有的,所以抛出404异常。

技术分享图片

二.URLError和HTTPError混合使用

    最后值得注意的一点是,如果想用HTTPError和URLError一起捕获异常,那么需要将HTTPError放在URLError的前面,因为HTTPError是URLError的一个子类。如果URLError放在前面,出现HTTP异常会先响应URLError,这样HTTPError就捕获不到错误信息了。

技术分享图片

    如果不用上面的方法,也可以使用hasattr函数判断URLError含有的属性,如果含有reason属性表明是URLError,如果含有code属性表明是HTTPError。创建文件urllib_test08.py,编写代码如下:

# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error

if __name__ == "__main__":
    #一个不存在的连接
    url = "http://www.douyu.com/Jack_Cui.html"
    req = request.Request(url)
    try:
        responese = request.urlopen(req)
    except error.URLError as e:
        if hasattr(e, ‘code‘)
            print("HTTPError")
            print(e.code)
        elif hasattr(e, ‘reason‘)
            print("URLError")
            print(e.reason)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

    运行结果如下:

技术分享图片



以上是关于Python3网络爬虫:urllib.error异常的主要内容,如果未能解决你的问题,请参考以下文章

Python3网络爬虫:urllib.error异常

Python3 爬虫03_urllib.error异常处理

Python3网络爬虫——Urllib库的基本使用

python2.X与python3.X爬虫常用的模块变化对应

Python技能树共建python urllib 模块

9.3 域名解析与网页爬虫