python爬虫中遇到的假死问题

Posted 2020-11-18 流水剑客

如在请求一个URL，网站没有响应的时候，会无限卡死进程。这个时候我们可以在urllib2.urlopen设置一个超时时间，超过这个时间的话就抛出异常。如下所示。

我们可以捕抓到这个异常然后用自己的方法去处理。

try:
    req = urllib2.Request(imgurl,None,headers=headers)
    response = urllib2.urlopen(req,timeout=5)
    the_page = response.read()
except socket.timeout as e:
    response.close()
except urllib2.HTTPError as e:
    continue

常见的还有404，url无效的错误。注意，整这个过程真正发送和接收请求的是在response.read()时.