python爬虫----handler和opener

Posted 2021-02-08 yellowhat

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python爬虫----handler和opener相关的知识，希望对你有一定的参考价值。

opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）
但是基本的urlopen不支持代理，cookie等其他HTTP/HTTPS高级功能，所以要支持这些功能：
- - 使用相关的Handler处理器来创建特定功能的处理器对象
  - 然后通过urllib2.build_opener()方法使用这些处理器对象，创建自定义opener()对象
  - 使用自定义的opener对象，调用open()发送请求

以上是关于python爬虫----handler和opener的主要内容，如果未能解决你的问题，请参考以下文章