pyspider初次使用pyspider遇到的问题
Posted hahachangefromnow
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pyspider初次使用pyspider遇到的问题相关的知识,希望对你有一定的参考价值。
《python爬虫开发与项目实践》里最后一章介绍了pyspider的使用。然鹅。。我刚开始就报错了:
Exception: HTTP 599: SSL certificate problem: unable to get local issuer certificate
网上一查发现,原因是:这个错误会发生在请求 https 开头的网址,SSL 验证错误,证书有误。
解决方法:
最简单的解决方法是:
在 crawl 方法中加入忽略证书验证的参数,validate_cert=False,即
self.crawl(‘http://movie.douban.com/tag/‘, callback=self.index_page, validate_cert=False)
就可以了。
以上是关于pyspider初次使用pyspider遇到的问题的主要内容,如果未能解决你的问题,请参考以下文章
windows环境安装phantomjs和pyspider遇到的问题