pyspider初次使用pyspider遇到的问题

Posted hahachangefromnow

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pyspider初次使用pyspider遇到的问题相关的知识,希望对你有一定的参考价值。

《python爬虫开发与项目实践》里最后一章介绍了pyspider的使用。然鹅。。我刚开始就报错了:

Exception: HTTP 599: SSL certificate problem: unable to get local issuer certificate

网上一查发现,原因是:这个错误会发生在请求 https 开头的网址,SSL 验证错误,证书有误。

解决方法:

最简单的解决方法是:

在 crawl 方法中加入忽略证书验证的参数,validate_cert=False,即

以上是关于pyspider初次使用pyspider遇到的问题的主要内容,如果未能解决你的问题,请参考以下文章

安装pyspider框架时遇到的问题

PySpider安装

windows环境安装phantomjs和pyspider遇到的问题

macOS pip安装pyspider无法正常启动的问题

记一次win 2003 折腾pyspider遇到问题(pycurl)

docker快速搭建分布式爬虫pyspider