PySpider HTTP 599: SSL certificate problem错误的解决方法(转)

Posted When you look into the abyss,

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PySpider HTTP 599: SSL certificate problem错误的解决方法(转)相关的知识,希望对你有一定的参考价值。

前言

最近发现许多小伙伴在用 PySpider 爬取 https 开头的网站的时候遇到了 HTTP 599: SSL certificate problem: self signed certificate in certificate chain 的错误。

经过一番排查,解决方案总结如下

错误原因

这个错误会发生在请求 https 开头的网址,SSL 验证错误,证书有误。

报错如下

技术分享图片

解决方案

最简单的解决方法是:

在 crawl 方法中加入忽略证书验证的参数,validate_cert=False,即

 

 

以上方法基本可以解决问题。

如果出现了

 

 

的错误,即无法匹配到 validate_cert 参

数,那么则是 PySpider 本身的问题。

可以更新到最新版本,即更新到 master 分支。

因为包还没有发行,所以我们就手动来更新。

 

https://cuiqingcai.com/2703.html

转自静觅

前言

最近发现许多小伙伴在用 PySpider 爬取 https 开头的网站的时候遇到了 HTTP 599: SSL certificate problem: self signed certificate in certificate chain 的错误。

经过一番排查,解决方案总结如下

错误原因

这个错误会发生在请求 https 开头的网址,SSL 验证错误,证书有误。

报错如下

技术分享图片

解决方案

最简单的解决方法是:

在 crawl 方法中加入忽略证书验证的参数,validate_cert=False,即

以上方法基本可以解决问题。

如果出现了

的错误,即无法匹配到 validate_cert 参数,那么则是 PySpider 本身的问题。

目前的最新发行版是 0.3.6(2016/3/29),不过 GitHub 最新版本目前是 0.4.0

可以更新到最新版本,即更新到 master 分支。

因为包还没有发行,所以我们就手动来更新。

PySpider

可以点击右侧下载 zip 包。

技术分享图片

Mac OS X

以 Mac OS X为例,找到 pyspider 库所在的路径。我的是在

打开之后发现如下的结构。

技术分享图片

把刚才的包下载下来之后,解压缩,打开文件夹,发现目录结构是这样的。

技术分享图片

然后进入 pyspider 文件夹,观察一下,发现和我们之前安装的 pyspider 目录结构是一样的,没错,就是它了!

技术分享图片

嗯,把所有的文件都更新到 site-packages/pyspider 目录中。

可以手动拖动替换,可以使用命令

更新之后,然后重新启动 pyspider 。

再加入 validate_cert=False 参数,发现就不会出现刚才的问题了。

Linux

方法同上,pyspider 路径应该在

替换一下下载下来的文件。

同样也可以使用命令

 

Windows

方法同上,pyspider 路径应该在

同样替换下载下来的文件即可。

命令同上

 

结语

通过以上配置,我们解决了 PySpider 的 599 错误以及 validate_cert 参数不匹配的问题。

希望对大家有帮助!

转载请注明:静觅 » PySpider HTTP 599: SSL certificate problem错误的解决方法

以上是关于PySpider HTTP 599: SSL certificate problem错误的解决方法(转)的主要内容,如果未能解决你的问题,请参考以下文章

pyspider初次使用pyspider遇到的问题

pyspider.报错

pyspider爬豆瓣电影实例

docker快速搭建分布式爬虫pyspider

爬虫入门12Pyspider框架入门—Ajax和HTTP

pyspider爬虫框架