爬虫报错:twisted.web._newclient.ResponseNeverReceived

Posted 是璇子鸭

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫报错:twisted.web._newclient.ResponseNeverReceived相关的知识,希望对你有一定的参考价值。

我在使用scrapy进行数据爬取的过程中,出现了标题所示的报错信息。一开始以为是自己xpath路径写的有问题,然而没有用。于是百度搜索,以为是爬取频率略高被识别了,换了ip,还是报错,终于在github上找到了解决办法,这里仅供参考,因为每个人遇到的具体情况存在差异,只有不断尝试才知道怎么解决。(原贴详见蓝色链接

简单来说,就是cryptography就是捆绑了 libssl,因此需要降低版本以便顺利连接过时的服务器。实测降低pyOpenSSL和cryptography至图二版本即可

问题提出:

对比修改后主要看版本数↓

实测降低pyOpenSSL和cryptography至图二版本即可


响应成功!!

以上是关于爬虫报错:twisted.web._newclient.ResponseNeverReceived的主要内容,如果未能解决你的问题,请参考以下文章

python_爬虫 Scrapy 安装报错一整套处理流程

处理 Twisted Web 服务器中的所有资源

如何将 HTTP 请求升级到 Websocket (Autobahn & Twisted Web)

3-百度贴吧爬虫

python_爬虫_Selenium_Error

用于模板渲染的 Twisted Web 服务器中的自定义文件扩展名处理程序