Scrapy踩坑：请求无响应，requests正常
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy踩坑：请求无响应，requests正常相关的知识，希望对你有一定的参考价值。
参考技术A 问题说明：Scrapy运行不报错，callback回调函数没响应
问题原因：
请求的 header请求头 错误
解决方法：
1、先在 middlewares 的 process_response 中打印状态码，若404等则不会进入到 callback回调函数，回调函数捕获不到异常信息
2、检查代理是否异常（禁用代理）
以上是关于Scrapy踩坑：请求无响应，requests正常的主要内容，如果未能解决你的问题，请参考以下文章
XHR 请求在 Scrapy 中失败，但在 python-requests 中有效
玩转 Scrapy 框架 ：Scrapy 架构Request和Response介绍