Twisted - CRITICAL - Deferred中的未处理错误...没有堆栈跟踪

Posted 2021-03-27

使用Scrapy进行Web爬行，我突然遇到这个问题，这是我从堆栈跟踪中得到的唯一结果：

2017-10-31 14:15:24,980 - twisted - CRITICAL - Unhandled error in Deferred:

之后什么都没有。

蜘蛛是从一个单独的python脚本调用的

process.crawl(IndexSpiderSingle)
process.start()

根据我在整个蜘蛛的__init__()函数中的日志，它实例化没有问题。它似乎在实例化之后和调用start_requests()函数之前遇到了问题，因为下一个方法的日志都没有被调用。

目前拉我的头发，任何帮助表示赞赏。干杯。

答案

您可能正在使用Twisted版本，其中https://twistedmatrix.com/trac/ticket/8860或https://twistedmatrix.com/trac/ticket/7927未固定。尝试升级Twisted以获取日志中报告的回溯。