提高scrapy的爬取效率

Posted 2021-12-19 wen-kang

增加并发：

默认scrapy开启的线程数为32个，可以适当进行增加，在seeting配置文件中修改councurrent_requests设置为100

降低日志等级：

在运行scrapy运行时，会有大量日志输出，为了减少cpu的使用率，可将日志等级设置为log输出设置为error或者info级别

禁用cookie：

如果不是真的需要使用cookie，可以直接禁用cookie，提升爬取效率。cookie_enabled=false

禁止重试：

对失败的HTTP请求重新请求会减慢爬取速度，可以禁止重试。retry_enabled=false

减少下载超时：

对一个非常慢的链接进行爬取会很卡，减少下载超时，这样的链接会被放弃，提升爬取的效率。download_timeout=10  超时时间10S