爬虫日记(63)：Scrapy的设置参数-日志

Posted 2021-05-19 caimouse

在开发Scrapy爬虫的应用时，通常使用这些设置来对程序进行一些分析，比如通过输出日志、统计和Telnet工具提供性能和调试信息。

可以参考下面的连接：

https://docs.scrapy.org/en/latest/topics/settings.html#std-setting-LOG_LEVEL

 

日志

Scrapy制定了日志的等级，可以根据发生问题的严重程度，把日志分为：CRITICAL, ERROR, WARNING, INFO, DEBUG。当爬虫要发布上线稳定之后，只要输出CRITICAL级的日志就可以了，如果是刚上线的系统，设置为DEBUG，这样可以获得更多出错的信息，更加方便开发人员来查找出错的原因。因为有可能一些问题，出现的几率很低，偶尔才会出现，如果输出的日志信息太少，导致很难查找。当然这样做会导致服务器运行的效率降低，但是这样做才能找到问题并把系统改稳定。除此之外，还有一个NOTSET等级，使用这个等级就会输出所有日志。