scrapy框架log日志

Posted youxiu123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy框架log日志相关的知识,希望对你有一定的参考价值。

 

scrapy中的debug信息

技术图片

在scrapy中设置log

1、在settings中设置log级别,在settings.py中添加一行:

技术图片
Scrapy提供5层logging级别:

CRITICAL - 严重错误(critical)

ERROR - 一般错误(regular errors)

WARNING - 警告信息(warning messages)

INFO - 一般信息(informational messages)

DEBUG - 调试信息(debugging messages)
技术图片

scrapy默认显示DEBUG级别的log信息

2、将输出的结果保存为log日志,在settings.py中添加路径:

LOG_FILE = ‘./log.log‘

3、显示log位置,在pipelines.py中:

技术图片
import logging

logger = logging.getLogger(__name__)

def process_item(self, item, spider):
    logger.warning(item)
    ....
技术图片

4.在spider文件中引入Log日志:

技术图片
class DcdappSpider(scrapy.Spider):
    name = ‘dcdapp‘
    allowed_domains = [‘m.dcdapp.com‘]
    custom_settings = 
        # 设置管道下载
        ‘ITEM_PIPELINES‘: 
            ‘autospider.pipelines.DcdAppPipeline‘: 300,
        ,
        # 设置log日志
        ‘LOG_LEVEL‘:‘DEBUG‘,
        ‘LOG_FILE‘:‘./././Log/dcdapp_log.log‘
    
技术图片

以上是关于scrapy框架log日志的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy框架之日志等级

scrapy框架的日志等级和请求传参, 优化效率

13.scrapy框架的日志等级和请求传参

Scrapy 框架 - 着色日志记录

scrapy框架之日志等级和请求传参

scrapy框架之日志等级和请求传参