Scrapy：配置日志

Scrapy logger 在每个spider实例中提供了一个可以访问和使用的实例，方法如下：

import scrapy 

class MySpider(scrapy.Spider):
        name = 'myspider'
        start_url = ['https://www.baidu.com']
        
        def  parse(self,response):
                self.logger.info('Parse function called on %s',response.url)

方法二：

该记录器是使用spider的名称创建的，当然也可以应用到任意项目中

import logging
import scrapy 

logger = logging.getLogger('mycustomlogger')
#创建logger模块

class MySpider(scrapy.Spider):
        name = 'myspider'
        start_url = ['https://www.baidu.com']

#触发模块            
        def  parse(self,response):
        logger.info('Parse function called on %s',response.url)

只需使用logging.getLogger函数获取其名称即可使用其记录器：

import logging

logger = logging.getLogger('mycustomlogger')
logger.warning('This  is a warning')

so anyway:我们也可以使用__name__变量填充当前模块的路径，确保正在处理的任何模块设置自定义记录器：

import logging

logger = logging.getLogger(__name__)
logger.warning('This  is a warning')

在scrapy项目的settings 文件中配置

LOG_ENABLED = True #是否启动日志记录
LOG_ENCODING = 'UTF-8'
LOG_FILE = 'TEST1.LOG'#日志输出位置
LOG_LEVEL = 'INFO'#日志级别