python学习之第二十二天

日志文件的基本用法
scrapy同时下载两张图片

日志文件的基本用法

logger.py

import logging
import os

LOG_LEVEL = logging.INFO
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))

# 自定义日志类型
LOG_TYPES = {
    'transaction': 'transactions.log',
    'access': 'access.log',
}

def log(log_type):
    """
    from logger.logger import log
    log_obj = log('日志名称')
    log_obj.info("普通消息")
    log_obj.debug("调试消息")
    log_obj.warn("警告消息")
    log_obj.error("错误消息")
    log_obj.critical("hello world")
    """
    log_dir = "%s/log" % (BASE_DIR)
    log_file = "%s/%s" % (log_dir, LOG_TYPES.get(log_type, log_type+".log"))
    os.makedirs(log_dir, exist_ok=True)

    # 创建日志对象
    logger = logging.getLogger(log_type)
    logger.setLevel(LOG_LEVEL)

    # 创建一个handler，用于输出到控制台
    ch = logging.StreamHandler()
    ch.setLevel(LOG_LEVEL)

    # 创建一个handler，用于写入日志文件
    fh = logging.FileHandler(log_file, encoding="utf-8")
    fh.setLevel(LOG_LEVEL)

    # 定义handler的输出格式formatter
    """
    format参数中可能用到的格式化串：
    %(name)s Logger的名字
    %(levelno)s 数字形式的日志级别
    %(levelname)s 文本形式的日志级别
    %(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
    %(filename)s 调用日志输出函数的模块的文件名
    %(module)s 调用日志输出函数的模块名
    %(funcName)s 调用日志输出函数的函数名
    %(lineno)d 调用日志输出函数的语句所在的代码行
    %(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
    %(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
    %(asctime)s 字符串形式的当前时间。默认格式是 “2018-07-08 16:49:45,896”。逗号后面的是毫秒
    %(thread)d 线程ID。可能没有
    %(threadName)s 线程名。可能没有
    %(process)d 进程ID。可能没有
    %(message)s用户输出的消息
    """
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    ch.setFormatter(formatter)
    fh.setFormatter(formatter)

    # 给logger添加handler
    logger.addHandler(ch)
    logger.addHandler(fh)

    return logger

日志用法.py

from .tools import logger
log_obj = logger.log('日志名称')
log_obj.info("普通消息")
log_obj.debug("调试消息")
log_obj.warn("警告消息")
log_obj.error("错误消息")
log_obj.critical("hello world")

scrapy同时下载两张图片

		下载静态图(png,jpg)
         1.下载原图
		'IMAGES_URLS_FIELD': 'image_src',
        'IMAGES_STORE': 'Ivsky',
        2.下载缩略图
        'THUMBS': {
            '缩略图_1': (300, 400)
        }
        下载动态的图(gif)
        'FILES_URLS_FIELD': '地址',
        地址对应的值必须为列表
        'FIELS_STORE': '文件夹',