day18 logging模块 sys shelve

昨日回顾

re
正则表达式
匹配字符串
场景 例如:爬虫,密码规则验证,邮箱地址验证,手机号码

学习re主要学习的就是 那一堆特殊符号

hashlib
hash是一种算法 lib表示库
该模块包含了一堆的hash算法
hash接受任意长度的输入,计算后,输出一段固定长度的字符串
根据算法的不同结果的长度也不同
在算法固定的情况下,输入的数据相同,输出的结果也必然相同
hash的两个作用:
    1.加密 无法被反解
    2.文件校验 比对两个文件是否完全相同

常用模块

1.logging *****

翻译为日志记录
    该模块用于记录日志的
    
    1.日志是什么?
    日志其实就是日记,用于记录某个时间点发生了什么事
    
    2.为什么要记录日志?
    是为了日后来复查,提取有用的信息
    
    3.如何来记录日志?
    可以直接打开文件,往里写东西
    
    直接写入文件的两个问题:
    1.你写的数据格式,别人看不懂
    2.解析数据麻烦 因此logging就诞生了 logging 专门用于记录日志 日志的级别 1.debug (最底层) 调试信息(用于记录程序在开发过程中的调试记录,例如,不清楚这个变量的值,所以打印一下) 2.info 记录普通信息(没特别的意义,就是简单的记录) 3.warning 警告信息(当某些操作可能发生错误,就记录为警告信息,涉及一些安全操作时,例如删库) 4,error 错误信息(当程序遇到错误时,列入要求用户输入一个整数,他偏要输入小数,导致数据类型转换失败) 5.critical 严重错误(当程序遇到问题,无法继续执行时,例如,需要一个核心组件,然而这个组件被用户删了) 为什么分级:随着时间的推移,你的日志会越来越多,成千上万条,这时候要提取有用的信息就很慢,所有使用logging,这样一来,在查看日志的时候,可以快速的定位到想要的日志 为什么要设置最低等级,因为一些级别的日志对我是无用的 如果我们需要更详细的去定制logging的各项功能,就需要我们系统的学习一下logging这个模块 四种核心角色 1.Logger 日志生成器:负责产生一条完整的日志 2.Filter 过滤器:负责对日志进行过滤 3.Handle 处理器:负责将日志输出到指定位置 4.Formater 格式化:负责处理日志显示的格式 一条日志的生命周期 1.由Logger产生日志 2.交给过滤器进行过滤 3.交给Hanlder按照Formater的格式进行输出 这三步都可以 对日志进行筛选,什么样的需要显示,什么样的不需要显示 使用方法 import logging # 简单的使用 logging.debug('这是一条日志信息') # 没有输出任何内容 因为logging模块为日志划分了级别,由于你输出的级别没有达到最低级别,所有没有输出 logging.info() logging.debug() logging.warnning() logging.error() logging.critical() 最低等级是warnning logging用数字来表示级别 从低到高 0 10 20 30 40 50 #默认情况下,级别为warnning,输出的位置是控制台,默认的日志格式为 级别:日志生成器的名称:调试的信息 如何修改默认的行为 logging.basicConfig(filename="mylog.txt", # 指定的日志文件名 filemode="a", #指定的是文件打开的模式 通常为a level=logging.DEBUG, # 指定级别 format="%(filename)s %(levelname)s %(asctime)s %(message)s",# 指定显示格式 ) 需求:有一个登录注册 功能 需要记录用户操作日志,程序员需要看到最详细的信息,而boss只需要看到简单信息 #自定义四种核心觉得,完成日志的输出 #参数指定的生成器的名称(因为可以同时存在多个生成器,需要名字来加以区分) mylog = logging.getLogger('mylog') #设置生成器的级别,低于该级别的不会生成 mylog.setLevel(10) # 过滤器 这里不讲 需要使用面向对象的基础知识点(不常用) # 给程序员看的日志处理器 handler1 = logging.FileHandler("youlog.txt",encoding="utf8",) #将处理器 绑定给生成器, add函数表明了 一个生成器可以添加多个处理器 mylog.addHandler(handler1) # 给老板看的日志处理器 handler2 = logging.FileHandler("boss.txt",encoding="utf8",) #将处理器 绑定给生成器, add函数表明了 一个生成器可以添加多个处理器 mylog.addHandler(handler2) # 格式化处理器 # 程序员的格式化处理器 formater1= logging.Formatter(fmt="%(threadName)s %(funcName)s %(module)s %(filename)s %(levelname)s %(asctime)s %(message)s") # 将格式化处理器 绑定给 handler handler1.setFormatter(formater1) # 老板的格式化处理器 formater2= logging.Formatter(fmt="%(levelname)s %(asctime)s %(message)s") # 将格式化处理器 绑定给 handler handler2.setFormatter(formater2) 现在需求已经实现了,但是每次使用日志都要写这么一堆代码,最好把配置写死,直接复制已有的配置信息 # logging.config 专门用于配置logging模块 import logging.config #导入包含配置字典的模块 import loggin_config #通过一个字典来配置logging模块 logging.config.dictConfig(loggin_config.LOGGING_DIC) 通过名称来获取一个生成器 aaloger = logging.getLogger('aa') aaloger.info('测试信息') 当要获取的名称不存在时,会返回一个默认的生成器 aaloger = logging.getLogger('asadafasd') print(aaloger.name) 字典配置(重点) 字典的 内容重点,但是不需要背, 需要记住的是 如何来加载配置

                  '[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字

simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'

id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'

logfile_path = "dictconfig.log"

LOGGING_DIC = {
    'version': 1,
    # 是否禁用已存在的生成器  这个值保持为False 'disable_existing_loggers': False, # 四个key不能随便写 是固定 'formatters': { # standard 表示格式化处理器的名字 相当于变量名称 可以随便写 'standard': { # format是固定的不能随便写 'format': standard_format }, 'simple': { 'format': simple_format }, }, 'filters': {}, 'handlers': { #打印到终端的日志 #console是处理器的名称 可以随便写 'console': { 'level': 'DEBUG', 'class': 'logging.StreamHandler', # 打印到屏幕 'formatter': 'simple' }, #打印到文件的日志,收集info及以上的日志 'default': { 'level': 'DEBUG', 'class': 'logging.handlers.RotatingFileHandler', # 保存到文件 'formatter': 'standard', 'filename': logfile_path, # 日志文件 'maxBytes': 1024*1024*5, # 日志大小 5M 'backupCount': 5, #日志文件最大个数 'encoding': 'utf-8', # 日志文件的编码 }, "ATM":{ 'level': 'DEBUG', 'class': 'logging.handlers.RotatingFileHandler', # 保存到文件 'formatter': 'standard', 'filename': "ATMlog.txt", # 日志文件 'maxBytes': 1024*1024*5, # 日志大小 5M 'backupCount': 5, #日志文件最大个数 'encoding': 'utf-8', # 日志文件的编码 } }, 'loggers': { #logging.getLogger(__name__)拿到的logger配置 #aa是生成器的名称 可以随便写 # 如果将key(生成器名称)设置为空 则意味着将它作为默认的是你生成器 '': { 'handlers': ['default', 'console'], # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕 'level': 'DEBUG', 'propagate': True, # 向上（更高level的logger）传递 日志的继承 }, "atm":{ 'handlers': ['ATM'], # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕 'level': 'DEBUG', 'propagate': True, # 向上（更高level的logger）传递 日志的继承 } }, }``` # 了解知识点 # 自己来定义四种核心角色 import logging mylog = logging.getLogger("father") mylog.setLevel(10) handler = logging.FileHandler("father.log") mylog.addHandler(handler) handler.setLevel(10) fmter = logging.Formatter(fmt="%(threadName)s %(funcName)s %(module)s %(filename)s %(levelname)s %(asctime)s %(message)s") handler.setFormatter(fmter) # 在获取一个生成器 同时指定该生成器的父生成器是father这个生成器 sonlog = logging.getLogger("father.son") # 需求:子生成器 的输出位置与父生成器不同 格式相同 sonhandler = logging.FileHandler("son.txt",encoding="utf8") sonlog.addHandler(sonhandler) sonfmt = logging.Formatter(fmt="%(threadName)s %(funcName)s %(module)s %(filename)s %(levelname)s %(asctime)s %(message)s") sonhandler.setFormatter(sonfmt) # 继承后子生成器 可以直接使用父生成器的配置 # mylog.info("这是一条日志信息!") # sonlog.info("这是 son 输出的日志信息!") #子生成器 在生成一个日志时 会自动给父生成器也发一个 # 取消传递效果 sonlog.propagate = False sonlog.info("这是 son 输出的日志信息!") 学习logging模块,是为了更方便的记录日志,不用再自己解决日志记录的问题 #### 2.sys模块 *** 是system的缩写,表示系统,指的是python的解释器 import sys # 用于操作系统调用解释器时传入的参数 print(sys.argv) 当前文件路径,是解释器的第一个参数 给多个参数,用空格隔开 #当你要开发一款基于cmd的程序时,就需要使用这个属性了,因为一些操作系统没有界面,只能通过cmd来使用 #需求 开发一个基于cmd的复制文件的工具 第一个参数表示被执行的py文件,第二个作为源文件路径,第三个作为目标文件的路径 source_path = sys.argv[1] target_path = sys.argv[2] sys.exit(0) 表示正常退出 总结 sys]处理与python解释器相关的一些操作 添加环境变量 sys.path 获取调用解释器的参数 sys.argv #### 3.shevlem模块*** 用于序列化的模块:json,pickle import shelve shelve.open('test.she') s.['name'] = 'egon' s['dic'] = {'age':20} s = shelve.open('test.she') print(s['name']) #shelve 模块只有一个函数,就是open用于打开一个文件, 打开以后,操作方式与字典完全一致,你可以把它当成字典,并且是自带buff的字典,可以字典给完成序列化 同样支持 python所有的基础数据类型 该模块序列化得到的数据,只能被该模块使用,其他语言没有这个模块,所以无法使用,即无法跨平台,当你写的程序是一个单机程序时,可以考虑 后期,只要涉及到数据交换,就应该使用json