json与pickle模块
-
什么是序列化&反序列化
# 我们把对象(变量)从内存中变成可存储或传输的过程称之为序列化 # 内存中的数据类型<----反序列化<----特定的格式（json格式或者pickle格式） 土办法： {'aaa':111}--->序列化str({'aaa':111})----->"{'aaa':111}" {'aaa':111}<---反序列化eval("{'aaa':111}")<-----"{'aaa':111}" -
为何要序列化
# 序列化得到结果=>特定的格式的内容有两种用途 # 1、可用于存储=》用于存档 # 2、传输给其他平台使用=》跨平台数据交互 # python java # 列表 特定的格式 数组 # 强调： # 针对用途1的特定一格式：可是一种专用的格式=》pickle只有python可以识别 # 针对用途2的特定一格式：应该是一种通用、能够被所有语言识别的格式=》json -
如何序列化与反序列化
# 示范1 import json # # 序列化 json_res=json.dumps([1,'aaa',True,False]) print(json_res,type(json_res)) # [1, "aaa", true, false] <class 'str'> # # 反序列化 l=json.loads(json_res) print(l,type(l)) # [1, 'aaa', True, False] <class 'list'> # 示范2： import json # 序列化的结果写入文件的复杂方法 json_res=json.dumps([1,'aaa',True,False]) with open('test.json',mode='wt',encoding='utf-8') as f: f.write(json_res) # 将序列化的结果写入文件的简单方法 with open('test.json',mode='wt',encoding='utf-8') as f: json.dump([1,'aaa',True,False],f) # 从文件读取json格式的字符串进行反序列化操作的复杂方法 with open('test.json',mode='rt',encoding='utf-8') as f: json_res=f.read() l=json.loads(json_res) print(l,type(l)) # 从文件读取json格式的字符串进行反序列化操作的简单方法 with open('test.json',mode='rt',encoding='utf-8') as f: l=json.load(f) print(l,type(l)) # json验证: json格式兼容的是所有语言通用的数据类型，不能识别某一语言的所独有的类型 json.dumps({1,2,3,4,5}) # 不能识别集合 # json强调：一定要搞清楚json格式，不要与python混淆 l=json.loads('[1, "aaa", true, false]') # 外面是单引号 内部是双引号 print(l[0])# 1 l=json.loads("[1,1.3,true,'aaa', true, false]") # 外面是双引号 内部是单引号 print(l[0]) # Expecting value: line 1 column 13 (char 12) # 了解 可以直接读bytes类型 l = json.loads(b'[1, "aaa", true, false]') print(l, type(l)) # [1, 'aaa', True, False] <class 'list'> with open('test.json',mode='rb') as f: l=json.load(f) res=json.dumps({'name':'哈哈哈'}) # 中文转换成系统编码格式 print(res,type(res)) # {"name": "\u54c8\u54c8\u54c8"} <class 'str'> res=json.loads('{"name": "\u54c8\u54c8\u54c8"}') print(res,type(res)) {'name': '哈哈哈'} <class 'dict'> -
猴子补丁
# 猴子补丁的核心就是用自己的代码替换所用模块的源代码 # 拥有在模块运行时替换的功能, 例如: 一个函数对象赋值给另外一个函数对象(把函数原本的执行的功能给替换了) class Monkey: def hello(self): print('hello') def world(self): print('world') def other_func(): print("from other_func") monkey = Monkey() monkey.hello = monkey.world monkey.hello() # word monkey.world = other_func monkey.world() # from other_func #如果我们的程序中已经基于json模块编写了大量代码了，发现有一个模块ujson比它性能更高，但用法一样，我们肯定不会想所有的代码都换成ujson.dumps或者ujson.loads,那我们可能会想到这么做 #import ujson as json，但是这么做的需要每个文件都重新导入一下，维护成本依然很高此时我们就可以用到猴子补丁了只需要在入口处加上打猴子补丁 import json import ujson def monkey_patch_json(): json.__name__ = 'ujson' json.dumps = ujson.dumps json.loads = ujson.loads monkey_patch_json() # 在入口文件出运行 # import ujson as json # 不行 # 后续代码中的应用 json.dumps() json.dumps() json.loads() json.loads() -
pickle模块
# 用法跟json一样，dump保存的是bytes形式 import pickle res=pickle.dumps({1,2,3,4,5}) print(res,type(res))#b'\x80\x04\x95\x0f\x00\x00\x00\x00\x00\x00\x00\x8f\x94(K\x01K\x02K\x03K\x04K\x05\x90.' <class 'bytes'> s=pickle.loads(res) print(s,type(s)) # {1, 2, 3, 4, 5} <class 'set'> import pickle dic={'name':'alvin','age':23,'sex':'male'} print(type(dic)) # <class 'dict'> j=pickle.dumps(dic) print(type(j)) # <class 'bytes'> f=open('序列化对象_pickle','wb')#注意是w是写入str,wb是写入bytes,j是'bytes' f.write(j) #-------------------等价于pickle.dump(dic,f) #-------------------------反序列化 import pickle f=open('序列化对象_pickle','rb') data=pickle.loads(f.read())# 等价于data=pickle.load(f) print(data['age']) # 23
configparser模块
-
注释文件
# 注释1 ; 注释2 [section1] k1 = v1 k2:v2 user=egon age=18 is_admin=true salary=31 [section2] k1 = v1 -
读取
import configparser config=configparser.ConfigParser() config.read('test.ini') # 1、获取sections print(config.sections()) # ['section1', 'section2'] # 2、获取某一section下的所有options print(config.options('section1')) # ['k1', 'k2', 'user', 'age', 'is_admin', 'salary'] # 3、获取items print(config.items('section1')) # [('k1', 'v1'), ('k2', 'v2'), ('user', 'egon'), ('age', '18'), ('is_admin', 'true'), ('salary', '31')] # 4、获取具体的值 res=config.get('section1','user') print(res,type(res)) # egon <class 'str'> res=config.getint('section1','age') print(res,type(res)) # 18 <class 'int'> res=config.getboolean('section1','is_admin') print(res,type(res)) # True <class 'bool'> res=config.getfloat('section1','salary') print(res,type(res)) # 31.0 <class 'float'>
hashlib模块
-
什么是hashlib模块
1、什么叫hash:hash是一种算法（3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法），该算法接受传入的内容，经过运算得到一串hash值 2、hash值的特点是： 2.1 只要传入的内容一样，得到的hash值必然一样=====>要用明文传输密码文件完整性校验 2.2 不能由hash值返解成内容=======》把密码做成hash值，不应该在网络传输明文密码 2.3 只要使用的hash算法不变，无论校验的内容有多大，得到的hash值长度是固定的 -
hash的用途
用途1：特点II用于密码密文传输与验证 用途2：特点I、III用于文件完整性校验 -
运用
import hashlib m=hashlib.md5() m.update('hello'.encode('utf-8')) m.update('world'.encode('utf-8')) print(m) # <md5 HASH object @ 0x00000230F2905B50> m = 'helloworld'的md5加密 res=m.hexdigest() # print(res) # fc5e038d38a57032085441e7fe7010b0 m1=hashlib.md5('he'.encode('utf-8')) m1.update('llo'.encode('utf-8')) m1.update('w'.encode('utf-8')) m1.update('orld'.encode('utf-8')) print(m1) # <md5 HASH object @ 0x00000217A5375B10> m1 = 'helloworld'的md5加密 res=m1.hexdigest()# 'helloworld' print(res) # fc5e038d38a57032085441e7fe7010b0 但是hash值相同与m # 模拟撞库 cryptograph='aee949757a2e698417463d47acac93df' import hashlib # 制作密码字段 passwds=[ 'alex3714', 'alex1313', 'alex94139413', 'alex123456', '123456alex', 'a123lex', ] dic={} for p in passwds: res=hashlib.md5(p.encode('utf-8')) dic[p]=res.hexdigest() # 模拟撞库得到密码 for k,v in dic.items(): if v == cryptograph: print('撞库成功，明文密码是：%s' %k) break # 提升撞库的成本=>密码加盐 import hashlib # 原hash值（'aee949757a2e698417463d47acac93df'） m=hashlib.md5() m.update('天王'.encode('utf-8')) m.update('alex3714'.encode('utf-8')) m.update('盖地虎'.encode('utf-8')) print(m.hexdigest()) # ef606e983c958a13273eaad0b29a054c
subprocess模块
import subprocess
obj=subprocess.Popen('dir c:',shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE,
)
print(obj) # <subprocess.Popen object at 0x000001DE8C703AF0>
res=obj.stdout.read()
print(res.decode('utf-8')) # 返回结果
err_res=obj.stderr.read()
print(err_res.decode('utf-8')) # None