模块概念
什么是模块
常见的场景：一个模块就是一个包含了python定义和声明的文件，文件名就是模块名字加上.py的后缀。
但其实import加载的模块分为四个通用类别：
1 使用python编写的代码（.py文件）
2 已被编译为共享库或DLL的C或C++扩展
3 包好一组模块的包
4 使用C编写并链接到python解释器的内置模块
为何要使用模块？
如果你退出python解释器然后重新进入，那么你之前定义的函数或者变量都将丢失，因此我们通常将程序写到文件中以便永久保存下来，需要时就通过python test.py方式去执行，此时test.py被称为脚本script。
随着程序的发展，功能越来越多，为了方便管理，我们通常将程序分成一个个的文件，这样做程序的结构更清晰，方便管理。这时我们不仅仅可以把这些文件当做脚本去执行，还可以把他们当做模块来导入到其他的模块中，实现了功能的重复利用。
常用模块一
collections模块
在内置数据类型（dict、list、set、tuple）的基础上，collections模块还提供了几个额外的数据类型：Counter、deque、defaultdict、namedtuple和OrderedDict等。
1.namedtuple: 生成可以使用名字来访问元素内容的tuple
2.deque: 双端队列，可以快速的从另外一侧追加和推出对象
3.Counter: 计数器，主要用来计数
4.OrderedDict: 有序字典
5.defaultdict: 带有默认值的字典
namedtuple
namedtuple: 生成可以使用名字来访问元素内容的tuple.
我们知道tuple可以表示不变集合，例如，一个点的二维坐标就可以表示成：
p = (1, 2)
但是，看到(1, 2)，很难看出这个tuple是用来表示一个坐标的。
这时，namedtuple就派上了用场：
from collections import namedtuple Point = namedtuple('point',['x','y']) p = Point(1,2) print(p.x) print(p.y) # print(p.y+p.x) print(p[0]+p[1]) p = p._replace(x=100,y = 30)#更改值 print(p)
类似的，如果要用坐标和半径表示一个圆，也可以用namedtuple定义：
Circle = namedtuple('circle',['x','y','r']) c = Circle(0,0,2) print(c.x) print(c[2])#索引 c = c._replace(x=2,y=2,r=4) print(c)
deque
deque: 双端队列，可以快速的从另外一侧追加和推出对象
使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。
deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：
deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。
from collections import deque q = deque([1,2,3,4,5]) q.append(['lets get it',6]) q.append(7) q.appendleft(0) q.insert(0,-1) print(q.pop()) print(q.popleft()) print(q.index(['lets get it',6])) print(q) # for i in q: # print(i)
queue
队列，先进先出
import queue q = queue.Queue() q.put([1,2,3]) q.put(6) print(q) print(q.get())#[1,2,3] print(q.get())#6 # print(q.get())#取不到，阻塞 print(q.qsize())#元素个数
OrderedDict
有序字典
使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。
如果要保持Key的顺序，可以用OrderedDict：
from collections import OrderedDict d = dict([('k1',1),('k2',2),('k3',3)]) print(d)#普通字典，key无序 od = OrderedDict([('k1',1),('k2',2),('k3',3)]) print(od)#OderedDict的key有序
注意，OrderedDict的Key会按照插入的顺序排列，不是Key本身排序：
from collections import OrderedDict od1 = OrderedDict() od1['x'] = 1 od1['y'] = 2 od1['z'] = 3 print(od1.keys())
defaultdict
有如下值集合 [11,22,33,44,55,66,77,88,99,90...]，将所有大于 66 的值保存至字典的第一个key中，将小于 66 的值保存至第二个key的值中。
即： {
'k1'
: 大于
66
,
'k2'
: 小于
66
}
一、普通字典方法
values = [11, 22, 33,44,55,66,77,88,99,90] my_dict = {} for value in values: if value>66: if 'k1' in my_dict:#python3字典无has_key方法 # if my_dict.has_key('k1'): my_dict['k1'].append(value)#key存在，就向列表中添加value else: my_dict['k1'] = [value]#key不存在就创建一个列表存储value else: if 'k2' in my_dict: # if my_dict.has_key('k2'): my_dict['k2'].append(value) else: my_dict['k2'] = [value] print(my_dict)
二、defaultdict字典解决方法
from collections import defaultdict values = [11, 22, 33,44,55,66,77,88,99,90] d = defaultdict(list) for value in values: if value > 66: d['k1'].append(value) else: d['k2'].append(value) print(d)
注意：使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict：
from collections import defaultdict di = defaultdict(lambda :'hello') di['k'] = '1' di['j'] print(di)
Counter
Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。计数值可以是任意的Interger（包括0和负数）。Counter类和其他语言的bags或multisets很相似
from collections import Counter c = Counter('abcabcabcasdfsdfddddd') print(c) c1 = Counter([1,2,3,2,1,3,45612]) print(c1)
时间模块
关于
和时间有关系的我们就要用到时间模块。在使用模块之前，应该首先导入这个模块。
#常用方法 1.time.sleep(secs) (线程)推迟指定的时间运行。单位为秒。 2.time.time() 获取当前时间戳
表示时间的三种方式
在Python中，通常有这三种方式来表示时间：时间戳、元组(struct_time)、格式化的时间字符串：
(1)时间戳(timestamp) ：通常来说，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量。我们运行“type(time.time())”，返回的是float类型。
(2)格式化的时间字符串(Format String)： ‘2008-08-08’
%y 两位数的年份表示（00-99） %Y 四位数的年份表示（000-9999） %m 月份（01-12） %d 月内中的一天（0-31） %H 24小时制小时数（0-23） %I 12小时制小时数（01-12） %M 分钟数（00=59） %S 秒（00-59） %a 本地简化星期名称 %A 本地完整星期名称 %b 本地简化的月份名称 %B 本地完整的月份名称 %c 本地相应的日期表示和时间表示 %j 年内的一天（001-366） %p 本地A.M.或P.M.的等价符 %U 一年中的星期数（00-53）星期天为星期的开始 %w 星期（0-6），星期天为星期的开始 %W 一年中的星期数（00-53）星期一为星期的开始 %x 本地相应的日期表示 %X 本地相应的时间表示 %Z 当前时区的名称 %% %号本身
(3)元组(struct_time) ：struct_time元组共有9个元素共九个元素:(年，月，日，时，分，秒，一年中第几周，一年中第几天等）
首先，我们先导入time模块，来认识一下python中表示时间的几种格式：
import time print(time.time())#时间戳 print(time.strftime('%Y-%m-%d %H:%M:%S'))#时间字符串,字符串格式化 print(time.localtime()) print(time.localtime(2000000000))#将时间戳转换为struct_time
小结：时间戳是计算机能够识别的时间；时间字符串是人能够看懂的时间；元组则是用来操作时间的
几种格式之间的转换
import time #时间戳-->结构化时间 #time.gmtime(时间戳) UTC时间，与英国伦敦当地时间一致 #time.localtime(时间戳) 当地时间 print(time.gmtime(150)) print(time.localtime(150)) #结构化时间-->时间戳 #time.mktime(结构化时间) t = time.localtime(150) print(time.mktime(t))
import time #结构化时间-->字符串时间 #time.strftime("格式定义","结构化时间") 结构化时间参数若不传，则显示当前时间 print(time.strftime('%Y-%m-%d %X')) print(time.strftime('%Y-%m-%d',time.localtime(150))) #字符串时间-->结构化时间 #time.strptime(时间字符串,字符串对应格式) print(time.strptime('2018/10/01','%Y/%m/%d'))
import time #结构化时间 --> %a %b %d %H:%M:%S %Y串 #time.asctime(结构化时间) 如果不传参数，直接返回当前时间的格式化串 print(time.asctime()) print(time.asctime(time.localtime(150))) #时间戳 --> %a %b %d %H:%M:%S %Y串 #time.ctime(时间戳) 如果不传参数，直接返回当前时间的格式化串 print(time.ctime()) print(time.ctime(150))
计算时间间隔
#时间差 import time #字符串转成结构化 str_time1 = time.strptime('2018-12-8 22:00:00','%Y-%m-%d %H:%M:%S')#前一天时间 str_time2 = time.strptime('2018-12-9 8:00:00','%Y-%m-%d %H:%M:%S')#今天时间 #结构化转成时间戳 time1 = time.mktime(str_time1) time2 = time.mktime(str_time2) t = time2 - time1#时间戳差 print(t) #时间戳转回结构化 t1 = time.gmtime(time2 - time1) #结构化转回字符串 t2 = time.strftime('%H:%M:%S',time.gmtime(t)) print('时间间隔为：',t2)
random模块
import random # 随机小数 print(random.random())#大于0小于1 之间的小数 print(random.uniform(1,3))#大于1小于3的小数 #随机整数 print(random.randint(1,5))#大于等于1且小于等于5之间的整数 print(random.randrange(1,10,2))#大于等于1且小于等于10之间的奇数
import random #随机选择一个返回 print(random.choice(['libai','dufu','baijuyi'])) #随机选择多个返回，返沪的个数为函数的第二个参数 print(random.sample(['red','yellow','white','black','pink','blue'],3)) #打乱列表顺序 li = [1,2,3,4,5,6] random.shuffle(li)#没有返回值 print(li)
os模块
os模块是与操作系统交互的一个接口
os.makedirs('dirname1/dirname2') 可生成多层递归目录 os.removedirs('dirname1') 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推 os.mkdir('dirname') 生成单级目录；相当于shell中mkdir dirname os.rmdir('dirname') 删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname os.listdir('dirname') 列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印 os.remove() 删除一个文件 os.rename("oldname","newname") 重命名文件/目录 os.stat('path/filename') 获取文件/目录信息 os.system("bash command") 运行shell命令，直接显示 os.popen("bash command).read() 运行shell命令，获取执行结果 os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径 os.chdir("dirname") 改变当前脚本工作目录；相当于shell下cd os.path os.path.abspath(path) 返回path规范化的绝对路径 os.path.split(path) 将path分割成目录和文件名二元组返回 os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素 os.path.basename(path) 返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素 os.path.exists(path) 如果path存在，返回True；如果path不存在，返回False os.path.isabs(path) 如果path是绝对路径，返回True os.path.isfile(path) 如果path是一个存在的文件，返回True。否则返回False os.path.isdir(path) 如果path是一个存在的目录，则返回True。否则返回False os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略 os.path.getatime(path) 返回path所指向的文件或者目录的最后访问时间 os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间 os.path.getsize(path) 返回path的大小
注意：os.stat('path/filename') 获取文件/目录信息 的结构说明
stat 结构: st_mode: inode 保护模式 st_ino: inode 节点号。 st_dev: inode 驻留的设备。 st_nlink: inode 的链接数。 st_uid: 所有者的用户ID。 st_gid: 所有者的组ID。 st_size: 普通文件以字节为单位的大小；包含等待某些特殊文件的数据。 st_atime: 上次访问的时间。 st_mtime: 最后一次修改的时间。 st_ctime: 由操作系统报告的"ctime"。在某些系统上（如Unix）是最新的元数据更改的时间，在其它系统上（如Windows）是创建时间（详细信息参见平台的文档）。
os.sep 输出操作系统特定的路径分隔符，win下为"\\",Linux下为"/" os.linesep 输出当前平台使用的行终止符，win下为"\r\n",Linux下为"\n" os.pathsep 输出用于分割文件路径的字符串 win下为;,Linux下为: os.name 输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
sys模块
sys模块是与Python解释器交互的一个接口
sys.argv 命令行参数List，第一个元素是程序本身路径 sys.exit(n) 退出程序，正常退出时exit(0),错误退出sys.exit(1) sys.version 获取Python解释程序的版本信息 sys.path 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值 sys.platform 返回操作系统平台名称
import sys try: sys.exit(1) except SystemExit as e: print(e)
序列化模块
概念
什么叫序列化——将原本的字典、列表等内容转化成一个字符串的过程就是序列化。
比如，我们在python代码中计算的一个数据需要给另外一段程序使用，那我们怎么给？ 现在我们能想到的方法就是存在文件里，然后另一个python程序再从文件里读出来。 但是我们都知道，对于文件来说是没有字典这个概念的，所以我们只能将数据转换成字典放到文件中。 你一定会问，将字典转换成一个字符串很简单，就是str(dic)就可以办到了，为什么我们还要学习序列化模块呢？ 没错序列化的过程就是从dic 变成str(dic)的过程。现在你可以通过str(dic)，将一个名为dic的字典转换成一个字符串， 但是你要怎么把一个字符串转换成字典呢？ 聪明的你肯定想到了eval()，如果我们将一个字符串类型的字典str_dic传给eval，就会得到一个返回的字典类型了。 eval()函数十分强大，但是eval是做什么的？e官方demo解释为：将字符串str当成有效的表达式来求值并返回计算结果。 ＢＵＴ！强大的函数有代价。安全性是其最大的缺点。 想象一下，如果我们从文件中读出的不是一个数据结构，而是一句"删除文件"类似的破坏性语句，那么后果实在不堪设设想。 而使用eval就要担这个风险。 所以，我们并不推荐用eval方法来进行反序列化操作(将str转换成python中的数据结构
序列化的目的
1、以某种存储形式使自定义对象持久化
2、将对象从一个地方传递到另一个地方
3、使程序更具维护性
json模块
JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。
Json模块提供了四个功能：dumps、dump、loads、load
Python3 中可以使用 json 模块来对 JSON 数据进行编解码，它包含了两个函数：
- json.dumps(): 对数据进行编码。
- json.loads(): 对数据进行解码。
在json的编解码过程中，python 的原始类型与json类型会相互转换，具体的转化对照如下：
Python 编码为 JSON 类型转换对应表：
JSON 解码为 Python 类型转换对应表：
json.dumps 与 json.loads（字符串）
import json dic = {'red':'apple','yellow':'orange'} str_dic = json.dumps(dic)#序列化，将字典转化成字符串 print(type(str_dic),str_dic) #注意，json转换完的字符串类型的字典中的字符串是由""表示的 dic1 = json.loads(str_dic)#反序列化 #注意，要用json的loads功能处理的字符串类型的字典中的字符串必须由""表示 print(type(dic1),dic1)
json.dump 与 json.load（文件）
如果你要处理的是文件而不是字符串，你可以使用 json.dump() 和 json.load() 来编码和解码JSON数据。
import json dic = {'red':'apple','yellow':'orange'} #写入数据，dump方法接收一个文件句柄，直接将字典转换成json字符串写入文件 with open('f.test','w') as f: json.dump(dic,f) #读取数据，load方法接收一个文件句柄，直接将文件中的json字符串转换成数据结构返回 with open('f.test') as f: f1 = json.load(f) print(type(f1),f1)
dump（ensure_ascii）
如果ensure_ascii为true（默认值），则保证输出将所有传入的非ASCII字符转义。如果ensure_ascii为false，则这些字符将按原样输出。
import json f = open('f.test','w',encoding='utf-8') json.dump({'国家':'中国'},f) # ret = json.dumps({'国家':'中国'}) # f.write(ret+'\n')#一行一行的写进去 json.dump({'国籍':'美国'},f,ensure_ascii=False) # ret = json.dumps({'国籍':'美国'},ensure_ascii=False) # f.write(ret+'\n') f.close() with open('f.test',encoding='utf-8') as f: print(f.readlines())
dump（其他参数）
ident:
如果indent是非负整数或字符串，那么JSON数组元素和对象成员将使用该缩进级别进行漂亮打印。缩进级别为0，为负，或""仅插入换行符。 None（默认值）选择最紧凑的表示。使用正整数缩进缩进每个级别的许多空格。如果indent是一个字符串（例如"\t"），则该字符串用于缩进每个级别。
sort_keys:
如果sort_keys为true，则字典的输出将按键排序。（默认值:)False
import json dic = dic = {'a':'apple','b':'orange','c':'banana','d':'others'} s = json.dumps(dic,indent='\t',sort_keys=True) print(s)
pickle模块
json & pickle 模块
用于序列化的两个模块
- json，用于字符串和Python数据类型间进行转换
- pickle，用于python特有的类型和python数据类型间进行转换
pickle模块提供了四个功能：dumps、dump(序列化，存）、loads（反序列化，读）、load （不仅可以序列化字典，列表...可以把python中任意的数据类型序列化）
import pickle dic = {'red':'apple','yellow':'orange'} s = pickle.dumps(dic) print(type(s),s)#二进制bytes类型 s1 = pickle.loads(s) print(type(s1),s1)
import pickle import time struc_time = time.localtime(150) print(struc_time) f = open('pickle_file','wb')#要以bytes类型写进文件 pickle.dump(struc_time,f) f.close() f = open('pickle_file','rb') struc_time1 = pickle.load(f) print(struc_time1)
既然pickle如此强大，为什么还要学json呢？
说明一下，json是一种所有的语言都可以识别的数据结构。
如果我们将一个字典或者序列化成了一个json存在文件里，那么java代码或者js代码也可以拿来用。
但是如果用pickle进行序列化，其他语言就不能读懂这是什么了～
所以，如果要序列化的内容是列表或者字典，那就最好使用json模块
但如果出于某种原因你不得不序列化其他的数据类型，而未来你还会用python对这个数据进行反序列化的话，那么就可以使用pickle
shelve模块
shelve是一个简单的数据存储方案，类似key-value数据库，可以很方便的保存python对象，其内部是通过pickle协议来实现数据序列化。shelve只有一个open()函数，这个函数用于打开指定的文件（一个持久的字典），然后返回一个shelf对象。shelf是一种持久的、类似字典的对象。它与“dbm”的不同之处在于，其values值可以是任意基本Python对象--pickle模块可以处理的任何数据。这包括大多数类实例、递归数据类型和包含很多共享子对象的对象。keys还是普通的字符串。
open(filename, flag='c', protocol=None, writeback=False)
flag 参数表示打开数据存储文件的格式，可取值与dbm.open()函数一致：
protocol 参数表示序列化数据所使用的协议版本；
writeback 参数表示是否开启回写功能。
我们可以把shelf对象当dict来使用--存储、更改、查询某个key对应的数据，当操作完成之后，调用shelf对象的close()函数即可。当然，也可以使用上下文管理器（with语句），避免每次都要手动调用close()方法。
import shelve f = shelve.open('shelve_file') f['key'] = {'int':10, 'float':9.5, 'string':'Sample data'} #直接对文件句柄操作，就可以存入数据 s = f['key'] print(s) f.close()
import shelve f = shelve.open('shelve_file') f['name'] = 'tom' f['age'] = 18 f['hobby'] = ['movie','basketball','swim'] f['other_info'] = {'phone':'123456','address':'beijing'} f.close() with shelve.open('shelve_file') as f: for key,value in f.items(): print(key,'-->',value)
pass