collections模块-数据类型扩展模块
''' 在内置数据类型（dict、list、set、tuple）的基础上，collections模块还提供了几个额外的数据类型：Counter、deque、defaultdict、namedtuple和OrderedDict等。 1.namedtuple: 生成可以使用名字来访问元素内容的tuple 2.deque: 双端队列，可以快速的从另外一侧追加和推出对象 3.Counter: 计数器，主要用来计数 4.OrderedDict: 有序字典 5.defaultdict: 带有默认值的字典 '''
namedtuple 具名元组
from collections import namedtuple point = namedtuple('坐标点', ['x', 'y']) p = point(1.0, 10.2) print(p) # 坐标点(x=1.0, y=10.2) print(p.x) print(p.y) # 1.0 # 10.2 def namedtuple_code(): from collections import namedtuple # 第一个是类名，第二个是类的各个字段的名字。后者可以是由数个字符串组成的可迭代对象，或者是由空格分隔开的字段名组成的字符串 # name_list = ['name', 'country', 'population', 'area'] # City = namedtuple('City', name_list) City = namedtuple('City', 'name country population area') # # 注意：元素的个数必须跟namedtuple第二个参数里面的值对应元素的数量一致 shanghai = City('shanghai', 'China', 24240000, '华东') beijing = City('beijing', 'China', 21540000, '华北') print(shanghai) print(shanghai.name, shanghai.country, shanghai.population, shanghai.area) print(shanghai[0], shanghai[1], shanghai[2], shanghai[3]) # 可以直接用 .名字 取值，也可以直接用索引取值 # City(name='shanghai', country='China', population=24240000, area='华东') # shanghai China 24240000 华东 # shanghai China 24240000 华东 print(beijing) print(beijing.name, beijing.country, beijing.population, beijing.area) # City(name='beijing', country='China', population=21540000, area='华北') # beijing China 21540000 华北 target_city = [] target_city.append(shanghai) target_city.append(beijing) print(target_city) # [City(name='shanghai', country='China', population=24240000, area='华东'), City(name='beijing', country='China', population=21540000, area='华北')]
deque 双端队列(FIFO: first in first out)
# 特殊点，双端队列可以根据索引在任意位置插值（队列不应该支持任意位置插值，只能在首尾插值） # 使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。 # deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈
from collections import deque q = deque(['a', 'b', 'c']) q.append(1) # 尾部添加 q.appendleft(2) # 开头添加 print(q) print(q.pop(), q.popleft()) # 尾部出队， 头部出队 print(q) # deque([2, 'a', 'b', 'c', 1]) # 1 2 # deque(['a', 'b', 'c']) q.insert(1, '哈哈哈') print(q) # deque(['a', '哈哈哈', 'b', 'c'])
扩展：queue队列模块
import queue ''' put 往队列添加值 get 从队列取值 ''' q = queue.Queue() # 生成队列对象 print(q) # <queue.Queue object at 0x000002D69AF45198> q.put('first') # 往队列里添值 q.put('second') q.put('third') print(q.get()) # 从队列取值 print(q.get()) print(q.get()) # print(q.get()) # 如果队列中的值取完了，程序会在原地等待，直到从队列中拿到值才停止 # first # second # third # ---原地等待----
OrderedDict 有序字典
# 跟普通的字典的区别是有序无序（插入顺序） # OrderedDict的Key会按照插入的顺序排列 from collections import OrderedDict ordered_d1 = OrderedDict([('a', 1), ('b', 2)]) print(ordered_d1) # OrderedDict([('a', 1), ('b', 2)]) # python自带字典无序可以在python2.x 中验证
defalutdict 默认值字典
# defaultdict 默认值字典，后续字典中新建的key对应的值就是括号里的 # 在使用key取值的时候，如果key不存在，会返回定义时的那个默认值 defaultdict(list) # 与之前fromkeys 空列表的区别，不会共用同一个列表 from collections import defaultdict values = [11, 22, 33, 44, 55, 66, 77, 88, 99, 90] my_dict = defaultdict(list) # 后续该字典中新建的key对应的value默认就是列表 for value in values: if value > 66: my_dict['k1'].append(value) else: my_dict['k2'].append(value) print(my_dict) # defaultdict(<class 'list'>, {'k2': [11, 22, 33, 44, 55, 66], 'k1': [77, 88, 99, 90]}) # int 的默认值是0， bool 的默认值是False， tuple的默认值是 () my_dict1 = defaultdict(int) print(my_dict1['xxx']) print(my_dict1['yyy']) # 0 # 0 my_dict2 = defaultdict(bool) print(my_dict2['kkk']) # False my_dict3 = defaultdict(tuple) print(my_dict3['mmm']) # ()
Counter 计数
# Counter 计数，跟踪值出现的次数，一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。 from collections import Counter l = [1, 3, 'a', 'c', 'aa', 'a', 'b', 'c'] c = Counter(l) print(c) # Counter({'a': 2, 'c': 2, 1: 1, 3: 1, 'aa': 1, 'b': 1})
s = 'abcdeabcdabcaba' # 普通python代码写法 d = {} for i in s: if i not in d: d[i] = 1 else: d[i] += 1 print(d) # {'a': 5, 'b': 4, 'c': 3, 'd': 2, 'e': 1} # Counter 计数写法 from collections import Counter s = Counter('abcdeabcdabcaba') print(s) # Counter({'a': 5, 'b': 4, 'c': 3, 'd': 2, 'e': 1})
time模块与datetime模块-日期时间模块
random模块-随机模块
python产生随机数的（无规律）模块， # 此部分的打印结果仅供参考（因为是随机的，所以可能每次都会不同）
import random # random 随机生成 0-1之间的小数 print(random.random()) # 0.322594699359685 # randint(1, 5)随机生成1-5之间的整数（包含1和5） print(random.randint(1, 5)) # 2 # choice 随机返回传入的迭代对象中的一个值 print(random.choice([1, '23', [4, 5]])) # [4, 5] # shuffle 打乱传入列表的元素顺序 item = [1, 3, 5, 6, 7] print(random.shuffle(item), item) # None [6, 7, 1, 3, 5] print(random.shuffle(item), item) # None [6, 7, 5, 1, 3]
import random # uniform(1, 3) 随机返回一个大于1小于3的小数 print(random.uniform(1, 3)) # 2.2101994265961986 # randrange(1, 10, 2) 随机返回一个大于1且小于10之间的奇数 print(random.randrange(1, 10, 2)) # 3 # sample(可迭代对象, 返回个数) 随机选择指定个数（第二个参数）的元素返回（放在列表里） print(random.sample([1, '23', [4, 5]], 2)) # [[4, 5], 1]
生成指定位数验证码demo
''' 要求： 5位数的随机字符串验证码（组成：大写字母 小写字母 数字） 写成函数，用户输入几，就生成几位 print(ord('a'), ord('z')) # 97 122 print(ord('A'), ord('Z')) # 65 90 print(ord('0'), ord('9')) # 48 57 '''
# 生成所有0-9数字字符列表 num_list = [chr(i) for i in range(48, 57+1)] # 生成所有小写字母列表 lower_letter_list = [chr(i) for i in range(97, 122+1)] # 生成所有大写字母列表 upper_letter_list = [chr(i) for i in range(65, 90+1)] # 将大小写字母以及数字都放到一个大列表里去 verify_char_list = [] verify_char_list.extend(num_list) verify_char_list.extend(lower_letter_list) verify_char_list.extend(upper_letter_list) # print(verify_char_list) # # ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z'] # 根据用户输入的次数,生成指定位数的随机字符串 def get_verify_code(count): # 写法一 # random_code = [] # for i in range(count): # # 随机取一个字符，并放到验证码的列表里 # random_code.append(random.choice(verify_char_list)) # return ''.join(random_code) # 将列表里的所有字符拼起来，返回给调用者 # 写法二 random_code = random.sample(verify_char_list, count) return ''.join(random_code) count = int(input("Please input the count of your verify code>>>:").strip()) print(get_verify_code(count)) # Please input the count of your verify code>>>:8 # Ht1ixiea
import random def get_code(n): code = '' for i in range(n): # 先生成随机的大写字母 小写字母 数字 upper_str = chr(random.randint(65, 90)) lower_str = chr(random.randint(97, 122)) random_int = str(random.randint(0, 9)) # 从上面三个中随机选择一个作为随机验证码的某一位 code += random.choice([upper_str, lower_str, random_int]) return code n = int(input("Please input the count of you want>>>:").strip()) # 假定用户输入的都是合法数字 res = get_code(n) print(res) # Please input the count of you want>>>:5 # P5SSZ
os模块-操作系统的文件系统
sys模块-python解释器
json与pickle模块-反序列化模块
序列：序列就是指字符串
序列化：其它数据类型转换为字符串的过程
为什么要序列化
''' 为什么要序列化： 写入文件的数据必须是字符串或者二进制（数据类型中只有字符串可以encode可以变成二进制） 各个语言（python java c++）的数据类型不一样（数据之间要共用，传递） 基于网络传输的数据必须是二进制 '''
两个过程： # 序列化：把其它数据类型转换成字符串 ， # 反序列化：把字符串转成其它数据类型
在python中两个序列化模块的特点
''' json模块（*********） 所有的编程语言都支持json 格式 支持的python数据类型很少，字符串、列表、字典、整型、元组（转成列表了）（对象、函数 不是所有语言都能相通） pickle模块 只支持python 一门语言 python所有的数据类型都支持 '''
json模块
import json # dumps 序列化：将一个传入的数据类型序列化（转换）为字符串 dic = {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'} str_dic = json.dumps(dic) print(str_dic, type(str_dic)) # json转换的字符串类型的字典的字符是由 "" 表示的（不管你是单引号还是双引号） # {"k1": "v1", "k2": "v2", "k3": "v3"} <class 'str'> l = [1, 2, 45, 6, 7] str_l = json.dumps(l) print(str_l, type(str_l)) # [1, 2, 45, 6, 7] <class 'str'> t = (13, 2, 45, 66, 7) str_t = json.dumps(t) print(str_t, type(str_t)) # json中没有元组类型，python中的list、tuple序列化后都会成为（json里数组类型的）字符串 # [13, 2, 45, 66, 7] <class 'str'> # loads 反序列化：将json字符串反序列化（转换）回python的对应数据类型 str_dic = json.loads(str_dic) print(str_dic, type(str_dic)) # {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'} <class 'dict'> str_l = json.loads(str_l) print(str_l, type(str_l)) # [1, 2, 45, 6, 7] <class 'list'> # 已经返不回tuple元组了（json列表反序列化的python中的list列表） str_t = json.loads(str_t) print(str_t, type(str_t)) # [13, 2, 45, 66, 7] <class 'list'>
# fp 形参，代表文件句柄对象 ''' dump load 是与文件一起操作的 ''' dic = {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'} # 没有这个文件没关系，w模式会自动创建 with open('userinfo.txt', 'w', encoding='utf-8') as f: json.dump(dic, f) # 将python数据类型序列化为字符串并自动写入文件 with open('userinfo.txt', 'r', encoding='utf-8') as f: res = json.load(f) # 将字符串反序列化成python数据类型 print(res, type(res)) # {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'} <class 'dict'>
看完上面dump load，在你实际操作时可能会遇到有多个字典反序列化不回来的情况，可以这样处理
# 用 loads 来分行处理字符串，然后再返回 import json dic = {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'} with open('userinfo.txt', 'w', encoding='utf-8') as f: json_str = json.dumps(dic) # 放两边，存两个字典 f.write('%s\n' % json_str) f.write('%s\n' % json_str) with open('userinfo.txt', 'r', encoding='utf-8') as f: for line in f: # 一行一行反序列化回字符串 res = json.loads(line) print(res, type(res)) t = (1, 2, 3, 4) print(json.dumps(t)) # {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'} <class 'dict'> # {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'} <class 'dict'> # [1, 2, 3, 4]
d1 = {'name': '孙坚强超坚强'}
print(json.dumps(d1))
print(json.dumps(d1, ensure_ascii=False)) # 通过指定 ensure_ascii=False来避免
# {"name": "\u5b59\u575a\u5f3a\u8d85\u575a\u5f3a"}
# {"name": "孙坚强超坚强"}
pickle模块
大体上与json模块一致（支持的语言种类不同，pickle只支持python，数据序列化成二进制数据）
import pickle # pickle 模块支持python中的所有数据类型，但是他只能支持python一门语言 # dumps loads 序列化反序列化，序列化的结果是二进制 d = {'name': 'Arson'} res = pickle.dumps(d) # 将对象直接转成二进制 print(pickle.dumps(d)) # b'\x80\x03}q\x00X\x04\x00\x00\x00nameq\x01X\x05\x00\x00\x00Arsonq\x02s.' res1 = pickle.loads(res) print(res1, type(res1)) # {'name': 'Arson'} <class 'dict'>
import pickle """ 用pickle操作文件的时候 文件的打开模式必须是b模式（b模式不能加encoding哦） """ # dump load 配合文件使用的序列化反序列化 with open('userinfo_1.txt', 'wb') as f: pickle.dump(d, f) with open('userinfo_1.txt', 'rb') as f: res = pickle.load(f) print(res, type(res)) # {'name': 'Arson'} <class 'dict'>
subprocess模块
subprocess模块，子进程模块
远程操作电脑的歩鄹：
# 远程操作电脑 # 1.用户通过网络连接上了这台电脑 # 2.用户输入相应的命令，基于网络发送给了你这台电脑上的某个程序 # 3.获取用户命令，利用subprocess模块执行该命令 # 4.将执行结果再基于网络再发送给用户 # 这样就实现了 用户远程操作你这台电脑的操作
import subprocess # 执行传入的第一个参数(如果参数是错误命令,则会打印 stderr 信息) obj = subprocess.Popen('tasklist', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) print(obj) # <subprocess.Popen object at 0x00000200D3CC8668> print('正确命令返回的结果stdout', obj.stdout.read().decode('GBK')) # 没错误就返回（Windows终端默认编码GBK） # stdout # 映像名称 PID 会话名 会话# 内存使用 # ========================= ======== ================ =========== ============ # System Idle Process 0 Services 0 8 K # System 4 Services 0 140 K # Registry 96 Services 0 34,416 K # ........省略大量信息 print('错误命令返回的提示信息stderr', obj.stderr.read().decode('GBK')) # 在第一个参数不存在的时候，stderr才会输出信息 # stderr 'dfsfs' 不是内部或外部命令，也不是可运行的程序 # 或批处理文件。
小案例，在python命令行执行操作系统命令
while True: cmd = input('cmd>>>:').strip() import subprocess obj = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) # print(obj) print('正确命令返回的结果stdout', obj.stdout.read().decode('gbk')) print('错误命令返回的提示信息stderr', obj.stderr.read().decode('gbk'))
