一、txt或者csv文件
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pbcWqI5i-1631199734397)(C:\Users\fylal\AppData\Roaming\Typora\typora-user-images\image-20210909230003954.png)]
import numpy as np
a = np.array(range(20)).reshape((4, 5))
print(a)
# 后缀改为 .txt 一样
filename = 'data/a.csv'
# 写文件
np.savetxt(filename, a, fmt='%d', delimiter=',')
# 读文件
b = np.loadtxt(filename, dtype=np.int32, delimiter=',')
print(b)
缺点：
- 只能保存一维和二维numpy数组，当numpy数组多维时，需要变成二维才能保存
- 不能追加保存，即每次np.savetxt()都会覆盖之前的内容
二、通过numpy读写npy或npz文件
- 读写npy文件
numpy.save(file, arr, allow_pickle=True, fix_imports=True)
file:文件名/文件路径
arr:要存储的数组
allow_pickle:布尔值,允许使用Python pickles保存对象数组(可选参数,默认即可)
fix_imports:为了方便Pyhton2中读取Python3保存的数据(可选参数,默认即可)
import numpy as np
a=np.array(range(20)).reshape((2,2,5))
print(a)
filename='data/a.npy' #保存路径
# 写文件
np.save(filename,a)
#读文件
b=np.load(filename)
print(b)
print(b.shape)
优点：
（1）npy文件可以保存任意维度的numpy数组，不限于一维和二维
（2）npy保存了numpy数组的结构，包括shape和dtype
缺点：
（3）只能保存一个numpy数组，每次保存会覆盖掉之前文件中存在的内容
- 读写npz文件
参数介绍
numpy.savez(file, *args, **kwds)
file:文件名/文件路径
*args:要存储的数组,可以写多个,如果没有给数组指定Key,Numpy将默认从'arr_0','arr_1'的方式命名
kwds:(可选参数,默认即可)
import numpy as np
a = np.array(range(20)).reshape((2, 2, 5))
b = np.array(range(20, 44)).reshape(2, 3 ,4)
print('a:\n', a)
print('b:\n', b)
filename = 'data/a.npz'
# 写文件， 如果不指定key，那么默认key为'arr_0'、'arr_1'，一直排下去。
np.savez(filename, a, b=b)
# 读文件
c = np.load(filename)
print('keys of NpzFile c:\n', c.keys())
print("c['arr_0']:\n", c['arr_0'])
print("c['b']:\n", c['b'])
更加神奇的是，我们可以不适用Numpy给数组的key，而是自己给数组有意义的key，这样就可以不用去猜测自己加载数据是否是自己需要的。
#数据保存
np.savez('newsave_xy',x=x,y=y)
#读取保存的数据
npzfile=np.load('newsave_xy.npz')
#按照保存时设定组数key进行访问
npzfile['a']
npzfile['b']
优点：
（1）npy文件可以保存任意维度的numpy数组；
（2）npy保存了numpy数组的结构；
（3）可以同时保存多个numpy数组
（4）可以指定保存numpy数组的key，读取的时候很方便。
缺点：
（1）保存多个numpy数组时，只能同时保存。
-
通过h5py读写hdf5文件
import numpy as np import h5py a = np.array(range(20)).reshape((2, 2, 5)) b = np.array(range(20)).reshape((1, 4, 5)) print(a) print(b) filename = 'data/data.h5' # 写文件 h5f = h5py.File(filename, 'w') h5f.create_dataset('a', data=a) h5f.create_dataset('b', data=b) h5f.close() # 读文件 h5f = h5py.File(filename, 'r') print(type(h5f)) # 通过切片得到numpy数组 print(h5f['a'][:]) print(h5f['b'][:]) h5f.close()通过切片幅值
import numpy as np import h5py a = np.array(range(20)).reshape((2, 2, 5)) print(a) filename = 'data/a.h5' # 写文件 h5f = h5py.File(filename, 'w') # 当数组a太大，需要切片进行操作时，可以不直接对h5f['a']进行初始化； # 当之后不需要改变h5f['a']的shape时，可以省略maxshape参数 h5f.create_dataset('a', shape=(2, 2, 5), maxshape=(None, 2, 5), dtype=np.int32, compression='gzip') for i in range(2): # 采用切片的形式赋值 h5f['a'][i] = a[i] h5f.close() # 读文件 h5f = h5py.File(filename, 'r') print(type(h5f)) print(h5f['a']) # 通过切片得到numpy数组 print(h5f['a'][:])（1）不限 numpy 数组维度，可以保持 numpy 数组结构和数据类型；
（2）适合 numpy 数组很大的情况，文件占用空间小；
（3）可以通过 key 来访问 dataset（可以理解为 numpy.array），读取的时候很方便，不会混乱。
（4）可以不覆盖原文件中含有的内容。
三、总结
- csv 和 txt 只能用来存一维或二维 numpy 数组；
- npy 用来存单个 numpy 数组，npz 可以同时存多个 numpy 数组，两者都不限 numpy 维度，且都保持 numpy 数组的 shape 和 dtype，写文件时若原文件存在只能覆盖原文件内容；
- 当 numpy 数组很大时，最好使用 hdf5 文件，hdf5 文件相对更小；
- 当 numpy 数组很大时，对整个 numpy 数组进行运算容易发生 MemoryError，那么此时可以选择对 numpy 数组切片，将运算后的数组保存到 hdf5 文件中，hdf5 文件支持切片索引。
参考：