Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记
数据的csv文件存取
csv文件
CSV文件（Comma-Separated Value,逗号分隔值）
CSV是一种常见的文件格式，用来存储批量数据。
将文件写入CSV文件：
np.savetxt(frame,array,fmt="%.18e",delimiter=None)
参数：
frame:文件（如：a.csv）、字符串或产生器，可以是.gz或.bz2的压缩文件。
array:存入文件的数组。
fmt：写入文件的格式，例如：%d %.2f %.18e(科学计数法保留18位小数).a.csv
delimiter：分割字符串，默认是空格。
import numpy as np
a = np.arange(100).reshape(5,20)
a
array([[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15,
16, 17, 18, 19],
[20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35,
36, 37, 38, 39],
[40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55,
56, 57, 58, 59],
[60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75,
76, 77, 78, 79],
[80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95,
96, 97, 98, 99]])
np.savetxt('a.csv',a,fmt='%d',delimiter=',') #以整数存储
文件打开后如下所示：
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19
20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39
40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59
60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79
80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99
np.savetxt('a.csv',a,fmt='%.1f',delimiter=',') #以浮点数存储
文件打开后如下所示：
0.0,1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0,11.0,12.0,13.0,14.0,15.0,16.0,17.0,18.0,19.0
20.0,21.0,22.0,23.0,24.0,25.0,26.0,27.0,28.0,29.0,30.0,31.0,32.0,33.0,34.0,35.0,36.0,37.0,38.0,39.0
40.0,41.0,42.0,43.0,44.0,45.0,46.0,47.0,48.0,49.0,50.0,51.0,52.0,53.0,54.0,55.0,56.0,57.0,58.0,59.0
60.0,61.0,62.0,63.0,64.0,65.0,66.0,67.0,68.0,69.0,70.0,71.0,72.0,73.0,74.0,75.0,76.0,77.0,78.0,79.0
80.0,81.0,82.0,83.0,84.0,85.0,86.0,87.0,88.0,89.0,90.0,91.0,92.0,93.0,94.0,95.0,96.0,97.0,98.0,99.0
读入csv文件
np.loadtxt(frame，dtype=np.float,delimiter=None,unpack=False)
参数：
frame:文件、字符串或产生器，可以是.gz或.bz2的压缩文件。
dtype:数据类型，可选。
delimiter:分割字符串，默认是任何空格。
unpack：如果True，读入属性将分别写入不同变量。
b = np.loadtxt('a.csv',delimiter=',') #导入数据
b
array([[ 0., 1., 2., 3., 4., 5., 6., 7., 8., 9., 10., 11., 12.,
13., 14., 15., 16., 17., 18., 19.],
[20., 21., 22., 23., 24., 25., 26., 27., 28., 29., 30., 31., 32.,
33., 34., 35., 36., 37., 38., 39.],
[40., 41., 42., 43., 44., 45., 46., 47., 48., 49., 50., 51., 52.,
53., 54., 55., 56., 57., 58., 59.],
[60., 61., 62., 63., 64., 65., 66., 67., 68., 69., 70., 71., 72.,
73., 74., 75., 76., 77., 78., 79.],
[80., 81., 82., 83., 84., 85., 86., 87., 88., 89., 90., 91., 92.,
93., 94., 95., 96., 97., 98., 99.]])
b = np.loadtxt('a.csv',dtype=np.int,delimiter=',') #以整数导入数据
b
array([[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15,
16, 17, 18, 19],
[20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35,
36, 37, 38, 39],
[40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55,
56, 57, 58, 59],
[60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75,
76, 77, 78, 79],
[80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95,
96, 97, 98, 99]])
CSV文件的局限性
CSV文件只能有效存储一维和二维数组
np.savetxt() np.loadtxt()只能有效存取一维和二维数组
任意维度数据的存取
存储
利用ndarray中的tofile（）方法
a.tofile(frame,sep=’’,format=’%s’)
参数：
frame：文件、字符串。
sep:数据分割字符串，如果是空串，写入文件为二进制。
format:写入数据的格式。
a = np.arange(100).reshape(5,10,2)
a.tofile('b.bat',sep=",",format="%d")
文件打开如下，没有维度信息，只是将数组中的元素逐一地列出并输出到该文件中，是个文本文件。
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99
a = np.arange(100).reshape(5,10,2)
a.tofile('b.bat',format="%d") #假设不指定分隔符
生成的文件是一个二进制文件，我们无法用文本编辑器看懂。事实上二进制文件比文本文件占用更小的空间。
读取
np.fromfile(frame, dtype=float,count=-1,sep='')
参数：
frame：文件、字符串。
dtype:读取的数据类型。
count:读入元素的个数，-1表示读入整个文件。
sep：数据分割字符串，如果是空串，写入文件为二进制。
c = np.fromfile("b.bat",dtype=np.int,sep='').reshape(5,10,2) #利用reshape方法得到想要的数组维度
c
array([[[ 0, 1],
[ 2, 3],
[ 4, 5],
[ 6, 7],
[ 8, 9],
[10, 11],
[12, 13],
[14, 15],
[16, 17],
[18, 19]],
[[20, 21],
[22, 23],
[24, 25],
[26, 27],
[28, 29],
[30, 31],
[32, 33],
[34, 35],
[36, 37],
[38, 39]],
[[40, 41],
[42, 43],
[44, 45],
[46, 47],
[48, 49],
[50, 51],
[52, 53],
[54, 55],
[56, 57],
[58, 59]],
[[60, 61],
[62, 63],
[64, 65],
[66, 67],
[68, 69],
[70, 71],
[72, 73],
[74, 75],
[76, 77],
[78, 79]],
[[80, 81],
[82, 83],
[84, 85],
[86, 87],
[88, 89],
[90, 91],
[92, 93],
[94, 95],
[96, 97],
[98, 99]]])
注意：
该方法需要读取时知道存入文件时数组的维度和元素类型
a.tofile()和np.fromfile()需要配合使用
为了解决上述问题，我们可以通过再写一个文件，将要存储的数组的每个元素的类型及数组的维度作为元信息存储起来，读入数组时通过元文件获取该数组的信息。
这样的方法显然有一些复杂和麻烦，但是对于一些大规模数据存储时这样的方法还是有效的。
Numpy的便捷文件存取
下面这个方法可以很好地解决多维数组的存取问题
这种方法文件的读取和写入是基于numpy自定义的文件格式，如果你不想用这种文件格式，就用上一种方法，如果无所谓，就使用这种方法。
np.save(fname,array)或np.savez(fname,array)
frame:文件名称，以.npy为扩展名，压缩扩展名为.npz 。这种文件是numpy自定义的文件类型
array:数组变量
np.load(fname)
frame:文件名，以.npy为扩展名，压缩扩展名为.npz
numpy的随机数函数子库
调用 ： np.random.*
函数 说明
rand(d0,d1,…dn) 根据d0-dn创建随机数数组，浮点数，[0,1),均匀分布
randn(d0,d1,…dn) 根据d0-dn创建随机数数组，标准正态分布
randint(low[,high,shape]) 根据shape创建随机整数或整数数组，范围是[low,high)
seed(s) 随机数种子，s是给定的种子值
shuffle(a) 根据数组a的第一轴（最外层维度）进行随机排列，改变数组x
permutation(a) 根据数组a的第一轴产生一个新的乱序数组，不改变x
choice(a[,size,replace,p]) 从一维数组a中以概率p抽取元素，形成size形状新数组replace表示是否可以重 用元素，默认为False
uniform(low,high,size) 产生具有均匀分布的数组，low 起始值，high结束值，size形状
normal（loc，scale，size) 产生具有正态分布的数组，loc均值，scale标准差，size形状
poisson(lam,size) 产生具有泊松分布的数组，lam随机事件发生率，size形状
b=np.random.randint(100,200,(8,))
np.random.choice(b,(3,2),p=b/np.sum(b)) #元素值越大被抽到的的概率也越大。
array([[152, 103],
[152, 152],
[149, 138]])
numpy的统计函数
统计函数即可以对数组进行统计计算的函数
numpy提供了库一级别的统计类函数
调用 ： np.*
函数 说明
sum(a,axis=None) 根据给定轴axis计算数组a相关元素之和，axis整数或元组
mean(a,axis=None) 根据给定轴axis计算数组a相关元素的期望，axis整数或元组
average(a,axis=None,weights=None) 根据给定轴axis计算数组a相关元素的加权平均值
std(a,axis=None) 根据给定轴axis计算数组a相关元素的标准差
var(a,axis=None) 根据给定轴axis计算数组a相关元素的方差
min(a) max(a) 计算数组a中元素的最小值、最大值
argmin(a) argmax(a) 计算数组a中元素的最小值、最大值的降成一维数组后下标
unravel_index(index,shape) 根据shape将一维下表index转换成多维下标
ptp(a) 计算数组a中元素的最大值和最小值的差
median(a) 计算数组a中元素的中位数（中值）
说明：axis=None 是统计函数的标配参数，表示对数组中所有元素进行统计计算。
numpy中的梯度函数
函数 说明
np.gradient(f) 计算数组f中元素的梯度，当f为多维时，返回每个维度的梯度
梯度：连续值之间的变化率，即斜率。 梯度有助于我们发现图像的边缘。
XY坐标轴连续三个X坐标对应的Y轴值：a,b,c, 其中，b的梯度是：(c-a)/2
a=np.random.randint(0,20,(5))
a
array([10, 3, 13, 15, 0])
np.gradient(a) #各元素梯度
array([ -7. , 1.5, 6. , -6.5, -15. ])
计算元素的梯度值时，如果该元素两侧都有值，则梯度为：（后侧-前侧）/2
如果只有一侧值，则梯度为：（后则-该元素值）/1 或 （该元素值-前侧值）/1
多维函数类似
c=np.random.randint(0,50,(3,5))
c
array([[44, 8, 45, 48, 1],
[48, 48, 38, 38, 1],
[17, 26, 27, 12, 26]])
np.gradient(c)
[array([[ 4. , 40. , -7. , -10. , 0. ],
[-13.5, 9. , -9. , -18. , 12.5],
[-31. , -22. , -11. , -26. , 25. ]]),
array([[-36. , 0.5, 20. , -22. , -47. ],
[ 0. , -5. , -5. , -18.5, -37. ],
[ 9. , 5. , -7. , -0.5, 14. ]])]
根据结果可知，第一个矩阵是最外层维度的梯度，第二个矩阵是第二层维度的梯度。
