「这是我参与2022首次更文挑战的第13天,活动详情查看:2022首次更文挑战」
前言
numpy 结构化数组可以支持多数据类型的元素,类似于Python 内置的字典。
在前面,我们已经对numpy 结构化数组数据类型主要是使用 numpy.dtype 定义。
结构化数组的索引有三种形式:
- 以字段名称为索引访问单个字段值
- 以字段名称列表为索引访问多个字段值
- 以整数标量为索引进行访问字段值
在结构化数组索引返回值的形式都是视图
numpy 模块提供了ndarray 子类 recarray,可以允许属性直接访问结构化数组字段。
我们在numpy 结构化数组之记录数组学习后,可以通过numpy.rec.array()方法进行创建记录数组或者将结构化数组转换成记录数组。
并且,numpy.lib.recfunctions中提供对结构化数组记录数组相关操作的方法。
本期,我们将学习recfunctions模块中常用的方法进行学习和使用,Let's go~
1.numpy.lib.recfunctions概述
numpy.lib.recfunctions 存在大量用于创建和操作结构化数组的辅助方法集合
目前,recfunctions 里面的方法都已经被重写和拓展了。
我们可以在 numpy->lib->recfunctions.py 文件中看到相关方法介绍。
我们在使用 recfunctions 模块相关方法时,需要提前使用from导入recfunctions库
from numpy.lib import recfunctions as rfn
复制代码
2. 添加新字段
numpy.lib.recfunctions 模块中提供 append_fields 方法,实现在现有的结构化数组中添加性字段
append_fields(base, names, data, dtypes=None,
fill_value=-1, usemask=True, asrecarray=False)
复制代码
参数说明:
参数 | 说明 |
---|---|
base | 需要拓展的数组 |
names | 新字段名称 |
data | 数组或者数据序列 |
dtypes | 可选项,数据类型序列 |
fill_value | 可选项,用于填充数组上缺失的数据 |
usemask | 可选项,是否返回掩码数组 |
asrecarray | 可选项,是否返回一个记录数组 |
- 字段名称和名称参数需要一起给出
- 对应的值和数据参数需要一起给出
- 如果只附加单个字段,则names,data,dtypes 可以为值
>>> from numpy.lib import recfunctions as rfn
>>> arr = np.array([("Tom",12,"Beijing"),("Anne",10,"Guangzhou"),("Kenty",15,"Shengzheng")],dtype=[("name","U5"),("age","i8"),("add
ress","U5")])
>>> rfn.append_fields(arr,"province",["hebei","guangdong","guangdong"],"S16")
masked_array(data=[('Tom', 12, 'Beiji', b'hebei'),
('Anne', 10, 'Guang', b'guangdong'),
('Kenty', 15, 'Sheng', b'guangdong')],
mask=[(False, False, False, False),
(False, False, False, False),
(False, False, False, False)],
fill_value=('N/A', 999999, 'N/A', b'N/A'),
dtype=[('name', '<U5'), ('age', '<i8'), ('address', '<U5'), ('province', 'S16')])
复制代码
3. 结构化数组字段缩减
recfunctions 提供 apply_along_fields 方法可以使用func 函数对结构化数组的字段进行缩减操作。
apply_along_fields(func, arr)
复制代码
参数说明:
参数 | 说明 |
---|---|
func | 应用于字段维度的函数,必须要支持轴参数如np.mean,np.sum等 |
arr | 结构化数组 |
apply_along_fields 方法类似与 apply_along_axis,将结构化数组的字段视为额外的轴。
这个过程中,会调用 numpy.result_type 将dtypes 类型转换为同样类型。
>>> arr = np.array([(10,5),(3,9),(0,8)],dtype=[("x","i8"),("y","i8")])
>>> rfn.apply_along_fields(np.mean,arr)
array([7.5, 6. , 4. ])
>>> rfn.apply_along_fields(np.sum,arr)
array([15, 12, 8], dtype=int64)
>>> rfn.apply_along_fields(np.gradient,arr)
array([[-5., -5.],
[ 6., 6.],
[ 8., 8.]])
>>>
复制代码
func 支持axis numpy 函数方法常见有:
- nump.mean:计算平均数
- numpy.sum: 计算和
- numpy.gradient: j计算数组的梯度
- numpy.namin: 计算数组最小值,忽略NaN
- numpy.amin:计算数组最小值
- numpy.amax:计算数组最大值
4. 删除结构化数组的字段
recfunctions 模块提供 drop_fields 方法可以删除指定的字段,并返回一个新数组
同时,drop_fields 可以支持嵌套字段
drop_fields(base, drop_names, usemask=True, asrecarray=False)
复制代码
参数说明:
标题 | 说明 |
---|---|
base | 输入数组 |
drop_names | 删除的字段或字段序列 |
usemask | 是否返回掩码数组,可选项 |
asrecarray | 是否返回一个记录数组,默认值为False |
>>> arr = np.array([(10,5,"X"),(3,9,"Y"),(0,8,"Z")],dtype=[("x","i8"),("y","i8"),("z","S6")])
>>> rfn.drop_fields(arr,"x")
array([(5, b'X'), (9, b'Y'), (8, b'Z')], dtype=[('y', '<i8'), ('z', 'S6')])
>>> rfn.drop_fields(arr,"z")
array([(10, 5), ( 3, 9), ( 0, 8)], dtype=[('x', '<i8'), ('y', '<i8')])
>>> rfn.drop_fields(arr,["x","z"])
array([(5,), (9,), (8,)], dtype=[('y', '<i8')])
>>>
复制代码
注意:1.18.0版本:drop_fields 方法如果删除所有字段,则会返回一个包含0字段的数组,而不是以前一样返回None。
>>> rfn.drop_fields(arr,["x","z","y"])
array([(), (), ()], dtype=[])
>>>
复制代码
5. 连接两个结构化数组
recfunctions 提供 join_by 方法通过key 将两个结构化数组连接在一起。
join_by(key, r1, r2, jointype='inner', r1postfix='1', r2postfix='2',
defaults=None, usemask=True, asrecarray=False)
复制代码
参数说明:
标题 | 说明 |
---|---|
key | 用于比较字段对应的字符串或字符串序列 |
r1 | 结构化数组1 |
r2 | 结构化数组2 |
jointype | 连接类型,可选择为inner,outer,leftouter |
r1postfix | 附加到r2中不存在的键r1 字段名称的字符串,可选 |
r2postfix | 附加到r1中不存在的键r2 字段名称的字符串,可选 |
default | 字典将字段名称映射到相应的默认值 |
usemask | 是否返回掩码数组,默认为True |
asrecarray | 是否返回一个记录数组 |
>>> arr = np.array([(10,5,"X"),(3,9,"Y"),(0,8,"Z")],dtype=[("x","i8"),("y","i8"),("z","S6")])
>>> arr2 = np.array([(10,5),(3,9),(0,8)],dtype=[("x","i8"),("y","i8")])
>>> rfn.join_by("x",arr,arr2)
masked_array(data=[(0, 8, 8, b'Z'), (3, 9, 9, b'Y'), (10, 5, 5, b'X')],
mask=[(False, False, False, False),
(False, False, False, False),
(False, False, False, False)],
fill_value=(999999, 999999, 999999, b'N/A'),
dtype=[('x', '<i8'), ('y1', '<i8'), ('y2', '<i8'), ('z', 'S6')])
>>>
复制代码
注意:
- key 应该是用于连接数组的字段相对于应的字符串获字符串序列。
- 如果两个数组中找不到key,则会引发异常
- 数组1和数组2尽量不要包含重复key。连接时,不会查重,会导致返回结果不可靠。
如下,arr 和 arr2 中,如果选择字段为z进行连接,则系统会报ValueError
>>> rfn.join_by("z",arr,arr2)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "<__array_function__ internals>", line 6, in join_by
File "C:\Users\user\AppData\Roaming\Python\Python37\site-packages\numpy\lib\recfunctions.py", line 1480, in join_by
raise ValueError('r2 does not have key field %r' % name)
ValueError: r2 does not have key field 'z'
>>>
复制代码
6. 合并结构化数组
recfunctions 提供 merge_fields 方法将两个数组序列进行字段合并。
merge_arrays(seqarrays, fill_value=-1, flatten=False,
usemask=False, asrecarray=False)
复制代码
参数说明:
标题 | 说明 |
---|---|
seqarrays | 数组序列 |
fill_value | 填充用于较短数组上的缺失数据 |
flatten | 是否折叠嵌套字段,可选项 |
usemask | 是否使用掩码数组,可选 |
asrecarray | 是否返回一个记录数组 |
>>> arr = np.array([(10,5,"X"),(3,9,"Y"),(0,8,"Z")],dtype=[("x","i8"),("y","i8"),("z","S6")])
>>> arr2 = np.array([(10,5),(3,9),(0,8)],dtype=[("x","i8"),("y","i8")])
>>> rfn.merge_arrays((arr,arr2))
array([((10, 5, b'X'), (10, 5)), (( 3, 9, b'Y'), ( 3, 9)),
(( 0, 8, b'Z'), ( 0, 8))],
dtype=[('f0', [('x', '<i8'), ('y', '<i8'), ('z', 'S6')]), ('f1', [('x', '<i8'), ('y', '<i8')])])
>>>
复制代码
总结
本期,我们对recfunctions模块对结构化数组操作如添加新字段append_feilds()方法,合并两个数组merge_feilds()方法、连接两个数组join_by()方法,删除指定字段drop_fields()方法。
recfunctions 模块中还有对结构化数组其他方法,我们下一期继续学习。
以上是本期内容,欢迎大佬们点赞评论,下期见~