Python numpy 记录数组辅助方法一

「这是我参与2022首次更文挑战的第13天，活动详情查看：2022首次更文挑战」

前言

numpy 结构化数组可以支持多数据类型的元素，类似于Python 内置的字典。

在前面，我们已经对numpy 结构化数组数据类型主要是使用 numpy.dtype 定义。

结构化数组的索引有三种形式：

以字段名称为索引访问单个字段值
以字段名称列表为索引访问多个字段值
以整数标量为索引进行访问字段值

在结构化数组索引返回值的形式都是视图

numpy 模块提供了ndarray 子类 recarray,可以允许属性直接访问结构化数组字段。

我们在numpy 结构化数组之记录数组学习后，可以通过numpy.rec.array()方法进行创建记录数组或者将结构化数组转换成记录数组。

并且，numpy.lib.recfunctions中提供对结构化数组记录数组相关操作的方法。

本期，我们将学习recfunctions模块中常用的方法进行学习和使用，Let's go~

1.numpy.lib.recfunctions概述

numpy.lib.recfunctions 存在大量用于创建和操作结构化数组的辅助方法集合

目前，recfunctions 里面的方法都已经被重写和拓展了。

我们可以在 numpy->lib->recfunctions.py 文件中看到相关方法介绍。

我们在使用 recfunctions 模块相关方法时，需要提前使用from导入recfunctions库

from numpy.lib import recfunctions as rfn
复制代码

2. 添加新字段

numpy.lib.recfunctions 模块中提供 append_fields 方法，实现在现有的结构化数组中添加性字段

append_fields(base, names, data, dtypes=None,
                  fill_value=-1, usemask=True, asrecarray=False)
复制代码

参数说明：

参数	说明
base	需要拓展的数组
names	新字段名称
data	数组或者数据序列
dtypes	可选项，数据类型序列
fill_value	可选项，用于填充数组上缺失的数据
usemask	可选项，是否返回掩码数组
asrecarray	可选项，是否返回一个记录数组

字段名称和名称参数需要一起给出
对应的值和数据参数需要一起给出
如果只附加单个字段，则names,data,dtypes 可以为值

>>> from numpy.lib import recfunctions as rfn
>>> arr = np.array([("Tom",12,"Beijing"),("Anne",10,"Guangzhou"),("Kenty",15,"Shengzheng")],dtype=[("name","U5"),("age","i8"),("add
ress","U5")])
>>> rfn.append_fields(arr,"province",["hebei","guangdong","guangdong"],"S16")
masked_array(data=[('Tom', 12, 'Beiji', b'hebei'),
                   ('Anne', 10, 'Guang', b'guangdong'),
                   ('Kenty', 15, 'Sheng', b'guangdong')],
             mask=[(False, False, False, False),
                   (False, False, False, False),
                   (False, False, False, False)],
       fill_value=('N/A', 999999, 'N/A', b'N/A'),
            dtype=[('name', '<U5'), ('age', '<i8'), ('address', '<U5'), ('province', 'S16')])

复制代码

3. 结构化数组字段缩减

recfunctions 提供 apply_along_fields 方法可以使用func 函数对结构化数组的字段进行缩减操作。

apply_along_fields(func, arr)
复制代码

参数说明：

参数	说明
func	应用于字段维度的函数，必须要支持轴参数如np.mean,np.sum等
arr	结构化数组

apply_along_fields 方法类似与 apply_along_axis，将结构化数组的字段视为额外的轴。

这个过程中，会调用 numpy.result_type 将dtypes 类型转换为同样类型。

>>> arr = np.array([(10,5),(3,9),(0,8)],dtype=[("x","i8"),("y","i8")])
>>> rfn.apply_along_fields(np.mean,arr)
array([7.5, 6. , 4. ])
>>> rfn.apply_along_fields(np.sum,arr)
array([15, 12,  8], dtype=int64)
>>> rfn.apply_along_fields(np.gradient,arr)
array([[-5., -5.],
       [ 6.,  6.],
       [ 8.,  8.]])
>>>
复制代码

func 支持axis numpy 函数方法常见有：

nump.mean：计算平均数
numpy.sum: 计算和
numpy.gradient: j计算数组的梯度
numpy.namin: 计算数组最小值，忽略NaN
numpy.amin:计算数组最小值
numpy.amax:计算数组最大值

4. 删除结构化数组的字段

recfunctions 模块提供 drop_fields 方法可以删除指定的字段，并返回一个新数组

同时，drop_fields 可以支持嵌套字段

drop_fields(base, drop_names, usemask=True, asrecarray=False)
复制代码

参数说明：

标题	说明
base	输入数组
drop_names	删除的字段或字段序列
usemask	是否返回掩码数组，可选项
asrecarray	是否返回一个记录数组，默认值为False

>>> arr = np.array([(10,5,"X"),(3,9,"Y"),(0,8,"Z")],dtype=[("x","i8"),("y","i8"),("z","S6")])
>>> rfn.drop_fields(arr,"x")
array([(5, b'X'), (9, b'Y'), (8, b'Z')], dtype=[('y', '<i8'), ('z', 'S6')])
>>> rfn.drop_fields(arr,"z")
array([(10, 5), ( 3, 9), ( 0, 8)], dtype=[('x', '<i8'), ('y', '<i8')])
>>> rfn.drop_fields(arr,["x","z"])
array([(5,), (9,), (8,)], dtype=[('y', '<i8')])
>>>

复制代码

注意：1.18.0版本：drop_fields 方法如果删除所有字段，则会返回一个包含0字段的数组，而不是以前一样返回None。

>>> rfn.drop_fields(arr,["x","z","y"])
array([(), (), ()], dtype=[])
>>>
复制代码

5. 连接两个结构化数组

recfunctions 提供 join_by 方法通过key 将两个结构化数组连接在一起。

join_by(key, r1, r2, jointype='inner', r1postfix='1', r2postfix='2',
            defaults=None, usemask=True, asrecarray=False)
复制代码

参数说明：

标题	说明
key	用于比较字段对应的字符串或字符串序列
r1	结构化数组1
r2	结构化数组2
jointype	连接类型，可选择为inner,outer,leftouter
r1postfix	附加到r2中不存在的键r1 字段名称的字符串，可选
r2postfix	附加到r1中不存在的键r2 字段名称的字符串，可选
default	字典将字段名称映射到相应的默认值
usemask	是否返回掩码数组，默认为True
asrecarray	是否返回一个记录数组

>>> arr = np.array([(10,5,"X"),(3,9,"Y"),(0,8,"Z")],dtype=[("x","i8"),("y","i8"),("z","S6")])
>>> arr2 = np.array([(10,5),(3,9),(0,8)],dtype=[("x","i8"),("y","i8")])
>>> rfn.join_by("x",arr,arr2)
masked_array(data=[(0, 8, 8, b'Z'), (3, 9, 9, b'Y'), (10, 5, 5, b'X')],
             mask=[(False, False, False, False),
                   (False, False, False, False),
                   (False, False, False, False)],
       fill_value=(999999, 999999, 999999, b'N/A'),
            dtype=[('x', '<i8'), ('y1', '<i8'), ('y2', '<i8'), ('z', 'S6')])
>>>

复制代码

注意：

key 应该是用于连接数组的字段相对于应的字符串获字符串序列。
如果两个数组中找不到key，则会引发异常
数组1和数组2尽量不要包含重复key。连接时，不会查重，会导致返回结果不可靠。

如下，arr 和 arr2 中，如果选择字段为z进行连接，则系统会报ValueError

>>> rfn.join_by("z",arr,arr2)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<__array_function__ internals>", line 6, in join_by
  File "C:\Users\user\AppData\Roaming\Python\Python37\site-packages\numpy\lib\recfunctions.py", line 1480, in join_by
    raise ValueError('r2 does not have key field %r' % name)
ValueError: r2 does not have key field 'z'
>>>

复制代码

6. 合并结构化数组

recfunctions 提供 merge_fields 方法将两个数组序列进行字段合并。

merge_arrays(seqarrays, fill_value=-1, flatten=False,
                 usemask=False, asrecarray=False)
复制代码

参数说明：

标题	说明
seqarrays	数组序列
fill_value	填充用于较短数组上的缺失数据
flatten	是否折叠嵌套字段，可选项
usemask	是否使用掩码数组，可选
asrecarray	是否返回一个记录数组

>>> arr = np.array([(10,5,"X"),(3,9,"Y"),(0,8,"Z")],dtype=[("x","i8"),("y","i8"),("z","S6")])
>>> arr2 = np.array([(10,5),(3,9),(0,8)],dtype=[("x","i8"),("y","i8")])
>>> rfn.merge_arrays((arr,arr2))
array([((10, 5, b'X'), (10, 5)), (( 3, 9, b'Y'), ( 3, 9)),
       (( 0, 8, b'Z'), ( 0, 8))],
      dtype=[('f0', [('x', '<i8'), ('y', '<i8'), ('z', 'S6')]), ('f1', [('x', '<i8'), ('y', '<i8')])])
>>>

复制代码

总结

本期，我们对recfunctions模块对结构化数组操作如添加新字段append_feilds()方法，合并两个数组merge_feilds()方法、连接两个数组join_by()方法，删除指定字段drop_fields()方法。

recfunctions 模块中还有对结构化数组其他方法，我们下一期继续学习。

以上是本期内容，欢迎大佬们点赞评论，下期见~