PyTorch | 常用统计属性与计算

\qquad 在PyTorch中包含了一些基础的统计计算功能，可以很方便地获取张量中的均值、标准差、最大值、最小值及位置等。

一、默认类型

• torch.set_default_tensor_type(t)：设置 $pytorch$ 中默认的浮点类型。

数据类型	CPU Tensor	GPU Tensor
16 bit 单精度浮点	无	torch.cuda.HalfTensor
32 bit 浮点	torch.FloatTensor	torch.cuda.FloatTensor
64 bit 浮点	torch.DoubleTensor	torch.cuda.DoubleTensor

二、范数

• $0-范数$：非零元素的个数。
• $1-范数$：$||x|{|}_1=|x_1|+|x_2|+|x_3|+\cdots +|x_n|$（向量元素绝对值之和），$x$ 到原点的曼哈顿距离。
• $向量2-范数$：$||x|{|}_2=\sqrt[2]{|x_1{|}^2+|x_2{|}^2+|x_3{|}^2+\cdots +|x_n{|}^2}$，$2$-范数也称为 * $Euclid$ 范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，表示 $x$ 到零点的欧式距离。
• $矩阵F-范数（参数fro）$：$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^m{a}_{i,j}^2{)}^{\frac{1}{2}}$，称为Frobenius范数，即矩阵元素绝对值的平方和再开平方。
• $p-范数$：$||x|{|}_p=\sqrt[p]{|x_1{|}^p+|x_2{|}^p+|x_3{|}^p+\cdots +|x_n{|}^p}$（$p$ 指的是求 $p$ 范数的 $p$ 值）。
• $\infty -范数（参数inf）$：$||x|{|}_{\infty }=max|x_i|$，即所有向量元素绝对值中的最大值。
• $-\infty -范数（参数-inf）$：$||x|{|}_{-\infty }=min|x_i|$，即所有向量元素绝对值中的最小值。

torch.norm(input, p='fro', dim=None, keepdim=False, out=None, dtype=None)：

1. input：输入 $tensor$。
2. p(int, float, inf, -inf, 'fro', 'nuc', optional)：范数计算中的幂指数值，默认为’fro’。
3. dim (int，2-tuple，2-list， optional)：指定计算的维度。
   • 如果是一个整数值，向量范数将被计算；
   • 如果是一个大小为 $2$ 的元组，矩阵范数将被计算；
   • 如果为 $None$，当输入 $tensor$ 只有二维时计算矩阵范数；当输入只有一维时则计算向量范数。如果输入 $tensor$ 超过 $2$ 维，向量范数将被应用在最后一维。
     

三、sort, std

3.1 sort 函数

• torch.sort(input, dim=None, descending=False, out=None)：对输入张量 $input$ 沿着指定维度 $dim$ 按升序排序，如果不给定 $dim$，默认为输入的最后一维，$dim$ 从左至右为 $0,1,\cdots ,n$。如果指定参数 $descending$ 为 $True$，则按降序排序。$sort$ 函数返回两项：重排后的张量，和重排后元素在原张量的索引。
  

3.2 std 函数

• torch.std(input, dim, out=None)：返回输入张量 $input$ 在给定维度 $dim$ 上的标准差，$dim$ 从左至右为 $0,1,\cdots ,n$，不填写 $dim$ 则返回所有元素的标准差。
  

四、max, min, argmax, argmin

4.1 max 函数

• torch.max(input, dim, keepdim)：返回输入张量 $input$ 在给定维度 $dim$ 上的最大值，并同时返回每个最大值的位置索引，$dim$ 从左至右为 $0,1,\cdots ,n$，不填写 $dim$ 则返回所有元素的最大值。$keepdim$ 表示是否需要保持输出的维度与输入一样，$keepdim=True$ 表示输出和输入的维度一样，$keepdim=False$（默认）表示输出的维度被压缩了，也就是输出会比输入低一个维度。
  

4.2 min 函数

• torch.min(input, dim, keepdim)：返回输入张量 $input$ 在给定维度 $dim$ 上的最小值，并同时返回每个最小值的位置索引，$dim$ 从左至右为 $0,1,\cdots ,n$，不填写 $dim$ 则返回所有元素的最小值。$keepdim$ 表示是否需要保持输出的维度与输入一样，$keepdim=True$ 表示输出和输入的维度一样，$keepdim=False$（默认）表示输出的维度被压缩了，也就是输出会比输入低一个维度。
  

4.3 argmax 函数

• torch.argmax(input, dim, keepdim)：返回输入张量 $input$ 在给定维度 $dim$ 上最大值的位置索引，$dim$ 从左至右为 $0,1,\cdots ,n$，不填写 $dim$ 则返回所有元素的最大值的位置索引。$keepdim$ 表示是否需要保持输出的维度与输入一样，$keepdim=True$ 表示输出和输入的维度一样，$keepdim=False$（默认）表示输出的维度被压缩了，也就是输出会比输入低一个维度。
  

4.4 argmin 函数

• torch.argmin(input, dim, keepdim)：返回输入张量 $input$ 在给定维度 $dim$ 上最小值的位置索引，$dim$ 从左至右为 $0,1,\cdots ,n$，不填写 $dim$ 则返回所有元素的最小值的位置索引。$keepdim$ 表示是否需要保持输出的维度与输入一样，$keepdim=True$ 表示输出和输入的维度一样，$keepdim=False$（默认）表示输出的维度被压缩了，也就是输出会比输入低一个维度。
  

五. mean, median, sum, cumsum

5.1 mean 函数

• torch.mean(input, dim, keepdim)：返回输入张量 $input$ 在给定维度 $dim$ 上的平均值，并同时返回每个平均值的位置索引，$dim$ 从左至右为 $0,1,\cdots ,n$，不填写 $dim$ 则计算所有元素的平均值。$keepdim$ 表示是否需要保持输出的维度与输入一样，$keepdim=True$ 表示输出和输入的维度一样，$keepdim=False$（默认）表示输出的维度被压缩了，也就是输出会比输入低一个维度。
  

5.2 median 函数

• torch.median(input, dim=-1, values=None, indices=None)：返回输入张量 $input$ 在指定维度 $dim$ 上的中位数，同时返回一个 $LongTensor$ 类型，包含中位数索引的 $indices$。对于具有偶数个元素的 $input$ 张量，中位数不是唯一的，在这种情况下，返回两个中值中较低的一个。
  

5.3 sum 函数

• torch.sum(input, dim, keepdim)：返回输入张量 $input$ 在给定维度 $dim$ 上的总和，并同时返回每个总和的位置索引，$dim$ 从左至右为 $0,1,\cdots ,n$，不填写 $dim$ 则计算所有元素的和。$keepdim$ 表示是否需要保持输出的维度与输入一样，$keepdim=True$ 表示输出和输入的维度一样，$keepdim=False$（默认）表示输出的维度被压缩了，也就是输出会比输入低一个维度。
  

5.4 cumsum 函数

• torch.cumsum(input, dim, out=None)：返回 $input$ 沿指定维度 $dim$ 的累积和，即指定维度 $dim$ 的第一个数字不变，后面的数字依次累加。 $dim$ 参数为必选项。
  

六. prod, cumprod

6.1 prod 函数

• torch.prod(input, dim, keepdim)：返回输入张量 $input$ 在给定维度 $dim$ 上所有元素的乘积，并同时返回每个乘积的位置索引。$keepdim$ 表示是否需要保持输出的维度与输入一样，$keepdim=True$ 表示输出和输入的维度一样，$keepdim=False$（默认）表示输出的维度被压缩了，也就是输出会比输入低一个维度。
  

6.2 cumprod 函数

• torch.cumprod(input, dim, out=None)：返回输入张量 $input$ 在给定维度 $dim$ 的累乘积，，即指定维度 $dim$ 的第一个数字不变，后面的数字依次累乘。 $dim$ 参数为必选项。
  

七. kthvalue, topk

7.1 kthvalue 函数

• torch.kthvalue(input, k, dim=None, out=None)：取输入张量 $input$ 指定维度上第 $k$ 个最小值，若不指定 $dim$，则默认为 $input$ 的最后一维。返回一个元组，其中 $indices$ 是原始输入张量 $input$ 中沿 $dim$ 维的第 $k$ 个最小值下标。
  

7.2 topk 函数

• torch.topk(input, k, dim=None, largest=True, sorted=True, out=None)：沿给定 $dim$ 维度返回输入张量 $input$ 中 $k$ 个最大值，不指定 $dim$，则默认为最后一维，如果 $largest$ 为 $False$，则返回最小的 $k$ 个值。
  

八. 比较大小

8.1 allclose 函数

• torch.allclose(self, other, rtol=1e-05, atol=1e-08, equal_nan=False)：比较 $self$ 与 $other$ 两个元素是否接近，比较 $self$ 和 $other$ 是否接近的公式为 $|self-other|\le atol+rtol\times |other|$。equal_nan如果为 $True$，则将两个 $NaN$ 视为相等。
  

8.2 eq & equal 函数

• torch.eq(input, other, out=None)：比较 $input$ 与 $other$ 两个元素的相等性，$other$ 参数可为一个数，或可广播的张量。
• torch.equal(tensor1, tensor2)：若 $tensor1$ 与 $tensor2$ 两个张量有相同的形状和元素值，则返回 $True$， 否则 $False$。
  

8.3 ge & gt 函数

• torch.ge(input, other, out=None)：逐元素比较 $input$ 和 $other$，即是否 $input\ge other$，$other$ 参数可为一个数，或可广播的张量。
• torch.gt(input, other, out=None)：逐元素比较 $input$ 和 $other$，即是否 $input>other$，$other$ 参数可为一个数，或可广播的张量。
  

8.4 le & lt 函数

• torch.le(input, other, out=None)：逐元素比较 $input$ 和 $other$，即是否 $input\le other$，$other$ 参数可为一个数，或可广播的张量。
• torch.gt(input, other, out=None)：逐元素比较 $input$ 和 $other$，即是否 $input<other$，$other$ 参数可为一个数，或可广播的张量。
  

8.5 ne 函数

• torch.ne(input, other, out=None)：逐元素比较 $input$ 和 $other$，即是否 $input\ne other$，$other$ 参数可为一个数，或可广播的张量。
  

8.6 isfinite & isnan 函数

• torch.isnan(input)：判断 $input$ 张量是否为缺失值。
• torch.isnan(input)：判断 $input$ 张量是否为有限值。