PyTorch | 常用数学运算

\qquad 张量的基本运算方式，一种为逐元素之间的运算，如加减乘除四则运算、幂运算、平方根、对数、数据裁剪等；

\qquad 另一种为矩阵之间的运算，如矩阵相乘、矩阵的转置、矩阵的迹等。

一、基础四则运算

1.1 add 加法

• torch.add(input, value, out=None)：对输入张量 $input$ 逐元素加上标量值/张量$value$，并返回一个新的张量 $tensor$。需要满足广播机制：https://blog.csdn.net/m0_52650517/article/details/119913625。可以使用符号+完成相同运算。
  • input(Tensor)：输入张量。
  • value(Number)：添加到输入每个元素的数。
  • out(Tensor, optional)：可选参数。要输出的目标张量。
    

1.2 sub 减法

• torch.sub(input, value, out=None)：对输入张量 $input$ 逐元素减去标量值/张量$value$，并返回一个新的张量 $tensor$。需要满足广播机制：https://blog.csdn.net/m0_52650517/article/details/119913625。可以使用符号-完成相同运算。
  

1.3 mul 乘法

• torch.mul(input, value, out=None)：对输入张量 $input$ 逐元素乘以标量值/张量$value$，并返回一个新的张量 $tensor$。需要满足广播机制：https://blog.csdn.net/m0_52650517/article/details/119913625。可以使用符号*完成相同运算。
  

1.4 div 除法

• torch.div(input, value, out=None)：对输入张量 $input$ 逐元素除以标量值/张量$value$，并返回一个新的张量 $tensor$。需要满足广播机制：https://blog.csdn.net/m0_52650517/article/details/119913625。可以使用符号/完成相同运算，使用符号//完成整除运算。
  

1.5 fmod 函数

• torch.fmod(input, div, out=None)：对输入张量 $input$ 逐元素除以标量值/张量$div$，取余数，并返回一个新的张量 $tensor$。需要满足广播机制：https://blog.csdn.net/m0_52650517/article/details/119913625。
  

二、平方与开平方

2.1 pow 函数

• torch.pow(input,size,out=None)：对输入张量 $input$ 逐元素求幂次 $size$ 运算。
  

2.2 sqrt 函数（平方）

• torch.sqrt(input, out=None)：返回一个新张量 $tensor$，包含输入 $input$ 张量每个元素的平方根。
  
• 如果要开更高次根号，可以使用 $pow$ 函数，输入的参数为分数，示例：
  

2.3 rsqrt 函数

• torch.rsqrt(input, out=None)：返回一个新张量，包含输入 $input$ 张量每个元素的平方根倒数。
  

三、对数函数

3.1 exp 函数

• torch.exp(input, out=None)：对 $input$ 张量每个元素求自然指数，$y_i=e^{x_i}\text{yi=exi}{y}_i=e^{x_i}$。
  

3.2 log 函数

• torch.log(input, out=None)：求 $log$，是以自然数 $e\text{e}e$ 为底的对数函数。
  
• torch.log2(input, out=None)：求 $log$，是以 $2\text{2}2$ 为底的对数函数。
  
• torch.log10(input, out=None)：求 $log$，是以 $10\text{10}10$ 为底的对数函数。
  
• torch.log1p(input, out=None)：计算以自然数 $e\text{e}e$ 为底的自然对数 $y=lo{g}_e(input+1)\text{y=loge(input+1)}y=lo{g}_e(input+1)$。
  

四、绝对值 & 负值

4.1 abs 函数

• torch.abs(input, out=None)：计算输入的 $input$ 张量的每个元素的绝对值。
  

4.2 neg 函数

• torch.neg(input, out=None)：计算输入的 $input$ 张量的每个元素的负值。
  

五、近似函数

5.1 floor 函数

• torch.floor(input, out=None)：向下取整，返回一个新张量，包含输入 $input$ 张量每个元素的 $floor$，即取不大于元素的最大整数。
  

5.2 ceil 函数

• torch.ceil(input, out=None)：向上取整，对输入 $input$ 张量每个元素向上取整，即取不小于元素的最小整数，并返回结果到输出。
  

5.3 trunc 函数

• torch.trunc(input, out=None)：取整数部分，将 $input$ 张量中每个元素的小数部分截断。
  

5.4 frac 函数

• torch.frac(tensor, out=None)：返回 $input$ 张量每个元素的小数部分。
  

5.5 round 函数

• torch.round(input, out=None)：将输入 $input$ 张量的每个元素四舍五入到最近的整数。
  

六、数据裁剪函数

6.1 clamp_max 函数

• torch.clamp_max(input, max, out=None)：将输入 $input$ 张量的逐个元素值与 $max\text{max}max$ 进行比较，大于 $max\text{max}max$ 的元素将被替换为 $max\text{max}max$ 值，并返回结果到一个新张量 $tensor$。
  

6.2 clamp_min 函数

• torch.clamp_min(input, min, out=None)：将输入 $input$ 张量的逐个元素值与 $min\text{min}min$ 进行比较，小于 $min\text{min}min$ 的元素将被替换为 $min\text{min}min$ 值，并返回结果到一个新张量 $tensor$。
  

6.3 clamp 函数

• torch.clamp(input, min, max, out=None)：将输入 $input$ 张量每个元素值约束到区间 $[min,max]\text{[min,max]}[min,max]$，并返回结果到一个新张量 $tensor$，也可以只设定 $min$ 或只设定 $max$。
  

七、矩阵相乘

7.1 mm 函数（二维矩阵乘法）

• torch.mm(mat1, mat2, out=None)：对矩阵 $mat1$ 和 $mat2$ 进行相乘，仅针对二维矩阵，矩阵要满足相乘条件。其中 $mat1\in R^{m\times n}$，$mat2\in R^{n\times d}$，输出 $R^{m\times d}$。
  

7.2 bmm 函数（三维带batch的矩阵乘法）

• torch.bmm(bmat1, bmat2, out=None)：由于神经网络训练一般采用 $mini-batch$，经常输入的是三维带 $batch$ 的矩阵。其中 $bmat1\in R^{b\times m\times n}$，$bmat2\in R^{b\times n\times d}$，输出 $R^{b\times m\times d}$。该函数的两个输入必须是三维矩阵并且第一维相同（表示 $batch$ 维度）
  

7.3 matmul 函数

• torch.matmul(mat1, mat2, out=None)：对矩阵 $mat1$ 和 $mat2$ 进行相乘，可以对高阶矩阵相乘。注：@ 符号与 $matmul$ 效果相同。
  • 当输入矩阵都是二维时，就是普通的矩阵乘法，与tensor.mm()函数用法相同。
    
  • 当输入矩阵是多维时，要求最后两个维度满足矩阵相乘条件，高维度满足广播机制：https://blog.csdn.net/m0_52650517/article/details/119913625。
    

八、矩阵转置 & 取逆 & 迹

8.1 t 函数

• torch.t(input)：求矩阵转置的函数，但是它要求输入 $input$ 的 $tensor$ 结构维度 $dim\le 2d$。 当 $input$ 维度为 $0d$ 或 $1d$ 时，不做改变输出 $input$ 本身，维度为 $2d$ 时，输出 $input$ 的转置。
  

8.2 inverse 函数

• torch.inverse(input, out=None)：对方阵 $input$ 求逆。如果 $x\times y=I\text{I}I$，$I\text{I}I$ 为单位矩阵（主对角线上的元素都为 $1$ 的方阵），则可称 $x$ 和 $y$ 互为逆矩阵。
  

8.3 trace 函数

• torch.trace(input)：返回二维矩阵 $input$ 对角元素的和（迹）。