在机器学习和深度学习中时，矩阵运算是最常见、有效提高计算效率的方法。因为特征和权重都以向量储存，矩阵运算就显得尤为重要，诸如梯度下降、反向传播、矩阵因子分解等重要的机器学习方法，都需要基于矩阵运算。
在深度学习中，神经网络将权重储存在矩阵当中，基于线性代数的运算在 GPU上，可以对矩阵进行简单迅捷的计算处理。
小规模的矩阵运算，可以用 for 循环来快速运算。但是一旦遇到巨大的数据量，循环语句就会拖慢运算速度，这时候我们常常使用矩阵乘法，它可以极大提高运算的效率。
常见矩阵、向量、标量相乘方法
-
torch(mm) 二维矩阵乘法
torch.mm(mat1,ma2,out=None), 其中 mat1(n*m), mat2(m*d), 输出 out 的维度是(n*d)。
注：计算两个二维矩阵的矩阵乘法，而且不支持广播。
-
torch.bmm() 三维带 Batch 矩阵乘法
torch.bmm(bmat1,bmat2,out=None)，其中 bmat1(b*n*m), bmat2(B*m*d), 输出 out 的维度是 (B*n*d)。
注：该函数的两个输入必须是三维矩阵且第一维相同（表示Batch维度），不支持广播。
-
torch.matmul() 混合矩阵乘法
torch.matmul(input,other,out=None)，该方法较为复杂建议参考文档，两个张量的矩阵乘积，计算结果取决于张量的维度，支持广播。
-
torch.mul() 矩阵逐元素乘法
torch.mul(mat1,other,out=None)，其中 other 乘数可以是标量也可以是任意维度的矩阵，只要满足最终相乘即可，支持广播。
-
torch.mv() 矩阵向量乘法
torch.mv(mat, vec, out=None) ，对矩阵 mat 和向量 vec 进行相乘。如果mat 是一个 n×m 张量，vec 是一个 m 元的一维张量，将会输出一个 n 元的一维张量，不支持广播。
-
torch.dot() 张量点乘法
torch.dot(tensor1, tensor2) ，计算两个张量的点乘,两个张量都为 1-D 向量，不支持广播。
论坛热门问题
Q：不用 for 循环，如何进行批数据向量相乘 ？
input shape：N x M x VectorSize
weight shape：M x VectorSize x VectorSize
目标 output shape：N x M x VectorSize
N 表示批尺寸，M 表示向量数量，VectorSize 则代表向量的大小。
如下图所示：
解决思路：
N, M, V=2, 3, 5a = torch.randn(N, M, V)b = torch.randn(M, V, V)a_expand = a.unsqueeze(-2)b_expand = b.expand(N, -1, -1, -1)c = torch.matmul(a_expand, b_expand).squeeze(-2)
原帖地址：
https://discuss.pytorch.org/t/batch-matrix-vector-multiplication-without-for-loop/112841
Q：计算矩阵向量乘以批向量输入，出现 RuntimeError 报错
给定:
# (batch x inp)v = torch.randn(5, 15)# (inp x output)M = torch.randn(15, 20)
计算:
# (batch x output)out = torch.Tensor(5, 20)for i, batch_v in enumerate(v):out[i] = (batch_v * M).t()
但是 (i) 乘法对于两个维度相同的输入，都会出现：
RuntimeError: inconsistent tensor size at /home/enrique/code/vendor/pytorch/torch/lib/TH/generic/THTensorMath.c:623
为什么会出现这个报错？有没有能避免行向量循环的方法？
解决思路：
* 表示 elementwise 乘法，如果你用的是 Python3，可以使用 @ 算子可以用作矩阵-向量乘法和矩阵-矩阵乘法。
也可以使用 batch_v.mm(M)，因为批向量矩阵（batched vector matrix）即矩阵-矩阵乘法。
此外还可以借助 bmm、 baddbmm 等方法消除 Python 中的循环操作。
原贴地址：
https://discuss.pytorch.org/t/matrix-vector-multiply-handling-batched-data/203
Q：不使用循环语句的前提下，如何计算矩阵向量相乘？
求 2x2 的矩阵乘以 3 个大小为 2 的向量，如果不使用循环，该如何实现？
备注：
1、使用循环语句时代码如下:
A=torch.tensor([[1.,2.],[3.,4.]])b=torch.tensor([[3.,4.], [5.,6], [7.,8.]])res = []for i in range(b.shape[0]):res.append(torch.matmul(A, b[i]))
2、经尝试 torch.matmul (A.repeat ((2,1,1)) ，b) 行不通。
解决思路：
可以通过 a.matmul (b.t ()) 实现。
原帖地址：
https://discuss.pytorch.org/t/vectorize-matrix-vector-multiplication/88051
本公众号将持续更新 PyTorch 最新资讯和开发技巧，欢迎关注！
