1、标量（scalar）、向量（vector）、矩阵（matrix）、张量（tensor）。
2、一些关于矩阵的概念：主对角线（main diagonal）、单位矩阵（identity matrix）、逆矩阵（matrix inversion）、对角矩阵（diagonal matrix）、对称矩阵（symmetric matrix）、正交矩
阵（orthogonal matrix）。
3、对于矩阵的一些操作和运算：转置（transpose）、标量与矩阵相加、标量与矩阵相乘、广播（broadcast）（将向量和矩阵的每一行相加）、向量与矩阵相乘、求逆。
4、矩阵乘积/标准乘积（matrix product）：C=AB
元素对应乘积/Hadamard乘积：C=A⊙B
5、线性相关与线性无关。
6、范数（norm）：常用的范数有①L1范数：||x||1 =Σ|xi| ②L2范数（欧几里得范数） ③L∞范数（最大范数）：||x||∞=max|xi|
→衡量矩阵的大小时，深度学习中常用Frobenius范数：||A||F=(Σ(Ai,j)2)1/2
7、向量的点积可以表示为：xTy=||x||2||y||2cosθ。
8、特征分解（eigendecomposition）：将矩阵分解为一组特征向量和特征值。任意一个实对称矩阵都有特征分解，但可能并不唯一。根据特征值的正负不同，可以将矩阵称为正定
（positive definite）、半正定（positive semidefinite）、负定（negative definite）、半负定矩阵（negative semidefinite）。
9、奇异值分解（singular value decomposition，SVD）：将矩阵分解为奇异向量和奇异值。每个实矩阵都有一个奇异值分解。
10、Moore-Penrose伪逆
11、迹运算Tr(A)：返回矩阵对角元素的和。标量的迹运算是它本身。
12、行列式det(A)