此部分引自https://www.cnblogs.com/gxcdream/p/7597865.html

向量内积（点乘）和外积（叉乘）概念及几何意义

向量的内积（点乘）

定义

概括地说，向量的内积（点乘/数量积）。对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，如下所示，对于向量a和向量b：

a和b的点积公式为：

这里要求一维向量a和向量b的行列数相同。注意：点乘的结果是一个标量(数量而不是向量)

定义：两个向量a与b的内积为 a·b = |a||b|cos∠(a, b)，特别地，0·a =a·0 = 0；若a，b是非零向量，则a与b****正交的充要条件是a·b = 0。

向量内积的性质：

a^2 ≥ 0；当a^2 = 0时，必有a = 0. （正定性）
a·b = b·a. （对称性）
(λa + μb)·c = λa·c + μb·c，对任意实数λ, μ成立. （线性）
cos∠(a,b) =a·b/(|a||b|).
|a·b| ≤ |a||b|，等号只在a与b共线时成立.

向量内积的几何意义

内积（点乘）的几何意义包括：

表征或计算两个向量之间的夹角
b向量在a向量方向上的投影

有公式：

推导过程如下，首先看一下向量组成：

定义向量c：

根据三角形余弦定理（这里a、b、c均为向量，下同）有：

根据关系c=a-b有：

即：

a∙b=|a||b|cos⁡(θ)

向量a，b的长度都是可以计算的已知量，从而有a和b间的夹角θ：

θ=arccos⁡(a∙b|a||b|)

进而可以进一步判断两个向量是否同一方向或正交(即垂直)等方向关系，具体对应关系为：

a∙b>0→方向基本相同，夹角在0°到90°之间
a∙b=0→ 正交，相互垂直
a∙b<0→ 方向基本相反，夹角在90°到180°之间

向量的外积（叉乘）

定义

概括地说，两个向量的外积，又叫叉乘、叉积向量积，其运算结果是一个向量而不是一个标量。并且两个向量的外积与这两个向量组成的坐标平面垂直。

定义：向量a与b的外积a×b是一个向量，其长度等于|a×b| = |a||b|sin∠(a,b)，其方向正交于a与b。并且，(a,b,a×b)构成右手系。
特别地，0×a = a×0 = 0.此外，对任意向量a，a×a=0。

对于向量a和向量b：

a和b的外积公式为：

其中：

根据i、j、k间关系，有：

向量外积的性质

a × b = -b × a. （反称性）
(λa + μb) × c = λ(a ×c) + μ(b ×c). （线性）

向量外积的几何意义

在三维几何中，向量a和向量b的外积结果是一个向量，有个更通俗易懂的叫法是法向量，该向量垂直于a和b向量构成的平面。

在3D图像学中，外积的概念非常有用，可以通过两个向量的外积，生成第三个垂直于a，b的法向量，从而构建X、Y、Z坐标系。如下图所示：

在二维空间中，外积还有另外一个几何意义就是：|a×b|在数值上等于由向量a和向量b构成的平行四边形的面积。

矩阵的迹（trace）

在线性代数中，一个n×n矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹（或迹数），一般记作tr(A)。

性质

编辑

(1)设有N阶矩阵A，那么矩阵A的迹（用

表示）就等于A的特征值的总和，也即矩阵A的主对角线元素的总和。

1.迹是所有对角元的和

2.迹是所有特征值的和

3.某些时候也利用tr(AB)=tr(BA)来求迹

4.trace（mA+nB）=m trace（A）+n trace（B）

(2)奇异值分解（Singular value decomposition ）

奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V

U和V中分别是A的奇异向量，而B是A的奇异值。AA'的特征向量组成U，特征值组成B'B，A'A的特征向量组成V，特征值（与AA'相同）组成BB'。因此，奇异值分解和特征值问题紧密联系。

如果A是复矩阵，B中的奇异值仍然是实数。

SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。

(3)在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。

将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置，因此矩阵的特征值分解。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广，表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制.倾斜转弯导弹》

矩阵的秩

方阵(行数、列数相等的矩阵)的列秩和行秩总是相等的，因此它们可以简单地称作矩阵A的秩。通常表示为r(A)，rk(A)或

。

m × n矩阵的秩最大为m和n中的较小者，表示为 min(m,n)。有尽可能大的秩的矩阵被称为有满秩；类似的，否则矩阵是秩不足（或称为“欠秩”）的。

设A是一组向量，定义A的极大无关组中向量的个数为A的秩。

定义1. 在m*n矩阵A中，任意决定k行和k列交叉点上的元素构成A的一个k阶子矩阵，此子矩阵的行列式，称为A的一个k阶子式。

例如，在阶梯形矩阵中，选定1，3行和3，4列，它们交叉点上的元素所组成的2阶子矩阵的行列式就是矩阵A的一个2阶子式。

对角矩阵

对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵，常写为diag（a1，a2,...,an) 。对角矩阵可以认为是矩阵中最简单的一种，值得一提的是：对角线上的元素可以为 0 或其他值，对角线上元素相等的对角矩阵称为数量矩阵；对角线上元素全为1的对角矩阵称为单位矩阵。对角矩阵的运算包括和、差运算、数乘运算、同阶对角阵的乘积运算，且结果仍为对角阵。

对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。对角线上元素相等的对角矩阵称为数量矩阵；对角线上元素全为1的对角矩阵称为单位矩阵。 [1]

（1）对角矩阵形如：