因为计划先看的凸优化，但是发现其中很多符号不认识（不同的机构使用的不一定一样）。过两天才看到这个线性代数综述，我觉得应该是我的顺序搞反了，所以，将这一篇的日期顺序排的靠前点。其实我更推荐看原文章或翻译：中文翻译，不过这里我会把公式都打出来，主要是联系一下Latax。
（未完待填坑）

1、基本概念和符号

方程组：
$4x_1-5x_2=-13$
$-2x_1+3x_2=9$

可以写成线性代数的形式：

$Ax=b$ 其中： $A=\left[\begin{matrix} 4&-5\\ -1&3 \end{matrix} \right]$ , $b=\left[\begin{matrix}-13\\ 9\end{matrix} \right]$

1.1、基本符号

采用以下符号：
· $A \in \mathbb{R}^{m×n}$ ，表示一个m行n列的矩阵，并且矩阵A中的所有元素都是实数。
· $x \in \mathbb{R}^{n}$ ，表示一个含有n个元素的向量，通常，我们把n维向量看成是一个n行1列矩阵，即列向量。如果我们想表示一个行向量（1行n列矩阵），我们通常写作 $x^T$ ，即x的转置。
· 向量的第i个元素写作 $x_i$ ：

$x=\left[\begin{matrix} x_1\\x_2\\ \vdots \\x_n \end{matrix} \right]$

·采用 $a_{ij }(or A_{ij} , A_{i,j} , etc)$ 表示A的 $i$ 行 $j$ 列元素

$A=\left[\begin{matrix} a_{11}&a_{12}& \cdots &a_{1n}\\a_{21}&a_{22}& \cdots &a_{2n}\\ \vdots& \vdots&\ddots&\vdots\\a_{m1}&a_{m2}& \cdots &a_{mn} \end{matrix} \right]$

·采用 $a_{j }(or A_{:,j} )$ 表示A的 $j$ 列元素

$A=\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]$

·采用 $a_{i}^T(or A_{i,:} )$ 表示A的 $i$ 行元素

$A=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]$

2、矩阵乘法

百度百科-矩阵乘法
矩阵 $A \in \mathbb{R}^{m×n}$ 和 $B \in \mathbb{R}^{n×P}$ 的乘积：
$C=AB\in \mathbb{R}^{m×p}$
其元素为 $C_{ij}= \displaystyle \sum_{k=1}^nA_{ik}B_{kj}$

2.1、向量乘积

内积：
$x,y \in \mathbb{R}^n$ ，的点积/内积为 $x^Ty$ ，是一个实数
$x^Ty \in \mathbb{R}=\left[\begin{matrix} x_1&x_2&\cdots&x_n \end{matrix} \right] \left[\begin{matrix} y_1\\y_2\\ \vdots\\y_n \end{matrix} \right]= \displaystyle \sum_{i=1}^nx_{i}y_{i}$

内积是矩阵乘法的特例，通常 $x^Ty=y^Tx$

外积：
$x \in \mathbb{R}^m,y \in \mathbb{R}^n$ ， $xy^T \in \mathbb{R}^{m×n}$ 为向量的外积

$xy^T \in \mathbb{R}^{m×n}=\left[\begin{matrix} x_1\\x_2\\ \vdots\\x_n \end{matrix} \right] \left[\begin{matrix} y_1&y_2& \cdots&y_n \end{matrix} \right]= \left[\begin{matrix} x_1y_1&x_1y_2& \cdots &x_1y_n\\x_2y_1&x_2y_2& \cdots &x_2y_n\\ \vdots& \vdots&\ddots&\vdots\\x_my_1&x_my_2& \cdots &x_my_n \end{matrix} \right]$

外积写法的例子， $1 \in \mathbb {R}^n$ 是元素都为1的n维向量， $A \in \mathbb{R}^{m×n}$ 是m行n列矩阵，每一列都是 $x \in \mathbb{R}^m$ ，A可以简洁的写作

$A=\left[\begin{matrix} |&|& &|\\x&x& \cdots &x\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} x_1&x_1& \cdots &x_1\\x_2&x_2& \cdots &x_2\\ \vdots& \vdots&\ddots&\vdots\\x_m&x_m& \cdots &x_m\end{matrix} \right]=\left[\begin{matrix} x_1\\x_1\\ \vdots \\x_1 \end{matrix} \right]\left[\begin{matrix} y_1&y_2& \cdots&y_n \end{matrix} \right]=x1^T$

2.2、矩阵-向量乘法

右乘列向量的写法：
矩阵 $A \in \mathbb{R}^{m×n}$ 与向量 $x \in \mathbb{R}^n$ 的乘积为向量 $y=Ax \in \mathbb{R}^m$
行的形式:
来写 $A，Ax$ ， $y_i=a_i^Tx$ ：

$y=Ax=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]x=\left[\begin{matrix} — &a_1^Tx& — \\ — &a_2^Tx& — \\ &\vdots& \\ — &a_m^Tx& — \\ \end{matrix} \right]$

列的形式:
来写 $A，Ax$ ：

$y=Ax=\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]\left[\begin{matrix} x_1\\x_1\\ \vdots \\x_1 \end{matrix} \right]=[a_1]x_1+[a_2]x_2+\cdots+[a_n]x_n$

左乘行向量的写法：

$A \in \mathbb{R}^{m×n}$ , $x \in \mathbb{R}^m$ , $y \in \mathbb{R}^n$ ，则 $y^T=x^TA$

行的形式:

$y^T=x^TA=x^T\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} x^Ta_1&x^Ta_2&\cdots&x^Ta_n\end{matrix} \right]$

列的形式:

$y^T=x^TA=\left[\begin{matrix} x_1&x_2&\cdots&x_n \end{matrix} \right] \left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]$

$=x_1\left[\begin{matrix} — &a_1^T& — \end{matrix} \right]+x_2\left[\begin{matrix} — &a_2^T& — \end{matrix} \right]+\cdots+x_n\left[\begin{matrix} — &a_n^T& — \end{matrix} \right]$

2.3、矩阵乘法

基于以上的知识，矩阵乘法 $C=AB$ 有4种表示方式

A的行，B的列： 最常用的方式

$C=AB=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right] \left[\begin{matrix} |&|& &|\\b_{1}&b_{2}& \cdots &a_{p}\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\\a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\\ \vdots& \vdots&\ddots&\vdots\\a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\end{matrix} \right]$

A的列，B的行：

$C=AB= \left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{p}\\|&|& &|\end{matrix} \right] \left[\begin{matrix} — &b_1^T& — \\ — &b_2^T& — \\ &\vdots& \\ — &b_n^T& — \\ \end{matrix} \right]= \displaystyle \sum_{i=1}^na_{i}b_{i}^T$

或者，可以看作是一系列的向量-矩阵乘积：
B以列向量表示：

$C_i=Ab_i$

$C=AB= A\left[\begin{matrix} |&|& &|\\b_{1}&b_{2}& \cdots &b_{p}\\|&|& &|\end{matrix} \right] =\left[\begin{matrix} |&|& &|\\Ab_{1}&Ab_{2}& \cdots &Ab_{p}\\|&|& &|\end{matrix} \right]$

A以行向量表示：

$C_i^T=a_i^TB$

$C=AB=\left[\begin{matrix} — &b_1^T& — \\ — &b_2^T& — \\ &\vdots& \\ — &b_n^T& — \\ \end{matrix} \right]B=\left[\begin{matrix} — &a_1^TB& — \\ — &a_2^TB& — \\ &\vdots& \\ — &a_m^TB& — \\ \end{matrix} \right]$

矩阵乘法的性质： （前面线性代数的本质更加形象）
·结合律 $(AB)C=A(BC)$
·分配率 $A(B+C)=AB+AC$
·没有交换律！！

3、运算和性质

3.1、单位矩阵与对角矩阵

单位矩阵只有对角线位置是1，其余都是0的矩阵

$I_{ij}=\left\{ \begin{matrix}1&i=j\\0& i \ne j \end{matrix} \right.$ (不等于号打出来有问题）

$AI=A=IA$

对角矩阵只有对角不为零

$D_{ij}=\left\{ \begin{matrix}d_i&i=j\\0& i \ne j \end{matrix} \right.$

3.2、转置

行列反转， $A \in \mathbb{R}^{m×n}$ 转置为 $A^T \in \mathbb{R}^{n×m}$

其元素为 $(A^T)_{ij}=A_{ji}$

性质： $(A^T)^T=A$ ， $(AB)^T=B^TA^T$ ， $(A+B)^T=A^T+B^T$

3.3、对称矩阵

$A \in \mathbb{R}^{n×n}$ ,如果 $A=A^T$ ，那就是对称的，如果 $A=(-A^T)$ 那就是反对称的
任何矩阵A， $A+A^T$ 是对称的， $A-A^T$ 是反对称的，因此

$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$

通常将大小为n的对称矩阵几何表示为 $\mathbb {S}^n$ ，因此 $A\in\mathbb {S}^n$ 表示A是 $n×n$ 对称矩阵

3.4、迹

方阵 $A\in\mathbb {R}^n$ 的迹，记做 $tr(A)$ ，可以省略括号 $trA$ ，是矩阵的对角线元素之和：

$trA=\displaystyle \sum_{i=1}^nA_{ii}$

性质如下：

$A \in \mathbb{R}^{n×n}$ ， $trA=trA^T$
$A ,B\in \mathbb{R}^{n×n}$ ， $tr(A+B)=trA+trB$
$A \in \mathbb{R}^{n×n} ,t \in \mathbb{R}$ ， $tr(tA)=t trA$
A,B,C都是方阵， $trAB=trBA$ , $trABC=trBCA=trCBA$ ，方阵更多类推