Machine Learning:Linear Algebra Review

Matrices and Vectors

矩阵是二维数组，下图为43的矩阵

向量是一个n1的矩阵，下图是一个4维向量，同时也是4*1的矩阵

表示法和术语：

• Aij表示矩阵的第i行第j列元素
• 一个向量有n行表示一个n维向量
• vi表示向量的第i行元素
• 一般，矩阵和向量是用1索引来表示，对于某些编程语言，数组的索引为0
• 矩阵通常用大写字母表示，向量用小写字母表示
• “标量”表示一个单独的值，而不是矩阵或向量
• R表示标量实数的集合
• Rn表示实数的n维向量的集合

Addition and Scalar Multiplication

矩阵加法

矩阵减法

标量乘法

标量除法

Matrix-Vector Multiplication

其结果是一个向量，矩阵的列数必须等于向量的行数
如下32的矩阵与21的向量相乘结果为3*1的向量

Matrix Matrix Multiplication

我们将两个矩阵相乘，将其分解为多个向量乘法，然后将结果拼接

Matrix Multiplication Properties

• 矩阵不具有交换律：A∗B≠B∗A
• 矩阵具有结合律：(A∗B)∗C=A∗(B∗C)

Identity Matrix（单位矩阵）

单位矩阵在主对角线上都是1，其余位置为0
如下三阶单位矩阵

Inverse and Transpose

逆矩阵的定义：
（只有方阵具有逆矩阵，在octave中可以用pinv(A)函数计算逆矩阵，在Matlab中可以用inv(A)函数计算逆矩阵，没有逆矩阵的矩阵称为奇异矩阵或退化矩阵）
$AA^{-1}=A^{-1}A=E$
转置矩阵的定义：
$A_{ij}=A^{T}_{ji}$