0x00 文章来由
好久没写原创文章了。
0x01 Vectors, Matrices and their Products
矩阵✖️向量
可以把乘积这么看，A看作一个线性系统的参数，是x通过一个线性系统得到Ax
从row来理解
可以看成每行都是一个点积，这样得到的结果可以成为一个向量
从column来理解
可以看成A是多个向量的组合，与x的乘积之和
一个例子
矩阵相乘的一些性质
0x02 Does a system of linear equations have solutions
问题：Ax=b，求x，到底有没有解
两个新term：linear combination，span
Solution
new term: consistent
如果A system of linear equations有解（不论一个还是多个），就成为consistent；反之，无解则称为inconsistent
Solution的row和column理解
从row来考虑，就是看直线有没有交点
如果要扩展到三维情况，两个平面相交的话，要不是无穷多解，要不就无解，因为平面相交是一条直线。
Linear Combination
总之，linear combination就是不同向量的组合
简而言之，Ax就是A的linear combination
问一个方程组有没有解，等同于问b是不是A的linear combination，如果找得出一组x就证明有解
举一个例子：
重要结论
两个非平行的vector，一定可以linear combine组成平面中所有向量；但是三维不一定，但是可能在同一个平面，必须不共平面
也就是说：u和v如果不平行就一定有解，反过来不一定
Span
Definition
就是linear combination以后的结果，产生的span范围也叫space
linear combination就是将向量乘以不同的scaler，然后加起来
换句话说，一个线性方程组有没有解 = b是不是a的linear combination = b在不在a的span或者space里面
0x03 How many solutions
indenpendent = Rank A 为 n = Nullity A 为 0
没有其他可能，不可能有2个、3个或108个解
证明：假设Ax = b有2个解u和v
所以有Au = b和Av = b
A*(0.6u+0.4v) = 0.6Au + 0.4Av = b
所以(0.6u+0.4v)也是一个解，矛盾
(Linear) Dependent & Independent
Definition
就看里面是不是有一个a是另外一些vector的linear combination，以下两个例子都是dependent；如果一个set里面有0向量，那也必然是dependent，因为任何向量都可以乘以0得到0向量
这个定义有一个瑕疵：没有说明只有一个vector的时候怎么算，这个后面有说明
在说明这个问题之前，我们先来看看check的标准
How to check?
可以暴力搜索，每一个向量都拿出来看看是不是另外向量的linear combination
当然也有其他方法：看能不能找一组不是全0数值，使得这些vector linear combination得到0
Another definition
这样就可以回答上面的问题：如果只有一个向量，如果不是0向量就是independent，反之就是dependent
如果dependent就有无穷多解
intuition解释
如下图的例子可以找到2个解，所以有无穷多解
当column是dependent就有∞多解
Homogenous Equation
Homogenous Equation就是右边常数项为0的方程。
如果是dependent的，根据定义可知：Homogenous Equation肯定有2个解 —》就有无穷多解
如果A是dependent，且在方程组（非Homogenous）有解的前提下，一定有无穷多解
证明详见下图，一定要注意是在方程组（非Homogenous）有解的前提下
因为dependent（是否可以找出Homogenous非0解）与否其实和有没有解没有直接关系
Rank and Nullity
Rank definition
Rank就是从一个matrix里面，挑出最多的linear independent的column的数目