有一组向量可以通过线性组合得到其他向量，他们所有线性组合的集合就称为向量的线性生成空间。也就是说在里面的所有向量都可以由这组向量线性组合得到。维度就是基的数量。
基不一定是两两垂直并不一定是正交的，而是只要满足这一组基之间是线性无关的就够了。
线性无关并不一定导致垂直，但垂直一定是线性无关的。
例如我判断（1，1）（1，0）或（0，1）它们是不是线性无关的，就把它前面的系数a1,a2求出来，发现它们只有唯一的的解是零那么它们就是线性无关。
例如你一个二维的向量，但未知数大于二，未知数比方程数还多，解肯定不是唯一的，所以线性相关。
线性生成空间：我首先给你一组向量，然后这组向量可以线性组合得到很多其他的向量，他所有的线性组合得到的向量构成的这样一个空间就叫它的线性生成空间。
选择范数的标准：定义的范数能不能使得问题好解，是不是一个典型的凸优化问题。
正则化就是说我不希望参数过大就加入一个惩罚。高斯分布通常选择L2范数，拉普拉斯选择L1范数。内积实际上就是一个向量在另一个向量的投影。
线性变换就是自己空间到自己空间的映射，矩阵作用在二维向量上面得到一个二维向量，这个矩阵必须是一个方阵。