一、最小二乘法：
1、矩阵、向量的求导法则：
思路：将前面的项看作一个整体，对后面求导后 再展开前面的 整体。
①行向量对元素进行求导：
②：列向量对元素进行求导：
③矩阵对元素进行求导：
④元素对行向量进行求导：
⑤元素对列、矩阵：类似上述方法。
⑥列向量对行向量求导、行向量对列向量求导：
⑦列向量对列向量求导：
注意：工程上用雅克比矩阵来计算列向量与列向量求导，即先将 第一个 列向量 转置转化为 行向量，然后求导。
⑧矩阵对矩阵的求导：将Y看做整体 求导后 展开。
2、向量导数性质公式：
- 向量的导数公式：
公式一 推导：
3、标量的导数公式：A 是一个 方阵。
注意： 
是一个标量，其值为：二次型 f(x1，x2... xn) 的结果。
4、标量对方阵的导数：
5、最小二乘法：
作用：根据多组的实验数据，找出多个参数 a,b,c .. 与 真实结果的 近似函数关系。
方法：让多个参数a,b,c .. 同时满足 条件 实际上一般是不可能的，任何a，b代入上面各式都会发
生误差。于是想找a，b，c 使 上面各式的误差的平方和最小，误差的平方即二乘方，故称为最小二乘法。
过程：
①构造方程组：
②构造方程矩阵：A 是 系数矩阵 X 是参数 矩阵 B是真实值 矩阵。
③ 将最小二乘结果转化为 列向量 AX - B 的 模的平方 ，求出函数的 最小值（极值，对 列向量 X 进行求导，）：
④ 结论：
例题：
例二：
二、特征值与特征向量：
- 理解：矩阵是一个向量组，由许多 行向量 和 纵向量 组成。
- 矩阵方程求解 用增广矩阵初等变换化为 E 。齐次/非齐次方程组 的解用 初等变化 化为 行最简阶梯型。
- 初步认为由多元一次方程组的系数组成（区别于矩阵初等变换求解矩阵方程）。矩阵是一种线性变换，可以将一些向量转化为另一种向量。
1、线性方程组求解：
①齐次方程组的解判定：
②非齐次方程组的解判定：
③基础解系与通解的概念：基础解系不是唯一的。
④实例： 求解线性方程组
- 注意：一定要将增广矩阵转化为 行最简阶梯型 。
2、特征值和特征向量：
①特征值特征向量的定义：
三：矩阵的分解：
1、海森矩阵：
是一个多元函数的二阶偏导数构成的方阵：
在具体点M0 的 海森矩阵：
①利用海森矩阵求解多元函数极值：
例题：
2、奇异矩阵（不可逆矩阵）：
3、正交矩阵与酉矩阵：
（1）正交向量的定义：
（2）正交矩阵与酉矩阵：它是方阵
正交矩阵与酉矩阵的两个特征：负数的正交矩阵叫酉矩阵
① 列(行)向量都是单位向量。 ② 两两正交。
（3）正交矩阵的性质：
4、QR分解：正交三角分解
前提：矩阵A必须满秩。
方法：QR分解 要求 矩阵A列向量的 正交矩阵Q 与 系数矩阵 R。
（1）QR分解的定义：
（2）施密特正交化过程 ：
（3）QR分解的步骤：
①写出矩阵A所有的列向量
②将列向量施密特正交化
③将上面矩阵单位化得到正交矩阵
④求出正交矩阵转化为矩阵A的系数矩阵R（上三角矩阵）。
例：
5、实对称矩阵的谱分解（SD）：
前提：矩阵 A 必须是 实对称矩阵。
方法：SD分解需要求矩阵A的 特征值 与 特征向量。
注意：SD分解时：特征值与特征向量的排序要一一对应。
（1）谱分解（SD）分解的定义：
（2）例题：
6、奇异值分解（SVD）分解：
前提：矩阵A没有特殊要求
方法：利用矩阵A的hermite矩阵 求出所有的特征值 与 特征向量 >>>>>>>> 求出 △ 和 酉矩阵 V ，由V1 求出 U1，在由 U1 扩充 出 U。
注意：特征值与特征向量的排序要一一对应；注意V1、U1 与 酉矩阵V 、酉矩阵 U的关系。
（1）SVD分解的定义：
（2）奇异值的定义：
奇异值的特点：必须从大到小排列，且全部大于零（hermite矩阵特征值排列后的平方根）
1、hermite 矩阵：
2、奇异值的定义：
（3）酉等价、酉相似：
（4）SVD分解的方法与步骤：
①求 矩阵A 的 hermite 矩阵的 酉相似对角矩阵 △ 及酉相似矩阵 V：
具体方法：1） 通过hermite矩阵 求出 所有的 特征值 和 特征向量
2）根据hermite特征值求出 矩阵A 的奇异值，再根据每个特征值 求出 对应的 特征向量，酉矩阵 V 就是
由 这些特征向量按照 奇异值的 排列顺序 的正交化矩阵。
3）将酉矩阵V 用 （V1, V2）来写：V1 是 奇异值或者特征值 > 0 对应的 特征向量，V2 是由剩余的特征向 量组成的。
②剩下的步骤：
例题：
