梯度下降法
- 梯度下降法计算极值思想：从一点x出发，不断沿着下降的方向移动，最终可以达到它的极小值。根据场论里梯度的定义可以得知，在任意一点处，函数F最快的下降方向为它的梯度反方向：
- 探索极小值点的算法需要计算函数的2个值来比较从而缩小搜索范围，即用两个分点把区间分成3段，比较两个分点处的函数值，去掉较大的一侧的区间，从剩下的两个区间内继续搜索极小值。
- 黄金分割法是高效的搜索算法，将分点的位置缩小到原来的
倍。
- 最速下降法的收敛速度是线性收敛，当函数的海森矩阵特征值很悬殊时，收敛速度会很慢。
梯度投影法
- 拉格朗日乘子法是求解这类问题的理论基础，它的主要思想是构造有m+n个自变量的函数
- 则条件极值问题的解必然使
对它所有的自变量的偏导为0.拉格朗日乘子法可以把多元函数的条件极值问题转化为计算非线性方程组的求解问题。
-
正定对称线性系统
- 对泊松方程离散化得到的线性系统的系数矩阵通常是稀疏正定对阵矩阵。求解线性系统的方法主要分为两大类：一类是非迭代方法：LU分解、乔里斯基分解和LDL分解。另一类是迭代方法：雅可比迭代法，高斯-赛德尔迭代、共轭梯度法。
-
LDL分解法
-
共轭梯度法
-
最小模解及性质
- 梯度下降法和黄金分割法是最简单也是使用范围最广的数值优化方法。投影梯度法和改进的施密特正交化方法可以用来求解条件极值问题。LDL分解法和共轭梯度算法是求解稀疏正定对阵线性方程的有效方法。
海森矩阵
-
海森矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
-
常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。
-
-
泊松方程
正定对称矩阵
LU分解
-
将系数矩阵A转变成等价两个矩阵L和U的乘积 ，其中L和U分别是单位下三角矩阵和上三角矩阵。当A的所有顺序主子式都不为0时，矩阵A可以分解为A=LU（所有顺序主子式不为0，矩阵不一定不可以进行LU分解）。其中L是下三角矩阵，U是上三角矩阵。
扫描二维码关注公众号，回复： 3513424 查看本文章
-
LU分解在本质上是高斯消元法的一种表达形式。实质上是将A通过初等行变换变成一个上三角矩阵，其比初等变化就是一个单位下三角矩阵。这正是所谓的杜尔里特算法（Doolittle algorithm）：从下至上地对矩阵A做初等行变换，将对角线左下方的元素变成零，然后再证明这些行变换的效果等同于左乘一系列单位下三角矩阵，这一系列单位下三角矩阵的乘积的逆就是L矩阵，它也是一个单位下三角矩阵。这类算法的复杂度一般在(三分之二的n三次方) 左右。
-
乔里斯基分解
-
在线性代数中，乔里斯基分解是将一个正定Hermite矩阵分解成为一个下三角阵和它的共轭转置阵的乘积。
-
如果矩阵A是正定Hermite阵，那么矩阵A可以做如下分解：其中L是一个下三角矩阵且主对角线元素严格正定，L*是L的共轭转置矩阵。这就是乔里斯基分解。乔里斯基分解是唯一的：给定一个正定Hermite矩阵A，只有唯一一个主对角线元素严格正定的下三角矩阵L，满足A = LL*。其逆命题也成立：对于可逆下三角阵L，若矩阵A能被分解成LL*，那么矩阵A是正定Hermite矩阵。矩阵L主对角线严格正定的要求可以放松为半正定情形。则定理可以表达为：一方阵A可做乔里斯基分解当且仅当其为半正定Hermite矩阵。对于半正定矩阵的乔里斯基分解一般不是唯一的。特别地，当矩阵A为正定对称阵且所有特征值为实数，那么矩阵L所有特征值也为实数
LDL分解
-
首先是一个矩阵是可以被下三角分解，即LDU 。
-
-
分解的结果是D为一对角阵，而L为主对角线元素均为1的下三角矩阵。
-
参考网址：https://blog.csdn.net/zhouliyang1990/article/details/21952485
雅可比迭代法
- 雅克比迭代法就是众多迭代法中比较早且较简单的一种，雅克比迭代法的计算公式简单，每迭代一次只需计算一次矩阵和向量的乘法，且计算过程中原始矩阵A始终不变，比较容易并行计算。
高斯-赛德尔迭代
-
高斯-赛德尔迭代（Gauss–Seidel method）是数值线性代数中的一个迭代法，可用来求出线性方程组解的近似值。
-
