二次型优化问题 - 4 - 二次型优化方法

这是我参与11月更文挑战的第17天，活动详情查看：2021最后一次更文挑战

title: date: 2020-12-15 23:51:25 tags: [Machine_Learning] categories: [Machine_Learning] mathjax: true

在确定了可优化二次型的类型后，本文讨论二次型的优化方法。

当前问题

• 解方程 $\bf{Ax}=\bf{b}$

• 其中 $\bf{A}$为半正定矩阵

• $\bf{A}$的秩与其增广矩阵 $\bf{Ab}$的秩相等

优化方法

代数法

高斯消元法

• 在 $\bf{A}$的行列式不为0时，可以逐项消除半边系数，得到三角阵，计算得到 $x_n$再逐步带入计算出其他未知数，得到计算结果。

\begin{equation} \begin{split} {a_{11}}{x_1} + {a_{12}}{x_2} + \cdots {a_{1n}}{x_n} = {b_1}\\\\ {a_{22}}{x_2} + \cdots {a_{2n}}{x_n} = {b_2}\\\\ \vdots \\\\ {a_{nn}}{x_n} = {b_n} \end{split} \end{equation}

• 其他代数方法在高斯消元法基础上进行改进

高斯主元素消元法

• 为解决无法面对主元素为0或主元素绝对值过小带来的精度不够的问题，提出了主元素消元
• 核心思想是选择系数绝对值最大的行作为基准进行消元，可以有效缓解上述问题

矩阵求逆

• 对于矩阵 $\bf{A}$可逆的情况，可以直接求出 $\bf{A}$的逆矩阵，则：

$${\bf{x}} = {\bf{A^{-1}}}{\bf{b}}$$

迭代法

代数法的时间复杂度都在 $O(n^3)$的数量级上，在实践中难以接受；

迭代法的思想是可以每次贪心地计算局部最优解，逐步向全局最优解逼近

最速下降法/梯度法

• 沿着当前梯度的反方向前进至方向梯度为0，重新计算当前位置的梯度，重新出发
• 不断重复该过程，直到精度满足要求

共轭梯度法

• 沿着共轭梯度方向前进该共轭基的分量大小的距离
• 在所有共轭基上重复上述操作，即可达到全局最优解

随后我们重点介绍迭代法相关内容