二次型优化问题 - 3 - 导数与极值点

这是我参与11月更文挑战的第16天，活动详情查看：2021最后一次更文挑战

本文介绍在已经定义好的问题下，二次型导数与极值点相关内容。

导数为0的点是否存在

• 对于一般的二次型：

$$f({\bf{x} }) = \frac{1}{2}{\bf{x^TAx} } - { {\bf{b} }^{\bf{T} } }{\bf{x} } + {\bf{c} } \tag{1} \label{1}$$

• 导数为：

$$f'({\bf{x}}) = {\bf{Ax}} - {\bf{b}} \tag{2} \label{2}$$

• 导数为0的点是否存在与方程 $\bf{Ax}=\bf{b}$是否有解等价
• 设 ${r_A} = r(A)$为 $\bf{A}$的秩
• $\bf{Ab}$为增广矩阵， ${r_{Ab}} = r(\bf{Ab})$为增广矩阵的秩，有：

条件	结论
$r_{A}<r_{Ab}$	方程组无解，二次型不存在导数为0的点
$r_{A}=r_{Ab}=n$	方程组有唯一解，二次型有唯一导数为0的点
$r_{A}=r_{Ab}<n$	方程组有无数组解，二次型有无数个导数为0的点
$r_{A}>r_{Ab}$	不可能，增广矩阵的秩不会变小

极值点是否存在

• 当导数为零的点不存在时，即 $\eqref{2}$方程组无解时，极值点不存在

• 当导数为0的点存在时：

  • 若 $\bf{A}$为正定矩阵，则式 $\eqref{1}$有极小值，就是最小值
  • 若 $\bf{A}$为负定矩阵，则式 $\eqref{1}$有极大值，就是最大值
  • 若 $\bf{A}$为半正定矩阵，且存在特征值为0，由于前提是方程组有解，则增广矩阵的秩和矩阵 $\bf{A}$的秩相等，那么 $\bf{b}$中对应的值为0，方程组有无限多组解，但需要满足某种条件，在这组条件下，方程组都是极小值，也就是说若 $\bf{A}$为半正定矩阵则 $\eqref{1}$有极小值，同时就是最小值
  • 同理若 $\bf{A}$为半负定矩阵，则 $\eqref{1}$有极大值，也即最大值
  • 若 $\bf{A}$的特征值有正有负，则 $\eqref{1}$有极小/大值，但不是最小/大值，此时 $\eqref{1}$没有最小/大值

• 为使得讨论有意义，我们之后讨论的 $\eqref{1}$的优化均在 $\bf{A}$为半正定矩阵的条件下，来寻找其极小值，也就是最小值