在许多应用场景下, 我们
无需显式地优化某个目标函数, 而是需要求得模型中满足一些给定关系式的变量(或参数)的值 . 当这些关系式构成了
n
n
n 个等式时——与模型中变量的
个数相同 ——此问题就变成了求解
非线性方程组(nonlinear equations) . 数学上我们将这个问题写作
r
(
x
)
=
0
,
r(x)=0,
r ( x ) = 0 , 其中
r
:
R
n
→
R
n
r:\mathbb{R}^n\to\mathbb{R}^n
r : R n → R n 为一向量函数, 即
r
(
x
)
=
[
r
1
(
x
)
r
2
(
x
)
⋮
r
n
(
x
)
]
.
r(x)=\begin{bmatrix}r_1(x)\\r_2(x)\\\vdots\\r_n(x)\end{bmatrix}.
r ( x ) = ⎣ ⎢ ⎢ ⎢ ⎡ r 1 ( x ) r 2 ( x ) ⋮ r n ( x ) ⎦ ⎥ ⎥ ⎥ ⎤ . 本章中, 我们假设每个函数
r
i
:
R
n
→
R
,
i
=
1
,
2
,
…
,
n
r_i:\mathbb{R}^n\to\mathbb{R},i=1,2,\ldots,n
r i : R n → R , i = 1 , 2 , … , n 光滑 . 满足
r
(
x
)
=
0
r(x)=0
r ( x ) = 0 的向量
x
∗
x^*
x ∗ 称为非线性方程组的
解(solution) . 一个简单的例子是
r
(
x
)
=
[
x
2
2
−
1
sin
x
1
−
x
2
]
=
0
,
r(x)=\begin{bmatrix}x_2^2-1\\\sin x_1-x_2\end{bmatrix}=0,
r ( x ) = [ x 2 2 − 1 sin x 1 − x 2 ] = 0 , 这就是个
有无穷多解 的一个
n
=
2
n=2
n = 2 的方程组, 其中的两个解为
x
∗
=
(
3
π
/
2
,
−
1
)
T
,
x
∗
=
(
π
/
2
,
1
)
T
x^*=(3\pi/2,-1)^T,x^*=(\pi/2,1)^T
x ∗ = ( 3 π / 2 , − 1 ) T , x ∗ = ( π / 2 , 1 ) T . 一般的, 非线性方程组可以
无解、有唯一解或有多解 .
求解非线性方程组的方法在动机、分析与实施上都与先前讨论的优化方法密切相关 . 特别地, 在优化和非线性方程组的求解中, 牛顿法都处于许多重要算法的核心 . 每步迭代的线搜索、信赖域以及线性的代数子问题的非精确求解 在两个领域中都很重要. 二者也同时涉及如导数计算、全局收敛等问题.
由于许多求解非线性方程组的重要算法都是通过极小化方程离差平方和 , 即求解
min
x
∑
i
=
1
n
r
i
2
(
x
)
,
\min_x\sum_{i=1}^nr_i^2(x),
x min i = 1 ∑ n r i 2 ( x ) , 第十章 中求解非线性最小二乘问题的算法联系密切. 其中的差异在于:
在求解非线性方程组时, 方程的个数与变量数是相等的 ;
我们期望解满足所有的方程 , 而不是仅仅极小化离差的平方和. 由于非线性方程组往往表征了一些生理的或经济意义上的约束, 例如保守性规则或一致性原理, 因此令解精确地满足方程组就显得尤为重要.
许多应用需要我们求解一系列紧密相关的非线性系统, 例如下面这个例子.
例1 控制学领域中的一个问题是要分析飞行器对于飞行员指令响应的稳定性. 以下是基于受力平衡方程的一个简化模型, 其中我们忽略了重力项.
某个飞行器的平衡方程组由5个方程和8个未知量组成:
F
(
x
)
≡
A
x
+
ϕ
(
x
)
=
0
,
F(x)\equiv Ax+\phi(x)=0,
F ( x ) ≡ A x + ϕ ( x ) = 0 ,
F
:
R
8
→
R
5
F:\mathbb{R}^8\to\mathbb{R}^5
F : R 8 → R 5
A
A
A
A
=
[
−
3.933
0.107
0
;
126
0
−
9.99
0
−
45.83
−
7.64
0
−
0.987
0
−
22.95
0
−
28.37
0
0
0.002
0
−
0.235
0
5.67
0
−
0.921
−
6.51
0
1.0
0
−
1.0
0
−
0.168
0
0
0
0
−
1.0
0
−
0.196
0
−
0.0071
0
]
,
A=\begin{bmatrix}-3.933 & 0.107 & 0;126 & 0 & -9.99 & 0 & -45.83 & -7.64\\0 & -0.987 & 0 & -22.95 & 0 & -28.37 & 0 & 0\\0.002 & 0 & -0.235 & 0 & 5.67 & 0 & -0.921 & -6.51\\0 & 1.0 & 0 & -1.0 & 0 & -0.168 & 0 & 0\\0 & 0 & -1.0 & 0 & -0.196 & 0 & -0.0071 & 0\end{bmatrix},
A = ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ − 3 . 9 3 3 0 0 . 0 0 2 0 0 0 . 1 0 7 − 0 . 9 8 7 0 1 . 0 0 0 ; 1 2 6 0 − 0 . 2 3 5 0 − 1 . 0 0 − 2 2 . 9 5 0 − 1 . 0 0 − 9 . 9 9 0 5 . 6 7 0 − 0 . 1 9 6 0 − 2 8 . 3 7 0 − 0 . 1 6 8 0 − 4 5 . 8 3 0 − 0 . 9 2 1 0 − 0 . 0 0 7 1 − 7 . 6 4 0 − 6 . 5 1 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤ ,
ϕ
(
x
)
=
[
−
0.727
x
2
x
3
+
8.39
x
3
x
4
−
684.4
x
4
x
5
+
63.5
x
4
x
2
0.949
x
1
x
3
+
0.173
x
1
x
5
−
0.716
x
1
x
2
−
1.578
x
1
x
4
+
1.132
x
4
x
2
−
x
1
x
5
x
1
x
4
]
.
\phi(x)=\begin{bmatrix}-0.727x_2x_3+8.39x_3x_4-684.4x_4x_5+63.5x_4x_2\\0.949x_1x_3+0.173x_1x_5\\-0.716x_1x_2-1.578x_1x_4+1.132x_4x_2\\-x_1x_5\\x_1x_4\end{bmatrix}.
ϕ ( x ) = ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ − 0 . 7 2 7 x 2 x 3 + 8 . 3 9 x 3 x 4 − 6 8 4 . 4 x 4 x 5 + 6 3 . 5 x 4 x 2 0 . 9 4 9 x 1 x 3 + 0 . 1 7 3 x 1 x 5 − 0 . 7 1 6 x 1 x 2 − 1 . 5 7 8 x 1 x 4 + 1 . 1 3 2 x 4 x 2 − x 1 x 5 x 1 x 4 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤ .
x
1
,
x
2
,
x
3
x_1,x_2,x_3
x 1 , x 2 , x 3
x
4
x_4
x 4
x
5
x_5
x 5
x
6
,
x
7
,
x
8
x_6,x_7,x_8
x 6 , x 7 , x 8
给定控制变量
x
6
,
x
7
,
x
8
x_6,x_7,x_8
x 6 , x 7 , x 8
x
1
,
x
2
,
…
,
x
5
x_1,x_2,\ldots,x_5
x 1 , x 2 , … , x 5
尽管非线性方程组、无约束优化以及最小二乘问题的求解算法有许多的相似之处, 但它们之间也存在重大的差异 :
导数的计算 . 优化中我们若要求算法具有二次收敛性, 我们往往需要目标函数的二阶导数, 而在求解非线性方程组时仅需一阶导数;价值函数的选取 . 在无约束优化中, 目标函数 是我们用来评估求解进程的价值函数的一个天然的选择, 但在求解非线性方程组时, 我们可以使用各种各样的价值函数 , 而它们也都各自具有一些缺陷 ;框架的偏好 . 线搜索和信赖域方法在优化中可以说是同等重要, 但在求解非线性方程组时信赖域方法在理论上显得更优 .
求解非线性方程组的一些难点 可用一个简单的一维例子阐明. 例如
r
(
x
)
=
sin
(
5
x
)
−
x
,
r(x)=\sin(5x)-x,
r ( x ) = sin ( 5 x ) − x ,
从图中我们看到,
r
(
x
)
=
0
r(x)=0
r ( x ) = 0
r
r
r
±
0.519148
\pm 0.519148
± 0 . 5 1 9 1 4 8 多解的情形类似于优化问题中函数具有多个局部极小点 . 但二者并不等同 :
优化中 , 某个局部极小可能比其他的局部极小的函数值更小, 即局部极小之间是存在好坏之分的 ; 而在非线性方程组中 , 这些解(从数学的角度上看)都是一样的 . 当然从现实的角度或者从需求的角度, 我们会排除一些解; 甚至如果所有的解都不符合实际, 我们就需要重新建模 .
本章我们先概览与牛顿法相关 的算法, 并讨论它们的局部收敛性质 . 这些算法除了牛顿法 本身, 还包括Broyden的拟牛顿法 、非精确牛顿法 和张量法 . 之后我们讨论全局收敛性 . 最后我们讨论一种连续 (或同伦)的方法. 它的主要思想是: 逐步求解较为"简单 "的问题——它们的解是显然的或易求的——并逐渐 将这些"简单"问题转换 为
F
(
x
)
=
0
F(x)=0
F ( x ) = 0 跟踪关注解 的改变, 并希望最终得到
F
(
x
)
=
0
F(x)=0
F ( x ) = 0 约束优化中的内点法 的设计上显得尤为关键.
本章中我们假设向量函数
r
r
r
D
\mathcal{D}
D
J
(
x
)
J(x)
J ( x )
r
(
x
∗
)
=
0
r(x^*)=0
r ( x ∗ ) = 0
x
∗
x^*
x ∗ 退化解 (degenerate solution), 若相应的
J
(
x
∗
)
J(x^*)
J ( x ∗ ) 非退化解 (nondegenerate solution).
回忆之前在极小
f
:
R
n
→
R
f:\mathbb{R}^n\to\mathbb{R}
f : R n → R
f
f
f
x
k
x_k
x k 二次模型 , 之后导出了牛顿法, 牛顿步就是极小化该模型的向量. 而在非线性方程组的情形, 牛顿法也是以类似的方式导出, 不过取而代之的是线性模型 . 我们先陈述一下Taylor定理的向量值函数变体.
定理1 设
r
:
R
n
→
R
n
r:\mathbb{R}^n\to\mathbb{R}^n
r : R n → R n
D
\mathcal{D}
D
x
,
x
+
p
x,x+p
x , x + p
D
\mathcal{D}
D
r
(
x
+
p
)
=
r
(
x
)
+
∫
0
1
J
(
x
+
t
p
)
p
 
d
t
.
r(x+p)=r(x)+\int_0^1J(x+tp)p\,\mathrm{d}t.
r ( x + p ) = r ( x ) + ∫ 0 1 J ( x + t p ) p d t .
r
(
x
k
+
p
)
r(x_k+p)
r ( x k + p )
M
k
(
p
)
M_k(p)
M k ( p )
M
k
(
p
)
=
d
e
f
r
(
x
k
)
+
J
(
x
k
)
p
.
M_k(p)\xlongequal{def}r(x_k)+J(x_k)p.
M k ( p ) d e f
r ( x k ) + J ( x k ) p .
M
k
(
p
k
)
=
0
M_k(p_k)=0
M k ( p k ) = 0
p
k
=
−
J
(
x
k
)
−
1
r
(
x
k
)
p_k=-J(x_k)^{-1}r(x_k)
p k = − J ( x k ) − 1 r ( x k )
算法1 (Newton’s Method for Nonlinear Equations)
x
0
x_0
x 0
k
=
0
,
1
,
2
,
…
k=0,1,2,\ldots
k = 0 , 1 , 2 , …
\quad\quad
p
k
p_k
p k
J
(
x
k
)
p
k
=
−
r
(
x
k
)
;
J(x_k)p_k=-r(x_k);
J ( x k ) p k = − r ( x k ) ;
\quad\quad
x
k
+
1
←
x
k
+
p
k
x_{k+1}\leftarrow x_k+p_k
x k + 1 ← x k + p k
在非线性方程组的情形下, 我们不用二次模型而仅用线性模型计算牛顿步, 是因为线性模型能够正常地得到解且相应的算法具有较快的收敛速度 . 事实上, 无约束优化问题的牛顿法亦可通过将算法1实施于非线性方程组
∇
f
(
x
)
=
0
\nabla f(x)=0
∇ f ( x ) = 0
J
(
x
k
)
J(x_k)
J ( x k )
我们之后会证明, 当
x
k
x_k
x k
x
∗
x^*
x ∗ 超线性收敛性 . 牛顿法可能存在的缺陷包括:
当初始点距离解较远时, 算法1的表现可能会相当病态. 特别地, 当
J
(
x
k
)
J(x_k)
J ( x k )
一阶导数信息(即Jacobi矩阵
J
J
J
当
n
n
n
p
k
p_k
p k
解
x
∗
x^*
x ∗
J
(
x
∗
)
J(x^*)
J ( x ∗ )
对于第四条, 求标量函数
r
(
x
)
=
x
2
r(x)=x^2
r ( x ) = x 2
x
∗
=
0
x^*=0
x ∗ = 0
x
0
x_0
x 0
x
k
=
1
2
k
x
0
,
x_k=\frac{1}{2^k}x_0,
x k = 2 k 1 x 0 , 线性收敛 到解
0
0
0
后面我们会介绍, 牛顿法可通过各种方式修正或增强以解决这里的大部分问题 . 而这些变体就构成了可求解非线性方程组的许多软件的基础.
β
L
\beta_{L}
β L
∥
J
(
x
0
)
−
J
(
x
1
)
∥
≤
β
L
∥
x
0
−
x
1
∥
,
\Vert J(x_0)-J(x_1)\Vert\le\beta_{L}\Vert x_0-x_1\Vert,
∥ J ( x 0 ) − J ( x 1 ) ∥ ≤ β L ∥ x 0 − x 1 ∥ ,
x
0
,
x
1
x_0,x_1
x 0 , x 1
定理2 设
r
r
r
D
⊂
R
n
\mathcal{D}\subset\mathbb{R}^n
D ⊂ R n
x
∗
∈
D
x^*\in\mathcal{D}
x ∗ ∈ D
r
(
x
)
=
0
r(x)=0
r ( x ) = 0
{
x
k
}
\{x_k\}
{ x k }
x
k
∈
D
x_k\in\mathcal{D}
x k ∈ D
x
∗
x^*
x ∗
x
k
+
1
−
x
∗
=
o
(
∥
x
k
−
x
∗
∥
)
,
x_{k+1}-x^*=o(\Vert x_k-x^*\Vert),
x k + 1 − x ∗ = o ( ∥ x k − x ∗ ∥ ) , 局部Q-超线性收敛 . 进一步, 当
r
r
r
x
∗
x^*
x ∗
x
k
+
1
−
x
∗
=
O
(
∥
x
k
−
x
∗
∥
2
)
,
x_{k+1}-x^*=O(\Vert x_k-x^*\Vert^2),
x k + 1 − x ∗ = O ( ∥ x k − x ∗ ∥ 2 ) , 局部Q-二次收敛 .
证明: 由于
r
(
x
∗
)
=
0
r(x^*)=0
r ( x ∗ ) = 0
r
(
x
k
)
=
r
(
x
k
)
−
r
(
x
∗
)
=
J
(
x
k
)
(
x
k
−
x
∗
)
+
w
(
x
k
,
x
∗
)
,
r(x_k)=r(x_k)-r(x^*)=J(x_k)(x_k-x^*)+w(x_k,x^*),
r ( x k ) = r ( x k ) − r ( x ∗ ) = J ( x k ) ( x k − x ∗ ) + w ( x k , x ∗ ) ,
w
(
x
k
,
x
∗
)
=
∫
0
1
[
J
(
x
k
+
t
(
x
∗
−
x
k
)
)
−
J
(
x
k
)
]
(
x
k
−
x
∗
)
 
d
t
.
w(x_k,x^*)=\int_0^1[J(x_k+t(x^*-x_k))-J(x_k)](x_k-x^*)\,\mathrm{d}t.
w ( x k , x ∗ ) = ∫ 0 1 [ J ( x k + t ( x ∗ − x k ) ) − J ( x k ) ] ( x k − x ∗ ) d t .
J
J
J
∥
w
(
x
k
,
x
∗
)
∥
=
∥
∫
0
1
[
J
(
x
k
+
t
(
x
∗
−
x
k
)
)
−
J
(
x
k
)
]
(
x
k
−
x
∗
)
 
d
t
∥
≤
∫
0
1
∥
J
(
x
k
+
t
(
x
∗
−
x
k
)
)
−
J
(
x
k
)
∥
∥
x
k
−
x
∗
∥
 
d
t
=
o
(
∥
x
k
−
x
∗
∥
)
.
\begin{aligned}\Vert w(x_k,x^*)\Vert&=\left\Vert\int_0^1[J(x_k+t(x^*-x_k))-J(x_k)](x_k-x^*)\,\mathrm{d}t\right\Vert\\&\le\int_0^1\Vert J(x_k+t(x^*-x_k))-J(x_k)\Vert\Vert x_k-x^*\Vert\,\mathrm{d}t\\&=o(\Vert x_k-x^*\Vert).\end{aligned}
∥ w ( x k , x ∗ ) ∥ = ∥ ∥ ∥ ∥ ∫ 0 1 [ J ( x k + t ( x ∗ − x k ) ) − J ( x k ) ] ( x k − x ∗ ) d t ∥ ∥ ∥ ∥ ≤ ∫ 0 1 ∥ J ( x k + t ( x ∗ − x k ) ) − J ( x k ) ∥ ∥ x k − x ∗ ∥ d t = o ( ∥ x k − x ∗ ∥ ) .
J
(
x
∗
)
J(x^*)
J ( x ∗ )
δ
>
0
\delta>0
δ > 0
β
∗
\beta^*
β ∗
B
(
x
∗
,
δ
)
=
d
e
f
{
x
∣
∥
x
−
x
∗
∥
≤
δ
}
\mathcal{B}(x^*,\delta)\xlongequal{def}\{x|\Vert x-x^*\Vert\le\delta\}
B ( x ∗ , δ ) d e f
{ x ∣ ∥ x − x ∗ ∥ ≤ δ }
x
x
x
∥
J
(
x
)
−
1
∥
≤
β
∗
且
x
∈
D
.
\Vert J(x)^{-1}\Vert\le\beta^*\quad 且\quad x\in\mathcal{D}.
∥ J ( x ) − 1 ∥ ≤ β ∗ 且 x ∈ D .
x
k
∈
B
(
x
∗
,
δ
)
x_k\in\mathcal{B}(x^*,\delta)
x k ∈ B ( x ∗ , δ )
J
(
x
k
)
−
1
J(x_k)^{-1}
J ( x k ) − 1
−
p
k
=
(
x
k
−
x
∗
)
+
∥
J
(
x
k
)
−
1
∥
o
(
∥
x
k
−
x
∗
∥
)
,
⇒
x
k
+
p
k
−
x
∗
=
o
(
∥
x
k
−
x
∗
∥
)
,
⇒
x
k
+
1
−
x
∗
=
o
(
∥
x
k
−
x
∗
∥
)
,
\begin{aligned}-p_k&=(x_k-x^*)+\Vert J(x_k)^{-1}\Vert o(\Vert x_k-x^*\Vert),\\\Rightarrow x_k+p_k-x^*&=o(\Vert x_k-x^*\Vert),\\\Rightarrow x_{k+1}-x^*&=o(\Vert x_k-x^*\Vert),\end{aligned}
− p k ⇒ x k + p k − x ∗ ⇒ x k + 1 − x ∗ = ( x k − x ∗ ) + ∥ J ( x k ) − 1 ∥ o ( ∥ x k − x ∗ ∥ ) , = o ( ∥ x k − x ∗ ∥ ) , = o ( ∥ x k − x ∗ ∥ ) ,
r
r
r
x
∗
x^*
x ∗
∥
w
(
x
k
,
x
∗
)
∥
=
O
(
∥
x
k
−
x
∗
∥
2
)
\Vert w(x_k,x^*)\Vert=O(\Vert x_k-x^*\Vert^2)
∥ w ( x k , x ∗ ) ∥ = O ( ∥ x k − x ∗ ∥ 2 )
下面我们不要求精确求解牛顿方程, 而是仅求非精确搜索方向
p
k
p_k
p k
∥
r
k
+
J
k
p
k
∥
≤
η
k
∥
r
k
∥
,
η
k
∈
[
0
,
η
]
,
\Vert r_k+J_kp_k\Vert\le\eta_k\Vert r_k\Vert,\quad \eta_k\in[0,\eta],
∥ r k + J k p k ∥ ≤ η k ∥ r k ∥ , η k ∈ [ 0 , η ] ,
η
∈
[
0
,
1
)
\eta\in[0,1)
η ∈ [ 0 , 1 ) 第七章 一样, 我们称
{
η
k
}
\{\eta_k\}
{ η k }
p
k
p_k
p k
框架2 (Inexact Newton for Nonlinear Equations)
η
∈
[
0
,
1
)
\eta\in[0,1)
η ∈ [ 0 , 1 )
x
0
x_0
x 0
k
=
0
,
1
,
2
,
…
k=0,1,2,\ldots
k = 0 , 1 , 2 , …
\quad\quad
η
k
∈
[
0
,
η
]
\eta_k\in[0,\eta]
η k ∈ [ 0 , η ]
\quad\quad
p
k
p_k
p k
∥
r
k
+
J
k
p
k
∥
≤
η
k
∥
r
k
∥
\Vert r_k+J_kp_k\Vert\le\eta_k\Vert r_k\Vert
∥ r k + J k p k ∥ ≤ η k ∥ r k ∥
\quad\quad
x
k
+
1
←
x
k
+
p
k
x_{k+1}\leftarrow x_k+p_k
x k + 1 ← x k + p k
这些方法的收敛性质仅依赖于
p
k
p_k
p k
p
k
p_k
p k . 其中最重要的方法使用如广义极小残量法 (GMRES)或其他的Krylov子空间方法 求解线性系统
J
p
=
−
r
Jp=-r
J p = − r
J
J
J 仅需计算矩阵-向量乘积
J
d
Jd
J d
n
n
n GMRES 每一步都会多储存一个向量, 因此使用它时必须要周期性地重启 (一般每10或20次迭代重启一次)以控制内存的使用在合理的水平.
矩阵-向量乘积
J
d
Jd
J d
J
J
J 第八章 我们介绍了如何使用有限差分近似计算
J
d
Jd
J d
J
d
Jd
J d 自动微分的前向模式 , 其计算代价至多为计算一次
r
(
⋅
)
r(\cdot)
r ( ⋅ )
这里我们不介绍稀疏线性系统的迭代方法. 下面我们证明非精确牛顿法的局部收敛定理.
定理3 设
r
r
r
D
⊂
R
n
\mathcal{D}\subset\mathbb{R}^n
D ⊂ R n
x
∗
∈
D
x^*\in\mathcal{D}
x ∗ ∈ D
r
(
x
)
=
0
r(x)=0
r ( x ) = 0
{
x
k
}
\{x_k\}
{ x k }
x
k
∈
D
x_k\in\mathcal{D}
x k ∈ D
x
∗
x^*
x ∗
若强迫序列的上界
η
\eta
η
{
x
k
}
\{x_k\}
{ x k } Q-线性收敛 于
x
∗
x^*
x ∗
若
η
k
→
0
\eta_k\to0
η k → 0 Q-超线性 的.
若进一步,
J
(
⋅
)
J(\cdot)
J ( ⋅ )
x
∗
x^*
x ∗
η
k
=
O
(
∥
r
k
∥
)
\eta_k=O(\Vert r_k\Vert)
η k = O ( ∥ r k ∥ ) Q-二次 的.
证明: 首先我们将
p
k
p_k
p k
J
(
x
k
)
p
k
+
r
(
x
k
)
=
v
k
,
∥
v
k
∥
≤
η
k
∥
r
(
x
k
)
∥
.
J(x_k)p_k+r(x_k)=v_k,\quad \Vert v_k\Vert\le\eta_k\Vert r(x_k)\Vert.
J ( x k ) p k + r ( x k ) = v k , ∥ v k ∥ ≤ η k ∥ r ( x k ) ∥ .
x
∗
x^*
x ∗
δ
>
0
\delta>0
δ > 0
β
∗
\beta^*
β ∗
∥
J
(
x
)
−
1
∥
≤
β
∗
,
∀
x
∈
B
(
x
∗
,
δ
)
\Vert J(x)^{-1}\Vert\le\beta^*,\forall x\in\mathcal{B}(x^*,\delta)
∥ J ( x ) − 1 ∥ ≤ β ∗ , ∀ x ∈ B ( x ∗ , δ )
J
(
x
k
)
−
1
J(x_k)^{-1}
J ( x k ) − 1
∥
p
k
+
J
(
x
k
)
−
1
r
(
x
k
)
∥
=
∥
J
(
x
k
)
−
1
v
k
∥
≤
β
∗
η
k
∥
r
(
x
k
)
∥
.
\Vert p_k+J(x_k)^{-1}r(x_k)\Vert=\Vert J(x_k)^{-1}v_k\Vert\le\beta^*\eta_k\Vert r(x_k)\Vert.
∥ p k + J ( x k ) − 1 r ( x k ) ∥ = ∥ J ( x k ) − 1 v k ∥ ≤ β ∗ η k ∥ r ( x k ) ∥ .
r
(
x
)
=
J
(
x
)
(
x
−
x
∗
)
+
w
(
x
,
x
∗
)
,
r(x)=J(x)(x-x^*)+w(x,x^*),
r ( x ) = J ( x ) ( x − x ∗ ) + w ( x , x ∗ ) ,
ρ
(
x
)
=
d
e
f
∥
w
(
x
,
x
∗
)
∥
/
∥
x
−
x
∗
∥
→
0
,
x
→
x
∗
\rho(x)\xlongequal{def}\Vert w(x,x^*)\Vert/\Vert x-x^*\Vert\to0,x\to x^*
ρ ( x ) d e f
∥ w ( x , x ∗ ) ∥ / ∥ x − x ∗ ∥ → 0 , x → x ∗
δ
\delta
δ
∥
r
(
x
)
∥
≤
2
∥
J
(
x
∗
)
∥
∥
x
−
x
∗
∥
+
o
(
∥
x
−
x
∗
∥
)
≤
4
∥
J
(
x
∗
)
∥
∥
x
−
x
∗
∥
,
x
∈
B
(
x
∗
,
δ
)
.
\Vert r(x)\Vert\le 2\Vert J(x^*)\Vert\Vert x-x^*\Vert+o(\Vert x-x^*\Vert)\le 4\Vert J(x^*)\Vert\Vert x-x^*\Vert,\quad x\in\mathcal{B}(x^*,\delta).
∥ r ( x ) ∥ ≤ 2 ∥ J ( x ∗ ) ∥ ∥ x − x ∗ ∥ + o ( ∥ x − x ∗ ∥ ) ≤ 4 ∥ J ( x ∗ ) ∥ ∥ x − x ∗ ∥ , x ∈ B ( x ∗ , δ ) .
∥
x
k
+
p
k
−
x
∗
∥
=
∥
p
k
+
J
(
x
k
)
−
1
(
r
(
x
k
)
−
w
(
x
k
,
x
∗
)
)
∥
≤
β
∗
η
k
∥
r
(
x
k
)
∥
+
∥
J
(
x
k
)
−
1
∥
∥
w
(
x
k
,
x
∗
)
∥
≤
[
4
∥
J
(
x
∗
)
∥
β
∗
η
k
+
β
∗
ρ
(
x
k
)
]
∥
x
k
−
x
∗
∥
.
\begin{aligned}\Vert x_k+p_k-x^*\Vert&=\Vert p_k+J(x_k)^{-1}(r(x_k)-w(x_k,x^*))\Vert\\&\le\beta^*\eta_k\Vert r(x_k)\Vert+\Vert J(x_k)^{-1}\Vert\Vert w(x_k,x^*)\Vert\\&\le\left[4\Vert J(x^*)\Vert\beta^*\eta_k+\beta^*\rho(x_k)\right]\Vert x_k-x^*\Vert.\end{aligned}
∥ x k + p k − x ∗ ∥ = ∥ p k + J ( x k ) − 1 ( r ( x k ) − w ( x k , x ∗ ) ) ∥ ≤ β ∗ η k ∥ r ( x k ) ∥ + ∥ J ( x k ) − 1 ∥ ∥ w ( x k , x ∗ ) ∥ ≤ [ 4 ∥ J ( x ∗ ) ∥ β ∗ η k + β ∗ ρ ( x k ) ] ∥ x k − x ∗ ∥ .
x
k
x_k
x k
x
∗
x^*
x ∗
ρ
(
x
k
)
≤
1
/
(
4
β
∗
)
\rho(x_k)\le1/(4\beta^*)
ρ ( x k ) ≤ 1 / ( 4 β ∗ )
η
=
1
/
(
8
∥
J
(
x
∗
)
∥
β
∗
)
\eta=1/(8\Vert J(x^*)\Vert\beta^*)
η = 1 / ( 8 ∥ J ( x ∗ ) ∥ β ∗ )
3
/
4
3/4
3 / 4
x
k
→
x
∗
,
η
k
→
0
x_k\to x^*,\eta_k\to0
x k → x ∗ , η k → 0
相比于前面介绍的, 拟牛顿法并不需要计算Jacobi矩阵
J
(
x
)
J(x)
J ( x )
J
J
J
B
k
B_k
B k
k
k
k
M
k
(
p
)
=
r
(
x
k
)
+
B
k
p
.
M_k(p)=r(x_k)+B_kp.
M k ( p ) = r ( x k ) + B k p .
p
k
p_k
p k
B
k
B_k
B k
p
k
=
−
B
k
−
1
r
(
x
k
)
.
p_k=-B_k^{-1}r(x_k).
p k = − B k − 1 r ( x k ) .
s
k
=
x
k
+
1
−
x
k
,
y
k
=
r
(
x
k
+
1
)
−
r
(
x
k
)
.
s_k=x_{k+1}-x_k,\quad y_k=r(x_{k+1})-r(x_k).
s k = x k + 1 − x k , y k = r ( x k + 1 ) − r ( x k ) .
y
k
=
∫
0
1
J
(
x
k
+
t
s
k
)
s
k
 
d
t
≈
J
(
x
k
+
1
)
s
k
+
o
(
∥
s
k
∥
)
.
y_k=\int_0^1J(x_k+ts_k)s_k\,\mathrm{d}t\approx J(x_{k+1})s_k+o(\Vert s_k\Vert).
y k = ∫ 0 1 J ( x k + t s k ) s k d t ≈ J ( x k + 1 ) s k + o ( ∥ s k ∥ ) .
B
k
+
1
B_{k+1}
B k + 1 割线方程 :
y
k
=
B
k
+
1
s
k
,
y_k=B_{k+1}s_k,
y k = B k + 1 s k ,
B
k
+
1
B_{k+1}
B k + 1
J
(
x
k
+
1
)
J(x_{k+1})
J ( x k + 1 )
s
k
s_k
s k 割线方程并没有提供
B
k
+
1
B_{k+1}
B k + 1
s
k
s_k
s k . 事实上, 我们可以将割线方程看成是具有
n
2
n^2
n 2
n
n
n
B
k
+
1
B_{k+1}
B k + 1
n
=
1
n=1
n = 1 割线法 (secant methods).)
确定
B
k
+
1
B_{k+1}
B k + 1 Broyden法 , 其更新公式为
B
k
+
1
=
B
k
+
(
y
k
−
B
k
s
k
)
s
k
T
s
k
T
s
k
.
B_{k+1}=B_k+\frac{(y_k-B_ks_k)s_k^T}{s_k^Ts_k}.
B k + 1 = B k + s k T s k ( y k − B k s k ) s k T .
∥
B
k
−
B
k
+
1
∥
2
\Vert B_k-B_{k+1}\Vert_2
∥ B k − B k + 1 ∥ 2
引理4 在所有的满足割线方程
B
s
k
=
y
k
Bs_k=y_k
B s k = y k
B
B
B
B
k
+
1
B_{k+1}
B k + 1
∥
B
−
B
k
∥
\Vert B-B_k\Vert
∥ B − B k ∥
证明: 设
B
B
B
B
s
k
=
y
k
Bs_k=y_k
B s k = y k
∥
s
s
T
/
s
T
s
∥
=
1
,
∀
s
\Vert ss^T/s^Ts\Vert=1,\forall s
∥ s s T / s T s ∥ = 1 , ∀ s
∥
B
k
+
1
−
B
k
∥
=
∥
(
y
k
−
B
k
s
k
)
s
k
T
s
k
T
s
k
∥
=
∥
(
B
−
B
k
)
s
k
s
k
T
s
k
T
s
k
∥
≤
∥
B
−
B
k
∥
∥
s
k
s
k
T
s
k
T
s
k
∥
=
∥
B
−
B
k
∥
.
\begin{aligned}\Vert B_{k+1}-B_k\Vert&=\left\Vert\frac{(y_k-B_ks_k)s_k^T}{s_k^Ts_k}\right\Vert\\&=\left\Vert\frac{(B-B_k)s_ks_k^T}{s_k^Ts_k}\right\Vert\le\Vert B-B_k\Vert\left\Vert\frac{s_ks_k^T}{s_k^Ts_k}\right\Vert=\Vert B-B_k\Vert.\end{aligned}
∥ B k + 1 − B k ∥ = ∥ ∥ ∥ ∥ s k T s k ( y k − B k s k ) s k T ∥ ∥ ∥ ∥ = ∥ ∥ ∥ ∥ s k T s k ( B − B k ) s k s k T ∥ ∥ ∥ ∥ ≤ ∥ B − B k ∥ ∥ ∥ ∥ ∥ s k T s k s k s k T ∥ ∥ ∥ ∥ = ∥ B − B k ∥ .
B
k
+
1
∈
arg
min
B
:
y
k
=
B
s
k
∥
B
−
B
k
∥
,
B_{k+1}\in\arg\min_{B:y_k=Bs_k}\Vert B-B_k\Vert,
B k + 1 ∈ arg B : y k = B s k min ∥ B − B k ∥ ,
以下我们给出具体算法, 其中附加了沿着搜索方向
p
k
p_k
p k
s
k
=
α
p
k
,
α
>
0
s_k=\alpha p_k,\alpha>0
s k = α p k , α > 0
算法3 (Broyden)
x
0
x_0
x 0
B
0
B_0
B 0
k
=
0
,
1
,
2
,
…
k=0,1,2,\ldots
k = 0 , 1 , 2 , …
\quad\quad
p
k
p_k
p k
B
k
p
k
=
−
r
(
x
k
)
;
B_kp_k=-r(x_k);
B k p k = − r ( x k ) ;
\quad\quad
α
k
\alpha_k
α k
p
k
p_k
p k
\quad\quad
x
k
+
1
←
x
k
+
α
k
p
k
x_{k+1}\leftarrow x_k+\alpha_kp_k
x k + 1 ← x k + α k p k
\quad\quad
s
k
←
x
k
+
1
−
x
k
s_k\leftarrow x_{k+1}-x_k
s k ← x k + 1 − x k
\quad\quad
y
k
←
r
(
x
k
+
1
)
−
r
(
x
k
)
y_k\leftarrow r(x_{k+1})-r(x_k)
y k ← r ( x k + 1 ) − r ( x k )
\quad\quad
B
k
+
1
B_{k+1}
B k + 1
在一定的假设条件下, Broyden法超线性收敛 , 即
∥
x
k
+
1
−
x
∗
∥
=
o
(
∥
x
k
−
x
∗
∥
)
.
\Vert x_{k+1}-x^*\Vert=o(\Vert x_k-x^*\Vert).
∥ x k + 1 − x ∗ ∥ = o ( ∥ x k − x ∗ ∥ ) .
我们以一个例子来阐释牛顿法与Broyden法收敛速度的差别. 定义向量值函数
r
:
R
2
→
R
2
r:\mathbb{R}^2\to\mathbb{R}^2
r : R 2 → R 2
r
(
x
)
=
[
(
x
1
+
3
)
(
x
2
3
−
7
)
+
18
sin
(
x
2
e
x
1
−
1
)
]
,
r(x)=\begin{bmatrix}(x_1+3)(x_2^3-7)+18\\\sin(x_2e^{x_1}-1)\end{bmatrix},
r ( x ) = [ ( x 1 + 3 ) ( x 2 3 − 7 ) + 1 8 sin ( x 2 e x 1 − 1 ) ] ,
x
∗
=
(
0
,
1
)
T
x^*=(0,1)^T
x ∗ = ( 0 , 1 ) T
x
0
=
(
−
0.5
,
1.4
)
T
x_0=(-0.5, 1.4)^T
x 0 = ( − 0 . 5 , 1 . 4 ) T
J
(
x
0
)
J(x_0)
J ( x 0 )
xk-x*的2范数
xk-x*的2范数
Iteration
k
k
k
Broyden
Newton
0
0.64
×
1
0
0
0.64\times10^0
0 . 6 4 × 1 0 0
0.64
×
1
0
0
0.64\times10^0
0 . 6 4 × 1 0 0
1
0.62
×
1
0
−
1
0.62\times10^{-1}
0 . 6 2 × 1 0 − 1
0.62
×
1
0
−
1
0.62\times10^{-1}
0 . 6 2 × 1 0 − 1
2
0.52
×
1
0
−
3
0.52\times10^{-3}
0 . 5 2 × 1 0 − 3
0.21
×
1
0
−
3
0.21\times10^{-3}
0 . 2 1 × 1 0 − 3
3
0.25
×
1
0
−
3
0.25\times10^{-3}
0 . 2 5 × 1 0 − 3
0.18
×
1
0
−
7
0.18\times10^{-7}
0 . 1 8 × 1 0 − 7
4
0.43
×
1
0
−
4
0.43\times10^{-4}
0 . 4 3 × 1 0 − 4
0.12
×
1
0
−
15
0.12\times10^{-15}
0 . 1 2 × 1 0 − 1 5
5
0.14
×
1
0
−
6
0.14\times10^{-6}
0 . 1 4 × 1 0 − 6
6
0.57
×
1
0
−
9
0.57\times10^{-9}
0 . 5 7 × 1 0 − 9
7
0.18
×
1
0
−
11
0.18\times10^{-11}
0 . 1 8 × 1 0 − 1 1
8
0.87
×
1
0
−
15
0.87\times10^{-15}
0 . 8 7 × 1 0 − 1 5
r(x_k)的2范数
r(x_k)的2范数
Iteration
k
k
k
Broyden
Newton
0
0.74
×
1
0
1
0.74\times10^1
0 . 7 4 × 1 0 1
0.74
×
1
0
1
0.74\times10^1
0 . 7 4 × 1 0 1
1
0.59
×
1
0
0
0.59\times10^0
0 . 5 9 × 1 0 0
0.59
×
1
0
0
0.59\times10^0
0 . 5 9 × 1 0 0
2
0.20
×
1
0
−
2
0.20\times10^{-2}
0 . 2 0 × 1 0 − 2
0.23
×
1
0
−
2
0.23\times10^{-2}
0 . 2 3 × 1 0 − 2
3
0.21
×
1
0
−
2
0.21\times10^{-2}
0 . 2 1 × 1 0 − 2
0.16
×
1
0
−
6
0.16\times10^{-6}
0 . 1 6 × 1 0 − 6
4
0.37
×
1
0
−
3
0.37\times10^{-3}
0 . 3 7 × 1 0 − 3
0.22
×
1
0
−
15
0.22\times10^{-15}
0 . 2 2 × 1 0 − 1 5
5
0.12
×
1
0
−
5
0.12\times10^{-5}
0 . 1 2 × 1 0 − 5
6
0.49
×
1
0
−
8
0.49\times10^{-8}
0 . 4 9 × 1 0 − 8
7
0.15
×
1
0
−
10
0.15\times10^{-10}
0 . 1 5 × 1 0 − 1 0
8
0.11
×
1
0
−
18
0.11\times10^{-18}
0 . 1 1 × 1 0 − 1 8
从每步迭代残差范数的幂次可知Newton法有Q-二次收敛性. 而Broyden法则用了牛顿法的2倍迭代步数, 且最后残差减小的速度逐渐加快.
∥
r
(
x
k
)
∥
\Vert r(x_k)\Vert
∥ r ( x k ) ∥
∥
x
k
−
x
∗
∥
\Vert x_k-x^*\Vert
∥ x k − x ∗ ∥
r
(
x
k
)
=
r
(
x
k
)
−
r
(
x
∗
)
≈
J
(
x
∗
)
(
x
k
−
x
∗
)
,
r(x_k)=r(x_k)-r(x^*)\approx J(x^*)(x_k-x^*),
r ( x k ) = r ( x k ) − r ( x ∗ ) ≈ J ( x ∗ ) ( x k − x ∗ ) ,
J
(
x
∗
)
J(x^*)
J ( x ∗ )
Broyden法的收敛性分析要比牛顿法复杂得多. 我们不加证明的叙述之.定理5 设定理2的假设条件成立. 则存在
ϵ
>
0
,
δ
>
0
\epsilon>0,\delta>0
ϵ > 0 , δ > 0
∥
x
0
−
x
∗
∥
≤
δ
,
∥
B
0
−
J
(
x
∗
)
∥
≤
ϵ
\Vert x_0-x^*\Vert\le\delta,\quad \Vert B_0-J(x^*)\Vert\le\epsilon
∥ x 0 − x ∗ ∥ ≤ δ , ∥ B 0 − J ( x ∗ ) ∥ ≤ ϵ
x
0
x_0
x 0
B
0
B_0
B 0
{
x
k
}
\{x_k\}
{ x k } Q-超线性收敛 于
x
∗
x^*
x ∗
定理5中的第二个条件 ——初始Jacobi近似
B
0
B_0
B 0
J
(
x
∗
)
J(x^*)
J ( x ∗ ) 比较难保证 . 与无约束极小问题相反, 在这里
B
0
B_0
B 0 . 较为常见的选取方式为, 令
B
0
=
J
(
x
0
)
B_0=J(x_0)
B 0 = J ( x 0 )
J
(
x
0
)
J(x_0)
J ( x 0 )
一般地, 即使真实的Jacobi矩阵
J
J
J 稀疏 , Broyden矩阵
B
k
B_k
B k
n
n
n
B
k
B_k
B k 有限内存 的方式, 以一定量的向量隐式地储存与代表
B
k
B_k
B k
在张量方法中, 我们需要给牛顿法中的使用的线性模型
M
k
(
p
)
M_k(p)
M k ( p ) 加上额外的项以捕捉
r
r
r . 如此, 算法便能更快地、更可靠地收敛到退化解, 尤其是那些Jacobi矩阵
J
(
x
∗
)
J(x^*)
J ( x ∗ )
n
−
1
n-1
n − 1
n
−
2
n-2
n − 2
x
∗
x^*
x ∗
我们记模型函数为
M
^
k
(
p
)
\hat{M}_k(p)
M ^ k ( p )
M
^
k
(
p
)
=
r
(
x
k
)
+
J
(
x
k
)
p
+
1
2
T
k
p
p
,
\hat{M}_k(p)=r(x_k)+J(x_k)p+\frac{1}{2}T_kpp,
M ^ k ( p ) = r ( x k ) + J ( x k ) p + 2 1 T k p p ,
T
k
T_k
T k 张量 (tensor), 具有
n
3
n^3
n 3
(
T
k
)
i
j
l
(T_k)_{ijl}
( T k ) i j l
R
n
\mathbb{R}^n
R n
(
T
k
u
v
)
i
=
∑
j
=
1
n
∑
l
=
1
n
(
T
k
)
i
j
l
u
j
v
l
.
(T_kuv)_i=\sum_{j=1}^n\sum_{l=1}^n(T_k)_{ijl}u_jv_l.
( T k u v ) i = j = 1 ∑ n l = 1 ∑ n ( T k ) i j l u j v l .
r
r
r
x
k
x_k
x k
T
k
T_k
T k
(
T
k
)
i
j
l
=
[
∇
2
r
i
(
x
k
)
]
j
l
.
(T_k)_{ijl}=[\nabla^2r_i(x_k)]_{jl}.
( T k ) i j l = [ ∇ 2 r i ( x k ) ] j l .
(
T
(
x
)
u
v
)
1
=
u
T
∇
2
r
1
(
x
)
v
=
u
T
[
0
3
x
2
2
3
x
2
2
6
x
2
(
x
1
+
3
)
]
v
=
3
x
2
2
(
u
1
v
2
+
u
2
v
1
)
+
6
x
2
(
x
1
+
3
)
u
2
v
2
.
\begin{aligned}(T(x)uv)_1&=u^T\nabla^2r_1(x)v=u^T\begin{bmatrix}0 & 3x_2^2\\3x_2^2 & 6x_2(x_1+3)\end{bmatrix}v\\&=3x_2^2(u_1v_2+u_2v_1)+6x_2(x_1+3)u_2v_2.\end{aligned}
( T ( x ) u v ) 1 = u T ∇ 2 r 1 ( x ) v = u T [ 0 3 x 2 2 3 x 2 2 6 x 2 ( x 1 + 3 ) ] v = 3 x 2 2 ( u 1 v 2 + u 2 v 1 ) + 6 x 2 ( x 1 + 3 ) u 2 v 2 . 二阶导的计算并不实际 . 若我们要显式地储存二阶导, 就需要储存大约
n
3
/
2
n^3/2
n 3 / 2
n
n
n 可能根本不存在
p
p
p
M
^
k
(
p
)
=
0
\hat{M}_k(p)=0
M ^ k ( p ) = 0 , 从而这一步是无法定义的.
下面我们介绍一种仅需额外增加少量的储存就可定义
T
k
T_k
T k
M
^
k
\hat{M}_k
M ^ k
T
k
T_k
T k
M
^
k
(
p
)
\hat{M}_k(p)
M ^ k ( p ) 插值 算法于前几次迭代产生的迭代点. 即
M
^
k
(
x
k
−
j
−
x
k
)
=
r
(
x
k
−
j
)
,
j
=
1
,
2
,
…
,
q
,
q
∈
N
.
\hat{M}_k(x_{k-j}-x_k)=r(x_{k-j}),\quad j=1,2,\ldots,q,\quad q\in\mathbb{N}.
M ^ k ( x k − j − x k ) = r ( x k − j ) , j = 1 , 2 , … , q , q ∈ N .
T
k
T_k
T k
T
k
T_k
T k
1
2
T
k
s
j
k
s
j
k
=
r
(
x
k
−
j
)
−
r
(
x
k
)
−
J
(
x
k
)
s
j
k
,
\frac{1}{2}T_ks_{jk}s_{jk}=r(x_{k-j})-r(x_k)-J(x_k)s_{jk},
2 1 T k s j k s j k = r ( x k − j ) − r ( x k ) − J ( x k ) s j k ,
s
j
k
=
d
e
f
x
k
−
j
−
x
k
,
j
=
1
,
2
,
…
,
q
.
s_{jk}\xlongequal{def}x_{k-j}-x_k,\quad j=1,2,\ldots,q.
s j k d e f
x k − j − x k , j = 1 , 2 , … , q .
T
k
T_k
T k
T
k
u
v
=
∑
j
=
1
q
a
j
(
s
j
k
T
u
)
(
s
j
k
T
v
)
,
T_kuv=\sum_{j=1}^qa_j(s_{jk}^Tu)(s_{jk}^Tv),
T k u v = j = 1 ∑ q a j ( s j k T u ) ( s j k T v ) ,
a
j
,
j
=
1
,
2
,
…
,
q
a_j,j=1,2,\ldots,q
a j , j = 1 , 2 , … , q
n
n
n 插值点数
q
q
q , 一般小于
n
\sqrt{n}
n
T
k
T_k
T k
2
n
q
2nq
2 n q
a
j
a_j
a j
s
j
k
,
j
=
1
,
2
,
…
,
q
s_{jk},j=1,2,\ldots,q
s j k , j = 1 , 2 , … , q
这一方法可用许多不同的方式加以完善. 例如, 选取插值点使得方向
s
j
k
s_{jk}
s j k
M
^
k
(
p
)
\hat{M}_k(p)
M ^ k ( p )
p
p
p
∥
M
^
k
(
p
)
∥
2
2
\Vert\hat{M}_k(p)\Vert_2^2
∥ M ^ k ( p ) ∥ 2 2
p
p
p
1
2
∥
r
(
x
)
∥
2
\frac{1}{2}\Vert r(x)\Vert^2
2 1 ∥ r ( x ) ∥ 2
−
J
k
−
1
r
k
-J_k^{-1}r_k
− J k − 1 r k
下面我们考虑以上介绍的牛顿类算法的实用变体 , 其中将引入线搜索与信赖域以得到更好的全局收敛性质 .
如前所述, 不管是牛顿法还是带单位步长的Broyden方法, 我们都只能得到算法的局部收敛. 若从较远的位置出发 迭代, 未知量、函数向量或是Jacobi矩阵的元素就有可能爆炸 . 另外, 有种更加奇怪的算法行为是循环 , 其中迭代点在不同的参数空间中移动却从不趋近某个解. 一个例子就是标量函数
r
(
x
)
=
−
x
5
+
x
3
+
4
x
.
r(x)=-x^5+x^3+4x.
r ( x ) = − x 5 + x 3 + 4 x .
x
0
=
1
x_0=1
x 0 = 1
加入线搜索与信赖域的框架 , 牛顿法和Broyden方法就可变得更强健. 在介绍之前, 我们需要先定义一个标量价值函数 (merit function), 它能(从迫近
r
r
r 指示新的迭代点是否比当前的迭代点更好 , 从而指导算法接收新点. 无约束优化中, 目标函数
f
f
f 以某种方式组合
r
r
r
n
n
n 得到.
这里最常用的价值函数就是分量平方和 :
f
(
x
)
=
1
2
∥
r
(
x
)
∥
2
=
1
2
∑
i
=
1
n
r
i
2
(
x
)
.
f(x)=\frac{1}{2}\Vert r(x)\Vert^2=\frac{1}{2}\sum_{i=1}^nr_i^2(x).
f ( x ) = 2 1 ∥ r ( x ) ∥ 2 = 2 1 i = 1 ∑ n r i 2 ( x ) .
1
2
\frac{1}{2}
2 1
r
r
r
x
∗
x^*
x ∗
f
(
x
∗
)
=
0
f(x^*)=0
f ( x ∗ ) = 0
f
(
x
)
≥
0
,
∀
x
f(x)\ge0,\forall x
f ( x ) ≥ 0 , ∀ x
f
f
f
f
f
f 局部极小点有时就不是
r
r
r . 即使这样, 价值函数仍然成功应用于许多实际问题.
r
(
x
)
=
sin
(
5
x
)
−
x
r(x)=\sin(5x)-x
r ( x ) = sin ( 5 x ) − x
图中可见, 价值函数有3个局部极小点对应3个根, 但还有许多局部极小并不对应根(例如在
±
1.53053
\pm1.53053
± 1 . 5 3 0 5 3
∇
f
(
x
∗
)
=
J
(
x
∗
)
T
r
(
x
∗
)
=
0
,
\nabla f(x^*)=J(x^*)^Tr(x^*)=0,
∇ f ( x ∗ ) = J ( x ∗ ) T r ( x ∗ ) = 0 ,
r
(
x
∗
)
≠
0
r(x^*)\ne0
r ( x ∗ ) ̸ = 0
J
(
x
∗
)
J(x^*)
J ( x ∗ )
由于本章中的算法可能会陷入平方和价值函数的局部极小, 因此我们这里讨论的全局收敛性要比无约束优化弱 .
l
1
l_1
l 1
f
1
(
x
)
=
∥
r
(
x
)
∥
1
=
∑
i
=
1
m
∣
r
i
(
x
)
∣
.
f_1(x)=\Vert r(x)\Vert_1=\sum_{i=1}^m|r_i(x)|.
f 1 ( x ) = ∥ r ( x ) ∥ 1 = i = 1 ∑ m ∣ r i ( x ) ∣ .
我们可以将线搜索算法应用到平方和价值函数
f
(
x
)
=
1
2
∥
r
(
x
)
∥
2
f(x)=\frac{1}{2}\Vert r(x)\Vert^2
f ( x ) = 2 1 ∥ r ( x ) ∥ 2
p
k
p_k
p k
J
(
x
k
)
p
k
=
−
r
(
x
k
)
J(x_k)p_k=-r(x_k)
J ( x k ) p k = − r ( x k )
r
k
≠
0
r_k\ne0
r k ̸ = 0
f
(
⋅
)
f(\cdot)
f ( ⋅ )
p
k
T
∇
f
(
x
k
)
=
−
p
k
T
J
k
T
r
k
=
−
∥
r
k
∥
2
<
0.
p_k^T\nabla f(x_k)=-p_k^TJ_k^Tr_k=-\Vert r_k\Vert^2<0.
p k T ∇ f ( x k ) = − p k T J k T r k = − ∥ r k ∥ 2 < 0 .
α
k
\alpha_k
α k
x
k
+
1
=
x
k
+
α
k
p
k
,
k
=
0
,
1
,
2
,
…
.
x_{k+1}=x_k+\alpha_kp_k,\quad k=0,1,2,\ldots.
x k + 1 = x k + α k p k , k = 0 , 1 , 2 , … .
α
k
\alpha_k
α k Zoutendijk定理 的直接推论.
定理6 设
J
(
x
)
J(x)
J ( x )
L
=
{
x
:
f
(
x
)
≤
f
(
x
0
)
}
\mathcal{L}=\left\{x:f(x)\le f(x_0)\right\}
L = { x : f ( x ) ≤ f ( x 0 ) }
D
\mathcal{D}
D
∥
J
(
x
)
∥
,
∥
r
(
x
)
∥
\Vert J(x)\Vert,\Vert r(x)\Vert
∥ J ( x ) ∥ , ∥ r ( x ) ∥
D
\mathcal{D}
D
f
f
f
p
k
p_k
p k
p
k
T
∇
f
k
<
0
p_k^T\nabla f_k<0
p k T ∇ f k < 0
α
k
\alpha_k
α k
∑
k
≥
0
cos
2
θ
k
∥
J
k
T
r
k
∥
2
<
∞
,
\sum_{k\ge0}\cos^2\theta_k\Vert J_k^Tr_k\Vert^2<\infty,
k ≥ 0 ∑ cos 2 θ k ∥ J k T r k ∥ 2 < ∞ ,
cos
θ
k
=
−
p
k
T
∇
f
(
x
k
)
∥
p
k
∥
∥
∇
f
(
x
k
)
∥
.
\cos\theta_k=\frac{-p_k^T\nabla f(x_k)}{\Vert p_k\Vert\Vert\nabla f(x_k)\Vert}.
cos θ k = ∥ p k ∥ ∥ ∇ f ( x k ) ∥ − p k T ∇ f ( x k ) .
定理是证明只需我们验证
∇
f
\nabla f
∇ f
D
\mathcal{D}
D
f
f
f
D
\mathcal{D}
D (0)即可.
若迭代序列满足
cos
θ
k
≥
δ
,
δ
∈
(
0
,
1
)
,
k
充
分
大
,
\cos\theta_k\ge\delta,\quad \delta\in(0,1),k充分大,
cos θ k ≥ δ , δ ∈ ( 0 , 1 ) , k 充 分 大 ,
J
k
T
r
k
→
0
J_k^Tr_k\to0
J k T r k → 0
f
f
f
∥
J
(
x
k
)
−
1
∥
\Vert J(x_k)^{-1}\Vert
∥ J ( x k ) − 1 ∥
r
k
→
0
r_k\to0
r k → 0
下面我们来讨论由牛顿法和非精确牛顿法产生的方向对应的
cos
θ
k
\cos\theta_k
cos θ k
对于精确牛顿步, 我们有
cos
θ
k
=
−
p
k
T
∇
f
(
x
k
)
∥
p
k
∥
∥
∇
f
(
x
k
)
∥
=
∥
r
k
∥
2
∥
J
k
−
1
r
k
∥
∥
J
k
T
r
k
∥
≥
1
∥
J
k
T
∥
∥
J
k
−
1
∥
=
1
κ
(
J
k
)
.
\cos\theta_k=-\frac{p_k^T\nabla f(x_k)}{\Vert p_k\Vert\Vert\nabla f(x_k)\Vert}=\frac{\Vert r_k\Vert^2}{\Vert J_k^{-1}r_k\Vert\Vert J_k^Tr_k\Vert}\ge\frac{1}{\Vert J_k^T\Vert\Vert J_k^{-1}\Vert}=\frac{1}{\kappa(J_k)}.
cos θ k = − ∥ p k ∥ ∥ ∇ f ( x k ) ∥ p k T ∇ f ( x k ) = ∥ J k − 1 r k ∥ ∥ J k T r k ∥ ∥ r k ∥ 2 ≥ ∥ J k T ∥ ∥ J k − 1 ∥ 1 = κ ( J k ) 1 .
当
p
k
p_k
p k
∥
r
k
+
J
k
p
k
∥
2
≤
η
k
2
∥
r
k
∥
2
⇒
2
p
k
T
J
k
T
r
k
+
∥
r
k
∥
2
+
∥
J
k
p
k
∥
2
≤
η
2
∥
r
k
∥
2
⇒
p
k
T
∇
f
k
=
p
k
T
J
k
T
r
k
≤
[
(
η
2
−
1
)
/
2
]
∥
r
k
∥
2
.
\begin{aligned}\Vert r_k+J_kp_k\Vert^2\le\eta_k^2\Vert r_k\Vert^2&\Rightarrow 2p_k^TJ_k^Tr_k+\Vert r_k\Vert^2+\Vert J_kp_k\Vert^2\le\eta^2\Vert r_k\Vert^2\\&\Rightarrow p_k^T\nabla f_k=p_k^TJ_k^Tr_k\le[(\eta^2-1)/2]\Vert r_k\Vert^2.\end{aligned}
∥ r k + J k p k ∥ 2 ≤ η k 2 ∥ r k ∥ 2 ⇒ 2 p k T J k T r k + ∥ r k ∥ 2 + ∥ J k p k ∥ 2 ≤ η 2 ∥ r k ∥ 2 ⇒ p k T ∇ f k = p k T J k T r k ≤ [ ( η 2 − 1 ) / 2 ] ∥ r k ∥ 2 .
∥
p
k
∥
≤
∥
J
k
−
1
∥
[
∥
r
k
+
J
k
p
k
∥
+
∥
r
k
∥
]
≤
∥
J
k
−
1
∥
(
η
+
1
)
∥
r
k
∥
,
\Vert p_k\Vert\le\Vert J_k^{-1}\Vert[\Vert r_k+J_kp_k\Vert+\Vert r_k\Vert]\le\Vert J_k^{-1}\Vert(\eta+1)\Vert r_k\Vert,
∥ p k ∥ ≤ ∥ J k − 1 ∥ [ ∥ r k + J k p k ∥ + ∥ r k ∥ ] ≤ ∥ J k − 1 ∥ ( η + 1 ) ∥ r k ∥ ,
∥
∇
f
k
∥
=
∥
J
k
T
r
k
∥
≤
∥
J
k
∥
∥
r
k
∥
.
\Vert\nabla f_k\Vert=\Vert J_k^Tr_k\Vert\le\Vert J_k\Vert\Vert r_k\Vert.
∥ ∇ f k ∥ = ∥ J k T r k ∥ ≤ ∥ J k ∥ ∥ r k ∥ .
cos
θ
k
=
−
p
k
T
∇
f
k
∥
p
k
∥
∥
∇
f
k
∥
≥
1
−
η
2
2
∥
J
k
∥
∥
J
k
−
1
∥
(
1
+
η
)
≥
1
−
η
2
κ
(
J
k
)
.
\cos\theta_k=-\frac{p_k^T\nabla f_k}{\Vert p_k\Vert\Vert \nabla f_k\Vert}\ge\frac{1-\eta^2}{2\Vert J_k\Vert\Vert J_k^{-1}\Vert(1+\eta)}\ge\frac{1-\eta}{2\kappa(J_k)}.
cos θ k = − ∥ p k ∥ ∥ ∇ f k ∥ p k T ∇ f k ≥ 2 ∥ J k ∥ ∥ J k − 1 ∥ ( 1 + η ) 1 − η 2 ≥ 2 κ ( J k ) 1 − η .
因此若条件数
κ
(
J
k
)
\kappa(J_k)
κ ( J k ) . 我们观察到这里牛顿法的收敛似乎变得与条件数相关了. 但注意到我们这里讨论的是全局收敛性, 而不是局部收敛性. 因此牛顿法的尺度不变性 依然是成立的.
不过, 当
κ
(
J
k
)
\kappa(J_k)
κ ( J k )
cos
θ
k
\cos\theta_k
cos θ k
例2 考虑求以下非线性系统的根:
r
(
x
)
=
[
x
1
10
x
1
(
x
1
+
0.1
)
+
2
x
2
2
]
.
r(x)=\begin{bmatrix}x_1\\\frac{10x_1}{(x_1+0.1)}+2x_2^2\end{bmatrix}.
r ( x ) = [ x 1 ( x 1 + 0 . 1 ) 1 0 x 1 + 2 x 2 2 ] .
x
∗
=
0
x^*=0
x ∗ = 0
(
3
,
1
)
T
(3,1)^T
( 3 , 1 ) T
(
1.8016
,
0
)
T
(1.8016,0)^T
( 1 . 8 0 1 6 , 0 ) T 这并不是根, 甚至连
f
f
f 从这点出发沿着负梯度
−
∇
f
-\nabla f
− ∇ f
r
r
r
r
r
r
J
(
x
)
=
[
1
0
1
(
x
1
+
0.1
)
2
4
x
2
]
,
J(x)=\begin{bmatrix}1 & 0\\\frac{1}{(x_1+0.1)^2} & 4x_2\end{bmatrix},
J ( x ) = [ 1 ( x 1 + 0 . 1 ) 2 1 0 4 x 2 ] ,
x
2
=
0
x_2=0
x 2 = 0
∇
f
(
x
)
=
[
x
1
+
10
x
1
(
x
1
+
0.1
)
3
0
]
,
\nabla f(x)=\begin{bmatrix}x_1+\frac{10x_1}{(x_1+0.1)^3}\\0\end{bmatrix},
∇ f ( x ) = [ x 1 + ( x 1 + 0 . 1 ) 3 1 0 x 1 0 ] ,
x
1
>
0
x_1>0
x 1 > 0
x
1
x_1
x 1
(
1.8016
,
0
)
T
(1.8016,0)^T
( 1 . 8 0 1 6 , 0 ) T
f
f
f
对于这个例子, 计算可知从一个靠近(但不在)
x
1
x_1
x 1
x
2
x_2
x 2
∇
f
(
x
)
\nabla f(x)
∇ f ( x )
cos
θ
k
\cos\theta_k
cos θ k
在这个例子中, 带精确线搜索的牛顿法陷于一个Jacobi矩阵奇异的点. 由于非线性系统常包含奇异点, 因此这样的现象是需要我们去关注的 .
为防止这一现象发生, 保证
cos
θ
k
≥
δ
>
0
\cos\theta_k\ge\delta>0
cos θ k ≥ δ > 0 修正牛顿方向 .
一种可能的方式是, 在
J
k
T
J
k
J_k^TJ_k
J k T J k
λ
k
I
\lambda_kI
λ k I
p
k
p_k
p k
p
k
=
−
(
J
k
T
J
k
+
λ
k
I
)
−
1
J
k
T
r
k
.
p_k=-(J_k^TJ_k+\lambda_kI)^{-1}J_k^Tr_k.
p k = − ( J k T J k + λ k I ) − 1 J k T r k .
λ
k
>
0
\lambda_k>0
λ k > 0
λ
k
\lambda_k
λ k
cos
θ
k
≥
δ
>
0
,
∃
δ
>
0
\cos\theta_k\ge\delta>0, \exists\delta>0
cos θ k ≥ δ > 0 , ∃ δ > 0
J
k
T
J
k
J_k^TJ_k
J k T J k
J
k
T
J
k
=
Q
Λ
Q
T
=
∑
j
=
1
n
μ
j
q
j
q
j
T
,
J_k^TJ_k=Q\Lambda Q^T=\sum_{j=1}^n\mu_jq_jq_j^T,
J k T J k = Q Λ Q T = j = 1 ∑ n μ j q j q j T ,
Q
Q
Q
μ
j
\mu_j
μ j
J
k
T
J
k
J_k^TJ_k
J k T J k
μ
1
≥
μ
2
≥
⋯
≥
μ
n
≥
0
,
μ
1
>
0
\mu_1\ge\mu_2\ge\cdots\ge\mu_n\ge0,\mu_1>0
μ 1 ≥ μ 2 ≥ ⋯ ≥ μ n ≥ 0 , μ 1 > 0
∥
J
k
T
J
k
+
λ
k
I
∥
≥
∥
J
k
T
J
k
∥
,
∥
(
J
k
T
J
k
+
λ
k
I
)
−
1
∥
∥
J
k
T
J
k
+
λ
k
I
∥
=
κ
(
J
k
T
J
k
+
λ
k
I
)
≤
δ
,
∃
δ
>
0
,
\Vert J_k^TJ_k+\lambda_kI\Vert\ge\Vert J_k^TJ_k\Vert,\\\Vert(J_k^TJ_k+\lambda_kI)^{-1}\Vert\Vert J_k^TJ_k+\lambda_kI\Vert=\kappa(J_k^TJ_k+\lambda_kI)\le\delta,\exists\delta>0,
∥ J k T J k + λ k I ∥ ≥ ∥ J k T J k ∥ , ∥ ( J k T J k + λ k I ) − 1 ∥ ∥ J k T J k + λ k I ∥ = κ ( J k T J k + λ k I ) ≤ δ , ∃ δ > 0 ,
cos
θ
k
=
−
p
k
T
∇
f
k
∥
p
k
∥
∥
∇
f
k
∥
=
r
k
T
J
k
(
J
k
T
J
k
+
λ
k
I
)
−
1
J
k
T
r
k
∥
J
k
T
r
k
∥
∥
(
J
k
T
J
k
+
λ
k
I
)
−
1
J
k
T
r
k
∥
≥
r
k
T
J
k
(
J
k
T
J
k
+
λ
k
I
)
−
1
J
k
T
r
k
∥
J
k
T
r
k
∥
∥
(
J
k
T
J
k
+
λ
k
I
)
−
1
∥
∥
J
k
T
r
k
∥
≥
r
k
T
J
k
(
J
k
T
J
k
+
λ
k
I
)
−
1
J
k
T
r
k
∥
J
k
T
J
k
∥
∥
J
k
T
r
k
∥
2
∥
(
J
k
T
J
k
+
λ
k
I
)
−
1
∥
∥
J
k
T
J
k
+
λ
k
I
∥
≥
1
δ
(
r
k
T
J
k
)
(
∑
j
=
1
n
μ
1
μ
j
+
λ
k
q
j
q
j
T
)
(
J
k
T
r
k
)
∥
J
k
T
r
k
∥
2
≥
1
δ
μ
1
μ
1
+
λ
k
(
r
k
T
J
k
)
Q
Q
T
(
J
k
T
r
k
)
∥
J
k
T
r
k
∥
2
=
μ
1
(
μ
1
+
λ
k
)
δ
.
\begin{aligned}\cos\theta_k&=-\frac{p_k^T\nabla f_k}{\Vert p_k\Vert\Vert\nabla f_k\Vert}=\frac{r_k^TJ_k(J_k^TJ_k+\lambda_kI)^{-1}J_k^Tr_k}{\Vert J_k^Tr_k\Vert\Vert(J_k^TJ_k+\lambda_kI)^{-1}J_k^Tr_k\Vert}\\&\ge\frac{r_k^TJ_k(J_k^TJ_k+\lambda_kI)^{-1}J_k^Tr_k}{\Vert J_k^Tr_k\Vert\Vert(J_k^TJ_k+\lambda_kI)^{-1}\Vert\Vert J_k^Tr_k\Vert}\\&\ge\frac{r_k^TJ_k(J_k^TJ_k+\lambda_kI)^{-1}J_k^Tr_k\Vert J_k^TJ_k\Vert}{\Vert J_k^Tr_k\Vert^2\Vert(J_k^TJ_k+\lambda_kI)^{-1}\Vert\Vert J_k^TJ_k+\lambda_kI\Vert}\\&\ge\frac{1}{\delta}\frac{(r_k^TJ_k)\left(\sum_{j=1}^n\frac{\mu_1}{\mu_j+\lambda_k}q_jq_j^T\right)(J_k^Tr_k)}{\Vert J_k^Tr_k\Vert^2}\\&\ge\frac{1}{\delta}\frac{\frac{\mu_1}{\mu_1+\lambda_k}(r_k^TJ_k)QQ^T(J_k^Tr_k)}{\Vert J_k^Tr_k\Vert^2}\\&=\frac{\mu_1}{(\mu_1+\lambda_k)\delta}.\end{aligned}
cos θ k = − ∥ p k ∥ ∥ ∇ f k ∥ p k T ∇ f k = ∥ J k T r k ∥ ∥ ( J k T J k + λ k I ) − 1 J k T r k ∥ r k T J k ( J k T J k + λ k I ) − 1 J k T r k ≥ ∥ J k T r k ∥ ∥ ( J k T J k + λ k I ) − 1 ∥ ∥ J k T r k ∥ r k T J k ( J k T J k + λ k I ) − 1 J k T r k ≥ ∥ J k T r k ∥ 2 ∥ ( J k T J k + λ k I ) − 1 ∥ ∥ J k T J k + λ k I ∥ r k T J k ( J k T J k + λ k I ) − 1 J k T r k ∥ J k T J k ∥ ≥ δ 1 ∥ J k T r k ∥ 2 ( r k T J k ) ( ∑ j = 1 n μ j + λ k μ 1 q j q j T ) ( J k T r k ) ≥ δ 1 ∥ J k T r k ∥ 2 μ 1 + λ k μ 1 ( r k T J k ) Q Q T ( J k T r k ) = ( μ 1 + λ k ) δ μ 1 .
J
k
T
J
k
J_k^TJ_k
J k T J k
μ
1
>
0
\mu_1>0
μ 1 > 0
λ
k
\lambda_k
λ k
λ
k
\lambda_k
λ k 第十章 的经典Levenberg-Marquardt算法 . 为使算法免于显式计算
J
k
T
J
k
J_k^TJ_k
J k T J k
(
J
k
T
J
k
+
λ
I
)
(J_k^TJ_k+\lambda I)
( J k T J k + λ I )
(
J
k
T
J
k
+
λ
I
)
(J_k^TJ_k+\lambda I)
( J k T J k + λ I )
R
T
R^T
R T
R
R
R
[
J
k
λ
I
]
\begin{bmatrix}J_k\\\sqrt{\lambda}I\end{bmatrix}
[ J k λ
I ]
λ
k
\lambda_k
λ k
这一方法的缺陷 在于, 对我们来说,
λ
k
\lambda_k
λ k 选的太大, 我们就会破坏牛顿法的快速收敛 . 这是因为当
λ
k
↑
∞
\lambda_k\uparrow\infty
λ k ↑ ∞
−
J
k
T
r
k
-J_k^Tr_k
− J k T r k
f
f
f 如果选的太小, 算法就不能很好地处理Jacobi矩阵的奇异性 .
λ
k
\lambda_k
λ k
下面我们具体地表述基于牛顿类的搜索方向和线搜索的算法, 它将在必要时给予步长计算以正则化. 其中一些细节留作读者思考或自学.
算法4 (Line Search Newton-like Method)
c
1
,
c
2
c_1,c_2
c 1 , c 2
0
<
c
1
<
c
2
<
1
2
0<c_1<c_2<\frac{1}{2}
0 < c 1 < c 2 < 2 1
x
0
x_0
x 0
k
=
0
,
1
,
2
,
…
k=0,1,2,\ldots
k = 0 , 1 , 2 , …
\quad\quad
J
(
x
k
)
p
k
=
−
r
(
x
k
)
J(x_k)p_k=-r(x_k)
J ( x k ) p k = − r ( x k )
p
k
=
−
(
j
k
T
J
k
+
λ
k
I
)
−
1
J
k
T
r
k
p_k=-(j_k^TJ_k+\lambda_kI)^{-1}J_k^Tr_k
p k = − ( j k T J k + λ k I ) − 1 J k T r k
J
k
J_k
J k
∥
r
k
+
J
k
p
k
∥
≤
η
k
∥
r
k
∥
\Vert r_k+J_kp_k\Vert\le\eta_k\Vert r_k\Vert
∥ r k + J k p k ∥ ≤ η k ∥ r k ∥
p
k
=
−
B
k
−
1
r
(
x
k
)
p_k=-B_k^{-1}r(x_k)
p k = − B k − 1 r ( x k )
\quad\quad
α
=
1
\alpha=1
α = 1
\quad\quad\quad\quad
α
k
=
1
\alpha_k=1
α k = 1
\quad\quad
\quad\quad\quad\quad
α
k
>
0
\alpha_k>0
α k > 0
\quad\quad
\quad\quad
x
k
+
1
←
x
k
+
α
k
p
k
x_{k+1}\leftarrow x_k+\alpha_kp_k
x k + 1 ← x k + α k p k
对于非线性方程组最常使用的信赖域算法就是直接将第四章 的算法应用于价值函数
f
(
x
)
=
1
2
∥
r
(
x
)
∥
2
2
f(x)=\frac{1}{2}\Vert r(x)\Vert_2^2
f ( x ) = 2 1 ∥ r ( x ) ∥ 2 2
B
k
=
J
(
x
k
)
T
J
(
x
k
)
B_k=J(x_k)^TJ(x_k)
B k = J ( x k ) T J ( x k )
m
k
(
p
)
m_k(p)
m k ( p )
m
k
(
p
)
m_k(p)
m k ( p )
m
k
(
p
)
=
1
2
∥
r
k
+
J
k
p
k
∥
2
2
=
f
k
+
p
T
J
k
T
r
k
+
1
2
p
T
J
k
T
J
k
T
p
k
.
m_k(p)=\frac{1}{2}\Vert r_k+J_kp_k\Vert_2^2=f_k+p^TJ_k^Tr_k+\frac{1}{2}p^TJ_k^TJ_k^Tp_k.
m k ( p ) = 2 1 ∥ r k + J k p k ∥ 2 2 = f k + p T J k T r k + 2 1 p T J k T J k T p k .
p
k
p_k
p k
min
p
m
k
(
p
)
,
s
u
b
j
e
c
t
 
t
o
 
∥
p
∥
≤
Δ
k
,
\min_p m_k(p),\quad \mathrm{subject\,to\,}\Vert p\Vert\le\Delta_k,
p min m k ( p ) , s u b j e c t t o ∥ p ∥ ≤ Δ k ,
Δ
k
\Delta_k
Δ k
ρ
k
\rho_k
ρ k
ρ
k
=
∥
r
(
x
k
)
∥
2
−
∥
r
(
x
k
+
p
k
)
∥
2
∥
r
(
x
k
)
∥
2
−
∥
r
(
x
k
)
+
J
(
x
k
)
p
k
∥
2
,
\rho_k=\frac{\Vert r(x_k)\Vert^2-\Vert r(x_k+p_k)\Vert^2}{\Vert r(x_k)\Vert^2-\Vert r(x_k)+J(x_k)p_k\Vert^2},
ρ k = ∥ r ( x k ) ∥ 2 − ∥ r ( x k ) + J ( x k ) p k ∥ 2 ∥ r ( x k ) ∥ 2 − ∥ r ( x k + p k ) ∥ 2 ,
算法5 (Trust-Region Method for Nonlinear Equations)
Δ
ˉ
>
0
,
Δ
0
∈
(
0
,
Δ
ˉ
)
\bar{\Delta}>0,\Delta_0\in(0,\bar{\Delta})
Δ ˉ > 0 , Δ 0 ∈ ( 0 , Δ ˉ )
η
∈
[
0
,
1
4
)
\eta\in[0,\frac{1}{4})
η ∈ [ 0 , 4 1 )
k
=
0
,
1
,
2
,
…
k=0,1,2,\ldots
k = 0 , 1 , 2 , …
\quad\quad
p
k
p_k
p k
\quad\quad
ρ
k
\rho_k
ρ k
\quad\quad
ρ
k
<
1
4
\rho_k<\frac{1}{4}
ρ k < 4 1
\quad\quad\quad\quad
Δ
k
+
1
=
1
4
∥
p
k
∥
\Delta_{k+1}=\frac{1}{4}\Vert p_k\Vert
Δ k + 1 = 4 1 ∥ p k ∥
\quad\quad
\quad\quad\quad\quad
ρ
k
>
3
4
\rho_k>\frac{3}{4}
ρ k > 4 3
∥
p
k
∥
=
Δ
k
\Vert p_k\Vert=\Delta_k
∥ p k ∥ = Δ k
\quad\quad\quad\quad\quad\quad
Δ
k
+
1
=
min
(
2
Δ
k
,
Δ
ˉ
)
\Delta_{k+1}=\min(2\Delta_k,\bar{\Delta})
Δ k + 1 = min ( 2 Δ k , Δ ˉ )
\quad\quad\quad\quad
\quad\quad\quad\quad\quad\quad
Δ
k
+
1
=
Δ
k
\Delta_{k+1}=\Delta_k
Δ k + 1 = Δ k
\quad\quad\quad\quad
\quad\quad
\quad\quad
ρ
k
>
η
\rho_k>\eta
ρ k > η
\quad\quad\quad\quad
x
k
+
1
=
x
k
+
p
k
x_{k+1}=x_k+p_k
x k + 1 = x k + p k
\quad\quad
\quad\quad\quad\quad
x
k
+
1
=
x
k
x_{k+1}=x_k
x k + 1 = x k
\quad\quad
折线算法 是信赖预算法的一个特殊情形. 它基于Cauchy点
p
k
C
p_k^C
p k C
m
k
(
p
)
m_k(p)
m k ( p )
p
k
C
=
−
τ
k
(
Δ
k
/
∥
J
k
T
r
k
∥
)
J
k
T
r
k
,
p_k^C=-\tau_k(\Delta_k/\Vert J_k^Tr_k\Vert)J_k^Tr_k,
p k C = − τ k ( Δ k / ∥ J k T r k ∥ ) J k T r k ,
τ
k
=
min
{
1
,
∥
J
k
T
r
k
∥
3
/
(
Δ
k
r
k
T
J
k
(
J
k
T
J
k
)
J
k
T
r
k
)
}
;
\tau_k=\min\{1,\Vert J_k^Tr_k\Vert^3/(\Delta_kr_k^TJ_k(J_k^TJ_k)J_k^Tr_k)\};
τ k = min { 1 , ∥ J k T r k ∥ 3 / ( Δ k r k T J k ( J k T J k ) J k T r k ) } ; 不需要考虑
m
k
(
p
)
m_k(p)
m k ( p ) 的情形. 因此
m
k
(
p
)
m_k(p)
m k ( p )
J
k
J_k
J k
p
k
J
p_k^J
p k J
p
k
J
=
−
(
J
k
T
J
k
)
−
1
(
J
k
T
r
k
)
=
−
J
k
−
1
r
k
.
p_k^J=-(J_k^TJ_k)^{-1}(J_k^Tr_k)=-J_k^{-1}r_k.
p k J = − ( J k T J k ) − 1 ( J k T r k ) = − J k − 1 r k .
p
k
p_k
p k
程序6 (Dogleg)
p
k
C
p_k^C
p k C
∥
p
k
C
∥
=
Δ
k
\Vert p_k^C\Vert=\Delta_k
∥ p k C ∥ = Δ k
\quad\quad
p
k
←
p
k
C
p_k\leftarrow p_k^C
p k ← p k C
\quad\quad
p
k
J
p_k^J
p k J
\quad\quad
p
k
←
p
k
C
+
τ
(
p
k
J
−
p
k
C
)
p_k\leftarrow p_k^C+\tau(p_k^J-p_k^C)
p k ← p k C + τ ( p k J − p k C )
\quad\quad
τ
\tau
τ
[
0
,
1
]
[0,1]
[ 0 , 1 ]
∥
p
k
∥
≤
Δ
k
\Vert p_k\Vert\le\Delta_k
∥ p k ∥ ≤ Δ k
由第四章中的引理, 我们知道当
J
k
J_k
J k
p
k
p_k
p k
m
k
m_k
m k
p
k
J
p_k^J
p k J
m
k
(
0
)
−
m
k
(
p
k
)
≥
c
1
∥
J
k
T
r
k
∥
min
(
Δ
k
,
∥
J
k
T
r
k
∥
∥
J
k
T
J
k
∥
)
,
m_k(0)-m_k(p_k)\ge c_1\Vert J_k^Tr_k\Vert\min\left(\Delta_k,\frac{\Vert J_k^Tr_k\Vert}{\Vert J_k^TJ_k\Vert}\right),
m k ( 0 ) − m k ( p k ) ≥ c 1 ∥ J k T r k ∥ min ( Δ k , ∥ J k T J k ∥ ∥ J k T r k ∥ ) ,
c
1
c_1
c 1
我们还知道, 子问题的精确解具有形式
p
k
=
−
(
J
k
T
J
k
+
λ
k
I
)
−
1
J
k
T
r
k
,
∃
λ
k
≥
0
,
p_k=-(J_k^TJ_k+\lambda_kI)^{-1}J_k^Tr_k,\quad \exists\lambda_k\ge0,
p k = − ( J k T J k + λ k I ) − 1 J k T r k , ∃ λ k ≥ 0 ,
p
k
J
p_k^J
p k J
∥
p
k
J
∥
≤
Δ
k
\Vert p_k^J\Vert\le\Delta_k
∥ p k J ∥ ≤ Δ k
λ
k
=
0
\lambda_k=0
λ k = 0 第十章 中的
p
k
L
M
p_k^{\mathrm{LM}}
p k L M
λ
k
\lambda_k
λ k
[
J
k
λ
I
]
\begin{bmatrix}J_k\\\sqrt{\lambda}I\end{bmatrix}
[ J k λ
I ]
λ
k
\lambda_k
λ k
p
k
p_k
p k
c
1
c_1
c 1
∥
p
k
∥
≤
γ
Δ
k
,
γ
≥
1
,
\Vert p_k\Vert\le\gamma\Delta_k,\quad \gamma\ge1,
∥ p k ∥ ≤ γ Δ k , γ ≥ 1 ,
折线算法在每次迭代中仅需要求解一个线性系统, 而反观精确求解需要求解多个这样的线性系统 . 但也如第四章说明的, 我们要权衡在每步迭代上的耗费和需要计算的函数值域导数值的总数.
我们也可以考虑基于不同价值函数的信赖域算法以及信赖域的不同定义. 例如, 一种基于
l
1
l_1
l 1
l
∞
l_{\infty}
l ∞
min
p
∥
J
k
p
+
r
k
∥
1
s
.
t
.
 
∥
p
∥
∞
≤
Δ
,
\min_p\Vert J_kp+r_k\Vert_1\quad \mathrm{s.t.\,}\Vert p\Vert_{\infty}\le\Delta,
p min ∥ J k p + r k ∥ 1 s . t . ∥ p ∥ ∞ ≤ Δ ,
l
1
l_1
l 1
当
p
k
p_k
p k
η
=
0
\eta=0
η = 0 接受所有能为价值函数
f
k
f_k
f k ; 而第二个则针对
η
>
0
\eta>0
η > 0
定理7 设在水平集
L
=
{
x
:
f
(
x
)
≤
f
(
x
0
)
}
\mathcal{L}=\{x:f(x)\le f(x_0)\}
L = { x : f ( x ) ≤ f ( x 0 ) }
D
\mathcal{D}
D
J
(
x
)
J(x)
J ( x )
∥
J
(
x
)
∥
\Vert J(x)\Vert
∥ J ( x ) ∥
p
k
p_k
p k
m
k
(
0
)
−
m
k
(
p
k
)
≥
c
1
∥
J
k
T
r
k
∥
min
(
Δ
k
,
∥
J
k
T
r
k
∥
∥
J
k
T
J
k
∥
)
,
m_k(0)-m_k(p_k)\ge c_1\Vert J_k^Tr_k\Vert\min\left(\Delta_k,\frac{\Vert J_k^Tr_k\Vert}{\Vert J_k^TJ_k\Vert}\right),
m k ( 0 ) − m k ( p k ) ≥ c 1 ∥ J k T r k ∥ min ( Δ k , ∥ J k T J k ∥ ∥ J k T r k ∥ ) ,
∥
p
k
∥
≤
γ
Δ
k
,
γ
≥
1.
\Vert p_k\Vert\le\gamma\Delta_k,\quad \gamma\ge1.
∥ p k ∥ ≤ γ Δ k , γ ≥ 1 .
η
=
0
\eta=0
η = 0
lim inf
k
→
∞
∥
J
k
T
r
k
∥
=
0
;
\liminf_{k\to\infty}\Vert J_k^Tr_k\Vert=0;
k → ∞ l i m i n f ∥ J k T r k ∥ = 0 ;
η
∈
(
0
,
1
4
)
\eta\in(0,\frac{1}{4})
η ∈ ( 0 , 4 1 )
lim
k
→
∞
∥
J
k
T
r
k
∥
=
0.
\lim_{k\to\infty}\Vert J_k^Tr_k\Vert=0.
k → ∞ lim ∥ J k T r k ∥ = 0 .
下面我们转向考虑信赖域子问题在精确求解时算法的局部收敛性质 . 我们假设序列
{
x
k
}
\{x_k\}
{ x k }
r
(
x
)
=
0
r(x)=0
r ( x ) = 0
x
∗
x^*
x ∗ 在良好设计的算法中, 为达全局收敛而加强的条件并不干涉在第1节中叙述的局部快速收敛 .
定理8 设由算法5产生的序列
{
x
k
}
\{x_k\}
{ x k }
r
(
x
)
=
0
r(x)=0
r ( x ) = 0
x
∗
x^*
x ∗
J
(
x
)
J(x)
J ( x )
x
∗
x^*
x ∗
D
\mathcal{D}
D
k
k
k
{
x
k
}
\{x_k\}
{ x k } 二次收敛 于
x
∗
x^*
x ∗
证明: 我们证明存在指标
K
K
K
K
K
K
Δ
k
≥
Δ
K
,
∀
k
≥
K
\Delta_k\ge\Delta_K,\forall k\ge K
Δ k ≥ Δ K , ∀ k ≥ K
p
k
p_k
p k
−
J
k
−
1
r
k
-J_k^{-1}r_k
− J k − 1 r k
∥
J
k
−
1
r
k
∥
>
Δ
k
\Vert J_k^{-1}r_k\Vert >\Delta_k
∥ J k − 1 r k ∥ > Δ k
∥
p
k
∥
≤
Δ
\Vert p_k\Vert\le\Delta
∥ p k ∥ ≤ Δ
∥
p
k
∥
≤
∥
J
k
−
1
r
k
∥
.
\Vert p_k\Vert\le\Vert J_k^{-1}r_k\Vert.
∥ p k ∥ ≤ ∥ J k − 1 r k ∥ .
r
h
o
k
rho_k
r h o k
∣
1
−
ρ
k
∣
≤
∣
∥
r
k
+
J
k
p
k
∥
2
−
∥
r
(
x
k
+
p
k
)
∥
2
∣
∥
r
(
x
k
)
∥
2
−
∥
r
(
x
k
)
+
J
(
x
k
)
p
k
∥
2
.
|1-\rho_k|\le\frac{\left|\Vert r_k+J_kp_k\Vert^2-\Vert r(x_k+p_k)\Vert^2\right|}{\Vert r(x_k)\Vert^2-\Vert r(x_k)+J(x_k)p_k\Vert^2}.
∣ 1 − ρ k ∣ ≤ ∥ r ( x k ) ∥ 2 − ∥ r ( x k ) + J ( x k ) p k ∥ 2 ∣ ∣ ∥ r k + J k p k ∥ 2 − ∥ r ( x k + p k ) ∥ 2 ∣ ∣ .
∥
r
(
x
k
+
p
k
)
∥
2
=
∥
[
r
(
x
k
)
+
J
(
x
k
)
p
k
]
+
w
(
x
k
,
x
k
+
p
k
)
∥
2
.
\Vert r(x_k+p_k)\Vert^2=\Vert[r(x_k)+J(x_k)p_k]+w(x_k,x_k+p_k)\Vert^2.
∥ r ( x k + p k ) ∥ 2 = ∥ [ r ( x k ) + J ( x k ) p k ] + w ( x k , x k + p k ) ∥ 2 .
J
J
J
β
L
\beta_L
β L
∥
w
(
x
k
,
x
k
+
p
k
)
∥
≤
∫
0
1
∥
J
(
x
k
+
t
p
k
)
−
J
(
x
k
)
∥
∥
p
k
∥
 
d
t
≤
∫
0
1
β
L
∥
p
k
∥
2
 
d
t
=
(
β
L
/
2
)
∥
p
k
∥
2
,
\begin{aligned}\Vert w(x_k,x_k+p_k)\Vert&\le\int_0^1\Vert J(x_k+tp_k)-J(x_k)\Vert\Vert p_k\Vert\,\mathrm{d}t\\&\le\int_0^1\beta_L\Vert p_k\Vert^2\,\mathrm{d}t=(\beta_L/2)\Vert p_k\Vert^2,\end{aligned}
∥ w ( x k , x k + p k ) ∥ ≤ ∫ 0 1 ∥ J ( x k + t p k ) − J ( x k ) ∥ ∥ p k ∥ d t ≤ ∫ 0 1 β L ∥ p k ∥ 2 d t = ( β L / 2 ) ∥ p k ∥ 2 ,
∥
r
k
+
J
k
p
k
∥
≤
∥
r
k
∥
=
f
(
x
k
)
1
/
2
\Vert r_k+J_kp_k\Vert\le\Vert r_k\Vert=f(x_k)^{1/2}
∥ r k + J k p k ∥ ≤ ∥ r k ∥ = f ( x k ) 1 / 2
∣
∥
r
k
+
J
k
p
k
∥
2
−
∥
r
(
x
k
+
p
k
)
∥
2
∣
≤
2
∥
r
k
+
J
k
p
k
∥
∥
w
(
x
k
,
x
k
+
p
k
)
∥
+
∥
w
(
x
k
,
x
k
+
p
k
)
∥
2
≤
f
(
x
k
)
1
/
2
β
L
∥
p
k
∥
2
+
(
β
L
/
2
)
2
∥
p
k
∥
4
≤
ϵ
(
x
k
)
∥
p
k
∥
2
,
\begin{aligned}&\left|\Vert r_k+J_kp_k\Vert^2-\Vert r(x_k+p_k)\Vert^2\right|\\&\le2\Vert r_k+J_kp_k\Vert\Vert w(x_k,x_k+p_k)\Vert+\Vert w(x_k,x_k+p_k)\Vert^2\\&\le f(x_k)^{1/2}\beta_L\Vert p_k\Vert^2+(\beta_L/2)^2\Vert p_k\Vert^4\\&\le\epsilon(x_k)\Vert p_k\Vert^2,\end{aligned}
∣ ∣ ∥ r k + J k p k ∥ 2 − ∥ r ( x k + p k ) ∥ 2 ∣ ∣ ≤ 2 ∥ r k + J k p k ∥ ∥ w ( x k , x k + p k ) ∥ + ∥ w ( x k , x k + p k ) ∥ 2 ≤ f ( x k ) 1 / 2 β L ∥ p k ∥ 2 + ( β L / 2 ) 2 ∥ p k ∥ 4 ≤ ϵ ( x k ) ∥ p k ∥ 2 ,
ϵ
(
x
k
)
=
f
(
x
k
)
1
/
2
β
L
+
(
β
L
/
2
)
2
∥
p
k
∥
2
.
\epsilon(x_k)=f(x_k)^{1/2}\beta_L+(\beta_L/2)^2\Vert p_k\Vert^2.
ϵ ( x k ) = f ( x k ) 1 / 2 β L + ( β L / 2 ) 2 ∥ p k ∥ 2 .
x
k
→
x
∗
x_k\to x^*
x k → x ∗
f
(
x
k
)
→
0
,
∥
r
k
∥
→
0
f(x_k)\to0,\Vert r_k\Vert\to0
f ( x k ) → 0 , ∥ r k ∥ → 0
x
∗
x^*
x ∗
k
k
k
∥
J
(
x
k
)
−
1
∥
≤
β
∗
\Vert J(x_k)^{-1}\Vert\le\beta^*
∥ J ( x k ) − 1 ∥ ≤ β ∗
∥
p
k
∥
≤
∥
J
k
−
1
r
k
∥
≤
β
∗
∥
r
k
∥
→
0.
\Vert p_k\Vert\le\Vert J_k^{-1}r_k\Vert\le\beta^*\Vert r_k\Vert\to0.
∥ p k ∥ ≤ ∥ J k − 1 r k ∥ ≤ β ∗ ∥ r k ∥ → 0 .
ϵ
(
x
k
)
→
0
\epsilon(x_k)\to0
ϵ ( x k ) → 0
p
ˉ
k
\bar{p}_k
p ˉ k
−
J
k
−
1
r
k
-J_k^{-1}r_k
− J k − 1 r k
p
k
p_k
p k
p
ˉ
k
=
−
∥
p
k
∥
∥
J
k
−
1
r
k
∥
J
k
−
1
r
k
.
\bar{p}_k=-\frac{\Vert p_k\Vert}{\Vert J_k^{-1}r_k\Vert}J_k^{-1}r_k.
p ˉ k = − ∥ J k − 1 r k ∥ ∥ p k ∥ J k − 1 r k .
p
ˉ
k
\bar{p}_k
p ˉ k
∥
r
k
∥
2
−
∥
r
k
+
J
k
p
k
∥
2
≥
∥
r
k
∥
2
−
∥
r
k
−
∥
p
k
∥
∥
J
k
−
1
r
k
∥
r
k
∥
2
=
2
∥
p
k
∥
∥
J
k
−
1
r
k
∥
∥
r
k
∥
2
−
∥
p
k
∥
2
∥
J
k
−
1
r
k
∥
2
∥
r
k
∥
2
≥
∥
p
k
∥
∥
J
k
−
1
r
k
∥
∥
r
k
∥
2
≥
1
β
∗
∥
p
k
∥
∥
r
k
∥
.
\begin{aligned}\Vert r_k\Vert^2-\Vert r_k+J_kp_k\Vert^2&\ge\Vert r_k\Vert^2-\left\Vert r_k-\frac{\Vert p_k\Vert}{\Vert J_k^{-1}r_k\Vert}r_k\right\Vert^2\\&=2\frac{\Vert p_k\Vert}{\Vert J_k^{-1}r_k\Vert}\Vert r_k\Vert^2-\frac{\Vert p_k\Vert^2}{\Vert J_k^{-1}r_k\Vert^2}\Vert r_k\Vert^2\\&\ge\frac{\Vert p_k\Vert}{\Vert J_k^{-1}r_k\Vert}\Vert r_k\Vert^2\ge\frac{1}{\beta^*}\Vert p_k\Vert\Vert r_k\Vert.\end{aligned}
∥ r k ∥ 2 − ∥ r k + J k p k ∥ 2 ≥ ∥ r k ∥ 2 − ∥ ∥ ∥ ∥ r k − ∥ J k − 1 r k ∥ ∥ p k ∥ r k ∥ ∥ ∥ ∥ 2 = 2 ∥ J k − 1 r k ∥ ∥ p k ∥ ∥ r k ∥ 2 − ∥ J k − 1 r k ∥ 2 ∥ p k ∥ 2 ∥ r k ∥ 2 ≥ ∥ J k − 1 r k ∥ ∥ p k ∥ ∥ r k ∥ 2 ≥ β ∗ 1 ∥ p k ∥ ∥ r k ∥ .
∣
1
−
ρ
k
∣
≤
β
∗
ϵ
(
x
k
)
∥
p
k
∥
2
∥
p
k
∥
∥
r
k
∥
≤
(
β
∗
)
2
ϵ
(
x
k
)
→
0.
|1-\rho_k|\le\frac{\beta^*\epsilon(x_k)\Vert p_k\Vert^2}{\Vert p_k\Vert\Vert r_k\Vert}\le(\beta^*)^2\epsilon(x_k)\to0.
∣ 1 − ρ k ∣ ≤ ∥ p k ∥ ∥ r k ∥ β ∗ ϵ ( x k ) ∥ p k ∥ 2 ≤ ( β ∗ ) 2 ϵ ( x k ) → 0 .
k
k
k
ρ
k
>
1
4
\rho_k>\frac{1}{4}
ρ k > 4 1
Δ
k
\Delta_k
Δ k
K
K
K
Δ
k
≥
Δ
K
,
∀
k
≥
K
.
\Delta_k\ge\Delta_K,\quad\forall k\ge K.
Δ k ≥ Δ K , ∀ k ≥ K .
∥
J
k
−
1
r
k
∥
≤
β
∗
∥
r
k
∥
→
0
\Vert J_k^{-1}r_k\Vert\le\beta^*\Vert r_k\Vert\to0
∥ J k − 1 r k ∥ ≤ β ∗ ∥ r k ∥ → 0
−
J
k
−
1
r
k
-J_k^{-1}r_k
− J k − 1 r k
Δ
K
\Delta_K
Δ K
Δ
k
\Delta_k
Δ k
我们亦可以将
x
k
→
x
∗
x_k\to x^*
x k → x ∗
x
∗
x^*
x ∗
x
k
→
x
∗
x_k\to x^*
x k → x ∗
以上提及的基于牛顿法的算法均有一个缺点: 除非
J
(
x
)
J(x)
J ( x ) . 而本节中我们要介绍的连续方法则更倾向于在这种麻烦的情形下收敛到
r
(
x
)
=
0
r(x)=0
r ( x ) = 0 我们并不直接处理原始问题
r
(
x
)
=
0
r(x)=0
r ( x ) = 0
r
(
x
)
r(x)
r ( x ) : 从简单问题的解移动到原问题的解.
一种定义所谓同伦(homotopy)映射
H
(
x
,
λ
)
H(x,\lambda)
H ( x , λ )
H
(
x
,
λ
)
=
λ
r
(
x
)
+
(
1
−
λ
)
(
x
−
a
)
,
H(x,\lambda)=\lambda r(x)+(1-\lambda)(x-a),
H ( x , λ ) = λ r ( x ) + ( 1 − λ ) ( x − a ) ,
λ
\lambda
λ
a
∈
R
n
a\in\mathbb{R}^n
a ∈ R n
λ
=
0
\lambda=0
λ = 0
H
(
x
,
0
)
=
x
−
a
H(x,0)=x-a
H ( x , 0 ) = x − a
x
=
a
x=a
x = a
λ
=
1
\lambda=1
λ = 1
H
(
x
,
1
)
=
r
(
x
)
H(x,1)=r(x)
H ( x , 1 ) = r ( x )
为求解
r
(
x
)
=
0
r(x)=0
r ( x ) = 0
λ
=
0
\lambda=0
λ = 0
x
=
a
x=a
x = a
λ
\lambda
λ
λ
\lambda
λ
H
(
x
,
λ
)
=
0
H(x,\lambda)=0
H ( x , λ ) = 0
λ
=
1
\lambda=1
λ = 1
x
x
x
r
(
x
)
=
0
r(x)=0
r ( x ) = 0
图中, 对于每个
λ
\lambda
λ
H
(
x
,
λ
)
=
0
H(x,\lambda)=0
H ( x , λ ) = 0
H
(
x
,
λ
)
=
0
H(x,\lambda)=0
H ( x , λ ) = 0
(
x
,
λ
)
(x,\lambda)
( x , λ ) 零路径(zero paths) .
然而, 这样的方法往往会失败 , 如下图所示.
此时, 算法在下分支从
λ
=
0
\lambda=0
λ = 0
λ
=
λ
T
\lambda=\lambda_T
λ = λ T
λ
T
\lambda_T
λ T 拐点 (turning point), 这是因为在这点处我们只有减小
λ
\lambda
λ
λ
\lambda
λ
在一种实用的方法中, 我们以弧长参数 (arc length parameter)
s
s
s
(
x
(
s
)
,
λ
(
s
)
)
(x(s),\lambda(s))
( x ( s ) , λ ( s ) )
(
x
(
0
)
,
λ
(
0
)
)
=
(
a
,
0
)
(x(0),\lambda(0))=(a,0)
( x ( 0 ) , λ ( 0 ) ) = ( a , 0 )
s
s
s
H
(
x
(
s
)
,
λ
(
s
)
)
=
0
,
∀
s
≥
0
,
H(x(s),\lambda(s))=0,\quad \forall s\ge0,
H ( x ( s ) , λ ( s ) ) = 0 , ∀ s ≥ 0 ,
s
s
s
∂
∂
x
H
(
x
,
λ
)
x
˙
+
∂
∂
λ
H
(
x
,
λ
)
λ
˙
=
0
,
(
x
˙
,
λ
˙
)
=
(
d
x
d
s
,
d
λ
d
s
)
.
\frac{\partial}{\partial x}H(x,\lambda)\dot x+\frac{\partial}{\partial\lambda}H(x,\lambda)\dot\lambda=0,\quad (\dot x,\dot\lambda)=\left(\frac{\mathrm{d}x}{\mathrm{d}s},\frac{\mathrm{d}\lambda}{\mathrm{d}s}\right).
∂ x ∂ H ( x , λ ) x ˙ + ∂ λ ∂ H ( x , λ ) λ ˙ = 0 , ( x ˙ , λ ˙ ) = ( d s d x , d s d λ ) .
(
x
˙
(
s
)
,
λ
˙
(
s
)
)
(\dot x(s),\dot\lambda(s))
( x ˙ ( s ) , λ ˙ ( s ) )
n
×
(
n
+
1
)
n\times (n+1)
n × ( n + 1 )
[
∂
∂
x
H
(
x
,
λ
)
∂
∂
λ
H
(
x
,
λ
)
]
\begin{bmatrix}\frac{\partial}{\partial x}H(x,\lambda) & \frac{\partial}{\partial\lambda}H(x,\lambda)\end{bmatrix}
[ ∂ x ∂ H ( x , λ ) ∂ λ ∂ H ( x , λ ) ] 满秩 , 它的零空间就是1维的. 为了在这种情形下完善
(
x
˙
,
λ
˙
)
(\dot x,\dot\lambda)
( x ˙ , λ ˙ ) 需要赋给它长度和方向 . 长度可用归一化条件决定:
∥
x
˙
(
s
)
∥
2
+
∣
λ
˙
(
s
)
∣
2
=
1
,
∀
s
,
\Vert\dot x(s)\Vert^2+|\dot\lambda(s)|^2=1,\quad\forall s,
∥ x ˙ ( s ) ∥ 2 + ∣ λ ˙ ( s ) ∣ 2 = 1 , ∀ s ,
s
s
s
(
0
,
a
)
(0,a)
( 0 , a )
(
x
(
s
)
,
λ
(
s
)
)
(x(s),\lambda(s))
( x ( s ) , λ ( s ) ) 确定符号以保证 我们是沿着零路径的正向移动 的. 一种比较好的启发式方法是选取符号, 使得当前
s
s
s
(
x
˙
,
λ
˙
)
(\dot x,\dot\lambda)
( x ˙ , λ ˙ )
s
s
s
π
/
2
\pi/2
π / 2
我们将计算
(
x
˙
,
λ
˙
)
(\dot x,\dot\lambda)
( x ˙ , λ ˙ )
程序7 (Tangent Vector Calculation)
Q
T
[
∂
∂
x
H
(
x
,
λ
)
∂
∂
λ
H
(
x
,
λ
)
]
Π
=
[
R
w
]
,
Q^T\begin{bmatrix}\frac{\partial}{\partial x}H(x,\lambda) & \frac{\partial}{\partial\lambda}H(x,\lambda)\end{bmatrix}\Pi=\begin{bmatrix}R & w\end{bmatrix},
Q T [ ∂ x ∂ H ( x , λ ) ∂ λ ∂ H ( x , λ ) ] Π = [ R w ] ,
Q
Q
Q
n
×
n
n\times n
n × n
R
R
R
n
×
n
n\times n
n × n
Π
\Pi
Π
(
n
+
1
)
×
(
n
+
1
)
(n+1)\times (n+1)
( n + 1 ) × ( n + 1 )
w
∈
R
n
w\in\mathbb{R}^n
w ∈ R n
v
=
Π
[
R
−
1
w
−
1
]
;
v=\Pi\begin{bmatrix}R^{-1}w\\-1\end{bmatrix};
v = Π [ R − 1 w − 1 ] ;
(
x
˙
,
λ
˙
)
=
±
v
/
∥
v
∥
2
(\dot x,\dot\lambda)=\pm v/\Vert v\Vert_2
( x ˙ , λ ˙ ) = ± v / ∥ v ∥ 2
由于我们有在任意给定点
(
x
,
λ
)
(x,\lambda)
( x , λ )
(
x
(
0
)
,
λ
(
0
)
)
=
(
a
,
0
)
(x(0),\lambda(0))=(a,0)
( x ( 0 ) , λ ( 0 ) ) = ( a , 0 ) 标准一阶常微分方程初值问题求解器 得到零路径, 求解器将在它找到使得
λ
(
s
)
=
1
\lambda(s)=1
λ ( s ) = 1
s
s
s
第二种跟进零路径的方式与刚才介绍的很相似, 只不过它是从代数角度 出发而不是从微分方程的角度. 给定当前点
(
x
,
λ
)
(x,\lambda)
( x , λ )
(
x
˙
,
λ
˙
)
(\dot x,\dot\lambda)
( x ˙ , λ ˙ )
ϵ
\epsilon
ϵ 预估 "(predictor)点
(
x
p
,
λ
p
)
(x^p,\lambda^p)
( x p , λ p )
(
x
p
,
λ
p
)
=
(
x
,
λ
)
+
ϵ
(
x
˙
,
λ
˙
)
.
(x^p,\lambda^p)=(x,\lambda)+\epsilon(\dot x,\dot\lambda).
( x p , λ p ) = ( x , λ ) + ϵ ( x ˙ , λ ˙ ) . 校正 "(corrector)步将它带回路径上, 从而最终得到满足
H
(
x
+
,
λ
+
)
=
0
H(x^+,\lambda^+)=0
H ( x + , λ + ) = 0
(
x
+
,
λ
+
)
(x^+,\lambda^+)
( x + , λ + )
在校正步中, 我们将预估点
(
x
p
,
λ
p
)
(x^p,\lambda^p)
( x p , λ p )
(
x
,
λ
)
(x,\lambda)
( x , λ )
i
i
i 校正步中使用标准的牛顿法 (这通常是适定的 , 因为
(
x
p
,
λ
p
)
(x^p,\lambda^p)
( x p , λ p )
(
x
+
,
λ
+
)
(x^+,\lambda^+)
( x + , λ + )
[
∂
H
∂
x
∣
∂
H
∂
λ
e
i
]
[
δ
x
δ
λ
]
=
[
−
H
0
]
,
\begin{bmatrix}\frac{\partial H}{\partial x} \mid \frac{\partial H}{\partial\lambda}\\e_i\end{bmatrix}\begin{bmatrix}\delta x\\\delta\lambda\end{bmatrix}=\begin{bmatrix}-H\\0\end{bmatrix},
[ ∂ x ∂ H ∣ ∂ λ ∂ H e i ] [ δ x δ λ ] = [ − H 0 ] ,
∂
H
/
∂
x
,
∂
H
/
∂
λ
,
H
\partial H/\partial x,\partial H/\partial\lambda,H
∂ H / ∂ x , ∂ H / ∂ λ , H
(
δ
x
,
δ
λ
)
(\delta x,\delta\lambda)
( δ x , δ λ )
i
i
i
λ
\lambda
λ
x
x
x
λ
\lambda
λ
以上两种路径跟随的变体都能够跟随具有拐点的曲线. 不过, 它们需要
n
×
(
n
+
1
)
n\times (n+1)
n × ( n + 1 ) 对于所有的
(
x
,
λ
)
(x,\lambda)
( x , λ ) , 从而切向量才是良定的. 下面的结论表明, 行满秩在一定条件下是成立的.
定理9 设
r
r
r 几乎所有 的
a
∈
R
n
a\in\mathbb{R}^n
a ∈ R n
(
a
,
0
)
(a,0)
( a , 0 )
n
×
(
n
+
1
)
n\times (n+1)
n × ( n + 1 )
λ
∈
[
0
,
1
)
\lambda\in[0,1)
λ ∈ [ 0 , 1 )
(
x
ˉ
,
1
)
(\bar{x},1)
( x ˉ , 1 )
r
(
x
ˉ
)
=
0
r(\bar{x})=0
r ( x ˉ ) = 0
J
(
x
ˉ
)
J(\bar{x})
J ( x ˉ )
(
a
,
0
)
(a,0)
( a , 0 )
(
x
ˉ
,
1
)
(\bar{x},1)
( x ˉ , 1 )
这一定理表明, 除非我们选到了不好的
a
a
a
例3 考虑
r
(
x
)
=
x
2
−
1
r(x)=x^2-1
r ( x ) = x 2 − 1
a
=
−
2
a=-2
a = − 2
H
(
x
,
λ
)
=
λ
(
x
2
−
1
)
+
(
1
−
λ
)
(
x
+
2
)
=
λ
x
2
+
(
1
−
λ
)
x
+
(
2
−
3
λ
)
.
H(x,\lambda)=\lambda(x^2-1)+(1-\lambda)(x+2)=\lambda x^2+(1-\lambda)x+(2-3\lambda).
H ( x , λ ) = λ ( x 2 − 1 ) + ( 1 − λ ) ( x + 2 ) = λ x 2 + ( 1 − λ ) x + ( 2 − 3 λ ) .
从图中可以看到在
(
−
2
,
0
)
(-2,0)
( − 2 , 0 )
(
1
,
1
)
或
者
(
−
1
,
1
)
(1,1)或者(-1,1)
( 1 , 1 ) 或 者 ( − 1 , 1 )
λ
\lambda
λ
x
x
x
x
=
−
(
1
−
λ
)
±
(
1
−
λ
)
2
−
4
λ
(
2
−
3
λ
)
2
λ
.
x=\frac{-(1-\lambda)\pm\sqrt{(1-\lambda)^2-4\lambda(2-3\lambda)}}{2\lambda}.
x = 2 λ − ( 1 − λ ) ± ( 1 − λ ) 2 − 4 λ ( 2 − 3 λ )
.
x
x
x
λ
∈
(
5
−
2
3
13
,
5
+
2
3
13
)
≈
(
0.118
,
0.651
)
.
\lambda\in\left(\frac{5-2\sqrt{3}}{13},\frac{5+2\sqrt{3}}{13}\right)\approx(0.118,0.651).
λ ∈ ( 1 3 5 − 2 3
, 1 3 5 + 2 3
) ≈ ( 0 . 1 1 8 , 0 . 6 5 1 ) .
(
−
2
,
0
)
(-2,0)
( − 2 , 0 )
这个例子说明, 即使是对一个相当简单的非线性系统, 连续方法依然可能会失效 . 然而一般来说, 它们要比本章先前介绍的基于价值函数的方法要可靠得多 . 不过这鲁棒性是基于一定的代价的: 连续方法往往比基于价值函数的方法需要过多的计算量 . 连续方法也将成为我们求解约束优化问题的内点法的动机.
