【最適化】逐次（ステップワイズ）二次計画法（SQP）

逐次 (ステップワイズ) 二次計画法 (SQP)

非線形制約問題を解くための直接的で効率的な方法は、問題の関数$f\left(x\right)$和$c_{}\left(x\right)$特に制約関数$c_{}\left(x\right)$は線形近似です。この考えに基づく方法がラグランジュ関数の安定点をニュートン法で解く方法であることから、ラグランジュ・ニュートン法とも呼ばれます。

等式制約問題 - KKT 条件付き解法

例非線形計画問題を考えます
$$\begin{array}{rl}分& {バツ}_{}+{バツ}_{}\\ s。t& {バツ}_1^{}={バツ}_{}\end{array}$$

• 分析ソリューション

ラグランジュ関数
$$L={バツ}_{}+{バツ}_{}+\lambda (x_1^{}-{バツ}_{})$$
その KKT except1
$$\begin{array}{rl}1+2リットル{\times }_{}& =0\\ 1-l& =0\\ {バツ}_1^{}-{バツ}_{}& =\end{array}$$
x ∗ = ( − 1 2 , 1 4 ) x^* = (-\frac{1}{2}, \frac{1}{4}) を求める解析的方法${バツ}^{\ast }=(-\frac{}{2}、\frac{}{4})$ ,$l^{\ast }=1$。

• x ( 0 ) = ( 0 , 0 ) x^{(0)} = (0,0)の場合${バツ}^{\left(0\right)}=(0,0)$ ,$l^{\left(0\right)}$は初期点です。数値法を使用して KKT ポイントを見つけます。

出発点：方程式を解くニュートン法、線形近似の考え方

設定$\varphi \left(t\right):R\to R$，求$\varphi \left(t\right)$の根、つまり連立方程式$\varphi \left(t\right)=0$。

等式制約の問題 - 方程式を解くためのニュートン法

デズ$ぜ\epsilon R^n$，解方程foundr
$$\begin{array}{rl}{r}_{}\left(z\right)& =0\\ r_{}\left(z\right)& =0\\ ⋮& \\ r_{}(z& =\end{array}$$
与えられた近似解${ぜ}^{\left(k\right)}$，令$s^{\left(k\right)}={ぜ}^{(k+1)}-{ぜ}^{\left(k\right)}$
$$r^{\left(k\right)}=\lfloor \begin{array}{c}{r}_{}\left(z^{\left(k\right)}\right)\\ r_{}\left(z^{\left(k\right)}\right)\\ ⋮\\ r_{}(z^{\left(k\right)}\end{array}\rfloor$$

$$J\left(z^{\left(k\right)}\right)=\lfloor \begin{array}{c}\nabla r{\_}_{}(z^{\left(k\right)}{)}^T\\ \nabla r{\_}_{}(z^{\left(k\right)}{)}^T\\ ⋮\\ \nabla r{\_}_{}(z^{\left(k\right)}{)}^{}\end{array}\rfloor$$

氷を作る 一次方程式系を解く
$$\begin{array}{rl}{l}_{}\left(秒\right)& :=r_{}\left(z^{\left(k\right)}\right)+\nabla r{\_}_{}(z^{\left(k\right)}{)}^{Ts}\_=0\\ l_{}\left(秒\right)& :=r_{}\left(z^{\left(k\right)}\right)+\nabla r{\_}_{}(z^{\left(k\right)}{)}^{Ts}\_=0\\ ⋮& \\ l_{}(s& :=r_{}\left(z^{\left(k\right)}\right)+\nabla r{\_}_{}(z^{\left(k\right)}{)}^{Ts}\_=\end{array}$$
即
$$J\left(z^{\left(k\right)}\right)s=-r^{\left(k\right)}$$

実用的な方法は、方法が広く収束することを保証するために、ライン検索または信頼領域技術を追加します!

等式制約問題 - ラグランジュ・ニュートン法

min
$$\begin{array}{rl}\underset{x\in R^n}{}& f\left(x\right)\\ s。t& c_{}(\times )=0、私=1、2、\cdots 、\end{array}$$
即
$$\begin{array}{rl}\underset{x\in R^n}{}& f\left(x\right)\\ s。t& c(\times )=\end{array}$$
その中、$c(\times ):R^n\to R^{メートル}$。

KKT Let
$$\begin{array}{rl}g\left(x\right)+A\left(x\right)l& =0\\ c(x& =\end{array}$$
その中，$あ(\times )=[\nabla c_{}(\times )、\nabla c_{}(\times )、\cdots 、\nabla c_{}(\times \left)\right]$。

( x ( k ) , λ ( k ) ) (x^{(k)},\lambda^{(k)}) とする$({\times }^{\left(k\right)}、l^{\left(k\right)})$は近似解であり、そのニュートン補正$(s^{\left(k\right)}、w^{\left(k\right)})$[ W ( k ) A ( k ) A ( k ) T 0 ] [ sw ] = − [ g ( k ) + A ( k ) λ c ( k ) ] \begin{bmatrix} W^{
$$\left[\begin{array}{cc}{W}^{\left(k\right)}& {あ}^{\left(k\right)}\\ {{あ}^{\left(k\right)}}^{}& \end{array}\right]\left[\begin{array}{c}s\\ \end{array}\right]=-\left[\begin{array}{c}{g}^{\left(k\right)}+{あ}^{\left(k\right)}l\\ c^{(k}\end{array}\right]$$
其中，${あ}^{\left(k\right)}=A\left({\times }^{\left(k\right)}\right)$,$W^{\left(k\right)}={\nabla }^{2}f\left({\times }^{\left(k\right)}\right)+{\sum }_{}{l}_{私}^{(k}{\nabla }^{2c}{\_}_{}\left({\times }^{\left(k\right)}\right)$

令$l^{(k+1)}=l^{\left(k\right)}+w^{\left(k\right)}$、次に$(s^{\left(k\right)}、l^{(k+1)})$定義
$$\left[\begin{array}{cc}{W}^{\left(k\right)}& {あ}^{\left(k\right)}\\ {{あ}^{\left(k\right)}}^{}& \end{array}\right]\left[\begin{array}{c}s\\ \end{array}\right]=-\left[\begin{array}{c}{g}^{\left(k\right)}\\ c^{(k}\end{array}\right]$$
与えられた初期点$({\times }^{\left(0\right)}、l^{\left(0\right)})$、( s ( k ) , λ ( k + 1 ) ) (s^{(k)},\lambda^{(k+1)}) を得るために線形方程式系を構築して解きます。$(s^{\left(k\right)}、l^{(k+1)})$、${バツ}^{(k+1)}={バツ}^{\left(k\right)}+s^{\left(k\right)}$、順番に繰り返します。

Lagrange 乘子法+ Newton 法= Lagrange-Newton 法

自然

定理は$({\times }^{\ast },l^{\ast })\; は$等式制約問題の 2 次十分条件を満たし、$ランク(A\_\_\_{}^{\ast })=m$、次に${バツ}^{\left(0\right)}$はx ∗ x^*に十分近い${バツ}^{\ast }$と$l^{\left(0\right)}$行列
$$\left[\begin{array}{cc}{W}^{\left(0\right)}& {あ}^{\left(0\right)}\\ {{あ}^{\left(0\right)}}^{}& \end{array}\right]$$が特異でない場合、ラグランジュ・ニュートン法が定義され、シーケンス { ( x ( k ) , λ ( k ) } \{(x^{(k)},\lambda^{(k)} によって生成されます)この
メソッド$\left\{\right({\times }^{\left(k\right)}、l^{\left(k\right)}\}\; は$( x ∗ , λ ∗ ) (x^*,\lambda^*)に 2 次収束します。$({\times }^{\ast },l^{\ast })$。

既存の問題

• 最初のポイントに対する高い要件
• 二次導関数を求める必要がある
• 不等式制約のある最適化問題を解くことができません

基本・部分SQP

モチベーション

二次計画法の部分問題
$$\begin{array}{rl}\underset{s\in R^n}{}& \frac{}{2}{s}^{TW}{\_}^{\left(k\right)}秒+{g^{\left(k\right)}}^{Ts}\_+{へ}^{\left(k\right)}\\ s。t& {{あ}^{\left(k\right)}}^{Ts}\_+c^{\left(k\right)}=\end{array}$$
其中，$s=バツ-{バツ}^{\left(k\right)}$、目的関数は、2 次項が修正された 2 次テイラー展開です。その一次 (KKT) 条件は
$$\begin{array}{rl}{W}^{\left(k\right)}秒+g^{\left(k\right)}+{あ}^{\left(k\right)}l& =0\\ {{あ}^{\left(k\right)}}^{Ts}\_+c^{(k}& =\end{array}$$
[ W ( k ) A ( k ) A ( k ) T 0 ] [ s λ ] = − [ g ( k ) c ( k ) ] \begin{bmatrix} W^{ (
$$\left[\begin{array}{cc}{W}^{\left(k\right)}& {あ}^{\left(k\right)}\\ {{あ}^{\left(k\right)}}^{}& \end{array}\right]\left[\begin{array}{c}s\\ \end{array}\right]=-\left[\begin{array}{c}{g}^{\left(k\right)}\\ c^{(k}\end{array}\right]$$

設定$Z^{\left(k\right)}\epsilon R^{n\times (n-m)}$の列は A ( k ) T s = 0 {A^{(k)}}^Ts = 0 を生成します${{あ}^{\left(k\right)}}^{Ts}\_=$ランク ( A ( k ) ) = m \mathrm{rank}(A^{(k)}) = m の場合、$0の解空間$$ランク(A\_\_\_{}^{\left(k\right)})=m$，andZ$Z^{\left(k\right)}{W}^{\left(k\right)}{Z}^{\left(k\right)}$が正定である場合、元の問題は 1 次条件と同じ解をもち、解は一意です。

一般的な非線形性に対する対划问题
$$\begin{array}{rl}\underset{s\in R^n}{}& \frac{}{2}{s}^{TW}{\_}^{\left(k\right)}秒+{g^{\left(k\right)}}^{Ts}\_+{へ}^{\left(k\right)}\\ s。トン。& {a_{私}^{(k}}^{Ts}\_+c_{私}^{(k}=0、私\epsilon え\\ & {a_{私}^{(k}}^{Ts}\_+c_{私}^{(k}=0、私\epsilon \end{array}$$
次の解決アルゴリズムがあります。

[外部リンクの画像の転送に失敗しました。ソース サイトにはリーチング防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-s4TnoKaq-1610379805928)(https://cdn.jsdelivr.net/gh/ZhouKanglei /jidianxia/2020-12 -24/1608821899495-SQP.png)]

理想的な終了条件：KKT条件を満たす！

例非線形計画問題を考えます
$$\begin{array}{rl}分& f\left(x\right)=-{\times }_{}-{バツ}_{}\\ s。トン。& c_{}(\times )={バツ}_1^{}-{バツ}_{}\le 0\\ & c_{}(\times )={バツ}_1^{}+{バツ}_2^{}-1\le \end{array}$$
そのジオメトリは次のように直感的です。

最適解 x ∗ = ( 1 2 , 1 2 ) T x^* = (\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}) は解析的手法によって得られます${バツ}^{\ast }=(\frac{}{\sqrt{2}}、\frac{}{\sqrt{2}}{)}^T$，$l^{\ast }=(0,\frac{}{\sqrt{2}}{)}^{T。}$ _

与えられた初期点${バツ}^{\left(0\right)}=(\frac{}{2}、1{)}^T$，$l^{\left(0\right)}=(0,0{)}^T$、反復ステップは次のとおりです。

アドバンテージ

ローカル二次収束

問題があります

• 初期点が良くない場合、反復は発散する可能性があります
• 無限または実行不可能など、部分問題の解が存在しない可能性があります
• 2 番目の偏導関数$W^{\left(k\right)}$

参考文献

[1] Liu Hongying、Xia Yong、Zhou Yongsheng. 数学プログラミングの基礎、北京、北京航空宇宙大学出版局、2012。