最小二乗問題と非線形最適化

0 まえがき

ここから転載し、軽微な誤りを修正しました。

1. 最小二乗問題

SLAM で最適状態推定問題を解くと、一般に 2 つの変数が得られます。1 つはセンサーによって得られた実際の観測値 z です$z$ 、1は現在推定されている状態量と観測モデルに基づいて計算された$h\left(x\right)$。最適状態推定問題を解くとき、通常、予測値と観測値から計算される残差の二乗を最小化しようとします（二乗は符号の影響を統一するために使用されます）。つまり、次の最小二乗を解こうとします。問題：

$${バツ}^{\ast }=arg\_\underset{バツ}{}||z\_-h\left(x\right)|{|}^2$$
観測モデルが線形モデルの場合、上記の方程式は線形最小二乗問題に変換されます。

$${バツ}^{\ast }=arg\_\underset{バツ}{}||z\_-H\times ||{\_}^2$$
線形最小二乗問題の場合、閉形式の解を直接求めることができます:${バツ}^{\ast }=-(H^{TH}）\_{}^{-1}{時間}^{Ｔ}z\; については$ここでは詳しく説明しない。

実際の問題では、通常、複数の残差を最小化する必要があります。通常、異なる残差には、その重要性 (不確実性) に応じて対応する重み係数が割り当てられ、観測モデルは通常、非線形です。つまり、次の問題を解決します。

$$\begin{array}{rl}{e}_{}(\times )& =z_{}-h_{}(\times )私=1、2、...、n\\ ||e_{}\left(x\right)|{|}_{S_{}}^{}& =e_{私}^{}{S}_{}{e}_{}\\ {バツ}^{\ast }& =arg\_\underset{バツ}{}F(\times )\\ & =arg\_\underset{バツ}{}\underset{私}{}||e_{}\left(x\right)|{|}_{S_{}}^{}\end{array}$$
状態量x ∗ \boldsymbol{x}^*を取得したい${バツ}^{\ast }$、損失関数$F\left(x\right)$は極小値を取得します。

特定の問題を解決する前に、まず$F\left(x\right)$のプロパティは、それに対して 2 次テイラー展開を実行します。

$$F(\times +\Delta \times ）=F(\times )+J\Delta x+\frac{}{2}\Delta x\_{\_}^{T}H\Delta x+O(||\Delta x|{|}^3)$$
高次の剰余を無視すると、二次関数には次の特性があります。

点${バツ}^{\ast }$での導関数は$0$の場合、この点は安定点であり、ヘッセ行列の正定値に従って異なる特性を持ちます。

• Hの場合$H$が正定行列の場合、$F\left({\times }^{\ast }\right)$は極小値です
• Hの場合$H$が負の定行列の場合、$F\left({\times }^{\ast }\right)$は極大値です
• Hの場合$H$が不定行列の場合、$F\left({\times }^{\ast }\right)$は鞍点です

実際の処理では一般的に$F\left(x\right)$は比較的複雑です。その導関数を直接 0 にしてこの点を見つける方法はありません。したがって、損失関数が x とともに変化するように下降方向を見つける、反復法が一般的に使用されます。 {x$x$の反復はx \boldsymbol{x}になるまで徐々に減少します。$x\; は$xに収束します${バツ}^{\ast }$。一般的に使用される反復メソッドをいくつか示します。

2. 反復降下法

上で述べたように、 x \boldsymbol{x}を見つける必要があります。$x$の反復量は$F\left(x\right)$が減少します。このプロセスは 2 つのステップに分かれています。

F ( x ) \boldsymbol{F(x)}を見つけます$F\left(x\right)$の下降方向、この方向に単位ベクトル d を構築します$d\; は、$
この方向の$\alpha$
反復後の$バツ+\alpha d$に対応する関数値は、一次テイラー展開によって近似できます (ステップ サイズが十分に小さい場合)。

$$F(\times +\alpha d）\_=F(\times )+\alpha Jd$$したがって、 F ( x ) F(x)
を維持することを見つけるのは難しくありません。$F\left(x\right)$は減少しています。J$ジェーディー<0$。以下の方法はすべて、異なるアイデアを使用して反復して適切な方向を見つけます。

3. 最急降下法

前の部分に基づいて、変化は$\alpha Jd$、ここで$ジェーディー=||J||\mathrm{コス}\theta$，$\theta$は勾配$J$と$d$角度。θ = − πのとき$私=-\pi$の場合$ジェーディー=-||J||$は最小値を求めますが、このときの方向ベクトルは次のようになります。

$$d=\frac{-J^{}}{||J||}$$
したがって、勾配$J$の負の方向により、 F ( x ) F(\boldsymbol{x})を作成できます。$F\left(x\right)$ですが、実際の処理では、この方法は一般に反復の開始時にのみ使用され、最適値に近づくと、この方法は発振して収束が遅くなります。

4.ニュートン法

F ( x ) F(\boldsymbol{x})の場合$F\left(x\right)$の 2 次テイラー展開は次の

$$F(\times +\Delta \times ）=F(\times )+J\Delta x+\frac{}{2}\Delta x\_{\_}^{T}H\Delta x$$
私たちが焦点を当てるのは、$\Delta x$使得$J\Delta x+\frac{}{2}\Delta x\_{\_}^{T}H\Delta x$が最小であるため、次のように導出されます。

$$\begin{array}{rl}\frac{\partial (J\Delta x+\frac{}{2}\Delta x\_{\_}^{TH}\Delta x}{\partial \Delta x}& =J^T+H\Delta x=0\\ \Rightarrow \Delta & =-H^{-1J}{\_}^{}\end{array}$$
Hのとき$H$は正定行列であり、現在の$x$が最適点に近い場合、$\Delta x\_\_=-H^{-1J}{\_}^{T\; は}$関数に極小値を取得させることができます。ただし、残差のヘッセ関数を見つけるのが通常は難しいという欠点があります。

5. 制振方法

ニュートン法に基づいて、各反復があまりにも積極的にならないように制御するために、以下に示すように損失関数にペナルティ項を追加できます。

$$arg\_\underset{\Delta x\_\_}{}\left\{F\left(x\right)+J\Delta x+\frac{}{2}\Delta x\_{\_}^{T}H\Delta x+\frac{}{2}m\left(\Delta x{)}^T\right(\Delta x)\right\}$$Δ x \Delta\boldsymbol{x}
を選択した場合$\Delta x$が大きすぎると、損失関数も大きくなり、増加の振幅は$\mu$が決まるので、各反復の量$\Delta xの$サイズ。Δ x \Delta\boldsymbol{x}の右側の部分にもあります$\Delta x$の導関数は次$のとおりです。$

$$\begin{array}{rl}{J}^T+H\Delta x+mDx\_\_& =0\\ (H+\mu I)\Delta x=-J^{}& \end{array}$$
この考え方は、後で LM 法を導入するときにも使用されます。

6.ガウス・ニュートン(GN)法

前の配置では、実際に解いたのは一連の残差の合計でしたが、単一の残差のヤコビアンを求めるのは比較的簡単なので、次の方法では各残差の変化に焦点を当てます。上記の非線形最小二乗問題の各残差をベクトル形式で書きます。

$$F(\times )=E(\times )=\left[\begin{array}{c}{e}_{}(\times )\\ e_{}(\times )\\ ...\\ e_{}(x\end{array}\right]$$

e ( x ) \boldsymbol{e}(\boldsymbol{x})の場合$e\left(x\right)$のテイラー展開は

$$そして(x+\Delta \times ）=そして(x)+J\Delta x$$
上の式では、$J$は残差行列$e\left(x\right)$と状態量のヤコビアン行列。

元の線形最小二乗問題では、各残差の重み行列$\Sigma$。この場合、 ei ( x ) = Σ iei ( x ) \boldsymbol{e}_i(\boldsymbol{x}) = \sqrt{\boldsymbol{\Sigma}_i}\boldsymbol{e}_i とするだけで済みます。$e_{}(\times )=\sqrt{S_{}}{e}_{}\left(x\right)$で十分です。したがって、次の式では$\Sigma$の影響。

この形式では、$e\left(x\right)$のテイラー展開は

$$\begin{array}{rl}||e(x+\Delta x)|{|}^2& =そして(x+\Delta \times {）}^{て}(\times \_+\Delta \times ）\\ & =\left(と\right(x)+J\Delta x{)}^T(e\left(x\right)+J\Delta x)\\ & =そして(x{)}^{テ}（\times ）\_+\Delta x\_{\_}^T{J}^{テ}（\times ）\_+そして(x{)}^{T}J\Delta x+\Delta x\_{\_}^T{J}^{TJ\Delta x}\_\_\end{array}$$
上の式では、$e\left(x\right)$は 1 次元なので、$\Delta x\_{\_}^T{J}^{テ}（\times ）\_=そして(x{)}^{T}J\Delta x$なので、次のように単純化します。

$$\begin{array}{rl}F(\times +\Delta \times ）& =そして(x{)}^{テ}（\times ）\_+2e(\times )\_{}^{T}J\Delta x+\Delta x\_{\_}^T{J}^{T}J\Delta x\\ & =F(\times )+2e(\times )\_{}^{T}J\Delta x+\Delta x\_{\_}^T{J}^{TJ\Delta x}\_\_\end{array}$$
このようにして、これも二次関数として近似します。以前の展開結果と比較すると、ここで実際にJT e \boldsymbol{J}^T\boldsymbol{e}を使用していることがわかります。$J^{}$ヤコビ行列を近似するには、JTJ \boldsymbol{J}^T\boldsymbol{J} を使用$し$${}^{ます}$$J^{T}J\; を$使用してヘッセ行列を近似します。したがって、$J$がフルランクの場合、関数は上記の式の導関数が 0 となる極小値を確実に取得できます。同様に、上の式の右辺で、$\Delta x$を導出して

$$\begin{array}{rl}{J}^{テ}（\times ）\_+J^{T}J\Delta x=0& \\ \Rightarrow J^{T}J\Delta x& =-J^{テ}（\times ）\_\\ \Rightarrow H\Delta x\_& =\end{array}$$
上の式では、$H=J^{TJ}、\_b=-J^{て}。\_$_ このようにして、ガウス・ニュートン法の解法プロセスを取得します。

• 状態値\boldsymbol{J}に対する残差行列のヤコビアン行列 J を計算します。$J$
• ヤコビアン行列と残差を使用して、情報行列と情報ベクトル$H、b$
• 現在の反復量を計算します: $\Delta x\_\_=H^{-1b}\_$
• 反復量が十分に小さい場合は反復を終了し、そうでない場合は次の反復に入ります。

7. レーベンバーグ・マルカート（LM）法

LM 法はガウス ニュートン法に基づいており、減衰法の考え方に従って減衰係数を追加します。つまり、次の方程式を解きます。

$$(H+\mu I)\Delta x=b$$
上記の式では、減衰係数の関数は次のとおりです。

• H \boldsymbol{H}に追加$H\; は$Hを保証します$H$は正定値です

• 当$\mu$很大時、$\Delta x\_\_=-(H+\mu I）{\_}^{-1b}\_\approx -\frac{}{メートル}b=-\frac{}{メートル}{J}^{TE}(x)、$最急降下法に近い

• 当$\mu$が非常に小さい場合はガウス・ニュートン法に近いため、
  減衰係数を適切に設定することで反復速度を動的に調整できます。減衰率の設定は 2 つの部分に分かれています。

• 初期値の選択

• イテレーション量に応じて変化する更新戦略

まず初期値の選択方法を見てみましょう. 減衰係数の大きさは$J^{T}J$のサイズを選択するには$J^{T}J\; は$固有値分解を実行します。次のものがあります。$J^{T}J=V\Lambda V\_{\_}^T$，$L=\text{diag}({\lambda }_{}、{私}_{}、...、{私}_{}）、V=[v_{}、...、v_{}]$したがって、反復公式は次のように簡略化されます。

$$\begin{array}{rl}(V\Lambda V^T+\mu I)\Delta x& =b\\ \Delta x\_\_& =(V\Lambda V^T+\mu I）{\_}^{-1b}\_\\ & =-\underset{私}{}\frac{v_{私}^{}}{{私}_{}+メートル}{v}_{}\end{array}$$
したがって、$\mu$ 选为 ${私}_{}$簡単なアイデアは、μ 0 = τ max ⁡ ( JTJ ) ii \mu_0 = \tau\max{(\boldsymbol{J}^T\boldsymbol{J})_{ii}} と設定することです。${メートル}_{}=t\mathrm{最大}(J^{TJ}）\_{}_{}$、実際には、一般に$t\approx [10^{-8}、1]$

次に$\mu$の更新戦略については、まず減衰係数を更新する方法を定性的に分析します。

• 当$\Delta x$ let$F\left(x\right)$が増加すると、μ \muΔ x \Delta\boldsymbol{x}を減らすための$\mu$$\Delta x\; は$ステップ サイズを小さくすることで、この反復$の影響を軽減します。$
• 当$\Delta x$ let$F\left(x\right)$が減少すると、$\mu$を増加させると$\Delta x\; は$ステップ$サイズを増やすことにより、この反復の影響を増大させます。$

以下で定量分析を行ってみましょう。L $L\left(\Delta x\right)=F(\times )+2E(\times )\_{}^{T}J\Delta x+\frac{}{2}\Delta x\_{\_}^T{J}^{T}J\Delta x$では、次のスケーリング係数が考慮されます。

$$r=\frac{F(\times )-F(\times +\Delta \times }{L\left(0\right)-F\left(\Delta x\right)}$$
マルカート氏は次のような戦略を提案しています。

• 当$r<0$は、現在の$\Delta x$はF ( x ) F(\boldsymbol{x})になります$F\left(x\right)$が増加することは、最適値からはまだ遠いことを示しており、$\mu \; により、$大規模な更新で​​は最急降下法に近づきます。
• ρ > 0 \rho > 0の場合$r>0$で比較的大きく、現在の$\Delta x$はF ( x ) F(\boldsymbol{x})になります$F\left(x\right)$が減少すると、$\mu は$ガウス・ニュートン法に近づけ、速度を落として最適点に更新します。
• ρ > 0 \rho > 0の場合$r>0$ですが比較的小さいので、最適点近くに到達したことを示し、減衰$\mu$、反復ステップ サイズを小さくします

マルカート氏の具体的な戦略は次のとおりです。

if rho < 0.25: 
    mu = mu * 2
else if rho > 0.75: 
    mu = mu /3

Marquardt 戦略を使用した更新プロセスは次のとおりです。

効果があまり良くないことがわかります。反復回数が増加するにつれて、$\mu$が振動し始め、反復量が周期的に変化することを示します$F\left(x\right)$は増加し、その後減少します。

したがって、ニールセンは、G2O と Ceres でも​​使用されている別の戦略を提案しました。

if rho > 0:
    mu = mu * max(1/3, 1 - (2 * rho - 1)^3)
    v = 2
else:
    mu = mu * v
    v = 2 * v

この戦略を使用した最適化の例は次のとおりです。

μ \muであることがわかります。$\mu \; は、$収束に達するまで反復が進むにつれて比較的スムーズに減少し続けることができます。

8. 堅牢なカーネル機能

最小二乗問題を実行すると、観測残差が特に大きくなる異常な観測値がいくつか発生します。これらの異常な点が処理されないと、最適化プロセスに影響します。オプティマイザは異常な残差項を最小化しようとします。 , 状態推定の精度に影響を与えるため、これらの異常な観測の影響を軽減するために、堅牢なカーネル関数が使用されます。

ロバストなカーネル関数を各残差項に直接適用して、最小二乗問題を次の形式に変換します。

$$F(\times )=\underset{私}{}\rho (||e_{}(x)|{|}^2)$$
ロバスト カーネル関数を使用する場合の非線形最小二乗を解くプロセス
この形式では、ロバスト カーネル関数を使用して残差に対して 2 次テイラー展開を実行します。

$$p(s+\Delta s)\_=p\left(x\right)+r^{\text{'}}\left(x\right)\Delta s+\frac{}{2}{r}^{「}(\times ){D」}^{2}s$$
上式において、変化量$\Delta s\; は次のように計算されます$。

$$\begin{array}{rl}\Delta s\_{\_}_{}& =||e_{}(\times +\Delta x)|{|}^2-||e_{}(x)|{|}^2\\ & =||e_{}(\times )+J_{}\Delta \times ||{\_}^2-||e_{}\left(x\right)|{|}^2\\ & =2e{\_}_{}(\times {)}^T{J}_{}\Delta x\_\_+\Delta x\_{\_}^T{J}_{私}^{}{J}_{}\Delta \end{array}$$
将$\Delta s$代入$p(s+\Delta s)\; は$次のように取得できます。

$$\begin{array}{rl}p(s+\Delta s)\_=& p\left(s\right)+r^{\text{'}}\left(s\right)\left(2e_{}\right(\times {)}^T{J}_{}\Delta x\_\_+\Delta x\_{\_}^T{J}_{私}^{}{J}_{}\Delta \times ）\\ & +\frac{}{2}{r}^{\text{'}\text{'}}\left(s\right)\left(2e_{}\right(\times {)}^T{J}_{}\Delta x\_\_+\Delta x\_{\_}^T{J}_{私}^{}{J}_{}\Delta \times {）}^2\\ \approx & p\left(s\right)+2P{\_}^{\text{'}}\left(s\right)e_{}(\times {)}^T{J}_{}\Delta x\_\_+r^{\text{'}}(s)\Delta x^T{J}_{私}^{}{J}_{}\Delta x\_\_\\ & +2P{\_}^{\text{'}\text{'}}\left(s\right)\Delta x^T{J}_{私}^{}{e}_{}(\times )e_{}(\times {)}^T{J}_{}\Delta \end{array}$$
前のアイデアに従って、上記の式の導関数を取得し、それを 0 にすると、次の結果が得られます。

$$\underset{私}{}{J}_{私}^{}\left(r^{}\right({}^s)\_+2P{\_}^{\text{'}\text{'}}(s\left)e_{}\right(\times \left)e_{}\right(\times {)}^T)J\Delta x=-\underset{私}{}{r}^{}({}^s)J\_{}_{私}^{}{e}_{}(x)$$
前の行列を比較$J^{T}J\Delta x=-J_{私}^{}e\left(x\right)$を取得できます。ロバストなカーネル関数を使用した後は、各残差のカーネル関数の 1 次導関数と 2 次導関数を計算し、次の式に従って情報行列と情報ベクトルを更新するだけです。上記フォームで可能です。

一般的に使用される堅牢なカーネル関数
Cauchy の堅牢なカーネル関数:

$$\begin{array}{rl}p\left(s\right)& =c^2ログ\_(1+\frac{}{c^2}）\\ r^{}\left({}^s\right)\_& =\frac{}{1+\frac{}{c^2}}\\ r^{「}(s& =-\frac{}{c^2}\left(r^{\text{'}}\right(s){\_}^{}\end{array}$$
その中には、$c$は制御パラメータです。残差が正規分布する場合、Huber c は 1.345 として選択され、Cauchy c は 2.3849 として選択されます。さまざまな堅牢なカーネル関数の効果を次の図に示します。