Ceres の紹介と例 (7) デリバティブについて (スピヴァク記法)

デリバティブについて

Ceres ソルバーは、すべての勾配ベースの最適化アルゴリズムと同様に、その領域内の任意の点で目的関数とその導関数を評価できることに依存しています。実際、目的関数とそのヤコビアン行列の定義は、Ceres ソルバーを使用して最適化問題を解決するときにユーザーが実行する必要がある主なタスクです。ヤコビ行列を正しく効率的に計算することが、優れたパフォーマンスの鍵となります。

ユーザーは、次の 3 つの差分アルゴリズムから柔軟に選択できます。

• 1. 自動導関数 自動微分アルゴリズム: Ceres は C++ テンプレートと演算子のオーバーロードを使用して、解析導関数を自動的に計算します。
• 2.数値微分 数値微分アルゴリズム: Ceres は有限差分値による微分を計算します。
• 3. 分析微分 分析微分アルゴリズム: ユーザーは自分で、または Maple や Mathematica などのツールを使用して微分を計算し、CostFunction に実装します。

これら 3 つのアプローチのどれを (単独で、または組み合わせて) 使用する必要があるかは、状況とユーザーが希望するトレードオフによって異なります。残念ながら、数値最適化の教科書ではこれらの問題について詳細に説明することはほとんどなく、ユーザーは自分のデバイスで操作することになります。

この記事の目的は、このギャップを埋め、ユーザーが情報に基づいた選択ができるように、Ceres ソルバーのコンテキストでこれら 3 つのメソッドのそれぞれを詳細に説明することです。
せっかちな方のために、高度なアドバイスをいくつか紹介します。

• 1.Automatic Derivatives 自動微分アルゴリズムを使用する
• 2. 場合によっては、分析デリバティブを使用する価値があるかもしれません
• 3. 数値導関数の数値微分アルゴリズムを避けてください。これは、主に外部ライブラリと接続するための最後の手段として使用してください。

スピヴァク記法

読みやすく理解を容易にするために、導関数はスピヴァク表記を使用して表されます。一変量関数 f の場合、f(a) は a でのその値、Df はその一次微分値、Df(a) は a での微分値です。つまり、D f ( a ) = ddxf ( x ) ∣ x =
$$Df\left(a\right)={\frac{}{dx\_}f\left(x\right)|}_{x=}$$
$Df\left(a\right)$はf の$k$次導関数。二項関数$g(x,y)$，$D_{}g$と$D_{}g$それぞれ$g$の 2 つの偏微分
$$D_{}g=\frac{}{\partial \times }g(x,y)\text{ と }{D}_{}g=\frac{}{\partial y\_}g(x,y)。$$
$Dg\; は$ggを意味します$g$のヤコビ行列
$$Dg\_=\left[\begin{array}{cc}{D}_{}& D_{}\end{array}\right]$$
より一般的には、多変量関数$g:R^n⟶R^m$，$Ｄｇ\; は、$ｍ×ｎのヤコビ行列を表す。

$D_{}g\; は$g の偏微分、つまり$Dg$の行 i 、列 i の要素$。$

最後に$D_1^{}g$ 和 $D_{}{D}_{}g\; は$高次偏微分を表します。