z 非線形最小二乗法 - Zhihu (zhihu.com) より転載。ご質問がございましたら、お知らせの上、削除してください。
実際に一連のデータをモデル ϕ(t) で記述する場合、モデルの予測結果と実際の測定結果の間には必ず一定の偏差が生じ、この偏差を残差誤差と呼びます。非線形最小二乗法の目的は、モデルのパラメーターを調整して総残差誤差を最小限に抑えることです。
グラフのyは実測値、ϕ(t)は計算値であり、まず各測定結果について、yj−ϕ(x;tj)は測定値と予測値の差を表し、残留物。もちろん、残差は可能な限り 0 に近づきます。しかし、なぜ残差の二乗和を最小化するのでしょうか? なぜ絶対値の合計ではないのでしょうか? それとも4乗の和？
最も直接的な理由は、二乗演算では多項式の次数が大幅に増加せず、どこでも導出できるためです。対照的に、絶対値演算は原点で微分可能ではなく、4 乗次数が高すぎるため簡単に解くことができません。
さらに、二乗和には深い意味があります。
最尤推定
一般に、複数の測定結果は独立しており、同一に分布している、つまり、特定の測定結果が他の測定結果に影響を与えないと考えることができます。一方、私たちが設計したモデルが実際に実際の物理的事象をうまく説明できると仮定すると、あらゆる測定の誤差はランダムな誤差になるはずで、これは次のガウス分布を満たすと考えられます。
ガウス分布の対称軸の位置が最も確率が高いことは誰もが知っています。たまたま、gσ(ϵ) の対称軸が原点にあり、望ましい最適化方向は原点に向かっています。したがって、残差を最小化することは、すべての測定値の結合確率を最大化することと同じである可能性があります。測定値は独立しており、同一に分布しているため、各測定値の gσ(ϵj) を乗算して次の値を得るのは簡単です。
上記の式を最大化すると、次のようになります。
m と σ は両方とも固定値であるため、p(y;x,σ) を最大化することは、正確に (10.7)を最小化することと同じです 。
したがって、理論的にも実際的にも、残差の二乗和が最良の目的関数です。
次に、非線形最小二乗を解くためのいくつかの方法を紹介します。
1. ガウス・ニュートン法
ここで、rj は j 番目の残差です。この定義の下では、目的関数の 1 次導関数と 2 次導関数は、残差のヤコビアン行列とヘッセ行列によって表すことができます。
ここで、J(x) は残差のヤコビアン行列、∇2r(x) は残差のヘッセ行列です。
ニュートン法の各反復では、一次方程式を解く必要があります。
方程式 (10.4) と (10.5) をこの一次方程式に代入し、方程式 (10.5) の第 2 項を破棄すると、次のようになります。
この方程式は、ヘッセ行列を事前に計算する必要がなく、残差とヤコビアン行列のみが必要なため、標準のニュートン法よりもはるかに単純です。また、そうするのは理にかなっていて、残留誤差自体が小さいため、破棄される 2 次項目は通常非常に小さく、最小点に近づくほど残留誤差は小さくなるため、最終的な精度には影響しません。アルゴリズム全体の。
2. レーベンバーグ・マルカート法
このアルゴリズムは十分に学習されていません。最初にスキップしてください
この方法には信頼領域方法も含まれます。次回見てみましょう
一次方程式を解く
線形方程式を解く鍵は、計算コストがかかる係数行列の反転を避けることです。
最も一般的に使用される線形方程式の解はコレスキー分解です。これは、JTJ を上三角行列とその転置の積に分解します。
このとき、一次方程式を一行ずつ解くことができ、計算量が大幅に軽減されます。ただし、コレスキー分解の安定性は条件数に影響され、JTJ の条件数は J 条件数の 2 乗となるため、分解結果が不安定になる場合があります。
もう 1 つの方法は QR 分解です。この分解の安定性は J 条件数によってのみ影響を受け、通常はコレスキー分解よりも正確です。
3 番目の方法は、最も精度が高い方法であり、SVD 分解です。ヤコビ行列 J が悪条件であっても、特異値 0 に相当する部分を無視するだけでよく、安定した解を得ることができます。
これら 3 つの分解方法については、今後詳しく見ていきましょう。
直交距離
非線形最小二乗問題の定義を振り返ると、残差は単にモデルの観測値と予測値の差を指すことがわかります。しかし実際には、残差は時間次元にも存在します。両者の違いは図で見てみるとよく分かります。同じモデルと同じ観測データについて、定義した残差は、以下の図の点線セグメントで表すことができます。
明らかに、これらの線分はすべて y 軸に平行です。これは、それらが観測次元内にのみ存在することを意味します。観測と時間の両方の次元を考慮すると、残差は次のように定義できます。
これらの残差は、y 軸にも t 軸にも平行ではありませんが、モデル曲線に対して垂直であり、モデル上の点から観測点までの最短距離を表します。
これらの残差はモデルに対して垂直であるため、このアプローチは直交距離回帰と呼ばれます。この時点で、モデルは ϕ(x;t) ではなく ϕ(x;t+δ) として表されます。このうちδは時間次元の残差である。目的関数は、観測残差と時間残差の両方を最小化するように変更されます。
ここで、 ϵj は依然として観測残差 yj−ϕ(x;tj+δj) です。以降の解法は通常の非線形最小二乗法と同じですが、最適化変数の数がm個増加し、計算量が若干増加します。