互換性のある/互換性のない不均一線形方程式の最小二乗解と最良の最小二乗解

まず、互換性のある/互換性のない不均一な線形方程式の概念を説明します。

（1）線形方程式Ax = bが解けるための必要十分条件は、rank（A、b）= rank（A）です。このとき、Ax = bは互換性のある不均一線形方程式と呼ばれます。

（2）Ax = bの場合、rank（A、b）≠rank（A）、つまりb∉R（A）の場合、連立方程式Ax = bは解がなく、現時点ではAxと言われています。 = bは互換性がなく、不均一です。劣線形連立方程式。

以下が正式に始まります。

---

質問：x ₁、x ₂、...、x _nおよびyが線形関係を満たすと仮定します。ここで、x ₁、x ₂、...、x _nはn個の独立変数であり、yは従属変数であるため、y = a ₁ x ₁ + ... + a _n x _n、これで、次のように合計s個の観測グループがあり

ます_。1、a ₂、...、a _nを見つけますか？

解決プロセスは次のとおりです。

まず、連立方程式は次のように構成できます。

上の図は線形方程式系です。解が見つかった場合はすべて問題ありませんが、解がない可能性が非常に高くなります。

解がない場合は、近似解しか

得られません。近似解の誤差を最小にする必要がある場合は、関数を作成できます。図で関数の最小値を見つけるだけです。

従来の方法は以下の通りである：それぞれ偏導関数を見つけると、0にそれを設定されていること、∂F/∂A _iはiは1,2、...、N =ここで、0 =。最後に、α ₁、α ₂、...、α _Nを得ることができます。

以下は、内積空間の射影理論を使用して、互換性のない方程式Ax = bの解を解きます。

LET S×N個順序行列Aはである：

LET A = [α ₁、α ₂、...、α _N ]、α _iはiは1,2 = Aのi番目の列ベクトルであり、...、N、LETベクトルb = [Y ₁、Y ₂、...、Y _S ] ^T、X = [ ₁、₂、...、_N ] ^T、次いで、：AX、ある= B、

W =スパン{αを聞かせて₁、α ₂、...、α _N }、α _I ∈R ^S、iは1,2 =ここで、...、N。この場合、Wはs次元ベクトル空間b∈Rs^の線形部分空間です。ベクトルbが部分空間Wにある場合、連立方程式には解があります。そうでない場合、解はありません。つまり、次の状況です。

ベクトルy = Axを設定すると、問題は距離dを見つけるために変換されます。（b、Ax）が最小です。部分空間W上のすべてのベクトルの中で、W上のbの射影とbの間の距離が最小であることが簡単にわかります。したがって、y = Axがb上の射影である場合W、xはAx = bの近似解です。

YがWでBの突起が今であるため、by⊥span、あるby⊥Wあり、{α ₁、α ₂、...、α _N }、そうby⊥αある_I iは1,2 =ここで、 、…、n。

内積演算によれば：<α _I、B-AX>よう<α= 0、_I、B> = <α _I、斧> = <α _I、₁ α ₁ + ... + _n個のα _N >従って<α _I、B> = ₁ <α _I、α ₁ > + ... + _N <α _I、α _N >、iは=ここ1,2、...、N。：行列方程式として記述された

G（α ₁、α ₂、...、α _N）・X = G（α ₁、α ₂、...、α _nは、G（α; B）₁、α ₂、...、α _N）αは₁、α ₂、...、Α _Nグラム行列は、G（α ₁、α ₂、...、α _Nと、b）は、共グラム行列αの₁、α ₂、...、α _Nおよびb。

なお、G（α ₁、α ₂、...、α _N）は、必ずしも可逆ではないが、α列ベクトル群ので₁、α ₂ α、...を、_Aのnが必ずしも線形独立ベクトル群ではなく、それはグループ化する場合、直接設定線形独立ベクトルであり、X = G（α ₁、α ₂、...、α _N）^-1・G（α ₁、α ₂、...、α _Nと、b）取得する解x = [ ₁、₂、...、A _N- ] ^T。しかし、それが線形独立ベクトルグループであるかどうかに関係なく、次の結論があります。

式基G（αための第一、₁、α ₂、...、α _N）・X = G（α ₁、α ₂、...、α _Nと、b）、Aは、^Hアックス= A ^HのB、この依然として不均一な一次方程式であり、方程式の係数行列、すなわち関係のランクA ^H Aと拡大行列の階数[A ^H A、A ^HのB]は、以下に説明されます。

まず、rank（A ^H A）≤rank（A ^H A、A ^H b）です。結局のところ、列の数を増やすと、行列のランクが上がる可能性があります。

そして、rank（A ^H A、A ^H b）= rank [A ^H（A、b）]≤rank（A ^H）、結局のところ、2つの行列の積のランクはいずれかのランク以下ですマトリックスの1つ、右。

実数フィールドでは、rank（A）= rank（A ^H）= rank（A ^T）です。

次の内容はすべて実数フィールドに基づいていますが、^ATを表すために^AHを使用しています。

Aに方程式系方程式Ax = 0の解xを代入^Hアックス= 0であることを、真でなければならない、方程式Ax = 0の解は、Aの溶液である必要があり^、H = 0アックス。xは、方程式系Aの溶液である場合^Hアックス= 0、共役転置X^のH左右のベクトルx Aの^H 0は共役が乗算され=アックスは、x^するHをxを得る^H A ^Hアックス= 0、次に<Ax、Ax> = 0、次にAx = 0があります。つまり、A ^H Ax = 0の解はAx = 0の解でなければなりません。要約すると、A ^H Ax = 0とAx = 0は同じ解方程式であるため、2つの係数行列のランクは同じです。つまり、rank（A ^H A）= rank（A）です。

而rank(A)=rank(A^H)，则rank(A^HA)=rank(A)=rank(A^H)。又因为rank(A^HA,A^Hb)=rank[A^H(A,b)]≤rank(A^H)=rank(A)=rank(A^HA)，即rank(A^HA,A^Hb)≤rank(A^HA)，且有rank(A^HA)≤rank(A^HA,A^Hb)，最后有rank(A^HA)=rank(A^HA,A^Hb)。

つまり、連立方程式A ^H Ax = A ^H bの場合、係数行列のランク、つまりA ^H Aは、拡大行列のランク[A ^H A、A ^H b]に等しいため、連立方程式はA ^Hアックス= A ^H合計Bは、方程式系G（α、ある溶液、ある₁、α ₂、...、α _N）・X = G（α ₁、α ₂、...、α _Nと、b）常に解があり、この連立方程式の解αは次のとおりです。これは、ブログ投稿の冒頭の問題を解く連立方程式Ax = bの近似解です。

より良い解決策が得られれば、それはより良いでしょう。では、どのような解決策がより良いでしょうか？

（1）互換性のある方程式の場合、互換性のある方程式系Ax = bのすべての解xの中で最小の弾性率（2ノルム）を持つ解は、Ax = bの最小の弾性率解であると言われます。 xは|| x || = sqrt（x ^H x）です。

（2）互換性のない方程式の場合、方程式の「解」も必要であり、得られる「解」は、連立方程式の最小二乗解と最良の最小二乗解である必要があります。最小二乗解と最良の最小二乗解を以下に説明します。

A∈C仮定^M×N個、b∈Cの^M、X、n次元列ベクトル₀任意のn次元の列ベクトルxに対して、||アックスがあることを満たす₀ -b || ² ≤|| AX-Bは||^{図2に示すように}、Xと言われている_0はである最小二乗溶液連立方程式Ax = bのの。μが最小二乗解である場合、任意の最小二乗解x _{0に対して}、不等式||μ||≤|| x ₀ ||がある場合、μは最良の最小二乗解または最小ノルム2乗算解です。

定理：A∈Cm ^×nとB∈Cn ^×mとすると、次の2つの命題は同等です。

（1）任意のb∈Cのために^M、その後、X = BBが方程式Ax = bの最小二乗溶液でなければなりません。

（2）（AB）^H = AB、ABA = A。

上記定理示すこと方程式の最小二乗解Ax = bのBは、X = BBが、ある一般化逆行列A ^-of A 、および満たす（AB）のBニーズ^H = AB。

最後に、x = A ⁺ bが方程式Ax = bの最良の最小二乗解であることに注意してください。ここで、A ⁺は行列Aの正則です。

---

総括する：

（1）互換性のある不均一線形方程式Ax = bの場合、最良の解は最小のモジュラー解です。

（2）互換性のない不均一な線形方程式Ax = bの場合、最良の解は最良の最小二乗解x = A ⁺ bです。