線形代数 --- 最小二乗法の直線フィッティングとグラムシュミット直交化への適用 (下)

前回の記事では、例を使用して直線を近似する際の最小二乗法の役割を説明しましたが、2 つの図を比較することで、射影と e の最小化との密接な関係がさらに明確になりました。

線形代数---直線フィッティングとグラム・シュミット直交化への最小二乗法の適用 (on)_Panasonic J27 ブログ - CSDN ブログ、グラム・シュミット直交化とは何か、および列ベクトルを直交化する必要がある理由を段階的に推測します。行列 A https://blog.csdn.net/daduzimama/article/details/129995583こここの記事では、引き続き 3 つのデータポイントセットの直線フィッティングから始めます。今回選択した 3 つの観測時点のうちの 1 点は非常に特殊であり、それがグラム・シュミット直交化の概念につながります。

例 2 :

例１では、３つの瞬間ｔ＝−１、１、２が観測点として選択され、ｂ＝１、１、３の３つの観測値が得られる。ここでは、3 つの観測点の時間をt = -2,0,2に変更し(これが最も重要な変更であることに注意してください)、別の一連の測定値 b = 1,2,4 を取得しました。これら 3 点をデカルト座標系に描きますが、これら 3 点は同一直線上にありません。同様に、これも最小二乗直線フィッティング問題です。

方程式 b=C+Dt を使用してこれらの点を通る直線を表すと、次の方程式が得られます。

これら 3 点は同一直線上にないため、解決策はありません。最小二乗方程式と連立正規方程式を解く必要があります $A^{T}A\hat{x}=A^{T}b$ 。

$\large A=\begin{bmatrix} 1 & -2\\ 1 & 0\\ 1 & 2 \end{bmatrix}$ $\large \hat{x}=\begin{bmatrix} \hat{C}\\ \hat{D} \end{bmatrix}$ $\large b=\begin{bmatrix} 1\\ 2\\ 4 \end{bmatrix}$

左 $A^{T}A$ ：

$\large A^{T}A=\begin{bmatrix} 1 &1 & 1\\ -2& 0 & 2 \end{bmatrix}\begin{bmatrix} 1 &-2 \\ 1&0 \\ 1 & 2 \end{ bmatrix}=\begin{bmatrix}3&\mathbf{0}\\\mathbf{0}&8\end{bmatrix}$

右側 $A^{T}b$ ：

$\large A^{T}b=\begin{bmatrix} 1 &1 & 1\\ -2& 0 & 2 \end{bmatrix}\begin{bmatrix} 1 \\2 \\ 4 \end{bmatrix}=\begin {bマトリックス} 7 \\ 6 \end{bマトリックス}$

得る：

$\large A^{T}A\hat{x}=A^{T}b\; \mathbf{ は}\; \begin{bmatrix} 3 &0 \\ 0 & 8 \end{bmatrix}\begin{bmatrix} \hat{C}\\ \hat{D} \end{bmatrix} = \begin{bmatrix} 7\\ 6 \終了{b行列}$

最終的に、最適解は次のように得られます。

$\large \hat{x}=(A^{T}A)^{-1}A^{T}b=\begin{bmatrix} 1/3 &0 \\ 0& 1/8 \end{bmatrix} \begin {bmatrix} 7\\ 6 \end{bmatrix} = \begin{bmatrix} 7/3\\ 6/8 \end{bmatrix}$

の：

$\large \hat{C}=7/3,\; \hat{D}=6/8$

対応する最適直線は次のとおりです。

$\large f(x)=7/3+6/8t$

一方、射影ベクトル p を求めます。

$\large p=A(A^{T}A)^{-1}A^{T}b=A{\hat{x}}=\begin{bmatrix} 1 & -2\\ 1 &0 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} 7/3\\ 6/8 \end{bmatrix} =\begin{bmatrix} 5/6\\ 7/3\\ 23/6 \end{bmatrix}$

このうち、投影 P1、P2、P3 は、下図に示すように同一直線上にあります。

時間観測ポイントを変更する利点は次のとおりです。

$\hat{x}$ ここで、この例で最適解を見つけるプロセスを振り返ってみましょう。ここまでの計算プロセスと方法は、前の記事の例 1 とまったく同じで、計算された p の公式をそのまま適用しています。そのような：

もう一つの例：

しかし実際には、先ほどの正規方程式に注目すると、正規方程式を直接解くことで最適解が得られることが分かります。この例では3つの観測点の値を変更しているので $A^{T}A$ 対角行列になります。これにより、連立方程式、の解を直接書くことができます $\hat{C}=7/3$ 。 $\hat{D}=6/8$

$A^{T}A$ 対角行列である理由は主に 2 つあります。まず、ベクトル t のすべての要素の合計が 0 であるか、測定値 b1、b2、b3 が t= に関して対称の時点で取得された値であることです。 0 。次に、行列 A の 2 つの列ベクトル [1,1,1] と [-2,0,2] の内積は 0 であり、相互に直交しています。

3 つの観測点によって選択された 3 つのモーメント t の合計が 0 に等しくない場合、または t=0 に関して対称ではない場合。(この例に関する限り、行列 A の最初の列はすべて 1 のベクトルであるため、ベクトル t の合計が 0 でない場合、ベクトルと別のベクトルの内積は 0 にはなりません。) 最初に少し時間をかけて、3 つの瞬間 t から t の平均値を引いて $\hat{t}=(t1+t2+...+tm)/m$ 、3 つの瞬間の合計が 0 になるようにします。この方法では、正規方程式を通じて直接求めることができるからです $\hat{x}$ 。

たとえば、t=(1,3,5) の場合、その合計は 0 に等しくなりません。彼の平均値を計算 $\hat{t}=3$ し、t の各要素から平均値を減算して、新しい $T=t-\hat{t}=t-3$ =(-2,0,2) を取得します。このようにして、T の合計は再び 0 になります。同時に、直線のフィッティング式は $\hat{C}$ + t から+ T = + ( ) = + (t - 3) $\hat{D}$ に変わりました。 $\hat{C}$ $\hat{D}$ $\hat{C}$ $\hat{D}$ $t-\hat{t}$ $\hat{C}$ $\hat{D}$

このようにして、数式を使って合計 $\hat{x}=(A^{T}A)^{-1}A^{T}b$ を解く必要はなくなり、正規方程式 (Normal Equation) を直接解いて合計を求めることができます。 $\hat{C}$ $\hat{D}$ $\hat{C}$ $\hat{D}$

実際、この特定の例は「グラム・シュミット直交化」のアイデアと一致します。つまり、元の行列 A の列ベクトルが直交ベクトルでない場合は、まず行列 A の列ベクトルを直交ベクトルに変更して新しい行列を取得します $A_{新しい}$ 。このようにして、正規方程式 $A^{T}アクス=A^{T}b$ の左部分は $A_{新しい}^{T}A_{新しい}$ 対角行列となり、 $A_{新しい}^{T}A_{新しい}$ 結果が対角行列になると、解くのは $\hat{x}$ 非常に簡単になります。

後で説明しますが、グラム・シュミット直交化を行うと $A_{新しい}^{T}A_{新しい}$ 対角行列になるだけでなく単位行列にも変換され $A_{新しい}^{T}A_{新しい}$ 、その場合方程式を解くのが容易になります。

まとめ：

最小二乗の場合、行列 A の各列が最初から線形独立であることだけが必要です (この方法でのみ $A^{T}A$ 可逆であるため)。これまで、A の列が線形独立である必要があるだけでなく、A の列ベクトルが互いに直交する必要もあり、グラムシュミット直交化の初歩を段階的に進めてきました。

（全文）

著者 --- パナソニック J27

参考文献（感謝）：

1、線形代数入門、第 5 版 - ギルバート・ストラング (本文中の図の大部分はこの本からのものです)

2. グラフ作成ソフト、グラフ計算機

古典的な歌詞の鑑賞:

仲良くしないでください、木と影はとても気まずいです。シンヘさんは、茹でたポレンタのように、たくさんのボタンを開けてひねった。

---「古代の船は網を漁る、高速船はない」より抜粋（『古代の船と女と網』テーマソング）

(添付画像は本記事とは関係ありません)

著作権に関する声明:この記事内の一部の写真、テキスト、またはその他の資料は、さまざまな Web サイトや説明から引用されている可能性があるため、ここに記載することはできません。侵害がある場合は、私に知らせてすぐに削除してください。転載はどなたでも歓迎ですが、私の記事を引用・コピーする場合は、使用している写真や文章が私の記事から引用したものであることを記事内で明記していただく必要があり、そうでない場合は権利侵害として調査させていただきます。----パナソニック J27

線形代数 --- 最小二乗法の直線フィッティングとグラムシュミット直交化への適用 (下)

おすすめ