在推导使用SVD分解解方程时,用到了正交矩阵的保范性这一性质。
1、正交矩阵定义
A ⊺ \mathbf{A}^\intercal A⊺A=A A ⊺ \mathbf{A}^\intercal A⊺ = E
2、正交矩阵的保范性
正交矩阵对向量进行正交变换,且正交变换不改变向量的长度(范数):
设X的正交变换为AX,则AX的范数为:
由此可见AX的范数与X的范数相等。
3、SVD求解方程中的应用
A的SVD分解:A=UDVT (T代表转置)
其中,U,V为正交矩阵。
(1)、用奇异值解超定方程Ax=b时,会用到求||Ax-b||最小值,||Ax-b||=||UDVTx-b||
接下来,||UDVT-b||=||DVTx-UTb||
上式正是应用了正交变换的保范性质
将向量UDVT-b左乘正交矩阵UT。
(2)、约束条件||x||=1的条件下,求使||Ax||最小的x。
设A=UDVT ,那么问题变成求||UDVTx||的最小值。
由正交矩阵的保范性:
||UDVTx||=||DVTx|| ,||x|| = ||VTx||
问题变成在约束条件IIVTxll=1下,求||DVTx||的最小值。
令y=VTx,则问题简化为
约束条件||y||=1下,求||Dy||的最小值