很多线性回归器的损失函数为均方误差：
loss=∥Xw−y∥22loss=‖Xw−y‖22
有无穷解该类问题称为欠定问题
在机器学习中，绝大部分问题都是样本数大于特征数，对应于超定问题，并且一般情况下为非一致方程，此时方程无解（一致方程的超定问题是有解的，通过求解广义逆矩阵），因此转向求解最小二乘问题，即最小化∥Xw−y∥22‖Xw−y‖22可能不可逆，这个可以用l2正则或者求解伪逆的形式解决。
SVD奇异值分解
不同于特征值分解使用的情景受限，对于任意一个矩阵A∈Rm∗nA∈Rm∗n。
特别地，对于齐次方程的超定问题：
min∥Xw∥min‖Xw‖
的值。
<li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true">
<use xlink:href="#csdnc-thumbsup"></use>
</svg><span class="name">点赞</span>
<span class="count">3</span>
</a></li>
<li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{"mod":"popu_824"}"><svg class="icon" aria-hidden="true">
<use xlink:href="#icon-csdnc-Collection-G"></use>
</svg><span class="name">收藏</span></a></li>
<li class="tool-item tool-active is-share"><a href="javascript:;"><svg class="icon" aria-hidden="true">
<use xlink:href="#icon-csdnc-fenxiang"></use>
</svg>分享</a></li>
<!--打赏开始-->
<!--打赏结束-->
<li class="tool-item tool-more">
<a>
<svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg>
</a>
<ul class="more-box">
<li class="item"><a class="article-report">文章举报</a></li>
</ul>
</li>
</ul>
</div>
</div>
<div class="person-messagebox">
<div class="left-message"><a href="https://blog.csdn.net/qsczse943062710">
<img src="https://profile.csdnimg.cn/C/0/E/3_qsczse943062710" class="avatar_pic" username="qsczse943062710">
<img src="https://g.csdnimg.cn/static/user-reg-year/1x/12.png" class="user-years">
</a></div>
<div class="middle-message">
<div class="title"><span class="tit"><a href="https://blog.csdn.net/qsczse943062710" data-report-click="{"mod":"popu_379"}" target="_blank">NirHeavenX</a></span>
</div>
<div class="text"><span>发布了35 篇原创文章</span> · <span>获赞 79</span> · <span>访问量 15万+</span></div>
</div>
<div class="right-message">
<a href="https://im.csdn.net/im/main.html?userName=qsczse943062710" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-letter">私信
</a>
<a class="btn btn-sm bt-button personal-watch" data-report-click="{"mod":"popu_379"}">关注</a>
</div>
</div>
</div>
</article>
很多线性回归器的损失函数为均方误差：
loss=∥Xw−y∥22loss=‖Xw−y‖22
有无穷解该类问题称为欠定问题