回归 regression
基础知识:
机器学习案结果的形式可分为 分类算法和回归算法
回归：对连续性数据进行预测分析
\[f(x_{i})=\omega \cdot x_{i}+b\]
采用均方误差最小的策略来进行优化
\[(w^{*},b^{*})=argmin_{(w,b)}\sum_{i=1}^{m}(f(x_{i}-y_{i}))^{2}\]
最小二乘法(least square method):
基于均方误差最小化来进行模型求解的方法
在真实的数据应用中，会将b参数融入参数\(\omega\)中\(\omega=(\omega;b)\)
最小二乘法也可以使用向量的形式来表示
\[\omega=argmin_{\omega}(y-X \omega)^{T}(y-X\omega)\]
对\(\omega\)求导，解得最优解。在\(det(X^{T}X)\neq 0\)时候
\[\omega=(X^{T} X)^{-1} X^{T} y\]