数学基础（四）——广义线性回归和对偶优化(未完)

                            广义线性回归和对偶优化

ps: 个人笔记 根据视频和PDF学习

线性回归

y=ax+b

多个变量的情形

考虑两个变量

最小二乘的目标函数

m为样本个数，则一个比较“符合常理”的误差函数为：

符合常理
最小二乘建立的目标函数，即是在噪声为均值为0的高斯分布下，极大似然估计的目标函数

使用极大似然估计解释最小二乘

似然函数

对数似然

θ的解析式的求解过程

最小二乘意义下的参数最优解

参数的解析式

若X T X不可逆，上式不可使用

附：“简便”方法记忆结论

加入λ扰动后

X T X半正定：对于任意的非零向量u

所以，对于任意的实数λ>0， 正定，从而可逆。保证回归公式一定有意义。

若X T X阶过高

实际中，若X T X阶过高，仍然需要使用梯度下降的方式计算数值解。