《机器学习实战》学习笔记第八章 —— 线性回归

相关笔记：

吴恩达机器学习笔记（一） —— 线性回归

吴恩达机器学习笔记（三） —— Regularization正则化

主要内容：

一.线性回归之普通最小二乘法

二.局部加权线性回归

三.岭回归

四.前向逐步回归

一.线性回归之普通最小二乘法

1.参数的值：（不带正则项）

2.Python代码：

def standRegres(xArr, yArr):    #普通最小二乘法（没有特征归一化），其实就是不带正则项的最小二乘法
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T * xMat
    if linalg.det(xTx) == 0.0:      #如果方阵XTX的行列式为0，则不存在逆矩阵，所以结果不可求。
        print "This matrix is singular, cannot do inverse"
        return
    ws = xTx.I * (xMat.T * yMat)    #求出权值w，即参数
    return ws

二.局部加权线性回归

三.岭回归

四.前向逐步回归