机器学习(12) 线性回归、逻辑回归的正则化算法

1 线性回归的正则化

1.1 代价函数

训练集(Training Set)：

m个样本：

假设函数：

正则化后的代价函数：

目标：

对于线性回归(的求解)，我们之前运用了两种学习算法，一种基于梯度下降，一种基于正规方程。

1.2 梯度下降法

Repeat {

}

迭代式子的观察：

1. 因为样本数量m比较大，而学习速率α通常又比较小，所以，且接近于1。
2. 跟以前的线性回归一样。

1.3 正规方程法

输入特征向量，输出特征向量

样本的输入特征矩阵

则正规方程的解为：

其中是(n+1)×(n+1)的矩阵，是在单位矩阵之上在第一行前插入一个全0的行向量，在第一列前面插入一个全0的列向量。。

2 逻辑回归的正则化

2.1 代价函数

逻辑回归也有过拟合的问题：

假设函数

逻辑函数

代价函数

正则化项：

正则化后的代价函数

2.2 梯度下降法

Repeat {

i

}

2.3 示例：【Python】非线性逻辑回归——二分类(正则化)

同机器学习(9)