机器学习(六)——Logistic回归(分类算法)

分类

逻辑回归算法是分类算法,它适用于标签 y取值离散的情况。

对于分类,Y是0或1,如果使用线性回归,假设hθ(x)的输出值会远大于1或小于0,这样的结果会有些奇怪。于是,考虑造特殊函数使0=<hθ(x)<=1,也就是使用Logistic回归的方法。

假设陈述

我们引入一个新的模型,逻辑回归,该模型的输出变量范围始终在0和1之间。
逻辑回归模型的假设是:
X代表特征向量,g代表逻辑函数(logistic function)是一个常用的逻辑函数为S形函数(Sigmoid function),公式为:

得出假设函数为:

Logistic函数也就是Sigmoid函数的图像表示:

决策界限

决策界限的概念能帮助更好地理解假设函数在计算什么,决策界限是假设函数的一个属性。

在逻辑回归中我们预测:

根据上面绘制出的 S 形函数图像,我们知道当

现在假设我们有一个模型:





假设函数越复杂,也就是说特征数不断增加,将会得到更复杂的图像和决策界限。

代价函数

猜你喜欢

转载自blog.csdn.net/ML_amateur/article/details/84555059