Bobo老师机器学习笔记第五课-逻辑回归理论

1、什么是逻辑回归?(Logistic Regresssion)

逻辑回归(Logistic Regression)是一种用于解决二分类(0 or 1)问题的机器学习方法,用于估计某种事物的可能性。逻辑回归既可以看做是一个回归算法,也可以看作是一个分类问题,通常是用过分类,并且是二分类。 分类主要是基于得到结果,获得结果是一个概率,然后根据概率来进行分类。  比如判断一个肿瘤是良性还是恶性,如果计算良性的概率是0.4, 那么我们认为是恶性的,如果是大于0.5, 我们认为是良性的。 

2、逻辑回归和线性回归的区别?

逻辑回归(Logistic Regression)与线性回归(Linear Regression)都是一种广义线性模型(generalized linear model)

逻辑回归假设因变量 y 服从伯努利分布,而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处,去除Sigmoid映射函数的话,逻辑回归算法就是一个线性回归。可以说,逻辑回归是以线性回归为理论支持的,但是逻辑回归通过Sigmoid函数引入了非线性因素,因此可以轻松处理0/1分类问题。

3、什么预测函数? 如何构建预测函数?

所谓的预测函数就是将获取的模型参数应用到新的测试数据上,从而获取预期的结果。 在线性回归中,直接训练出来的模型就可以获取预测的结果,但是在逻辑回归中,需要增加一个映射函数,从而保证模型得出的结果在(0,1)之间。这个函数叫Sigmoid函数。 一般选

为什么要选择这个函数为sigmoid函数,主要是由于这个函数的性质决定的。

加入这个预测函数之后,逻辑回归的目标函数就变成:

4、对于给定的样本参数X,y,如何找到参数,使得用这样的方式,可以最大程度获得样本数据集X对应的分类输入y?

     寻找损失函数,要满足特点:

满足以上条件的函数:

        

把一个分类函数变成一个函数,就形成下面:

最后求出逻辑回归的损失函数:

要找出,使得的值获取最小值?

5、求出损失函数的最小值?

 

最后逻辑函数的梯度为:

那么在下一篇文章我们用梯度下降法来用代码实现求解符合条件的

推荐文章:

机器学习算法--逻辑回归原理介绍

logistic回归详解(二):损失函数(cost function)详解

猜你喜欢

转载自blog.csdn.net/sxb0841901116/article/details/84794494