【机器学习算法应用和学习_2_理论篇】2.2 M_分类_逻辑回归

一、原理阐述


算法类型:监督学习_分类算法

输入:数值型或标称型(标称型需要独热编码)

V1.0


   用回归方式解决二分类问题,通过引入一个Sigmoid函数将中间y值映射到实际二分类的y值上。

二、算法选择


三、算法过程


 1.Sigmoid函数是一个x值域是(-∞,+∞),y值域是(0,1)的单调递增函数;

2.预测y值>0.5为1类,<0.5为0类,y值也可以解释为为1和0类的概率;

3.同样使用“最小二乘”概念,求得最佳方程,得到目标函数;

4.要使得目标函数达到最小,需要采用一种称为“梯度下降”的算法,其过程大致为:在一个类似山脉的超平面上,从任一点出发,计算偏导数,沿着偏导数为负的方向前进一定距离(称为“学习速率”),直到初始点与移动后的点差值变化很小(称为“收敛”)为止。

度量:最小二乘,目标函数:最小二乘,目标函数解法:梯度下降

四、特点


优点:实现简单,易于理解和实现;计算代价不高,速度很快,存储资源低。

缺点:容易欠拟合,分类精度可能不高。对异常值和缺失值敏感

五、代码API


猜你喜欢

转载自www.cnblogs.com/everda/p/11347959.html