机器学习 day10(分类算法,Sigmoid函数,逻辑回归)

1. 线性回归的缺点

  • 对于只有两种输出情况的问题(如肿瘤是否良性,0和1)来说,如果采用线性回归模型,会有很大误差,因为线性回归不仅会输出0和1,还会输出0和1之间以及<0和 > 1的所有结果。
  • 对于哪种情况表示1,哪种情况表示0,取决于我们自己如何定义,这有一点随意
    在这里插入图片描述
  • 对于均匀分布的数据来说,也许我们选择0.5作为分界线,可以得到比较合适的线性回归模型。
    在这里插入图片描述
  • 但是,如果在右侧添加一个训练示例,使数据分布不均匀,同时不改变0.5分界线的话,则之前的线性回归模型的误差会很大。但,如果改变的话,这与我们的意愿不符,在右侧添加一个训练示例,不应该改变我们对于区分肿瘤是否良性的分界线(决策边界)

2. sigmoid函数(逻辑回归函数)
在这里插入图片描述

  • 以判断肿瘤是否为良性为例,拟合数据的图形为S型曲线。而sigmoid函数g(z)的图形也是S型曲线,可以满足要求,且g(z)的取值范围为0到1
  • sigmoid函数,S型函数有时也叫逻辑回归函数

3. 逻辑回归模型(分类算法)
在这里插入图片描述

  • 令z = 向量w·向量x + b ,则把z带入f(x) = g(z) = 1/(1+e⁻ᶻ),可以得到f(x)的函数,即逻辑回归函数(上面的f(x)是线性回归函数,而下面的f(x)才是逻辑回归函数,这两个f(x)不相同)
  • 逻辑回归的作用是:输入特征x,并输出一个介于0和1之间的数,这个数为 标签y取1的概率
    在这里插入图片描述
  • 标签y取1和0的概率之和,应为1。所以若输出结果为0.7,则表示该标签y取1的概率为0.7,那么该标签y取0的概率为0.3
  • 右上角的式子可在论文中看到,表示:参数向量w和参数b,输入特征向量x。当标签y取1时,逻辑回归模型的概率

猜你喜欢

转载自blog.csdn.net/u011453680/article/details/130388231
今日推荐