逻辑回归函数学习笔记

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wojiushiwo945you/article/details/86712679

继续逻辑回归学习,今日笔记记录。

1、逻辑回归和线性回归的关系:对逻辑回归的概率比取自然对数,则得到的是一个线性函数,推导过程如下。

首先,看逻辑回归的定义
在这里插入图片描述
其次,计算两个极端y/(1-y),其值为(负指数分之一,则负负得正):
在这里插入图片描述

取自然对数后得到等式:
在这里插入图片描述

2、考虑具有N个独立变量的向量x,其表现形式为:
在这里插入图片描述
设条件慨率P(y=1|x)=p为根据观测量相对于某事件x发生的概率。
假设这个概率分布情况满足逻辑回归函数,则存在:
在这里插入图片描述
其中g(x)就是向量X与各个特征之间的关系:
在这里插入图片描述
3、结合逻辑回归的矩阵模型公式来看:
在这里插入图片描述
这个公式跟2部分的P(y=1|x)的公式是等价的,具体表现在Xθ这个矩阵乘法。

该公式中各部分的含义为:

3.1 θ为分类的模型系数,为N x 1的向量。
3.2 X是M x N的特征矩阵,表示M个样本,每个样本的特征矩阵为Xi=(x1,x2,…xn),每个样本都有N个独立特征。
3.3 hθ(X)则是一个M x 1的矩阵,表示M个样本的分类结果。
3.4 Xθ,即矩阵乘法,其结果也就是上面说的g(x)的分解。

4、对一组样本X=M x N,则会产生M个分类,对不同的模型系数,计算得到的分类结果,所有分类最准确的模型系数θ就是我们要确认的模型参数。因为样本有N个特征,所以特征系数θ是N x 1的列矩阵。

只看一种资料不足以了解公式,而且搜到的公式可能写法不同,但是结合多方搜索结果,相互补充,竟然也能慢慢明白模型公式。还是一种感觉,恨不能在学数学的时候了解数学在计算机领域的应用啊,果真是少壮不努力老大徒伤悲呐……

参考链接:
1)https://www.cnblogs.com/pinard/p/6029432.html
2)https://blog.csdn.net/AMDS123/article/details/70243497
3)https://blog.csdn.net/lgb_love/article/details/80592147

猜你喜欢

转载自blog.csdn.net/wojiushiwo945you/article/details/86712679