事件的几率:该事件发生的概率与不发生的概率的比值。
线性函数的值越接近于正无穷,概率值就越接近于1,越接近于负无穷,概率值越接近于0的模型就是Logistics回归模型。
Logistics回归是根据现有的数据对分类边界线建立回归公式。
Logistics回归的一般过程:
收集数据,准备数据,分析数据,训练算法,测试算法,使用算法
它主要是利用S形函数阈值在[0,1]的特性,根据现有数据对分类边界线建立回归公式来进行分类。
实现:在每个特征上都乘以一个回归系数,再将结果累加,将总和带入Sigmoid函数中,得到一个范围在0〜1之间的数值,大于0.5被归为1类,其余为0类数学表达如下:
现在的目标就是找到最佳的参数。
总的来说,Logistics回归的目的就是寻找一个非线性函数Sigmoid的最佳拟合参数,求解过程可以由最优化算法完成。
Logistics的目的是寻找一个非线性参数的最佳拟合参数,求解过程可由最佳算法来完成。在最优算法中,最常用的就是梯度上升算法,而梯度上升算法又简化为随机梯度上升算法。
随机梯度上升算法与梯度上升算法效果相当,但占用更少的计算资源。此外,随机梯度上升是一个在线算法,它可以在新数据到来时就完成参数更新,而不需要重新读取整个数据集来进行批处理运算。