机器学习 -- 线性回归和逻辑回归的区别 - 代码天地

机器学习 -- 线性回归和逻辑回归的区别

其他 2018-08-06 13:26:39 阅读次数: 0

　　回归算法是一种通过最小化预测值与实际结果值之间的差距，而得到输入特征之间的最佳组合方式的一类算法。对于连续值预测有线性回归等，而对于离散值/类别预测，我们也可以把逻辑回归等也视作回归算法的一种。
　　线性回归与逻辑回归是机器学习中比较基础又很常用的内容。线性回归主要用来解决连续值预测的问题，逻辑回归用来解决分类的问题，输出的属于某个类别的概率，工业界经常会用逻辑回归来做排序。在SVM、GBDT、AdaBoost算法中都有涉及逻辑回归，回归中的损失函数、梯度下降、过拟合等知识点也经常是面试考察的基础问题。

线性回归

　根据几组已知数据 ${(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(i)},y^{(i)}),...,(x^{(n)},y^{(n)})}$ 和拟合函数 $h_{\theta }(x)=\theta ^{T}x$ 训练其中未知参数 $\theta=[\theta_{1},\theta_{2},...,\theta_{i},...,\theta _{n}]$ ，使得拟合损失值 $J\left ( \theta \right )$ 达到最小。然后用所得的拟合函数进行预测。

$\large \begin{align*} J(\theta) &= \frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})^2\\&=\frac{1}{2}\sum_{i=1}^m(\theta^T x^{(i)} - y^{(i)})^2 \end{align*}$

逻辑回归

${(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(i)},y^{(i)}),...,(x^{(n)},y^{(n)})},y^{(i)}\in(0,1)$ 和拟合函数 $g(z)=\frac1{1+e^{-z}},\:\:z=h_\theta (x)=\theta ^Tx$ 训练其中未知参数 $\theta=[\theta_{1},\theta_{2},...,\theta_{i},...,\theta _{n}]$ 使得对数似然函数 $\ell \left ( \theta \right )$ 最大。然后用所得的拟合函数进行二分类。

$\large \begin{align*} \ell \left ( \theta \right )&=\log L\left ( \theta\right)\\&=\log\prod_{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )\\&=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\sigma}exp{(-\frac{(y^{(i)}-\theta^Tx{^{(i)}})^2}{2\sigma^2})} \end{align*}$

区别

两者都是回归，步骤和原理看起来很相似，到底有什么地方不同呢？

	线性回归	逻辑回归
目的	预测	分类
$y^{(i)}$	未知	{0,1}
函数	拟合函数	预测函数
参数计算方式	最小二乘	最大似然估计

猜你喜欢

转载自blog.csdn.net/qq_38328378/article/details/81349922

机器学习 -- 线性回归和逻辑回归的区别

机器学习——线性回归和逻辑回归

机器学习：线性回归和逻辑回归

机器学习-线性回归和逻辑回归

机器学习（三）—线性回归、逻辑回归、Softmax回归的区别

机器学习算法总结--线性回归和逻辑回归

机器学习总结：逻辑回归和线性回归

机器学习——1 线性回归和逻辑回归

机器学习笔记02——线性回归和逻辑回归（LR）

【机器学习】线性回归+逻辑回归（理论）

机器学习 --- 线性回归与逻辑回归

机器学习4：逻辑回归与线性回归

机器学习-逻辑回归与线性回归

机器学习笔记 - 线性回归与逻辑回归

机器学习DAYX:线性回归与逻辑回归

机器学习概述、线性回归和逻辑回归--机器学习--思维导图、小抄、笔记（26）

机器学习(8) 逻辑回归示例：实现线性逻辑回归

Python学习-线性回归和逻辑回归应用

《机器学习》学习笔记（一）：线性回归、逻辑回归

【机器学习入门】1.3线性回归之逻辑回归

机器学习面试准备之一、线性回归与逻辑回归

机器学习总结（六）线性回归与逻辑回归

机器学习随笔（线性回归，逻辑回归原理）

机器学习笔记:线性回归、逻辑斯蒂回归推导

机器学习入门（引用）____1.线性回归与逻辑回归

机器学习算法（3）——线性回归与逻辑回归

机器学习——线性回归、逻辑回归、神经网络

机器学习（多元线性回归模型&逻辑回归）

【机器学习面试题】——线性回归+逻辑回归

机器学习----从线性回归到逻辑斯特回归

今日推荐

火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？

北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”

LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍

国产云输入法——仅华为无云端数据上传安全问题

开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40

开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）

周排行

Metasploit文件目录与入侵基本概念

跨域(CORS)请求问题[No 'Access-Control-Allow-Origin' header is present on the requested resource]常见解决方案

CodeIgniter 源码解读之 CodeIgniter.php（二）

SAS入门之（四）改变数据类型

初识元组

[数学建模]数学建模算法和模型（B站视频）（二）

Nginx 服务器源码安装配置流程

C#实现语音视频录制【基于MCapture + MFile】

开发进度4

下载安装vue的方法网址

每日归档

更多

2024-04-28(0)

2024-04-27(56)

2024-04-26(39)

2024-04-25(22)

2024-04-24(36)

2024-04-23(26)

2024-04-22(39)

2024-04-21(0)

2024-04-20(6)

2024-04-19(5)