机器学习——线性回归和逻辑回归

1.线性回归

简述

在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变量都是一次方）。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归

线性回归的模型函数如下：              

误差    

但是在进行线性回归的时候，真实值和预测值之间肯定是要存在差异的（用 来表示该误差）

对于每个样本：

线性回归的核心知识点：

1. 误差 是独立并且具有相同的分布，并且服从均值为0方差为 的高斯分布

 

独立即是：每个样本误差之间是相互独立的，没有关系，（粗俗理解即为：两个人去银行贷款，银行不会因为一个人借款的多少去衡量另一个人该给多少，有一个同样的标准）

具有相同分布：即误差在同样的标准下产生，（粗俗理解即为：两个人去银行贷款，是同一家银行）

预测值与误差：

根据误差符合高斯分布得到：