目录
1：最小二乘法
https://blog.csdn.net/qq_41598072/article/details/83984299 这篇博客很好，通俗易懂。
最小二乘法是用来做函数拟合或者求函数极值的方法
个人理解：就是一种函数拟合的方法，通过求解使目标值和理论值误差最小的参数，得到拟合函数，而求解的方法就是通过求导数，然后得到方程组，求解方程组之后就可以得到参数。
https://www.cnblogs.com/pinard/p/5976811.html 这一篇博客也不错。
2：回归
假设线性回归是个黑盒子，那按照程序员的思维来说，这个黑盒子就是个函数，然后呢，我们只要往这个函数传一些参数作为输入，就能得到一个结果作为输出。那回归是什么意思呢？其实说白了，就是这个黑盒子输出的结果是个连续的值。如果输出不是个连续值而是个离散值那就叫分类。那什么叫做连续值呢？非常简单，举个栗子：比如我告诉你我这里有间房子，这间房子有40平，在地铁口，然后你来猜一猜我的房子总共值多少钱？这就是连续值，因为房子可能值80万，也可能值80.2万，也可能值80.111万。再比如，我告诉你我有间房子，120平，在地铁口，总共值180万，然后你来猜猜我这间房子会有几个卧室？那这就是离散值了。因为卧室的个数只可能是1， 2， 3，4，充其量到5个封顶了，而且卧室个数也不可能是什么1.1， 2.9个。所以呢，对于ML萌新来说，你只要知道我要完成的任务是预测一个连续值的话，那这个任务就是回归。是离散值的话就是分类。（PS:目前只讨论监督学习）
3：线性回归
线性回归无非就是找一个线性函数来拟合数据而已，也就是找一根直线，这条直线能够尽可能的拟合图中的点，这就是线性回归。
4.逻辑回归（Logistic Regression）
简单来说， 逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。
逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。
个人理解：那是不是可以不恰当的理解成逻辑回归就是线性回归加上了一个Sigmoid函数,引入了非线性因素，把实数映射到0-1之间。