线性回归 Linear Regression
概念等同于数学中的线性回归模型，机器学习的本质是模型的拟合。
即在二维问题中求一条直线来拟合各个点（x,y）
其中x是自变量，或者叫输入参数/特征值，y是因变量，也就是结果/标签
（x一般在数学问题中叫做参数，在机器学习中叫特征值）
或者在多维问题中，求一个曲面（二维），或立体/域 来拟合所符合的各个点/域
假设一个n维问题中，输入n个特征值，x1 x2 x3 …… xn 输出为一个结果y
则 Y=W1X1+W2X2+W3X3+……+WnXn+b是最简单的线性回归模型，
即对于每个特征值都有一个参数，还有一个偏移量bias
我们可以将式子写成加权平均
Y=W1X1+W2X2+W3X3+……+WnXn+bX0
X0是我们延伸出来的，假设其值为1，这样我们就有N+1个输入变量x 和 N+1个参数
“矩阵乘法，即左行乘右列，左边行中的值与右边值对应相乘并相加”
矩阵运算效率较高，就可以用矩阵相乘的方法相计算。
对于损失，求线性回归中的损失较为重要，损失或者误差可以认为是真实值与预测值之间的误差。
损失函数Loss即我们用来衡量损失。
线性回归的过程即输入训练集进行训练，因为线性回归模型一般参数较少，训练的时间较短。
输入训练集训练的过程即
1.输入训练集中数据的参数，
2.代入模型中计算
3.梯度下降调参数
4.反复迭代
其中梯度下降即为对于一个参数模型，利用导数最小梯度下降来求其最小值，即精确参数。
设置学习率，对于参数每次变化的值。
广义的线性回归包括线性回归和逻辑回归
狭义的线性回归与逻辑回归相比较，
线性回归适用于预测问题，利用已知的数据集，经过回归之后，得到一个目标函数y=f(x)。然后给定一个新的x，可以预测得到目标y
逻辑回归适用于分类问题，在二分类问题中，原始数据回归之后得到的模型，对于新输入的x，利用模型输出，最后经过激活函数 可以判断其所在分类。
可以认为线性回归的输出y=wx+b就是逻辑回归的输入，逻辑回归要找这样一个函数f（wx+b），使得输入与输出的分类对应。
个人感觉逻辑回归和线性回归首先都是广义的线性回归，其次经典线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数，另外线性回归在整个实数域范围内进行预测，敏感度一致，而分类范围，需要在[0,1]。逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，因而对于这类问题来说，逻辑回归的鲁棒性比线性回归的要好。
逻辑回归的模型本质上是一个线性回归模型，逻辑回归都是以线性回归为理论支持的。但线性回归模型无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。
