回归与分类
1.线性回归有:⑴岭回归 ⑵Lasso回归
2.机器学习主要分为有监督学习和无监督学习两种。
3．无监督：事先没有任何训练数据样本，需要直接对数据建模。
或者：通过已有的训练（即已知数据及其对应的输出）来训练，从而得到一个模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出结果进行简单的判断从而实现分类目的，那么这个模型就具有了对未知数据进行分类的能力。
例如：
◆聚类
◆PCA
4.回归：用于分析两个变量X和Y的关系
5.线性回归一般形式：
通常第一项X0=1，θ0=b
6.误差函数与高斯分布有关
从而得出,损失函数为：
通过矩阵求偏导得
又因为矩阵求导法则：
例如：
得到最终结果：
二．2． 岭回归
对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说，如果主元（即对角线上的元素）上的元素很小，在计算时就会表现出病态的特征。回归分析中常用的最小二乘法是一种无偏估计。
岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。
二．3． 欠拟合和过拟合
解决方法：
正则化理解：
二．3. Lasoo回归（L1正则化）：
