目录
1、欠拟合和过拟合
2、局部加权线性回归/Loess
3、为什么用最小二乘来解？
4、逻辑回归
5、感知器
1、欠拟合和过拟合
第一幅图，underfitting欠拟合，对数据拟合的不是很好
第二幅图，我们暂时认为拟合的最符合真实情况
第三幅图，overfitting过拟合，曲线很满足训练样本，但是并没有给出预测方向
2、局部加权回归，又 称Loess
局部加权线性回归：更近的点采用更大的权重，弱化更远的点的影响。
权重w是个钟形的函数。参数表示钟形的宽度。
对于每个要预测的点，都要先拟合出一条直线，再进行预测。
3、为什么用最小二乘来解？
我们假设误差error满足均值为0的高斯分布。
为什么采用高斯分布：因为大部分情况下，我们发现高斯分布能够很好的表现出干扰的性质。
最大化log似然函数，其实就是最小化误差平方和，这个跟之前的最小二乘法是一致的。
4、逻辑回归
这里是梯度上升，看上去好像跟之前的最小二乘算法一样，其实是不一样的。这里，y的取值不连续，而且h(x)也变了。
另外：安利一个机器学习算法学习的好办法：
（1）看懂原理以及每一步推导
（2）将推导覆盖，自己推导一遍
（3）实践
5、感知器