机器学习算法思路

1.PCA主成分分析

参考网站：https://blog.csdn.net/hjimce/article/details/45000221

      1）给定二维数据点集P(x,y)，找到散乱点重心坐标P0；

      2）将散乱点所在坐标系改为重心P0为原点，即所有点做相应的平移，所有点减去P0坐标即可（或者叫做坐标系原点移至散乱点重心P0），并构建矩阵M=|P1-P0   P2-P0……Pn-P0|；

      3）构建协方差矩阵A=1/n * (M*M^T)；

      4）求A的特征值，特征向量。找到特征值最大的特征向量(方差变化最快的方向)，另外找到垂直于最大特征值对应特征向量的特征向量；

      5）将所有散乱点P(x,y)映射到4）中的特征向量方向上，即各点与4）中的特征向量点乘(P(x,y)*4)的特征向量*cos夹角)。

2.K-Means聚类

参考网站：https://blog.csdn.net/hjimce/article/details/45200985

1）从N个文档随机选取K个文档作为质心；

2）对剩余的每个文档测量其到每个质心的距离(欧式距离)，并把它归到最近的质心的类；

3）重新计算已经得到的各个类的质心；

4）迭代2～3步直至新的质心与原质心相等或小于指定阈值，算法结束。

3.线性回归

参考网站：

假设一条带参数的直线y=ax+b(二维)，最小化代价函数(每个点到直线的距离和)，用梯度下降法实现。

4.逻辑回归

参考网站：https://blog.csdn.net/chibangyuxun/article/details/53148005

      1）找预测函数

      

      2）构建损失函数

      

      3）最小化损失函数

      更新参数