机器学习算法总结
梯度下降
机器学习核心：不断优化 寻找更合适的参数–>批量梯度下降//随机梯度下降// 小批量梯度下降
线性回归
[回归问题]历史数据–>拟合平面计算式–>损失函数（误差）分析–>目标函数最小值参数seita–>回归模型–> 预测值
logistic：
[分类问题]特征数据–>线性回归方程–>进行sigmoid激活–>输出的得分值–>比较不同预测结果的得分值
decide_tree
整个数据集(根节点)–> 通过条件(信息增益//信息增益率)–> 判断合适的前进方向–>达到不可再分的节点 --> 最终的决策结果
kmeans
一堆数据–>初始化 k 个质心点-- >按质心算距离 聚类 --> 迭代更新质心–> 依次继续更新
knn
带标签的训练数据集和待分类测试数据–>测试对象到训练集中每个对象的距离–>按距离大小排序–>选取K个与测试对象最近的标签数据–>多数表决预测
adaboost
[串行集成]训练数据集–>一次划分–>更新权重–>二次划分–>更新权重–>三次划分–>更新权重–>对每次预测结果根据准确率（作为权重)乘以a–>综合相加–>最终结果
random_forest
[并行集成]训练数据集–> 随机数据采样 （第一重随机）AND 随机特征采样(第二重随机) -->训练数据集–> 建立决策树模型–>综合（平均/投票/多数结果法）–>最终结果
xgboost
[串行计算] 内部决策树用的回归树–>构造出第一棵树–>选择策略–>第二棵树–>选择策略–>第三棵树
multi:one vs one / one vs rest / M vs M
svc
Support Vector Classification 支持向量分类
svr
Support Vector Regression 支持向量回归
svm
两类数据点–>决策方程(w /b)–>最大化点与决策边界的距离–>距离倒数的极小值(拉格朗日乘子/核函数)–>最优决策方程 （找到区分两类的hyper plane 超平面 使得边际margin 最大）